|
|
 |
Utiliser l'évaluation comme outil de gestion
Table des Matières |
|||||||||||||||||||||||||
Madame Traoré fait une évaluation interne pour mesurer la performance du programme IntroductionVu l'attention accrue portée à la réalisation de l'impact programmatique, les responsables doivent faire attention et voir si leurs programmes, et les services fournis par le biais des programmes, répondent aux besoins de leurs clients, s'ils sont réalisés de manière efficace et contribuent à la réalisation des objectifs organisationnels et de programme. Le présent numéro du Management de la planification familiale traite du rôle important que joue l'évaluation interne régulière du programme et fournit aux responsables des conseils sur la manière de planifier et d'intégrer l'évaluation à leurs programmes. Le numéro souligne l'importance de la collecte et de l'analyse régulières de données de programme, afin que les responsables disposent d'une bonne information pour prendre les décisions de gestion d'importance critique. Enfin, il fournit des exemples sur la manière dont les responsables peuvent utiliser l'information qui en résulte pour procéder aux changements programmatiques nécessaires et améliorer l'efficacité de leurs programmes et services. Comprendre le rôle de l'évaluation pour une bonne gestionDes organisations bien gérées et des programmes efficaces sont ceux qui peuvent démontrer que des résultats ont été atteints. Les résultats proviennent d'une bonne gestion. Une bonne gestion repose sur une bonne prise de décisions. Une bonne prise de décisions dépend d'une bonne information. Une bonne information demande de bonnes données et une analyse attentive des données. Ce sont là tous les éléments d'importance critique de l'évaluation. L'évaluation est définie comme étant un processus périodique de collecte de données qui sont ensuite analysées ou organisées de telle sorte que l'information qui en découle puisse être utilisée pour déterminer si votre organisation ou programme exécute efficacement les activités prévues et la mesure dans laquelle il atteint les objectifs et les résultats anticipés. Les responsables peuvent et devraient faire des évaluations internes pour recueillir des informations sur leurs programmes, en vue de pouvoir prendre de solides décisions concernant la mise en œuvre de leurs programmes. L'évaluation interne devrait être faite continuellement et appliquée consciencieusement par les responsables à tous les niveaux d'une organisation, dans tous les domaines du programme. De plus, tous les participants au programme (responsables, personnel et bénéficiaires) devraient participer au processus d'évaluation de manières appropriées. Cela permet de vérifier si l'évaluation est véritablement participative et renforce chez tous les participants l'engagement d'utiliser les résultats pour procéder à des améliorations d'importance critique au programme. Bien que la plupart des évaluations sont faites à l'échelle interne, réalisées par et pour les responsables du programme et le personnel, il faut aussi réaliser périodiquement des évaluations externes à plus grande échelle faites par des personnes n'appartenant pas au programme ou à l'organisation. Le plus souvent, ces évaluations externes sont demandées aux fins d’accréditation ou de financement ou pour répondre à des questions sur l'impact à long terme du programme en voyant les changements au niveau des indicateurs démographiques, tels que les taux de fécondité et de mortalité. En outre, un responsable peut demander à l'occasion, une évaluation externe pour évaluer les problèmes programmatiques ou opérationnels qui ont été identifiés mais qui ne peuvent pas être entièrement diagnostiqués ou résolus à partir des résultats de l'évaluation interne.
Le présent numéro du Management de la planification familiale discute de la manière dont l'évaluation interne des programmes, faites régulièrement, peut améliorer grandement la gestion et l'efficacité de votre organisation et de ses programmes. Il présente les différences entre le suivi et l'évaluation, montre comment l'évaluation fait partie intégrante de la planification et de la mise en œuvre régulières des programmes et le type d'information dont ont besoin les responsables à différents niveaux de l'organisation. Il explique les avantages et les inconvénients des évaluations internes et externes, les étapes de la planification et de la réalisation des évaluations et, enfin, fournit des exemples montrant comment des responsables et leur personnel ont utilisé les résultats des évaluations pour améliorer l'efficacité de leurs programmes. Le présent numéro du Management de la planification familiale a été rédigé par Sallie Craig Huber, Directrice technique du projet Développement de la gestion de la planification familiale (FPMD). Ces 25 dernières années, elle a travaillé en Asie, en Afrique et en Amérique latine avec des organisations et programmes nationaux et locaux pour faire des évaluations internes et externes et les a aidés à appliquer les résultats pour améliorer leurs programmes et faire bénéficier les clients de ces améliorations. Où est-ce que les responsables obtiennent une bonne information programmatique ? Par le biais de l'évaluation ! L'évaluation est l'un des outils les plus importants dont disposent les responsables. Le processus d'évaluation aide les responsables à prendre des décisions capitales sur la manière d'améliorer la mise en œuvre des programmes et/ou la gestion de l’organisation. Elle aide les responsables à :
En tant que responsable, vous devez prendre ce type de décisions. L'évaluation, si elle est utilisée régulièrement, est un outil de gestion puissant qui peut vous donner une bonne information pour vous permettre de prendre de bonnes décisions sur la manière de gérer le programme, afin qu'il continue à fournir des services de haute qualité et réponde aux besoins des clients. Par le biais de la collecte, de l'analyse et de l'interprétation des données que vous avez recueillies, l'information que vous obtenez d'une évaluation vous permet de faire des choix, de proposer diverses directions et de comprendre et d'envisager les conséquences de chaque mesure proposée. Par exemple, le fait d'évaluer le programme ou une partie du programme devrait vous aider à reconnaître les changements qui doivent être faits dans la manière dont le programme est géré, le type de nouveaux services ou activités devant être réalisés pour améliorer la qualité du programme ou des services, ou de voir s'il faut mener une nouvelle campagne de marketing ou de mobilisation de fonds. Suivi et évaluation—quelle est la différence ? Souvent, les termes "suivi" et "évaluation" sont utilisés de manière interchangeable, bien qu'il existe des différences importantes entre les deux. Le suivi concerne généralement leprocessus visant à contrôler régulièrement l'état d'avancement d'un programme en comparant l'exécution effective des activités et le plan de travail et en voyant si les activités sont achevées telles que prévues, si elles sont réalisées dans les délais spécifiés, si le budget est dépensé selon le plan, si des changements doivent être faits dans la gestion ou la réalisation des activités et s'il faudrait modifier le plan de travail. L'évaluation quant à elle vise à mesurer les progrès dans la réalisation des objectifs du programme et de l'impact du programme (si les changements visés à long terme ont été réalisés). Elle voit notamment la mesure dans laquelle les changements qui ont eu lieu peuvent être attribués aux activités du programme. Bien qu'il existe des différences entre le suivi et l'évaluation, les deux processus travaillent ensemble pour arriver à la même finalité qui est de dégager des informations pouvant être utilisées pour améliorer la gestion d'un programme et atteindre les objectifs à court terme et les résultats à long terme prévus.
Relier l'évaluation au cycle de planification et de mise en œuvre du programme Les étapes que suit une organisation ou un programme pour gérer ses activités peuvent être présentées sous forme d'un cycle continu d'actions de gestion, allant de l'évaluation des besoins à la planification et à l'exécution des activités, à la mesure des résultats programmatiques finaux qui sont intégrés à l'étape de planification dans le but de recommencer le cycle à nouveau. Qu'une évaluation soit réalisée de manière interne par le personnel du programme ou par un consultant de l'extérieur, trois éléments principaux la composent :
Tel qu'indiqué dans le diagramme ci-dessous, ces éléments de l'évaluation sont directement reliés aux étapes de planification et de mise en œuvre du programme ou projet.
[Les Graphigues ne sont pas inclus dans cette Version]
| |||||||||||||||||||||||||||
|
Processus d'évaluation |
Lien au processus de planification et de mise en œuvre du programme |
|
Réaliser l'évaluation |
Exécuter les activités et déterminer les progrès |
|
Entreprendre la collecte de données. Qui participera directement à la collecte de données ? Comment maintiendrez-vous informées de vos progrès les autres parties concernées ? Organiser et analyser les données. Comment les données seront-elles analysées - sous forme de tableaux, graphiques ou résumés écrits ? |
Pour faire une évaluation, le programme doit avoir réalisé des activités depuis au moins quelques mois. Il peut s'agir de la prestation des services planifiés, du suivi régulier de la mise en œuvre des activités, de la supervision du personnel et de l'exécution de procédures pour la préparation et la diffusion régulières de rapports. Toute évaluation devra utiliser des données provenant des statistiques routinières de services et de contacts avec les clients, le personnel et les superviseurs. |
|
Utiliser les résultats |
Faire les révisions et évaluer les besoins du programme |
|
Formuler les recommandations et les présenter avec les résultats. Comment allez-vous présenter les résultats de l'évaluation (par exemple, tableaux, graphiques) et qui participera à la présentation ? Quelle est la meilleure manière de faire des recommandations aux fins de changement ? Encourager le personnel à appliquer les recommandations et à procéder aux améliorations de programme. Comment allez-vous travailler avec le personnel à tous les niveaux pour appliquer les recommandations ? |
Il serait difficile, sans évaluation, de savoir comment procéder à des révisions dans un programme et d'identifier de nouveaux besoins ou changements qui devraient y être faits. Ici, le processus d'évaluation est étroitement lié au cycle de planification et de mise en œuvre du programme. Que vous vouliez voir comment vous pouvez mieux atteindre vos objectifs et avoir un plus grand impact, ce que vous pourriez faire différemment ou les besoins qui ont pu se développer dans la population cible depuis que le programme a commencé, l'évaluation vous aidera à déterminer ce que vous et le personnel devez savoir et vous permettra de décider et de formuler les actions qui peuvent être intégrées au prochain plan de travail. |
Pour de plus d‘informations sur les étapes liées à la réalisation d'une évaluation interne d'une partie spécifique d'un programme—la fonction de formation—prière de se rapporter au Volume 5, Numéro 3 du Management de la planification familiale, "Evaluer l'impact de la formation sur la performance du personnel," 1996.
Planifier l'évaluation
Bien que les demandes d'information peuvent émaner de maintes sources—le Ministère de la Santé ou de la Population, le bureau central de l'organisation, le gouvernement local, les organisations parrainantes, les bailleurs de fonds, les organismes d’accréditation ou de contrôle ou les clients—il est important de vous rappeler que la raison principale pour laquelle vous évaluez le programme devrait être dans le but de l'améliorer. Ainsi, les résultats de l'évaluation devraient se concentrer sur des solutions ou des actions nécessaires pour revoir et améliorer les programmes, et pas simplement pour répondre et chercher une solution aux problèmes identifiés. Il est votre devoir, en tant que responsable, de vérifier qu'une bonne utilisation est faite des résultats de l'évaluation. Tel que le montre le tableau ci-après, l'évaluation peut se concentrer sur plusieurs aspects différents d'un programme, suivant la raison principale pour laquelle elle est faite.
|
Types de questions d'évaluation suivant la raison principale de l'évaluation | |
|
Pertinence |
Les stratégies et les services du programme sont-ils appropriés par rapport aux besoins auxquels ils sont supposés répondre ? |
|
Adéquation |
Le programme traite-t-il tous les besoins qu'il est supposé traiter ? |
|
Progrès |
Le programme est-il en train d'accomplir ce qui était planifié dans les délais prévus et conformément au budget ? |
|
Efficacité |
Le programme est-il en train d'atteindre ses objectifs intermédiaires et de répondre aux besoins de ses clients ? |
|
Impact |
Le programme a-t-il obtenu les résultats escomptés à long terme ? |
|
Efficience |
Les résultats du programme sont-ils appropriés par rapport à l'utilisation des ressources ? |
|
Viabilité |
Le programme/organisation fournit-il des services de qualité à ses clients, augmente-il ou maintient-il la demande pour les services et mobilise-t-il des recettes à l'échelle locale, tout en diminuant sa dépendance face au financement des bailleurs de fonds externes ? |
Adapté de Bruckner et al.
Les responsables à différents niveaux dans un programme ou une organisation ont besoin de différents types d'information pour prendre les décisions se rapportant à leurs responsabilités particulières. Ces décisions se rapportent aux diverses étapes du cycle de planification et de mise en œuvre. La figure suivante, expliquée plus en détail dans les deux pages suivantes, montre les types de décisions prises par des responsables et la manière dont elles s’articulent au processus de planification et de mise en œuvre.
Par exemple, après avoir appris que la majorité des clients contactés par le biais du programme de distribution à base communautaire (DBC) utilisaient encore la pilule et les condoms et que très peu d'entre eux avaient adopté les méthodes cliniques à effet plus durable (tels que les injectables, les DIU, le Norplant® et la stérilisation), les cadres supérieurs craignaient que les progrès n'étaient pas suffisants par rapport aux buts à long terme qui étaient notamment d'accroître l'utilisation de méthodes à effet durable. A ce niveau, les responsables étaient préoccupés des coûts des différentes stratégies de prestation de services de leurs programmes, comparé à l'efficacité de ces stratégies en vue d'atteindre les buts du programme. Vu que le programme de DBC était le seul programme communautaire (dans certaines régions, ils avaient des centres mobiles qui fournissaient également des contraceptifs injectables), les cadres supérieurs ont décidé d'étudier de plus près les éventuels avantages liés à l'expansion dela zone desservie par les centres mobiles et à la diminution de celle des services de DBC.
Les cadres moyens ont besoin d'information pour déterminer dans quelle mesure leur service, programme ou département contribue à l’atteinte des objectifs et buts plus globaux que l'organisation s'est fixée ainsi qu'à ceux de leur propre service ou département. Les responsables intermédiaires doivent également comprendre et avoir des informations sur les tendances dans le contexte organisationnel plus général, telles que la mission de l'organisation et les objectifs et buts à court et à long terme de l'organisation. Le fait de disposer de cette information les aidera à vérifier si leur travail et le travail du personnel est conforme à la direction de l'organisation.
Par exemple, dans le programme décrit ci-dessus, les responsables intermédiaires se demandaient si leurs agents de distribution à base communautaire étaient suffisamment formés pour fournir des conseils aux clients sur les méthodes à effet durable et ont cherché à orienter les clients se montrant intéressés vers les centres locaux. Ils se demandaient également si les centres de référence disposaient du personnel infirmier nécessaire pouvant fournir les méthodes cliniques appropriées si la demande commençait à augmenter tel que prévu.
Les responsables de première ligne ont besoin d'information fiable qui les aide à exécuter et à superviser les activités et les tâches spécifiques des personnes qu'ils supervisent. Le fait de disposer de cette information les aide à vérifier que les responsabilités, les tâches et les objectifs du service de première ligne sont atteints. Pour faire efficacement leur travail, les responsables de première ligne ont également besoin d'information concernant les directionsfutures du programme ou du service, par exemple, les nouvelles prestations qui seront fournies par leur service ou les nouveaux rapports nécessaires.
Par exemple, dans le programme décrit ci-dessus, le programme de DBC et les centres mobiles sont gérés par le personnel dans les centres de santé de district et qui sont aussi responsables de la gestion des contraceptifs. Si les cadres moyens et supérieurs changent l'orientation des services de DBC, augmentent le nombre de centres mobiles et étendent la zone couverte par les centres mobiles, cela signifie un changement dans les responsabilités des responsables de première ligne. Ils devront trouver un nouveau personnel formé dans le domaine clinique pour les centres mobiles, stocker les contraceptifs en quantités différentes afin de répondre à un éventuel changement dans la demande et vérifier qu'ils peuvent s'occuper d'un nombre accru de clients envoyés au centre.
Réaliser l'évaluation
Une fois que vous avez déterminé le but de l'évaluation, choisi les indicateurs et les normes d'évaluation et fait des plans sur la manière dont vous allez collecter les données, vous êtes prêt à réaliser l'évaluation en collectant et en analysant les données.
Collecte de données. Les données que vous collectez peuvent être soit quantitatives, soit qualitatives. Ces deux termes sont utilisés pour désigner des approches différentes de collecte de données. L'utilisation d'une approche quantitative signifie que vous allez collecter et utiliser des données sous forme de nombres et convertir les données brutes en pourcentages, moyennes,médianes et autres chiffres vous aidant à analyser et à trouver la signification des nombres. Les approches qualitatives (par exemple, les interviews focalisées avec les clients), sont plus détaillées et approfondies et servent à enrichir et à expliquer les résultats quantitatifs. En planifiant une évaluation, il est important de se rappeler que les deux approches sont utiles et, si les ressources le permettent, la meilleure solution consiste à utiliser les deux approches et plusieurs sources de données. L'utilisation des deux approches vous aidera à confirmer et à renforcer vos résultats.
Vous pouvez utiliser diverses méthodes de collecte de données dans le cadre d'une évaluation, quelle qu'elle soit. Par exemple, si vous faites une évaluation des besoins, vous pouvez utiliser plusieurs types de collecte de données. Vous pouvez commencer une telle évaluation en voyant les données quantitatives disponibles à partie de recensements, enquêtes nationales (telles que l'enquête démographique et de santé [EDS]) et données sur les clients/formations sanitaires, pour avoir une idée de la situation générale concernant une question particulière telle que les niveaux de fécondité ou d'utilisation des services de planification familiale. Les résultats de ces données quantitatives peuvent vous encourager à faire une étude plus détaillée de la situation en utilisant des méthodologies qualitatives, telles que l'observation au niveau des cliniques, les enquêtes ouvertes auprès des clients ou les groupes de discussion focalisée afin de déterminer de manière précise comment vous allez concevoir le programme particulier.
Quelles que soient les méthodes utilisées pour collecter les données, l'utilité qu'elles ont pour vous, en tant que responsable, dépend de la validité (les données doivent mesurer ce qu'on a l'intention de mesurer), de la fiabilité (elles doivent être consistantes dans le temps) et ducaractère opportun des données (elles doivent être disponibles lorsqu'on en a besoin).
Le tableau suivant présente un récapitulatif des différents outils et méthodes utilisés pour la collecte de données quantitatives et qualitatives et les caractéristiques de ces deux approches.
Analyser les données. L'analyse des données que vous avez collectées est l'un des aspects les plus difficiles de l'évaluation et exige une planification attentive. En analysant lesdonnées, vous avez besoin de compétences et techniques qui permettent de déterminer les tendances dans les données et être capable d'isoler les faits et informations d'importance critique d'autres informations moins importantes. Tel que le montre le tableau précédent, la manière dont vous analysez les données dépend énormément de la manière dont les données ont été collectées. Dans certaines évaluations, vous vous intéresserez essentiellement à mesurer les progrès à court terme en comparant les nombres et l'information de différents points de services appartenant au programme ou organisation. Dans d'autres évaluations, vous souhaiterez mesurer la réussite du programme en comparant les réalisations du programme par rapport à la base initiale établie.
Les données sont des chiffres bruts ou autres résultats qui, en eux-mêmes, n'ont qu'une valeur limitée pour les décideurs. Par contre, l'information est le résultat de l'organisation, du traitement et de l'interprétation des données, transformant ainsi les résultats en faits qui sont utiles pour les décideurs. Par exemple, le nombre de nouveaux clients que sert votre centre pendant un mois ne signifie pas grand chose tant que vous ne le comparez pas avec le nombre de nouveaux utilisateurs des mois et années précédents pour voir s'il y a eu une hausse ou une diminution de la tendance dans le temps.
Les données sont transformées en information par :
La sélection—choisir les données qui sont utiles et adéquates pour répondre aux questions qui ont été posées et ignorer les données qui sont inutiles ou inadéquates à cette fin.
L’interprétation—analyser les données pour les placer dans le contexte, mettre àjour les tendances ou domaines problématiques et réfléchir à la signification de ces tendances par rapport aux questions posées.
L'objectif général de la conversion de données en information est de décrire, expliquer, prédire et/ou évaluer un programme et ses résultats.
Adapté d'une présentation de Gabriel Ojeda, PROFAMILIA, Colombie
Il n'aura servi à rien de mettre tant de temps et d'énergie dans une évaluation si vous n'utilisez pas les résultats pour planifier, soutenir, changer, corriger et/ou améliorer le programme. Aussi, pour bénéficier pleinement des avantages d'une évaluation, vous devez vous poser les questions suivantes quant à l'utilisation de l'information :
Les exemples suivants décrivent les manières dont différents types de résultats d'évaluation peuvent être utilisés et montrent l'importance de faire des évaluations internes de programme.
Pour nous aider à faire de meilleurs plans à l'avenir. En préparant notre plan de travail pour l'année suivante, le personnel de la formation sanitaire et moi-même avons décidé de réunir une information auprès de nous-mêmes et des clients pour voir si nos services répondaient bien aux besoins des clients et pour noter les problèmes que rencontrait le personnel en fournissantces services. Nous souhaitions utiliser cette information pour déterminer les changements et les nouvelles directions que devrait prendre le programme l'année prochaine.
Nous avons commencé par organiser une réunion du personnel pour identifier et discuter des forces et des points faiblesses de la manière actuelle dont nous procédions ainsi que les opportunités et les menaces extérieures pouvant avoir une influence sur la réussite du programme. Ensuite, nous avons invité plusieurs groupes de clients à participer à des discussions focalisées pour leur demander leurs opinions sur les services actuels et voir quels sont les changements qu'ils aimeraient voir à l'avenir, tels que des changements dans les heures d'ouverture du centre ou dans le système de rendez-vous.
Grâce à ce type d'évaluation participative du programme, nous avons pu bénéficier des commentaires des prestataires de services et des bénéficiaires des services. Ainsi, nous sommes mieux préparés à formuler un nouveau plan qui répondra mieux aux besoins des clients et aux attentes du personnel quant à la manière d'améliorer les opérations internes et les procédures de notre formation sanitaire.
Pour voir si notre travail coûte trop cher et accomplit trop peu. Un des objectifs de notre projet consiste à fournir des services à 100 clients chaque mois. Un autre objectif est de maintenir un coût de 10 dollars par client servi. A la fin d'une période récente de six mois, un examen des statistiques de services et des dossiers financiers a indiqué une moyenne de 88 clients par mois seulement. Le coût total de la prestation des services s'élevait à 1 250 dollars par mois, soit 14,20 dollars par client. Vu que nous n'avons pas accès à d'autres ressources financières, nous avons décidé d'étudier de plus près les types de changements que nous pourrions faire pour accroître le nombre de clients servis chaque mois et/ou diminuer lesdépenses, de sorte à atteindre notre objectif, c'est-à-dire servir au moins 100 clients chaque mois à un coût moyen de 10 dollars par client. Nous avons décidé de fournir plus d'information sur nos services à la communauté et d'étudier de plus près les manières qui nous permettront de simplifier les procédures de prestation de nos services, afin que les clients (surtout ceux qui reviennent pour un réapprovisionnement de pilules et de condoms) puissent obtenir la même qualité de soins sans devoir voir autant de personnes.
Pour être capable de partager nos expériences, afin que d'autres programmes puissent en profiter. Nous avons démarré un projet pilote dans le cadre duquel des villageois volontaires étaient recrutés et formés pour aider les agents chargés des activités d’extension à fournir des services à des zones spécifiques de la communauté où existait un niveau élevé de besoins non satisfaits. Après six mois, nous avons revu nos statistiques de services et nous avons été surpris de voir que la performance du programme s'était améliorée, non seulement dans les zones pilotes mais également dans des zones qui ne faisaient pas partie du projet pilote. Vu qu'il s'agissait d'un résultat inattendu du projet, nous avons décidé de faire une présentation formelle lors de la prochaine réunion régionale de l'association des infirmières professionnelles pour diffuser les résultats. En continuant à évaluer l'efficacité de ce projet et en partageant les résultats avec nos collègues, nous espérons qu'ils profiteront de notre expérience et la reproduiront peut-être dans leurs programmes.
Pour améliorer le programme en le comparant avec d'autres programmes analogues. On nous a demandé de présenter, lors d'une réunion du district récente avec des responsables cliniques, nos données du programme (nombre de clients de la planification familiale nouveaux et continus par méthode) pour chaque mois de l'année précédente. A la réunion, nous avonscompilé les données sur des grandes fiches, de sorte à pouvoir comparer plus facilement les données entre les centres de santé du district. De cette manière, les responsables des centres ont non seulement pu comparer leurs statistiques avec des programmes analogues mais ils ont également eu l'occasion de discuter avec leurs collègues des raisons possibles expliquant les différences de performance. Cela s'est avéré être une manière efficace pour les responsables d'obtenir une information utile sur les différentes manières dont ils pouvaient attirer et garder les clients dans leur propre centre et leur a donné des idées sur la manière d'améliorer la performance de leur centre et de mieux répondre aux besoins de leurs clients.
Lors de la prochaine réunion trimestrielle, nous comparerons à nouveau les statistiques pour voir si la performance s'est améliorée dans les centres qui avaient des problèmes et nous continuerons la discussion. Nous espérons que cette méthode consistant à évaluer et à travailler régulièrement avec nos collègues continuera à améliorer les programmes et à traiter les problèmes communs.
Pour voir où sont nos forces et nos faiblesses et où nous pouvons faire des améliorations. Afin de déterminer si les clients étaient satisfaits des services des centres, nous avons élaboré un formulaire de Rétro-information que nous demandons aux clients de bien vouloir remplir (anonymement) à la fin de leur visite au centre et de le laisser dans une boîte à la réception. Tous les deux mois, nous examinons les formulaires remplis pour voir si nous répondons aux besoins des clients et pour apprendre ce que nous pourrions mieux faire ou faire différemment.
En tant que suivi de l'information que nous recevons des clients, nous félicitons d'abord le personnel pour le travail dans les domaines où les clients ont fait des remarques positives et nousfaisons une liste de certains domaines problématiques pour voir comment nous pourrions les traiter. En ce qui concerne les membres du personnel dont la performance est jugée comme étant d’un qualité supérieure, d'après les commentaires des clients, nous renforçons la valeur de son bon travail en les mentionnant nominativement lors de la réunion du personnel, juste après l'examen des formulaires. Lors de cette réunion, nous fournissons certains détails sur ce que les clients ont particulièrement aimé, par exemple, la manière dont telle cliente a été traitée ou l'explication attentive et complète des diverses méthodes de contraception. Ainsi, les membres de notre personnel peuvent apprendre les uns des autres. Nous avons constaté que certaines des plaintes des clients pouvaient être résolues facilement, par exemple, en faisant plus d'efforts pour maintenir la propreté du centre et fournir de meilleures informations sur les heures des formations sanitaires et la manière dont fonctionne le système de rendez-vous.
Pour nous aider à voir où nous allons et si nous devons changer de cap. Nous avons conçu un projet pilote pour les adolescentes qui ont besoin d'information sur les contraceptifs. Nous avons décidé de fournir cette information par le biais des enseignants qui resteraient à l'école après les heures normales, deux jours par semaine pendant une heure, pour répondre aux demandes d'information des écolières. Bien que dans les trois écoles cibles on ait beaucoup parlé du programme, les données ont montré que seules quelques filles avaient utilisé les services pendant les quatre premiers mois du programme.
Afin de voir pourquoi elles ne profitaient pas davantage de ce programme, nous avons décidé de consulter les filles elles-mêmes. Nous les avons invitées à participer à un groupe de discussion focalisée après l'école et nous avons appris que les deux jours que nous avions retenus pour les séances avec les éducateurs sanitaires étaient les mêmes journées où se déroulait leprogramme de sport des filles au centre sportif de la ville. De plus, certaines des filles n'étaient pas à l'aise pour se rendre au dispensaire scolaire aux heures convenues car elles ne voulaient pas que leurs camarades et leurs professeurs sachent qu'elles allaient demander des informations sur la contraception. Elles ont indiqué qu'elles préféreraient que les éducateurs sanitaires fournissent cette information à un endroit neutre, en dehors de l'école.
Le fait de disposer de cette information de la part des bénéficiaires visés par le programme a été très important pour nous et nous a permis d'envisager des options différentes pour mieux répondre aux besoins des écolières. Aussi, envisageons-nous de demander aux éducateurs sanitaires de rencontrer les filles au centre sportif les deux mêmes journées plutôt que dans le dispensaire de l’école.
Pour apprendre davantage sur les facteurs qui ont le plus contribué à notre réussite. Suite à la demande pour la contraception et à l'information sur les méthodes disponibles, nous avons commencé l'année dernière un programme expérimental demandant à des étudiants en médecine de l'université locale d'aider les équipes mobiles et les agents communautaires à fournir des services d'information et de conseil aux communautés de la zone du projet. Le projet semblait bien se dérouler d'après les statistiques de services, indiquant un accroissement dans le nombre de produits contraceptifs distribués mais nous nous sommes rendu compte que, vu que nous payions les dépenses de déplacement des étudiants, le projet nous coûtait plus cher que nous avions prévu.
Nous avons décidé d'évaluer dans quelle mesure le travail des étudiants était à l'origine de l'accroissement récent dans l'utilisation des contraceptifs et s'il n'y avait pas moyen de diminuer les coûts encourus pour rembourser les dépenses des étudiants. Pour cela, nous avons interviewéles clients qui avaient été en contact avec les étudiants pour déterminer s'ils étaient satisfaits des services. A notre grande surprise, nous nous sommes rendu compte que la plupart des clients pensaient que leurs questions surtout celles relatives aux éventuels effets secondaires n’avaient pas reçues de réponses adéquates. En outre, un grand nombre des clients qui avaient accepté une méthode contraceptive l'avaient fait lors d'une visite de suivi avec l'agent communautaire. Les clients ont indiqué qu'ils avaient eu l'occasion d'y réfléchir davantage et faisaient confiance aux conseils donnés par quelqu'un faisant partie de la communauté.
Cette simple évaluation interne nous a fourni trois informations importantes. Premièrement, que les étudiants avec une formation médicale plus avancée n'influençaient pas forcément la décision d'utilisation de la contraception d'une cliente, du moins pas lors de la première visite et qu'il fallait probablement fournir une information supplémentaire aux étudiants portant sur les compétences liées aux conseils et à l'explication des éventuels effets secondaires des différentes méthodes de contraception. Deuxièmement, qu'il était important d'avoir une visite de suivi peu après la première visite pour répondre aux autres questions que pourrait avoir une cliente après la visite. Troisièmement, que les membres de la communauté faisaient confiance et respectaient les agents communautaires, ce qui rend leur travail très important, surtout pour les clients qui ne peuvent pas ou qui ne veulent pas se déplacer au centre de santé.
Suite à cette évaluation, nous avons organisé une formation supplémentaire pour les étudiants et avons demandé à l'université de prendre en charge leurs frais de déplacement si l'université souhaitait que les étudiants continuent à avoir une expérience sur le terrain. Nous avons mis en place un système de suivi prévoyant qu'un agent communautaire rende visite à un éventuel client dans les trois semaines suivant la première visite, qu’elle ait été faite par un agentcommunautaire ou un étudiant. Le nombre de nouveaux acceptants a continué d'augmenter et nous planifions de réaliser d'autres interviews dans six mois.
Venir à bout de la résistance à l'évaluation
L'évaluation est souvent vue par les responsables et les décideurs comme une menace plutôt qu'un outil utile. En faisant une évaluation, quelle qu'elle soit, vous devriez songer à l'avance à la résistance que vous risquez de rencontrer pour pouvoir y remédier avant de commencer l'évaluation. Généralement, il existe des solutions relativement faciles à ces éventuels problèmes. Le tableau suivant vous donne des suggestions sur la manière d'éviter une résistance possible à une évaluation.
Adapté de S. Sofaer, 1994
Décider s'il faut faire une évaluation interne ou externe
Ce numéro s'est concentré sur l'importance de faire des évaluations participatives internes réalisées par vous-même, le responsable et le personnel. Mais, parfois, il est utile et important de faire une évaluation externe, par exemple, lorsque vous voulez en apprendre davantage sur l'impact à long terme du programme face à des politiques et programmes nationaux plus généraux. Vous trouverez ci-après certains des avantages et inconvénients liés aux évaluations internes et externes.
Pour vérifier que l'évaluation devienne une activité régulière et acceptée dans l’organisation, et qu'elle soit véritablement participative et utile pour le personnel etl’organisation, il est important de suivre quelques étapes simples. Premièrement, la planification des évaluations devrait faire partie intégrante du processus régulier de planification et de mise en œuvre du programme dans l’organisation. L'évaluation devrait être vue comme une partie essentielle de ce processus, de sorte qu'à l'instar des plans qui sont faits pour réaliser les programmes, des plans soient également faits pour évaluer le processus et l'impact des activités du programme. Deuxièmement, lorsque vous planifiez et que vous réalisez une évaluation, vous devriez utiliser toutes les données disponibles avant d'envisager des activités de collecte de données spéciales - qui sont souvent chères et qui prennent beaucoup de temps - telles que les enquêtes spéciales.
Enfin, en réalisant des évaluations internes, il est important de se rappeler qu'il faut se concentrer sur les solutions et les actions qui amélioreront vos services et la gestion du programme plutôt que sur le diagnostic et la réponse aux problèmes immédiats identifiés dans l'évaluation. Il est votre devoir de vérifier que les résultats d'une évaluation sont bien utilisés, servent à améliorer les activités programmatiques spécifiques ainsi que la gestion, l'efficacité et l'efficience générales de l’organisation et de ses programmes.
Forum pour discuter des applications complémentaires des concepts
et des techniques du Management de la planification familiale
Concernant l'évaluation comme activité continue... Un des commentateurs insiste sur le fait que, "Il est important que l'évaluation devienne une partie de la culture d’une organisation. Le personnel doit comprendre qu'il ne s'agit pas d'une activité séparée demandée par le bailleur de fonds. Comme activité continue, elle est d'importance capitale pour le développement et la croissance de l'organisation."
Sur l'utilisation de l'évaluation pour améliorer vos systèmes d'information... Un des commentateurs remarque, "Les évaluations périodiques peuvent aider à déterminer si les systèmes internes de collecte de données fonctionnent adéquatement et si le système d'information dégage de fait le type d'information nécessaire pour les différents types de personnel dans le programme."
Sur l'utilisation de l'évaluation pour identifier les éventuels nouveaux clients... Un des commentateurs insiste sur le fait que, "L'évaluation vous aidera à voir non seulement si vous répondez aux besoins de vos clients actuels mais également s'il existe d'autres éventuels clients dont les besoins ne sont pas satisfaits. Dans notre programme, nous avons évalué nos services cliniques et les types de clients que nous servions. Nous avons constaté que la majorité de nos clients étaient des femmes avec trois ou quatre enfants. Les jeunes de moins de 20 ans et les personnes célibataires ne représentaient que 15 % de nos clients. Aussi, suite à l'évaluation, deux programmes séparés ont été conçus, un programme pour les adolescents et un programme qui intègre la planification familiale aux pratiques des accoucheuses et des guérisseurs traditionnels.A présent, nous voyons un plus grand nombre de clients orientés vers le centre par ces deux programmes."
Une des raisons pour faire les évaluations... Un commentateur explique, "L'évaluation, c'est comme les petits enfants qui demandent "Pourquoi ?" à propos de tout et de rien. L'évaluation crée connaissance, donne aux responsables les moyens de prendre des décisions et contribue à la qualité programmatique. Dans ce sens, les raisons pour évaluer son travail sont infinies."
Bertrand, Jan et Amy Tsui, Indicators for Reproductive Health Program évaluation. Le Projet éVALUATION, Carolina Population Center, Université de Caroline du Nord, Chapel Hill, NC, 1995.
Bruckner, Bates C. et al., eds. A Guide to Methods of Family Planning Program Evaluation 1965-1990. Le Projet EVALUATION, Carolina Population Center, Université de Caroline du Nord, Chapel Hill, NC, 1995.
Buxbaum, Ann. Training Impact Evaluation Workbook. Family Planning Management Development Project, Management Sciences for Health, Newton, MA, 1995.
Clark, Noreen et James McCaffery. Demystifying Evaluation. World Education, Boston, MA, 1979.
Feuerstein, Marie-Therese. "Participatory Evaluation : The Patna Experience." CONTACT. Christian Medical Commission, No.132, août 1993.
Feuerstein, Marie-Therese. Partners in Evaluation : Evaluating Development and Community Programmes with Participants. Macmillan, Londres, 1986.
Fondation Aga Khan. Monitoring and Evaluating Programs. (Module 5-User's Guide) Primary Health Care Management Advancement Programme, Fondation Aga Khan, Washington, DC, 1993.
García-Núñez, José. Improving Family Planning Evaluation : A Step-by-Step Guide for Managers and Evaluators. Kumarian Press, West Hartford, CT, 1992.
Love, Arnold J. Internal Evaluation : Building Organizations from Within. Sage Publications,. Thousand Oaks, CA, 1991.
Miller, Janice et James Wolff, eds. "Evaluer l’impact de la formation sur la performance du personnel." Management de la planification familiale, Family Planning Management Development Project, Management Sciences for Health, Boston MA, Volume V, Numéro 3, 1996.
Patton, Michael Quinn. Utilization-Focused Evaluation, troisième édition. Sage Publications, Thousand Oaks, CA, 1997.
Sofaer, Shoshanna. "Utilization of Evaluation Results for Policy Advocacy." Présenté à la Conférence national sur l'éducation sanitaire et la promotion sanitaire, Tampa, Floride,avril 1994.
Liste aide-mémoire : Utiliser l'évaluation en tant qu'outil de gestion
___ Planifier le processus d'évaluation de sorte à ce qu'il réponde aux besoins de toutes les parties intéressées (responsables de programme, personnel, clients ou bénéficiaires) ainsi qu'à ceux à l'extérieur du programme tels que les bailleurs de fonds et les organismes d’accréditation.
___ Vérifier que le personnel à tous les niveaux du programme ou de l'organisation participe à une partie de l'évaluation, afin qu’il sente qu'il a été inclus dans le processus, qu'on a écouté ses préoccupations et pour l'encourager à appliquer les résultats de l'évaluation pour procéder aux améliorations nécessaires dans la gestion.
___ Travailler avec le personnel et les autres parties concernées importantes (y compris les clients, les cadres supérieurs et les bailleurs de fonds) pour identifier les objectifs de l'évaluation.
___ Décider de la portée de l'évaluation, notamment si elle sera réalisée par une personne interne ou un consultant externe et les délais et les fonds qui peuvent lui être octroyés.
___ Choisir les critères, indicateurs et normes d'évaluation.
___ Identifier les sources de données et décider des méthodologies que vous utiliserez pour collecter les données. Vérifier que les méthodologies que vous choisissez sont appropriées par rapport auxobjectifs de l'évaluation et aux personnes qui participeront à la collecte et à la fourniture de données (surtout si vous planifiez de collecter des informations auprès d'autres membres du personnel et/ou des clients).
___ Collecter les données en utilisant les méthodes quantitatives et qualitatives, selon le cas.
___ Organiser et analyser les données de sorte à pouvoir les transformer en information utile pouvant être utilisée par d'autres personnes dans l'organisation pour faire des améliorations de programme.
___ Formuler les recommandations et présenter les résultats de votre évaluation d'une manière qui soit compréhensible et utile pour tous les participants à l'évaluation et autres parties intéressées à l'extérieur de l'organisation.
___ Garder un temps important pour l'examen et la discussion des résultats de l'évaluation, afin que toutes les parties intéressées s’engagent à l'application des solutions proposées.
___ Se concentrer sur la recherche de solutions réalistes et appropriées pour les problèmes identifiés tout au long de l'évaluation.
___ Encourager le personnel à mettre en œuvre les recommandations et à procéder à des améliorations durables du programme.
 |
 |
 |
