|
|
 |
Evaluer l'impact de la formation sur la performance du personnel |
||||||||||||||||||||
Table des Matières
: L'Institut de formation pour la planification familiale examine l'impact de son travail IntroductionLes organisations de planification familiale du monde entier consacrent une partie importante de leurs fonds et du temps de leur personnel à la formation, espérant ainsi améliorer l'efficacité et l'efficience de leurs programmes. Mais, souvent, on ne sait pas vraiment si la formation a fait une différence ou si des problèmes spécifiques de performance peuvent être résolus par le biais de la formation. Au regard de l'allocation considérable de modiques ressources à la formation, les responsables de la planification familiale doivent se demander régulièrement si leurs activités de formation leur apportent les résultats qu'ils souhaitent. Les responsables doivent comprendre les parties d'un programme de formation qui sont efficaces, celles qui ne le sont pas ou qui ne sont pas pertinentes et doivent voir comment la formation pourrait être améliorée pour aider le personnel à transférer ses nouvelles compétences de la salle de classe aux lieux du travail. Le présent numéro du Management de la planification familiale introduit l'Evaluation de l'Impact de la Formation (EIF), processus conçu pour aider les responsables à identifier et à renforcer les liens entre la formation et la performance du personnel. Le numéro décrit les avantages lorsqu'on fait une évaluation de l'impact de la formation en utilisant l'approche technique et explique, étape par étape, le processus EIF. Le numéro offre également des suggestions pratiques pour collecter, analyser et interpréter les données sur la performance des stagiaires sur les lieux du travail. Il conclut par des suggestions sur les différentes manières dont les responsables peuvent utiliser l'information pour faire des recommandations aux décideurs, améliorer les ateliers de formation ou chercher des solutions de gestion aux problèmes de la performance. - La Rédaction Comprendre l'évaluation de la formationLa formation du personnel comporte un grand nombre de coûts : le coût des ressources liées à la préparation et à la réalisation de la formation, le coût des déplacements et frais d'hôtel pour les organisations participantes et le coût lié à l'absence du personnel sur les lieux du travail. Pour justifier ces coûts, il est important que les responsables soient sûrs que la formation qu'ils fournissent ou à laquelle ils envoient leur personnel fera une différence dans la performance du personnel. Ils doivent savoir que les membres du personnel non seulement acquièrent de nouvelles connaissances, attitudes et compétences grâce à la formation, mais également qu'ils peuvent traduire celles-ci dans la pratique une fois de retour et qu'ils le feront. Il existe un grand nombre de types d'évaluation liés à la formulation et à la gestion d'un programme de formation de haute qualité apportant les résultats dont les responsables ont besoin. S'agissant de :
Les organisations ou les programmes de formation au sein d'une organisation plus grande évaluent le plus souvent les connaissances, les attitudes et compétences (CAC) de base et effectuent des évaluations sur les intrants, les processus et les résultats. L'évaluation préliminaire des besoins est faite plus rarement, généralement dans le but de concevoir un nouveau cours de formation ou pour un cours de formation continu de grande envergure. Souvent, des années après qu'une évaluation préliminaire des besoins a été faite, le même cours de formation continue à être dispensé même si les changements dans l'environnement demanderaient qu'une nouvelle évaluation des besoins soit faite ou que le cours soit revu. L'évaluation de l'impact, en dépit de son importance, est rarement faite. Se concentrer sur l'impact de la formation sur la performance individuelle. L'impact à long terme souhaité de la formation est d'améliorer la performance organisationnelle et des programmes et, en fin de compte, de contribuer à la réalisation des buts démographiques et sanitaires nationaux. Il est difficile de démontrer un lien direct entre la formation et ses résultats à long terme car un grand nombre de facteurs autres que la formation entrent en jeu. Toutefois, il est possible de démontrer l'impact de la formation sur les compétences et la performance du personnel. C'est la raison pour laquelle l'EIF se concentre sur le premier niveau de l'impact - la performance professionnelle des stagiaires - partant du principe qu'une bonne performance individuelle mènera à une solide performance organisationnelle et des programmes et à demeilleurs services pour les clients et, par la suite, fera une contribution importante à la réalisation des buts démographiques et sanitaires souhaités. De nombreuses raisons peuvent expliquer pourquoi les organisations ont résisté à l'évaluation de l'effet qu'a la formation sur la performance professionnelle: les coûts liés à une telle évaluation sont rarement pris en charge par les projets soutenus par les bailleurs de fonds ; les responsables et le personnel de la formation et des organisations de prestation de services, souvent, n'ont pas les compétences nécessaires pour entreprendre ce type d'évaluation ; un grand nombre d'organisations hésitent à mettre à jour les carences organisationnelles et les responsables sont souvent intimidés par le temps et l'argent nécessaires pour remédier, par la suite, à ces problèmes. Tant les organismes de prestation de services que les organisations de formation trouvent qu'il est plus facile de continuer à faire ce qu'ils ont fait jusqu'à présent. Tel que commentait ce formateur, "Nous sommes tellement occupés à dispenser la formation que nous n'avons même pas le temps de songer à la changer ! Au bout d'un moment, cela devient une routine." L'EIF cherche à résoudre à ces problèmes. Le présent numéro s'attache à donner une description détaillée du processus EIF. Il offre des techniques pratiques pour réaliser chaque étape du processus, allant de la définition des normes de performance à l'application des changements pédagogiques, organisationnels ou environnementaux. Après avoir décrit les étapes du processus, le numéro discute de la faisabilité et de la valeur de l'évaluation interne et participative et conclut en proposant des méthodes de suivi et de pérennisation du processus d'EIF. Les rédactrices collaboratrices de ce numéro sont Ann Buxbaum, Sylvia Vriesendorp et Ellen Eiseman. Ann Buxbaum est Associée principale de programme pour le Programme de population à Management Sciences for Health (MSH). Sylvia Vriesendorp est Formatrice en chef et Spécialiste du développement organisationnel pour le projet FPMD à MSH et Ellen Eiseman est Conseillère pour les programmes de formation à AVSC International. La rédaction aimerait faire mention de six organisations de planification familiale au Bangladesh, les remerciant de leur participation à l'élaboration et au test sur le terrain de la présente méthodologie. Un grand nombre des exemples donnés dans ce numéro proviennent de leur expérience mutuelle. Il s'agit des organisations suivantes : AVSC International/Dhaka, Concerned Women for Family Planning, The Family Planning Association of Bangladesh, Family Planning Service and Training Centre, Pathfinder International/Dhaka et The Asia Foundation.
Utilisation de ressources internes pour réaliser l'évaluationLorsque les organisations envisagent de faire une évaluation de l'impact, elles font souvent appel à des experts de l'extérieur, pensant que seules ces personnes peuvent fournir l'expertise objective et non biaisée qui apporte des résultats crédibles. Mais un grand nombre de responsables ont appris que l'évaluation externe ne garantit pas des recommandations appropriées, en partie parce que les experts de l'extérieur ne peuvent pas toujours saisir les réalités des lieux du travail et les besoins de formation connexe d'une organisation particulière pendant le court temps qu'ils ont pour faire l'évaluation. La communauté des évaluateurs est de plus en plus en faveur de l'évaluation participative qui permet aux parties concernées d'évaluer leurs propres réalisations [Feuerstein], de faire appel à une expertise externe spéciale (par exemple, pour l'échantillonnage) uniquement lorsque c'est nécessaire. Dans le domaine de la formation, les principales parties concernées sont les responsables et le personnel de l'organisation du programme de formation ainsi que les responsables et le personnel des organisations qui envoient leur personnel suivre une formation. L'évaluation d'un programme de formation par le biais d'un processus participatif avec des représentants des deux organisations comporte des avantages importants :
Mettre sur pied une équipe d'évaluation interneL'équipe d'évaluation devrait inclure des représentants de l'organisation de formation ou du programme de formation ainsi que l'organisation de prestation de services (ou l'organisationrecevant la formation). Si possible, l'équipe devrait également comprendre un ou plusieurs stagiaires, afin de tenir compte de leurs points de vue et de leurs expériences tout au long du processus. Si vous décidez d'inclure un expert dont les compétences sont jugées essentielles pour un aspect particulier du processus EIF (par exemple, un statisticien), le rôle et les responsabilités de cette personne devraient être spécifiés clairement à la satisfaction de chaque membre de l'équipe. Cette clarification garantira que le processus reste sous le contrôle des organisations participantes. Cette équipe inter organisationnelle est particulièrement importante lorsque l'évaluation montre que des améliorations doivent être faites dans l'une ou l'autre organisation. Si les organisations, tant de formation que de prestation de services, ont participé au processus entier d'EIF et ont convenu des objectifs et des recommandations éventuelles, elles seront bien plus susceptibles d'accepter les suggestions et de procéder à des changements valables. Si une étroite relation de travail entre les deux organisations n'est pas possible pour des questions de temps ou de distance, l'une ou l'autre devra réaliser l'EIF toute seule. On risque de voir l'organisation non participante ne pas accepter entièrement les résultats et les recommandations. Mais si chaque étape du processus est bien expliquée, preuves à l'appui, et si l'autre organisation est tenue au courant, le risque peut être minimisé. Réaliser une évaluation de l'impact de la formationPeut-être souhaiterez-vous faire une EIF pour :
Lorsqu'existe une ou plusieurs de ces raisons, l'EIF peut être mise en route par toute partie concernée : le responsable de l'une ou l'autre des organisations, les formateurs, les superviseurs du personnel formé ou les responsables des programmes. Le processus se déroule mieux si les membres de votre équipe EIF représentent les points de vue de toutes les parties intéressées. Les membres de l'équipe devraient se familiariser avec le contenu et les méthodologies du programme ou du cours de formation qui est évalué ainsi qu'avec les conditions générales du travail des stagiaires. Ils peuvent poser les fondements de leur travail en discutant des raisonspour lesquelles on fait une EIF en clarifiant les attentes du processus et en demandant toute assistance nécessaire à leurs organisations. Si vous voulez faire une évaluation attentive de l'impact de la formation, vous devez suivre toutes les étapes du processus EIF. En effet, le processus EIF est un cycle qui relie constamment la performance professionnelle à la formation. Avant de démarrer le cycle, il est bon de réunir et de revoir l'information sur la performance recueillie sur les lieux du travail, généralement à partir des rapports de supervision ou de suivi. Cette information indique quels sont les domaines de performance qu'il faut envisager pour l'évaluation.
[Graphique : Relier la performance et la formation : Le processus EIF] Identifier les problèmes de performance professionnelleLa première étape du cycle, identifier les problèmes de performance, devrait commencer plusieurs mois après la réalisation du cours de formation. Cette étape vise à obtenir deux résultats :
Définir les principales tâches liées au travailPour démarrer le processus EIF, vous devez décider quels sont les domaines de performance sur lesquels se concentrera l'évaluation. Pour ce faire, il est bon de :
Il est utile de faire une liste séparée des tâches importantes qui n'ont pas été couvertes pendant le cours de formation, de sorte à ne pas évaluer l'exécution de ces tâches pendant cette activité d'EIF. Les deux organisations pourront revenir, si elles le souhaitent, à cette liste de tâches par la suite pour déterminer si ces tâches sont couvertes dans le cadre d'un autre cours, sont enseignéespar l'organisation de prestation de services ou ne sont pas systématiquement enseignées du tout et devraient peut-être être intégrées au contenu des cours futurs. Choisir les indicateurs et fixer les normesUne fois spécifiées les principales tâches de la position d'un stagiaire, vous devez choisir les indicateurs. Les indicateurs sont des preuves mesurables ou observables montrant qu'un stagiaire est en train d'effectuer les tâches pour lesquelles il ou elle a été formé(e). Les indicateurs répondent à la question suivante, "Que verrions-nous ou qu'entendrions-nous sur les lieux du travail qui montrerait que le stagiaire répond aux conditions demandées pour cette tâche ?" Pour répondre à cette question pour chaque tâche, vous et vos collègues devez faire une liste de toutes les preuves de performance acceptable auxquelles vous pouvez songer en fonction des normes et directives de performance identifiées pendant l'analyse de tâche. Ensuite, pour chaque tâche, vous choisissez les deux indicateurs mesurables ou observables qui, à votre avis, apportent la preuve la plus convaincante qu’une performance est acceptable. Chaque indicateur devrait répondre à des normes ou niveaux spécifiques et précis de la performance qui correspondent aux attentes organisationnelles. Ces normes sont souvent exprimées comme un nombre ou un pourcentage, par exemple, le nombre de questions correctes nécessaires à un test, le pourcentage de procédures exécutées correctement lors d'une séance de pratique clinique ou de conseils ou le nombre de visites de clients pendant lesquelles un stagiaire a offert un service spécifique. Pour chaque indicateur, il faut identifier les normes —une gammede performance jugée acceptable, le niveau en-dessous duquel l'exécution est inacceptable et le niveau au-dessus duquel elle est jugée excellente. Le tableau à la page suivante montre certains exemples de normes et d'indicateurs choisis.
Collecter les donnéesUne fois d'accord sur les indicateurs et normes d'une performance acceptable, inacceptable et excellente, vous êtes prêt à collecter les données qui montreront dans quelle mesure la performance des stagiaires est conforme aux indicateurs et normes. Pour ce faire, vous devez :
Elaborer les instrumentsIl existe de nombreuses sources de données sur la performance professionnelle des employés et plusieurs manières d'obtenir ces données. Vous devriez choisir les techniques et instruments les plus appropriés pour chaque indicateur en fonction de ce que vous essayez d'apprendre et des ressources dont vous disposez. Les techniques fondamentales sont les interviews (avec les stagiaires, les clients, les superviseurs ou les responsables, soit individuellement, soit en groupe), les tests (donnés aux stagiaires), les observations (des stagiaires en contact généralement avec des clients réels ou simulés) et l'examen de document. Après avoir choisi les techniques quirépondent le mieux aux besoins de votre évaluation, vous êtes prêt à concevoir les instruments appropriés : un questionnaire oral ou écrit, un formulaire de test, un guide d'interview et/ou une liste de vérification. Quels que soient les instruments que vous choisissez, ils doivent être valides et fiables. Un instrument valide mesure exactement ce que vous souhaitez qu'il mesure. Par exemple, pour tester la capacité des stagiaires concernant l'insertion correcte des dispositifs intra-utérins, une mesure valide serait d'observer le stagiaire exécuter la procédure sur une vraie cliente ou un modèle plutôt que de lui demander de réciter les étapes de la procédure. La validité de l'observation vaudrait bien la peine d'y passer ce temps supplémentaire. Un instrument fiable dégagera des données analogues ou pareilles, même s'il est administré par des personnes différentes, du moment que celles-ci ont reçu la même formation portant sur son utilisation. Il s'avérera également constant dans le temps si la formation n'a pas changé entre la première et la seconde évaluation. Par exemple, si un évaluateur estime, à partir d'un exercice de simulation, que le stagiaire respecte les droits du client au caractère privé et un autre évaluateur conclut le contraire, l'instrument ne permet pas une mesure fiable du comportement du stagiaire. Essayez d'éviter certains problèmes courants lorsque vous concevez les instruments. Certains instruments sont trop longs et, par conséquent, les évaluateurs ne peuvent pas les administrer facilement. N'oubliez pas de garder vos instruments aussi succincts que possible et de n'inclure que les éléments nécessaires pour obtenir les données que vous recherchez. Vérifiez que lesinstructions sont claires et précises pour l'utilisation de l'instrument. Certains instruments peuvent être difficiles à comprendre pour le répondant. Utilisez des mots simples qui n'ont qu'une seule signification. Si la langue préférée des répondants est différente de la vôtre, vérifiez que les éléments sont traduits correctement dans leur langue.
Prétest et révision des instruments
Même lorsque les instruments ont été conçus attentivement, il y aura des surprises lorsqu'ils seront utilisés pour la première fois. Des questions et procédures qui semblaient tout à fait claires peuvent parfois embrouiller ou angoisser la personne interviewée. La meilleure manière de diminuer les surprises désagréables consiste, pour les membres de l'évaluation, à faire un prétest des instruments auprès d'un petit groupe de stagiaires, de préférence à plusieurs sites. Le prétest permet de revoir les instruments - et, parfois, les indicateurs ou normes. Le prétest devrait refléter autant que possible les dispositions qui sont prises pour l'EIF effective :programmation attentive, lettres envoyées aux divers sites et explications préliminaires montrant ce qu'est l'EIF aux directeurs du projet, aux stagiaires et à d'autres personnes pouvant être concernées. Si c'est possible, il vaut mieux travailler à deux pendant les prétests, tout comme vous le ferez pendant l'EIF finale. Cela permettra à une personne de se concentrer sur les réponses et d'observer les commentaires ou gestes visuels intéressants sans avoir à ralentir le processus en prenant des notes. Cela aidera également à confirmer les observations et les impressions. Le prétest est souvent omis, parce qu'il renchérit le coût de l'évaluation de l'impact et prend du temps, qui aurait pu servir à faire autres choses. Mais le prétest est important car, si les instruments ne sont pas bien conçus, ils ne dégageront pas des données crédibles, l'analyse et l'interprétation des résultats seront biaisées et toute conclusion et décision sur la formation ou le soutien organisationnel pourra être remise en question. A vous de trouver les moyens de combiner ce prétest à d'autres activités organisationnelles pour diminuer le coût du point de vue temps du personnel et argent sans compromettre l'occasion d'apprendre.
Définir votre échantillonLe dilemme entre le caractère pratique et la rigueur est bien illustré par le choix du nombre correct de stagiaires qui seront évalués. Bien que tout le monde soit d'accord pour dire "le plus de stagiaires, le mieux," la question que vous devez vous poser est la suivante, "Quel est le nombre de stagiaires suffisant pour établir des résultats généralisables ?" Par conséquent, pour exécuter une EIF, vous devez définir un échantillon, à savoir un sous-ensemble représentatif de personnes prises dans l'ensemble des stagiaires qui ont récemment suivi une formation. Si votre échantillon est bien conçu, vous pouvez être relativement certain que ce que vous allez apprendre du test, de l'interview ou de l'observation des personnes de l'échantillon reflète de très près ce que vous auriez appris du groupe entier des stagiaires. Il existe quatre facteurs dont il faut tenir compte en décidant de la taille de l'échantillon. Taille du groupe de stagiaires. Plus le nombre de stagiaires que vous évaluez est important, plus de personnes il faudra inclure dans votre échantillon. Aux fins d'une EIF, il n'est généralement pas nécessaire ou pratique d'utiliser une formule statistique mais vous pouvez déterminer la taille de votre échantillon en vous rapportant au tableau suivant.
Variations dans le groupe de stagiaires. Les différences dans les caractéristiques au sein d'un groupe pouvant affecter les résultats de l'évaluation sont appelées les variables. Si vous pensez qu'il existe des variables chez les stagiaires qui pourraient affecter la performance professionnelle, vous devez inclure dans l'échantillon un nombre raisonnable de personnes avec chacune de ces variables. On peut le faire grâce aux échantillons stratifiés. Pour stratifier votre échantillon :
La taille totale de l'échantillon peut être nettement plus grande car l'échantillonnage stratifié vous demande de préparer un échantillon séparé pour chaque variable que vous identifiez. Ainsi, ne choisissez que des variables que l'équipe EIF juge très susceptibles de faire une différence dans la performance professionnelle. Si le nombre de stagiaires est petit, il n'est guère pratique en général de le stratifier puisque chaque échantillon sera trop petit pour dégager des données valides et fiables.
Précision. Le niveau de précision que vous demandez à une évaluation dépend de l’importance d'identifier de très petits effets qui pourraient être généralisés à un contexte plus large. Puisque l'EIF mesure des comportements humains, elle ne peut pas être aussi précise que certaines études de sciences fondamentales, mais l'échantillon doit être suffisamment grand pour convaincre un observateur objectif que les résultats valent la peine d'être traduits dans laréalité. Rappelez-vous que le but principal d'une EIF est d'indiquer, d'une manière générale, si les personnes qui ont été formées font bien ce qu'elles ont été formées à faire et, dans le cas contraire, voir quelles sont les causes possibles et proposer une action visant à remédier les problèmes. Faisabilité. Lorsque vous concevez votre étude, vous aurez peut-être besoin de compromettre le caractère généralisable des résultats futurs pour arriver à un plan d'étude qui soit réaliste ou faisable vu le temps et les ressources dont vous disposez. Il est important de définir un échantillon qui ressemble autant que possible à la taille de l'échantillon recommandé, qui représente les variables importantes présentes dans le groupe de stagiaires pouvant se rapporter à votre évaluation et qui puisse être exécuté avec les ressources disponibles. Le Dr Scholl, expert en l'évaluation de la formation en Asie, en Afrique et en Amérique latine, soutient cette vue lorsqu'il indique que si "la taille de l'échantillon minimal d'un point de vue statistique est plus grande que ce qui peut être exécuté ou ce qu'on peut se permettre, les évaluateurs de la formation doivent faire des compromis en utilisant une taille de l'échantillon plus petite et en acceptant des résultats qui peuvent être utilisés, même s'ils ne peuvent pas être utilisés pour établir des conclusions valides du point de vue «statistique»." Vous pouvez soupeser, d'une part, la nécessité d'arriver à des résultats précis et, d'autre part, la faisabilité en définissant un échantillon qui soit aussi proche que possible de la taille de l'échantillon recommandé, qui représente les variables importantes dans le groupe de stagiaires pouvant se rapporter à leur performance et qui vous permette de faire une évaluation avec lesressources disponibles.
Choisir et préparer les évaluateursMême des instruments bien conçus peuvent produire des données médiocres si les évaluateurs ne les administrent pas attentivement et n'utilisent pas un bon jugement, aussi objectif que possible. Pour aider à maintenir l'objectivité, il est utile de demander aux évaluateurs de travailler à deux—une personne de l'organisation ou du programme de formation et une personne de l'organisation de prestation de services. Lorsque cette collaboration entre organisations n'est pas possible, chaque organisation devrait travailler avec ses propres évaluateurs et créer une atmosphère où l'on encourage les évaluations honnêtes. Une EIF participative ne peut réussir que si chaque organisation souhaite apprendre la vérité et utiliser les résultats de l'EIF pour fournir de meilleurs services de planification familiale. Une fois que vous avez choisi les évaluateurs, vous devriez les former en leur dotant d'une certaine expérience pratique concernant l'administration de chaque instrument avant de commencer l'évaluation. En ce qui concerne les tests, les questionnaires, les observations, les examens de dossier et les questions fermées des interviews, les évaluateurs devraient être en mesure de suivre exactement les instructions et de ne pas utiliser leurs propres idées tout au long du contact. Par contre, lorsqu'une interview comprend des questions ouvertes, la formation des évaluateurs doit porter sur les techniques de sondage ou celles encourageant un répondant à aller au-delà de la réponse initiale et à exprimer ses opinions de manière plus approfondie. Les évaluateurs doivent également recevoir une formation leur apprenant à noterl'information attentivement et rapidement, à s'occuper des questions logistiques et interpersonnelles d'une visite EIF et à faire face efficacement et avec tact aux situations imprévues. Une situation inhabituelle pourrait se présenter lorsque des évaluateurs observent un stagiaire dans le contexte de son travail. S'ils voient le stagiaire effectuer incorrectement une procédure ou donner une information erronée à un client, il pourrait être difficile de maintenir leur rôle d'observateurs neutres. Dans les cas où une application incorrecte des normes pourrait entraîner de graves conséquences pour la santé du client, par exemple en ce qui concerne l'insertion du DIU ou les procédures aseptiques, les évaluateurs devraient en vertu de la déontologie professionnelle demander que la situation soit corrigée tout de suite. Lorsqu'ils interviennent, ils devraient noter sur le formulaire les circonstances et la manière par laquelle ils sont intervenus. Collecter les données pour l'EIFLorsque vos évaluateurs ont été formés pour utiliser les instruments, ils sont prêts à collecter des données EIF. A ce stade, vous vous souciez essentiellement de la logistique, par exemple, trouver des occasions d'économiser en combinant l'EIF à d'autres visites organisationnelles (surtout les visites routinières de supervision ou de suivi), en prévoyant les visites, de sorte à pouvoir voir les personnes lors de leur journée de travail normale et en informant les responsables des besoins des évaluateurs bien avant le jour de la visite. L'encadré à la pagesuivante fournit certaines suggestions sur la manière de planifier et d'organiser le processus de collecte de données. Après chaque visite de collecte de données, vous devriez poser aux évaluateurs et responsables des formations sanitaires les questions suivantes pour être sûr que les plans ont été respectés :
Si les réponses à ces questions révèlent des points problématiques, discutez des problèmes immédiatement et procédez aux ajustements nécessaires dans les procédures pour les visites ultérieures.
Analyser les donnéesLe but de l'analyse de données est de mettre à jour des catégories et modes dans les données brutes qui, une fois organisées, dégagent des informations qui sont utiles pour vous. Pour ce faire, vous aurez besoin de regrouper les données de sorte à pouvoir les analyser et les récapituler. Si vous évaluez un échantillon important de stagiaires, peut-être est-ce une bonne idée de faire appel à un statisticien et d'utiliser un ordinateur et un programme de logiciel statistique. Mais, pour la plupart des EIF, vous pouvez effectuer des analyses simples sans ordinateur. Tabuler les données. Vous devriez commencer par tabuler les données de chaque site et pour chaque indicateur en additionnant les données pour toutes les personnes qui ont été testées, observées ou interviewées et en calculant les pourcentages du nombre total de personnes dans l'échantillon qui ont exécuté le travail de manière acceptable, inacceptable ou excellente en fonction des normes de cet indicateur. Par exemple, la tabulation pourrait indiquer que six des sept agents de terrain au site Y (85,7 %) ont effectué des visites à domicile en fonction de leur plan de travail lorsqu'ils avaient été formés. Un des six aidait en fait d'autres agents de terrain à utiliser leurs plans de travail. Cumuler les données. Vous pouvez cumuler les données de tous les sites visités pour trouverle pourcentage général de la performance acceptable. Par exemple, vos données cumulées pourraient montrer que les interviews au niveau de 11 sites avec 11 superviseurs formés l'année passée ainsi qu'avec les six responsables de projet et les 16 agents de terrain qu'ils supervisent, ont révélé que cinq des superviseurs (45.5 %) fournissaient régulièrement une rétro-information aux personnes qu'ils supervisaient et faisaient un suivi pour voir si leurs recommandations avaient bien été exécutées de la manière dont ils avaient été formés. L'exemple suivant d'un rapport récapitulatif est un outil utile pour présenter les tabulations.
Tabulations croisées. Après avoir cumulé les données, vous pouvez faire des tabulations croisées qui décrivent les relations entre deux variables différentes dans les ensembles de données. Par exemple, la tabulation croisée ci-après est faite entre les pratiques se rapportant au counseling observées chez les agents de terrain et le nombre quotidien moyen de clients, tel qu'indiqué par les statistiques de services. La tabulation croisée montre que, sur les 10 agents de terrain qui n'observaient pas la norme en expliquant les avantages et les inconvénients des méthodes, huit travaillaient dans les formations sanitaires à forte charge de travail.
Désagréger les données. Vous pouvez également trouver qu'il est utile de désagréger vos données ou de les ventiler en unités plus petites. Par exemple, si aucun des membres du personnel paramédical qui a été observé dans sa formation sanitaire n'a respecté exactement les normes d'asepsie, il pourrait y avoir une variation considérable dans le niveau de performance acceptable concernant les différents aspects de l'asepsie. La désagrégation pourrait révéler que tous ont nettoyé les instruments avec du détergent et de l'eau, que la plupart ont jeté les seringues et les aiguilles utilisées de manière correcte mais que peu d'entreeux ont rangé correctement les instruments après la stérilisation. Etape 4 : Interpréter les donnéesRappelez-vous que le but ultime d'une EIF est de montrer l'impact de la formation sur la performance professionnelle et d'identifier les facteurs organisationnels et environnementaux qui pourraient également affecter la performance des stagiaires. L'interprétation de l'information peut vous aider à mieux comprendre l'influence relative de chacun de ces facteurs. Une fois que vous avez analysé les données d'EIF, vous êtes prêt à interpréter vos résultats.
Chaque fois que vous trouvez une personne dont l'exécution de telle ou telle tâche est en-dessous des attentes, un arbre à décisions peut vous aider à déterminer si la formation est la meilleure solution pour traiter de ce problème particulier au niveau de la performance. L'exemple suivant d'un arbre à décisions montre comment arriver à cette détermination.
Faire un compte rendu des résultatsLa partie la plus importante d'un compte rendu d'EIF est de faire une analyse approfondie et une interprétation soignée des données. Si vous avez bien exécuté les Etapes 1 à 4, alors la rédaction et la présentation d'un compte rendu de vos résultats ne sera pas difficile. Rédaction du compte renduVotre compte rendu écrit sera surtout utile s'il comprend toutes les sections nécessaires et communique efficacement le but et les résultats de l'EIF. Vous devriez formuler et écrire le compte rendu en ayant à l'esprit un public particulier. Ce public devrait comprendre toutes les personnes qui se sont montrées préoccupées par la performance du personnel et les décideurs qui sont en position d'apporter un soutien actif ou d'appliquer les recommandations contenues dans le rapport. Avant d'achever le rapport, circulez un brouillon aux personnes-clés aux fins de revue. Une fois que vous avez finalisé et distribué le compte rendu, vous devez trouver le temps et un endroit pour que les responsables-clés de chaque organisation discutent les résultats et décident des mesures à prendre. Vous pouvez utiliser la liste aide-mémoire à la page suivante comme un guide pour préparer le compte rendu. Faire une présentation oraleSi vous recommandez des changements importants dans la formation ou le soutien organisationnel, peut-être est-il bon de présenter oralement le compte rendu. Dans l'affirmative, il est important de décider qui peut faire la présentation orale la plus efficace, quel est le meilleur moment de la faire et qui devrait y assister. Grâce à quelques simples règles, votre présentation sera convaincante et vous aurez une meilleure chance de gagner le soutien des décideurs pour les changements que vous recommandez.
Rappelez-vous, tant pour les comptes rendus écrits qu'oraux, que l'identité des stagiaires doit rester confidentielle.
Etape 6 : Procéder aux changementsLors de cette étape, les responsables au niveau supérieur reviennent au processus EIF pour soutenir l'équipe d'évaluation et aider à procéder aux changements recommandés de sorte à ce que les stagiaires arrivent au niveau de performance professionnelle escomptée. Les types de changements nécessaires pourraient consister à revoir le cours de formation, se mettre d'accord avec l'organisation de formation pour un programme ou un cours de formation nouveau ourevu et changer les procédures ou les systèmes organisationnels. A ce stade, il est important de maintenir la collaboration et de galvaniser les forces pour le changement. Les résultats montreront quelle est l'organisation qui doit prendre la responsabilité du suivi des résultats. Le tableau suivant donne des exemples de résultats et de responsabilités inhérentes aux deux organisations de l'échantillon.
De même que le processus EIF révèle où l'action correctrice au problème doit être prise, il peut également cerner les conditions menant à la réussite. Les responsables des organisations de formation peuvent utiliser cette connaissance pour soutenir leur personnel en mettant à jour ou en améliorant d'autres cours ou en créant de nouvelles méthodes et de nouveaux matériaux de formation à caractère novateur (études de cas, visites sur le terrain, scénarios, jeux de rôle, jeux, simulations, etc.) qui sont analogues à ceux qui ont bien réussi pendant le cours. Les responsables des organisations de prestation de services devraient mettre en place des changements au niveau des procédures et systèmes qui faciliteront le travail du personnel, parexemple, une répartition réaliste des tâches, une supervision plus régulière ou plus constructive, un système de logistique plus efficace ou des interventions communautaires plus solides.
Revoir un cours de formationLorsque le processus EIF demande que des changements soient portés à la formation, il est utile d'envisager les aspects suivants :
Les résultats de l'EIF servent d'évaluation de base pour un cours revu et apportent le point de vue du terrain qui aide les formateurs à adapter le cours aux responsabilités quotidiennes des stagiaires. Se mettre d'accord sur un cours de formation nouveau ou revuChaque activité de formation s'inspire des attentes d'au moins trois parties - celles qui fournissent la formation, celles qui envoient leur personnel en formation et les stagiaires eux-mêmes. Chaque partie peut avoir une idée claire de ce qu'elle attend de la formation mais lorsque ces attentes divergent, les différences sont rarement articulées et toutes les parties peuvent terminer par être déçues par les résultats de la formation. C'est la raison pour laquelle, avant d'organiser une formation supplémentaire, il est tellement important que toutes les parties discutent de leurs attentes et se mettent d'accord sur ce qui sera imparti pendant la formation. Cette négociation, même si elle est souvent ignorée, est très importante.
Changer les procédures ou systèmes organisationnelsSi l'EIF montre que, dans l'ensemble, les stagiaires ont acquis les nouvelles connaissances, attitudes et compétences mais qu'ils ne sont pas en mesure de les appliquer sur les lieux du travail, l'organisation qui les emploie devra peut-être examiner de plus près les politiques ou procédures organisationnelles. De nouvelles compétences peuvent être perdues rapidement lorsque les stagiaires ne sont pas soutenus dans l'exécution des tâches de la manière dont ils ont été formés. Il n'est pas aisé de changer les procédures organisationnelles. Les procédures sont souvent déterminées par des autorités à un niveau plus élevé et semblent avoir un caractère final.L'argument le plus convaincant pour le changement est une preuve claire et bien expliquée montrant que, même si le personnel dispose des compétences nécessaires pour faire son travail, les procédures organisationnelles le freine et l'empêche d'atteindre les buts organisationnels. Les responsables qui ont participé au processus d'EIF ont un rôle de soutien très important face au personnel et doivent collaborer à la formulation et à la révision des politiques et procédures avec les superviseurs, afin que l'organisation puisse continuer à améliorer sa capacité et à fournir des services de haute qualité à ses clients.
Les résultatsDans l'ensemble, les résultats de l'EIF étaient très positifs. Les données de l'EIF ont montré que les prestataires étaient plus réceptifs aux contraceptifs oraux, aux injectables et aux DIU après le cours de formation et que cela avait même entraîné une augmentation dans l'utilisation de ces méthodes. Les médecins étaient particulièrement contents de noter que la formation leur avait, pour la première fois, permis d'entendre des informations données simultanément sur toutes les méthodes de planification familiale, ce qui les a aidé à comprendre les avantages de chaque méthode. Les résultats de l'évaluation sur le counseling ont indiqué que les attitudes des médecins étaient devenues plus respectueuses du choix des méthodes par le client et l'on pensait que les avortements avaient diminué dans certains sites. L'EIF a également montré des domaines devant être améliorés. La formation portant sur la prévention des infections avait eu peu d'impact car les stagiaires ne considéraient pas l'information nouvelle. Ensuite, cette séance a été revue et une information a été ajoutée sur les normes locales pour la prévention des infections. Les stagiaires pensaient également qu'il fallait insister davantage sur le counseling concernant les risques des MST. Depuis, davantage d'informations sur les MST ont été intégrées à toutes les activités de formation.
Continuer le processus EIFA la fin du processus, vous aurez appris beaucoup de choses sur les stagiaires, le travail qu'ils font, les organisations qui les emploient et l'efficacité de la formation. Par conséquent, l'organisation de formation effectuera probablement des améliorations significatives au cours en train d'être revu, notamment une révision du processus de sélection des stagiaires ; la clarification des attentes de l'organisation dont le personnel sera formé ; la mise à jour, l'adaptation ou la révision du programme de formation ; l'adjonction d'exercices d'application ou l'inclusion des superviseurs des stagiaires à la planification du cours. Lorsque le cours revu est achevé, les responsables deviennent à nouveau des évaluateurs et peuvent décider de :
En faisant le suivi d'une EIF, vous serez en mesure de démontrer la rentabilité d'une EIF puisque celle-ci améliore la capacité du personnel à effectuer efficacement son travail. Ainsi, une formation plus pertinente, plus efficace et mieux planifiée peut contribuer de manière considérable à l’attente du but final, à savoir la prestation de services de planification familiale de haute qualité pour tout le monde.
Liste aide-mémoire : L'évaluation de l'impact de la formationSe préparer à la collecte de données Quelles sont les tâches les plus importantes pour une performance efficace des stagiaires sur les lieux du travail ? Lesquelles de ces tâches demandent des compétences qui ont été enseignées pendant le cours de formation que vous avez décidé d'évaluer ? Quels sont les instruments et les méthodes d'évaluation qui montreront le mieux si les indicateurs d'une performance acceptable sont présents et si les normes sont atteintes ? Chaque instrument est-il valide et fiable ? Qu'est-ce que les évaluateurs ont besoin de savoir pour administrer de manière compétente les instruments ? A combien de stagiaires peut-on et devrait-on rendre visite pour avoir une image exacte vu le temps, l'argent et le personnel disponibles ? Collecter et analyser les données Est-ce que les arrangements logistiques laissent assez de temps pour le déplacement et pour faire l'évaluation et vérifier que les personnes appropriées, le matériel, les fournitures et les dossiers seront disponibles ? Le caractère privé est-il respecté lorsque les répondants sont interviewés, testés ou observés ? Quel est le pourcentage de la performance des stagiaires qui répondent ou qui ne répondent pas aux normes pour chaque indicateur ? Quels sont les facteurs liés à une performance acceptable, inacceptable et excellente ? Interpréter, notifier et procéder aux changements Dans quelle mesure ces résultats se rapportent-ils à la formation, aux procédures organisationnelles ou aux facteurs environnementaux ? Quels sont les aspects de la formation, des procédures organisationnelles et du soutien communautaire qu'il faudrait changer, lesquels faudrait-il maintenir et pourquoi ? Pour quel public le rapport EIF est-il destiné et comment l'information peut-elle être le mieuxprésentée ? Qui devrait appliquer les recommandations EIF et de qui faudra-t-il obtenir le soutien ?
| ||||||||||||||||||||||
Pour plus d'information en anglais, visitez:
|
Ressources en français: La Boîte à Outils du Manager de Santé | Salon de Lecture Questions? Remarques? Besoin d'aide? Contactez-nous à erc@msh.org |
|||||||||||||||||||||
