Introducción
Examine este tema en mayor profundidad mediante un caso de estudio
La Señora Rodríguez Realiza una Evaluación Interna para Medir el Desempeño del Programa
Al haberse evidenciado un interés cada vez mayor en el logro de un impacto programá
tico, los administradores deben prestar má
s atención al constatar si sus programas y los servicios que prestan a través de sus programas está
n cubriendo las necesidades de sus clientes, y si estos está
n siendo provistos eficiente y efectivamente y está
n contribuyendo al logro de los objetivos tanto de la organización como del programa en sí.
La presente edición de Actualidad Gerencial en Planificación Familiar elabora sobre la importancia de llevar a cabo en forma constante y regular una evaluación interna del programa y proporciona a los administradores consejos prá
cticos en cuanto a la manera de planificar e incorporar la evaluación a sus programas. La edición subraya la importancia de recopilar y analizar regularmente datos referente al programa de modo que los administradores tengan a su disposición toda la información necesaria para tomar decisiones administrativas críticas. Finalmente, proporciona ejemplos sobre la forma en la que los administradores pueden utilizar la información obtenida para efectuar los cambios programá
ticos necesarios y mejorar la efectividad de sus programas y servicios.
Los Editores
Volver al principio de página
Comprender el Rol de la Evaluación para una Buena Gestión Gerencial
Las organizaciones bien administradas y los programas efectivos son aquellos que pueden demostrar que han logrado resultados. Los resultados provienen de una buena gestión gerencial. Una buena gestión gerencial se basa en la toma de decisiones adecuadas. Este proceso de toma de decisiones depende de una buena información. La buena información requiere que se recopilen buenos datos y que éstos sean analizados cuidadosamente. Todos estos constituyen elementos críticos dentro del proceso de evaluación.
La evaluación es un proceso periódico de recopilación y aná
lisis de datos o el ordenamiento de los mismos de manera que la información resultante pueda ser utilizada para determinar si su organización o programa está
llevando a cabo en forma efectiva las actividades programadas, y la medida en la que se está
n logrando los objetivos y resultados anticipados.
Los administradores pueden y deberían efectuar evaluaciones internas para obtener información acerca de sus programas con el objeto de estar en condiciones de tomar decisiones adecuadas con respecto a la implementación de sus programas. Las evaluaciones internas deberían realizarse en forma constante y los administradores deberían aplicarlas concienzudamente en todos los niveles de una organización y en todas las á
reas del programa. Adicionalmente, todos los participantes del programa (administradores, personal y beneficiarios) deberían tomar parte en el proceso de evaluación en una forma apropiada a la función de cada uno. Esto ayuda a asegurar que la evaluación sea plenamente participativa y logre un mayor compromiso y dedicación de parte de todos los participantes en lo que se refiere al uso de los resultados para lograr mejoras críticas a nivel del programa.
A pesar de que la mayor parte de las evaluaciones se llevan a cabo a nivel interno y son realizadas por los administradores y el personal del programa, todavía es necesario que individuos ajenos al programa u organización realicen periódicamente evaluaciones externas. Muy a menudo se requieren estas evaluaciones externas con el objeto de obtener certificación o financiamiento o con el fin de responder a ciertas preguntas acerca del impacto del programa en el largo plazo, debiendo tomar en cuenta los cambios en los indicadores demográ
ficos tales como las tasas de fertilidad y mortalidad. Adicionalmente, en forma ocasional un administrador podría solicitar una evaluación externa con el objeto de evaluar los problemas de tipo programá
tico u operativo que hubieran sido identificados, pero que no pueden ser diagnosticados o resueltos íntegramente en base a los hallazgos de la evaluación interna.
La presente edición de Actualidad Gerencial en Planificación Familiar trata sobre la manera en la que una evaluación interna del programa, realizada en forma regular, puede contribuir mucho al mejoramiento de la capacidad gerencial y la efectividad de su organización y sus programas. Presenta las diferencias entre el monitoreo y la evaluación, en qué forma la evaluación es parte integrante de un proceso de planificación e implementación regular del programa así como la clase de información que necesitan los administradores en los diferentes niveles de la organización. Explica las ventajas y desventajas de las evaluaciones internas y externas, qué es lo que se requiere para planificar y llevar a cabo las evaluaciones y, finalmente, proporciona ejemplos sobre la forma en la que los administradores y el personal han utilizado los resultados de las evaluaciones para mejorar la efectividad de sus programas.
La presente edición de Actualidad Gerencial en Planificación Familiar fue escrita por Sallie Craig Huber, Directora Técnica del proyecto Family Planning Management Development (FPMD). A lo largo de los ú
ltimos 25 años ella ha trabajado en el Asia, Africa y América Latina con programas y organizaciones nacionales y locales con el objeto de realizar evaluaciones internas y externas y les ha prestado asistencia para aplicar los resultados en beneficio de sus programas y clientes.
Volver al principio de página
¿Dónde Obtienen los Administradores Buena Información Programá
tica?
¡A través de la Evaluación!
La evaluación es una de las herramientas má
s importantes a disposición de los administradores. El proceso de evaluación ayuda a los administradores a tomar decisiones críticas acerca de la forma de mejorar la implementación de sus programas y/o la administración de su organización. La evaluación ayuda a los administradores a:
- Determinar si está
n logrando los resultados anticipados y qué modificaciones deberían efectuarse para mejorar la eficiencia y/o la efectividad de las actividades de su programa
- Determinar si las estrategias actuales del programa son apropiadas y efectivas
- Determinar qué tipo de personal se necesita
- Decidir a qué cargos se debería asignar al personal
- Supervisar y guiar al personal en la realización de su trabajo
- Efectuar un seguimiento de los insumos (dinero, recursos humanos, tiempo) y los resultados (productos, servicios, gente capacitada, clientes)
- Determinar dónde ubicar los servicios
- Decidir cuá
ndo es necesario adquirir equipo nuevo y qué tipo(s) de equipo se debe comprar
- Verificar si los clientes tienen otras necesidades que no está
n siendo cubiertas o si existen clientes potenciales que no han sido alcanzados por el programa.
Como administrador, usted es responsable de tomar este tipo de decisiones. La evaluación, cuando se emplea regularmente, constituye una herramienta gerencial poderosa que le puede reportar buena información para ayudarle a tomar las decisiones correctas en cuanto a la mejor forma de administrar su programa de modo que pueda continuar prestando servicios de calidad y cubrir las necesidades de sus clientes. A través del proceso de recopilación, aná
lisis e interpretación de datos que usted ha llevado a cabo, la información que usted obtiene de una evaluación le permite escoger entre varias opciones y cursos de acción alternativos así como comprender y considerar las consecuencias de cada una de las acciones propuestas. Por ejemplo, al evaluar su programa o parte del mismo usted debería ser capaz de reconocer qué cambios deberían realizarse y cómo se está
administrando el programa, qué nuevos servicios o actividades deberían llevarse a cabo para mejorar la calidad del programa o de los servicios, o si se debería implementar una nueva campaña de mercadeo o de recaudación de fondos.
Volver al principio de página
El Monitoreo y la Evaluación—¿Cuá
l es la Diferencia?
Los términos "monitoreo" y "evaluación" a menudo se emplean indistintamente, sin embargo existen diferencias importantes entre ellos. El monitoreo generalmente se refiere al proceso de verificar regularmente la situación de un programa a través de la comparación de la implementación de las actividades con el plan de trabajo, incluyendo si las actividades está
n siendo realizadas de acuerdo al programa, si se está
n llevando a cabo dentro del marco de tiempo especificado, si se está
n gastando los fondos presupuestados de acuerdo al plan, si se necesita de cualquier cambio en el manejo o implementación de las actividades y si debería modificarse el plan de trabajo.
Por otra parte, la evaluación tiene como meta medir el progreso logrado en lo que se refiere a la consecución de los objetivos del programa y al impacto del mismo (si los cambios anticipados de largo plazo han tenido lugar). Este proceso incluye la medición del alcance de los cambios que han sido implementados y la medida en que éstos pueden atribuirse a las actividades de su programa. A pesar de que existen diferencias entre el monitoreo y la evaluación, los dos procesos funcionan juntos para lograr un mismo fin que es producir información que puede ser utilizada para mejorar la administración de un programa y lograr los objetivos programados en el corto plazo así como los resultados de largo plazo.
Volver al principio de página
Vincular la Evaluación con el Ciclo de Planificación e Implementación del Programa
Los pasos que sigue una organización o programa para implementar sus actividades pueden ser presentados como un ciclo continuo de acciones administrativas que van desde la evaluación de las necesidades, a la planificación e implementación de actividades y la medición de los resultados finales del programa, los cuales son retroalimentados a la etapa de planificación con el objeto de volver a empezar el ciclo.
Ya sea que la evaluación sea llevada a cabo internamente por el personal del programa o por un consultor externo, hay tres elementos principales en cualquier evaluación:
- la planificación de la evaluación
- la conducción de la evaluación
- la utilización de los resultados.
Como se muestra en el diagrama a continuación, estos elementos de evaluación está
n directamente vinculados a los pasos que debe seguir para llevar a cabo la planificación e implementación de su programa o proyecto.
Volver al principio de página
La Evaluación como Parte del Ciclo de Planificación e Implementación del Programa
[INSERT PROGRAM CYCLE HERE]
Evaluación de las Necesidades del Programa
Revisiones Identificación
Determinación del Progreso Logrado . Conducción de la Objetivos (e Indicadores)
Implementación de Actividades Plan de Trabajo
|
Volver al principio de página
La evaluación es parte de y se relaciona con cada etapa del ciclo, y como se hizo notar anteriormente, todos los participantes del programa—administradores, personal y la población objetivo (beneficiarios)—deberían participar a lo largo de todo el proceso. De esta manera, los participantes involucrados en diferentes aspectos del programa comprenderá
n la necesidad que existe de implementar cualquier cambio necesario indicado por la evaluación y estará
n motivados para trabajar juntos con el objeto de lograr los resultados deseados.
Cómo . . . Incorporar la Evaluación al Ciclo de Planificación e Implementación del Programa
Al ver má
s de cerca los elementos de la evaluación y los pasos secundarios, usted podrá
darse cuenta de cuá
n importante es pensar acerca de la forma en la que evaluará
su programa al mismo tiempo que desarrolla los objetivos y el plan de trabajo del mismo. La siguiente tabla desglosa los pasos del proceso de evaluación y muestra en qué forma estos se relacionan directamente con los pasos del ciclo de planificación e implementación de su programa..
|
Volver al principio de página
|
Proceso de Evaluación
|
Vínculo con el Proceso de Planificación e Implementación del Programa
|
|
Planificación de la Evaluación
|
Evaluación de las Necesidades del Programa, Identificación de Problemas, Formulación de Objetivos, Preparación del Plan de Trabajo
|
|
Identifique los objetivos de la evaluación. ¿Que desea evaluar?¿Por qué desea evaluar eso? ¿Quién necesita qué clase de información? ¿Cómo utilizará
n la información y cómo aplicará
n los resultados con el objeto de mejorar el programa?
|
Para planificar y llevar a cabo una evaluación, necesitará
saber cuá
l es el propósito principal del programa. ¿Cuá
les son los problemas primordiales que el programa o proyecto intenta resolver?
A medida que desarrolla sus planes de trabajo estratégicos y operativos para el programa, formulará
tanto las metas de largo plazo como los objetivos específicos de corto plazo. Estos metas y objetivos deberían ser también utilizados como criterios e indicadores para la evaluación de su programa, inicialmente en las evaluaciones internas con el objeto de determinar si está
logrando sus objetivos de corto plazo, y luego en evaluaciones posteriores (ya sea internas o externas) para ver si está
logrando avanzar con miras a la consecución de sus metas de largo plazo.
Por ejemplo, si uno de los objetivos de su programa es prestar servicios a un total de 15.000 usuarios nuevos para el final del tercer año de operación (2.500 en el Año 1, 4.500 en el Año 2, y 8.000 en el Año 3) y otro objetivo es proporcionar a estos usuarios má
s métodos confiables (tales como las píldoras, inyectables y DIUs), entonces algunos de sus criterios de evaluación al final del Año 1 podría ser: el nú
mero real de nuevos usuarios atendidos hasta el final del Año 1, y un desglose de los tipos de anticonceptivos empleados por dicho grupo.
Con esta información usted puede determinar hasta qué punto está
logrando sus objetivos y decidir si necesita efectuar alguna revisión del programa a fin de poder mejorar su habilidad para conseguir sus metas a largo plazo hacia el final del Año 2 y del Año 3.
Adicionalmente, como parte del desarrollo de su plan de trabajo, usted deberá
decidir cuá
ndo se llevará
n a cabo las evaluaciones y elaborar los presupuestos y cronogramas para llevarlas a cabo en conjunción con otras actividades del programa.
|
|
Decida cuá
l será
el alcance de la evaluación. ¿Está
midiendo el logro de los objetivos de corto o de largo plazo del programa? ¿La evaluación la llevará
a cabo un miembro del personal o un consultor externo? ¿Cómo logrará
que otros integrantes de la organización participen en la evaluación? ¿Cuá
nto tiempo y dinero estaría dispuesto a gastar en la evaluación?
|
|
Seleccione los indicadores y está
ndares para la evaluación. ¿Son consistentes con los objetivos de la evaluación y con los de su programa?
|
|
Identifique las fuentes de datos y planifique y decida cómo recopilará
la información. ¿Qué metodologías empleará
en la evaluación? ¿Son estas metodologías apropiadas para el tipo de información que usted desea recopilar (y apropiadas para ser empleadas con sus clientes y/o el personal si usted está
recopilando información de ellos)?
|
|
Realización de la Evaluación
|
Implementación de Actividades y Determinación del Progreso Logrado
|
|
Recopile información. ¿Quién participará
directamente en el proceso de recopilación de información? ¿Cómo mantendrá
usted informados a otros individuos interesados sobre el progreso logrado?
|
Para realizar una evaluación, es necesario que las actividades de su programa hayan sido implementadas por lo menos durante varios meses. Las actividades del programa incluyen la prestación de los servicios programados, el monitoreo constante y regular de la implementación de las actividades, la supervisión del personal y la continuidad de los procedimientos rutinarios de rendición de informes. Cualquier evaluación que se lleve a cabo se basará
en el uso de información proveniente de las estadísticas de servicio así como en base a las conversaciones con los clientes, el personal y los supervisores.
|
|
Organice y analice la información. ¿Cómo analizará
la información—en tablas, grá
ficas, o en resú
menes narrativos?
|
|
Utilización de los Resultados
|
Revisiones y Evaluación de las Necesidades del Programa
|
|
Formule recomendaciones y preséntelas en conjunción con los hallazgos. ¿Cómo presentará
usted los resultados de la evaluación (por ejemplo, tablas, grá
ficas) y quién participará
en la preparación de la(s) exposición(es)? ¿Cuá
l es la mejor manera de efectuar recomendaciones para lograr cambios?
|
Sería difícil saber cómo efectuar revisiones de un programa e identificar nuevas necesidades o cambios que deberían llevarse a cabo en dicho programa sin antes haber realizado una evaluación. El proceso de evaluación se encuentra estrechamente vinculado al ciclo de planificación e implementación del programa.
Ya sea que usted desee identificar cómo puede lograr sus objetivos y causar un mayor impacto, qué es lo que podría estar haciendo de otra forma, o qué nuevas necesidades podrían haberse presentado a nivel de la población objetivo desde que se inició su programa, la evaluación le ayudará
determinar qué es lo que usted y su personal necesitan hacer para permitirle discutir y formular acciones que puedan ser incorporadas al próximo plan de trabajo.
|
|
Aliente al personal a implementar las recomendaciones y a efectuar mejoras programá
ticas. ¿Cómo trabajará
usted con el personal de todos los niveles para implementar las recomendaciones?
|
Para mayor información acerca de los pasos necesarios para realizar una evaluación interna de una parte específica de un programa—la función de capacitación—favor hacer referencia al Volumen V, Nú
mero 3 de Actualidad Gerencial en Planificación Familiar, "Evaluar el Impacto de la Capacitación en el Desempeño del Personal," otoño de 1996.
Planificación de la Evaluación
A pesar de que las presiones para obtener información pueden provenir de muchas fuentes—el Ministerio de Salud o Población, la oficina central de la organización, el gobierno local, lasorganizaciones patrocinadoras, los donantes, los entes reguladores o responsables del otorgamiento de certificaciones, o los clientes—es importante recordar que la razón primordial para evaluar su programa debería ser el mejoramiento del mismo. Es así que los resultados de la evaluación deberían centrarse má
s en las soluciones o acciones necesarias para revisar y mejorar los programa y no solamente en responder o solucionar los problemas identificados. Es responsabilidad suya, en su capacidad de administrador, lograr que los resultados de la evaluación sean bien utilizados. Como se explica en la siguiente tabla, la evaluación puede centrarse en varios aspectos diferentes de un programa dependiendo de cuá
l(es) sea(n) la(s) razón(es) primordiales para realizar dicha evaluación.
Volver al principio de página
Tipos de Preguntas
Dependiendo del Enfoque de la Evaluación
|
|
Relevancia
|
¿Son los servicios y estrategias del programa apropiados para las necesidades que deberían cubrir?
|
|
Idoneidad
|
¿Está
cubriendo el programa todas las necesidades que debería cubrir?
|
|
Progreso
|
¿Esta llevando a cabo el programa todo lo programado dentro del marco de tiempo estipulado y con sujeción al presupuesto?
|
|
Efectividad
|
¿Está
logrando el programa sus objetivos intermedios y cubriendo las necesidades de sus clientes?
|
|
Impacto
|
¿Ha producido el programa los resultados de largo plazo que se esperaban?
|
|
Eficiencia
|
¿Son los resultados del programa (productos) apropiados al uso de sus recursos ( insumos)?
|
|
Sustentabilidad
|
¿Está
el programa/la organización prestando servicios de alta calidad a sus clientes, aumentando o manteniendo la demanda de servicios y generando ingresos a nivel local, al mismo tiempo que disminuye su dependencia en los fondos de los donantes externos?
|
Adaptado de Bruckner et al.
Los administradores a diferentes niveles de un programa u organización necesitan diferentes tipos de información para tomar decisiones que atañen a sus responsabilidades específicas. Estas decisiones se relacionan con las diversas etapas del ciclo de planificación e implementación. Los tipos de decisiones tomadas por los administradores y la forma en la que dichas decisiones encajan dentro del proceso de planificación e implementación se ilustran en la siguiente figura y se explican con mayor detalle a continuación.
Volver al principio de página
Quién Toma Qué Decisiones
Insert Triangle Figure Here
¿QUE SE DEBE HACER? Administradores de
(Misión, Visión, Estrategia) Planificar Nivel Superior
Programas
Administradores
Retroalimentación de Nivel Medio
¿COMO SE HARA?
(Dinero, Materiales Control Dirigir y Supervisar
Recursos Humanos) Actividades
Administradores
PROPORCIONAR de Base
Producto o Servicio Retroalimentación Implementar Actividades
Las evaluaciones internas deben porporcionar la información que necesitan a los administradores en cada nivel.
|
Adaptado de Love 1991 ( con permiso de Sage Publications, Inc.)
Los administradores de nivel superior necesitan información que les ayude a responder a las preguntas concernientes al enfoque y a las estrategias utilizadas en todo el programa. Ellos necesitan recopilar y analizar los datos referente a cómo el programa u organización se está
n desenvolviendo en lo que respecta a su misión (o mandato legal) y su visión. También necesitan tener a su disposición información acerca de lo que está
pasando en el medio dentro del cual operan (tal como el gobierno nacional o local o el medio social, religioso y económico) con el fin de determinar el impacto potencial que el medio externo podría tener en el cumplimiento de la misión de la organización.
Volver al principio de página
|
Por ejemplo, después de enterarse que la mayoría de los clientes contactados a través de su programa de distribución comunitaria seguían utilizando primordialmente las píldoras y los condones y muy pocos habían cambiado a métodos clínicos de mayor duración (como los inyectables, los DIUs, el NORPLANT®, o la esterilización), los administradores de nivel superior se mostraron preocupados ya que no habían logrado ningú
n progreso en lo que se refería a la consecución de algunas de sus metas de largo plazo que incluían un mayor uso de métodos de larga duración. A este nivel, los administradores estaban preocupados por los costos de las diferentes estrategias de prestación de servicio que su programa estaba implementando en comparación con la efectividad de estas estrategias para lograr las metas del programa. Debido al hecho de que el programa de distribución comunitaria era solamente uno de los programas comunitarios (en algunas á
reas contaban con clínicas móviles que también suministraban anticonceptivos inyectables), los administradores de nivel superior decidieron revisar con mayor cuidado los beneficios potenciales de un aumento del á
rea de servicio de las clínicas móviles y una reducción del á
rea de los servicios de distribución comunitaria.
|
Los administradores de nivel medio necesitan información que los ayude a determinar la medida en la que su unidad, programa, o departamento está
contribuyendo a la consecución de los metas y objetivos má
s importantes que la organización se ha fijado, así como los de su propia unidad o departamento. Los administradores de nivel medio deben también comprender y tener a su disposición información acerca de las tendencias dentro del contexto de la organización, tal comola misión de la organización y los objetivos y metas de la organización a corto y largo plazo. Al contar con esta información podrá
n asegurarse de que su trabajo y el del personal a su cargo será
n consistentes con las metas y la dirección de la organización.
|
Por ejemplo, en el programa descrito anteriormente, los administradores de nivel medio se mostraron preocupados acerca de si sus agentes comunitarios estaban lo suficientemente capacitados para asesorar efectivamente a los clientes en lo que se refería a los métodos de mayor duración e intentaron referir a las clínicas distritales a los clientes que mostraron algú
n interés. También se mostraron preocupados acerca de si las clínicas de referencia contaban con el personal adecuado y tenían enfermeras que podían proporcionar los métodos clínicos apropiados si la demanda comenzaba a aumentar como se anticipaba.
|
Los administradores de base necesitan información confiable que los ayude a implementar y supervisar las actividades y tareas específicas del personal bajo su supervisión directa. Al contar con esta información ellos pueden asegurarse de que las responsabilidades, tareas y objetivos de la unidad de base se está
n logrando. Para poder desempeñar su trabajo en forma efectiva, los administradores de base también necesitan información con respecto a la orientación futura del programa o departamento, tales como nuevos servicios que será
n provistos por su unidad, o nuevos requisitos de rendición de informes.
|
Por ejemplo, en el programa previamente descrito la distribución comunitaria y las clínicas móviles está
n administradas por personal de las clínicas distritales, que también es responsable de la administración de los suministros de anticonceptivos. Si los administradores de alta jerarquía y los de nivel medio cambian el enfoque de los servicios de distribución comunitaria e incrementan el nú
mero de clínicas móviles y amplían el á
rea cubierta por las clínicas móviles, esto significará
que las responsabilidades de los administradores de la primera línea cambiará
n. Ellos necesitará
n encontrar nuevo personal con entrenamiento clínico para las clínicas móviles, mantener en existencias diferentes cantidades de suministros anticonceptivos para responder a un cambio potencial en la demanda y asegurarse de que será
n capaces de manejar un mayor flujo de clientes referidos a la clínica.
|
Volver al principio de página
Realización de la Evaluación
Una vez que se haya determinado el propósito de la evaluación, seleccionado los indicadores y está
ndares y hecho planes para la recopilación de datos, estará
listo para llevar a cabo la evaluación recopilando y analizando los datos.
Recopilación de Datos. Los datos que usted recopile pueden ser cuantitativos o cualitativos. Estos dos términos se emplean para hacer referencia a diferentes enfoques para la recopilación de datos. Al emplear un enfoque cuantitativo esto significa que usted estará
recopilando y utilizando datos bajo la forma de nú
meros y estará
convirtiendo estos datos en porcentajes, medias, medianas y otras figuras para ayudarlo a realizar el aná
lisis de los mismos y encontrar un significado a los nú
meros. Los enfoques cualitativos (como la realización de entrevistas focales a los clientes) proporcionan una mayor profundidad y detalle y sirven para enriquecer y explicar los hallazgos cuantitativos. Al planificar para una evaluación, es importante recordar que ambos enfoques son valiosos y, si los recursos lo permiten, es mejor emplear ambos enfoques y varias fuentes de información. Emplear ambos enfoques le ayudará
a confirmar y respaldar sus hallazgos.
Podría emplear una diversidad de métodos de recopilación de datos en cualquier evaluación. Porejemplo, cuando usted realiza una evaluación de las necesidades podría emplear varios métodos de recopilación de datos. Podría comenzar dicha evaluación tomando en cuenta los datos cuantitativos disponibles de los censos, encuestas nacionales (como una encuesta demográ
fica y de salud [EDS]), y datos sobre los clientes/la clínica para determinar la situación general de un aspecto en particular como los niveles de fertilidad o el uso de servicios de planificación familiar. Los hallazgos a partir de estos datos cuantitativos podrían llevarlo a la elaboración de un estudio má
s detallado de la situación utilizando metodologías cualitativas como la observación clínica, encuestas de los clientes o grupos focales utilizando preguntas abiertas, con el objeto de determinar con mayor precisión cómo diseñar un programa en particular. Sin importar qué métodos se usan para recopilar información, la utilidad que éstos tienen para usted, el administrador, depende de que los datos sean vá
lidos (deben medir lo que usted desea medir), confiables (deben ser consistentes a través del tiempo) y oportunos (deben estar disponibles cuando se los necesite).
La siguiente tabla proporciona un resumen de las diferentes herramientas y métodos para recopilar datos cuantitativos y cualitativos y las características de los dos ú
ltimos enfoques.
|
Métodos y Características de la Recopilación de Datos Cuantitativos y Cualitativos
|
|
Cuantitativos
|
Cualitativos
|
|
Métodos/Herramientas para la Recopilación de Datos
|
|
Entrevistas (estructuradas)
|
Entrevistas má
s a fondo (abiertas)
|
|
Cuestionarios auto-administrados (estructurados)
|
Cuestionarios auto-administrados (abiertos)
|
|
Datos del cliente/clínica
|
Discusiones, grupos focales
|
|
Datos sobre los bienes de consumo
|
Escalas, clasificación-ordenamiento
|
|
Datos financieros
|
Observación
|
|
Resultados pre-/post prueba
|
Diarios
|
|
Características
|
|
Los resultados/hallazgos son generalmente susceptibles de generalización para la población en su integridad, si ha utilizado una muestra representativa
|
No se pueden generalizar los resultados
|
|
Con una orientación referida a los resultados e impactos
|
Con una orientación referida a los procesos
|
|
Describe lo que pasó
|
Explica por qué y cómo ocurrieron las cosas
|
|
Cuenta, enumera (incluye nú
meros)
|
Mide los atributos intangibles (actitudes, percepciones, preocupaciones, experiencias)
|
|
Mide el logro de los objetivos
|
Enriquece, añade profundidad y detalle
|
|
Con una orientación referida a las conclusiones
|
Con una orientación referida a la exploración
|
|
Requiere de un razonamiento deductivo
|
Requiere de un razonamiento inductivo
|
Volver al principio de página
Aná
lisis de los Datos. Analizar los datos que usted ha recopilado es a menudo uno de los aspectos má
s difíciles de la evaluación y requiere de una cuidadosa planificación. Al analizar los datos, usted necesita desarrollar habilidades para encontrar ciertos patrones en los datos y tener la habilidad de aislar la información y los hechos críticos de otra información que no es tan importante. Como se puede ver en la tabla anterior, la manera en la que se analizan los datos depende mucho de la formaen que dichos datos fueron recopilados. En algunas evaluaciones, su mayor interés podría consistir en medir el progreso logrado en el corto plazo al comparar los nú
meros y la información de los diferentes centros de servicios de su programa u organización. En otras evaluaciones, es posible que usted desee medir el éxito de su programa mediante una comparación de los logros de su programa en contraposición con una línea de base establecida por el mismo.
|
La Diferencia entre Datos e Información
Los datos son nú
meros sin procesar u otros hallazgos que, por sí mismos, tienen un valor limitado para los individuos encargados de tomar decisiones. Por otra parte, la información está
dada por los resultados de la organización, procesamiento e interpretación de los datos, de modo que al transformar los hallazgos en hechos son ú
tiles para los responsables de tomar decisiones. Por ejemplo, el nú
mero de usuarios nuevos a los que su clínica presta servicios durante un mes significa muy poco hasta que usted los compara con el nú
mero de usuarios nuevos durante los meses y años anteriores a fin de ver si ha habido un aumento o una reducción en la tendencia a través del tiempo.
Los datos se transforman en información mediante la:
Selección—escoger los datos que son ú
tiles y adecuados para responder a las preguntas que fueron formuladas e ignorar los datos que son inú
tiles o inadecuados para dicho propósito.
Interpretación—analizar los datos para ponerlos dentro de un contexto, descubrir los patrones o á
reas problemá
ticas y reflejarlos en el significado de dichos patrones en relación con las preguntas que se está
n formulando.
El objetivo general de la conversión de datos en información es describir, explicar, predecir, y/o evaluar un programa y sus resultados.
|
Adaptado de una presentación efectuada por Gabriel Ojeda, PROFAMILIA, Colombia
Utilización de la Información Proveniente de la Evaluación
Todo el tiempo y la energía que se invierten en la evaluación serían inú
tiles si los resultados no se usan para planificar, apoyar, cambiar, corregir y/o mejorar su programa. Por consiguiente, para beneficiarse de una evaluación usted debe formular las siguientes preguntas referentes a la manera en que se utilizará
la información.
·¿Qué lecciones se aprendieron de la evaluación?
·¿Qué se debería hacer en forma diferente a raíz de los hallazgos de la evaluación?
Los siguientes ejemplos describen las formas en las que los diferentes tipos de hallazgos de una evaluación pueden utilizarse e ilustran la importancia de la realización de evaluaciones internas del programa.
Para ayudarnos a elaborar mejores planes para el futuro. En el proceso de preparación de nuestro plan de trabajo para el próximo año, el personal de la clínica y yo decidimos recopilar información los unos de los otros, así como de nuestros clientes con el objeto de determinar hasta qué punto nuestro servicios habían estado cubriendo las necesidades de nuestros clientes y para tomar nota de las preocupaciones del personal al prestar dichos servicios. Nuestra intención era utilizar esa información con el fin de determinar cualquier cambio o nueva orientación que el programa debería adoptar en el curso del próximo año.
Inicialmente, celebramos una reunión con el personal para identificar y discutir los puntos fuertes y las debilidades de nuestra forma actual de hacer las cosas e identificar las oportunidades y amenazas externas que podrían tener un impacto en lo que se refiere al éxito de nuestro programa. Luego, invitamos a varios grupos de clientes para que participaran en discusiones de grupos focalescon el fin de solicitar sus opiniones acerca de los servicios actuales e identificar los cambios que desearían ver en el futuro, como ser cambios en los horarios de atención de la clínica o un sistema para fijar citas.
Al llevar a cabo esta clase de evaluación participativa de nuestro programa, pudimos beneficiarnos mucho de las contribuciones tanto de los proveedores de servicios como de los beneficiarios de dichos servicios. De esta manera estuvimos mejor preparados para formular un nuevo plan que cubrirá
mejor las necesidades de nuestros clientes y resolverá
las preocupaciones del personal en lo que se refiere a la forma en que podemos mejorar nuestros procedimientos clínicos y operativos internos.
Para ver si nuestro trabajo está
costando demasiado y logrando muy poco. Uno de los objetivos de nuestro proyecto es prestar servicios a 100 clientes por mes. Otro de nuestros objetivos es mantener un costo de $10.00 por cada cliente atendido. Al finalizar un período reciente de seis meses, una revisión de las estadísticas de servicio y los registros financieros indicaron que se atendía un promedio de solamente 88 clientes por mes. El costo promedio de la provisión de dichos servicios ascendía a $1.250.00 por mes, o $14.20 por cliente. Debido al hecho de que carecemos de acceso a recursos financieros adicionales, decidimos ver má
s de cerca los tipos de cambios que podríamos hacer para aumentar el nú
mero de clientes atendidos cada mes y/o reducir los gastos de modo que pudiéramos lograr nuestros objetivos de prestar atención a por lo menos 100 clientes por mes a un costo promedio de $10.00 por cliente. Inicialmente decidimos proporcionar má
s información a la comunidad acerca de nuestros servicios y ver má
s de cerca la manera en la que podríamos mejorar nuestros servicios de modo que los clientes (particularmente los clientes que regresan al centro para reabastecerse de píldoras y condones) se beneficiaran de una atención de igual calidad sin que fuera necesario que vean a tanta gente.
Para poder compartir nuestras experiencias de modo que otros programas puedan beneficiarse de ellas. Comenzamos un proyecto piloto en el que un grupo de voluntarios del poblado fueron reclutados y capacitados para asistir a los extensionistas de nuestra clínica a proveer servicios en á
reas específicas de la comunidad donde las necesidades no estuvieran cubiertas. Después de seismeses, revisamos nuestras estadísticas de servicios y nos sorprendimos al descubrir que el desempeño del programa había mejorado no solamente en las á
reas piloto sino también en á
reas que no formaban parte del proyecto piloto. Debido al hecho de que este era un resultado inesperado del proyecto, decidimos efectuar una presentación formal en la próxima reunión regional de la asociación de enfermeras profesionales a fin de compartir esos resultados. Al seguir evaluando la efectividad del proyecto y compartir los resultados con nuestros colegas, esperamos que ellos puedan a su vez beneficiarse de nuestra experiencia y tal vez replicarla en sus programas.
Para mejorar nuestro programa a través de la comparación con otros programas similares. Recientemente, para asistir a una reunión distrital de administradores de clínicas, nos solicitaron que fuéramos preparados para presentar nuestras respectivas estadísticas de servicios prestados por la clínica (nú
mero de clientes de planificación familiar nuevos y subsecuentes por método) para cada mes durante el año anterior. En la reunión, recopilamos los datos en cartillas a fin de poder comparar má
s fá
cilmente los datos de las diferentes clínicas del distrito. Al hacer esto, los administradores de las clínicas no solamente pudieron comparar sus estadísticas con las de programas similares, sino que también tuvieron la oportunidad de discutir con sus colegas acerca de las posibles razones que podrían explicar el desempeño diferente de cada una. Esta constituyó una forma efectiva para que los administradores obtuvieran información acerca de las diferentes maneras en las que podían atraer y retener clientes en sus propias clínicas, así como tener má
s ideas acerca de cómo mejorar el desempeño de sus clínicas y potencialmente cubrir mejor las necesidades de sus clientes.
En la siguiente reunión trimestral compararemos las estadísticas una vez má
s para ver si ha mejorado el desempeño de las clínicas que no habían logrado buenos resultados con anterioridad y continuaremos con la discusión. Esperamos que este método consistente en evaluar y trabajar regularmente con los demá
s colegas seguirá
mejorando nuestros programas y resolverá
las preocupaciones y problemas má
s comunes.
Para determinar cuá
les son nuestros puntos fuertes y débiles y dónde se pueden hacer mejoras. En un esfuerzo por determinar hasta qué punto está
n satisfechos los clientes con los servicios de nuestra clínica, desarrollamos un formulario de retroalimentación que solicitamos que nuestrosclientes llenaran (anónimamente) al concluir su visita a la clínica y depositaran en un buzón en la sala de espera. Cada dos meses, revisamos los formularios completados por ellos para ver hasta qué punto estamos cubriendo las necesidades de nuestros clientes y darnos cuenta de qué podríamos mejorar o hacer en forma diferente.
Para realizar un seguimiento de la información captada de nuestros clientes, en primer lugar felicitamos a nuestro personal por el trabajo realizado en aquellas á
reas donde los clientes habían hecho comentarios positivos y elaboramos una lista de algunas de las á
reas problemá
ticas para ver cómo podríamos resolverlas. Con respecto a los miembros del personal que los clientes habían mencionado que habían sido particularmente amables y que les habían ayudado, reforzamos el valor de su buen trabajo concediéndoles un reconocimiento especial en una reunión del personal celebrada inmediatamente después de efectuar la revisión de los formularios. En dicha reunión proporcionamos algunos detalles (si eran conocidos) acerca de qué es lo que al cliente le gustaba particularmente, como ser el buen trato que recibía o con cuá
nta precisión se explicaban los diversos métodos anticonceptivos, para que de esta manera los demá
s miembros del personal pudieran aprender de ellos. Descubrimos que algunas de las quejas que tenían los clientes podían resolverse con bastante facilidad, como la realización de un mayor esfuerzo para mantener limpia la clínica y proporcionar información má
s exacta acerca de los horarios de atención de la clínica y la forma como funciona el sistema de citas.
Para ayudarnos a ver a dónde nos estamos dirigiendo y si es necesario cambiar de rumbo. Diseñamos un proyecto piloto para prestar servicios a las muchachas adolescentes que necesitan información con respecto a los diferentes métodos anticonceptivos. Decidimos proporcionarles esta información a través de los educadores de salud en las escuelas, los cuales se quedarían después de clases dos veces por semana por el espacio de una hora para estar a disposición de las muchachas que deseaban obtener información. A pesar de que el programa fue divulgado ampliamente en las tres escuelas blanco, los datos mostraron que solamente unas cuantas muchachas habían utilizado los servicios durante los primeros cuatro meses del programa.
Para determinar por qué no estaban aprovechando las ventajas de este programa decidimos consultara las muchachas. Las invitamos a asistir a un grupo focal de discusión después de clases y nos enteramos que los dos días que habíamos programado para que los educadores de salud se quedaran después de clases eran los mismos días que las muchachas debían acudir al centro de deportes de la ciudad como parte de las actividades del programa de deportes de la escuela. También nos enteramos que algunas de las muchachas se sentían incómodas de ser vistas en la clínica de la escuela en los horarios programados porque no querían que sus amigos del sexo opuesto y sus profesores supieran que ellas estaban averiguando cosas referentes a los métodos anticonceptivos. Nos dijeron que ellas preferirían que los educadores de salud les proporcionaran esta información en un lugar neutral alejado de la escuela.
El hecho de contar con esa información proporcionada por las beneficiarias potenciales del programa fue de importancia crítica para nosotros y nos permitió considerar diferentes opciones, de modo que pudiéramos prestar mejores servicios y cubrir las necesidades de las muchachas. A raíz de ello estamos considerando la posibilidad de que los educadores de salud se encuentren disponibles para reunirse con las muchachas en el centro de deportes en esos dos mismos días, en lugar de hacerlo en la clínica de la escuela.
Para aprender má
s acerca de los factores que han contribuido má
s a nuestro éxito. Debido a la mayor demanda de métodos anticonceptivos e información acerca de los métodos disponibles, el año pasado iniciamos un programa experimental en el que los estudiantes de medicina de la universidad local suplementaron el trabajo de los equipos de las clínicas móviles y los agentes comunitarios para suministrar información y servicios de consejería en las comunidades comprendidas dentro del á
rea del proyecto. A pesar de que el proyecto parecía estar marchando bien en base a las estadísticas de servicio que mostraban un aumento en las cantidades de suministros anticonceptivos que se habían distribuido, nos dimos cuenta de que debido al hecho de que pagá
bamos los gastos de viaje de los estudiantes de medicina, éste nos estaba costando má
s dinero del que habíamos anticipado.
Decidimos evaluar hasta qué punto el trabajo realizado por los estudiantes de medicina había influido en el aumento reciente del uso de anticonceptivos y si podría haber alguna forma de reducirlos costos de reembolso de los gastos incurridos por los estudiantes. Para lograr esto entrevistamos a los clientes que habían sido vistos por los estudiantes de medicina con el objeto de determinar si estaban satisfechos con los servicios. Sorprendentemente, nos enteramos de que los clientes pensaban que no se había dado una respuesta adecuada a una gran parte de sus preguntas, particularmente aquellas relacionadas con los efectos colaterales potenciales. Adicionalmente, muchos de los clientes que habían aceptado un método anticonceptivo lo habían hecho a raíz de una visita de seguimiento efectuada por el agente comunitario. Los clientes indicaron que habían tenido la oportunidad de pensar má
s a fondo acerca de su decisión y que confiaban en los consejos de alguien de la comunidad.
En base a esta evaluación interna simple, nos enteramos de tres cosas importantes. Primero, que al hacer que los estudiantes de medicina de cursos superiores proporcionaran consejería a los clientes esto no necesariamente influía sobre la decisión del cliente en lo que respecta al uso de métodos anticonceptivos, por lo menos no en la primera visita y que los estudiantes podrían requerir de una capacitación adicional para mejorar sus habilidades de asesoría así como para poder explicar mejor los efectos secundarios potenciales de los diferentes métodos anticonceptivos. Segundo, que podría ser importante realizar una visita de seguimiento dentro de un plazo relativamente corto con posterioridad a la primera visita con el fin de dar respuesta a cualquier otra pregunta que los clientes pudieran formular después de haber finalizado la visita. Tercero, que los agentes comunitarios cuentan con la confianza y el respeto de los demá
s miembros de la comunidad, lo que hace que su trabajo sea de vital importancia, particularmente para aquellos clientes que no acuden o que no pueden acudir a la clínica.
Como resultado de esta evaluación hicimos los arreglos necesarios para ofrecer una capacitación adicional a los estudiantes y solicitamos que la universidad pagara sus gastos de viaje si seguían deseando que los estudiantes adquirieran experiencia prá
ctica. También desarrollamos un sistema de seguimiento mediante el cuá
l un agente comunitario visitaba a un cliente potencial dentro de un período de tres semanas con posterioridad a la primera visita, ya sea que la primera visita fue llevada a cabo por un agente comunitario o por un estudiante. El nú
mero de aceptantes nuevos ha seguido aumentando y estamos planeando realizar algunas entrevistas má
s dentro de seis meses.
Cómo Vencer la Resistencia a la Evaluación
A menudo los administradores y encargados de formular políticas ven la evaluación como una amenaza en lugar de una herramienta ú
til. Al realizar cualquier tipo de evaluación, se debería pensar con anticipación acerca de las á
reas de resistencia potencial y tratar de solucionarlas antes de comenzar la evaluación. Generalmente se pueden encontrar soluciones relativamente fá
ciles para estos problemas potenciales. La siguiente tabla proporciona algunas sugerencias con respecto a la manera de evitar cualquier resistencia potencial a la evaluación.
Volver al principio de página
|
Formas de Vencer la Resistencia Potencial a la Evaluación
|
|
Preocupación
|
Cómo Solucionar Dicha Preocupación
|
|
Asegurarse de que las preguntas de la evaluación sean relevantes para el trabajo de los encargados de formular políticas y/o los administradores...
|
Involucre en el proceso a los interesados clave (administradores apropiados y encargados de formular políticas), particularmente cuando planifique la evaluación, y haga que expresen sus preocupaciones y formulen preguntas.
|
|
Lograr que los hallazgos de la evaluación sean ú
tiles para resolver los problemas actuales...
|
Centre las preguntas en torno a la evaluación de problemas actuales identificados por los administradores del proyecto.
|
|
Respaldar su decisión en cuanto a la metodología escogida para la evaluación...
|
Explique los puntos fuertes y débiles de las diferentes metodologías de evaluación para los usuarios finales y las razones por las cuales deben emplear el método que usted ha escogido.
|
|
Lograr un mayor respaldo y una mayor credibilidad en los resultados...
|
Asegú
rese de que las personas que está
n recopilando y analizando los datos sean aceptables para los usuarios finales de la información.
|
|
Asegurar la aceptación de los hallazgos...
|
Los hallazgos deben ser concluyentes y no deben dar pie a diferentes interpretaciones por parte de los que necesitan usar la información.
|
|
Fomentar el uso de los resultados aú
n cuando éstos sean negativos...
|
Asegú
rese que de sean recomendaciones apropiadas, justas y factibles para lograr un cambio.
|
|
Asegurarse de que los hallazgos sean utilizados a nivel local...
|
Ademá
s de presentar los hallazgos generales de la evaluación, asegú
rese de presentar los hallazgos que son específicos a nivel local de modo que los administradores y el personal a ese nivel puedan comprender y utilizar los hallazgos má
s fá
cilmente.
|
|
Lograr que los hallazgos sean accesibles y comprensibles...
|
Presente los resultados y recomendaciones en forma resumida y clara sin emplear ningú
n tipo de jerga, de modo que la información sea fá
cil de leer y comprender.
|
|
Fomentar el uso de los resultados a diferentes niveles...
|
Difunda los hallazgos a todo nivel dentro de la organización de modo que el personal pueda tener acceso a los mismos.
|
Volver al principio de página
Adaptado de S. Sofaer 1994
Cómo Decidir Si Se Debe Realizar una Evaluación Interna o Externa
La presente edición ha tomado como punto central la importancia de realizar evaluaciones internas, participativas por usted en su calidad de administrador así como por el personal a su cargo. Sin embargo, existen oportunidades en las que es ú
til e importante realizar una evaluación externa , como cuando usted desea aprender acerca del impacto de su programa en el largo plazo, en relación con la política y el programa nacional má
s amplio. A continuación se resumen algunas de las ventajas y desventajas de realizar evaluaciones internas y externas.
|
Comparación de las Ventajas y Desventajas de las Evaluaciones Internas y Externas
|
|
Tipo de Evaluador
|
Ventajas
|
Desventajas
|
|
Evaluador Interno
|
Un miembro del personal que está
familiarizado con el programa puede entender e interpretar mejor el comportamiento y las actitudes del personal dentro del contexto del programa.
|
Es posible que el evaluador interno conozca el programa demasiado bien y le sea difícil ser objetivo.
|
|
Todos conocen al evaluador interno y por consiguiente es menos amenazante para el personal, ademá
s es menos probable que obstaculice o interrumpa las actividades o que cause ansiedad.
|
El miembro del personal es parte de la estructura de poder y autoridad y es posible que los intereses personales influyan en sus hallazgos y/o recomendaciones.
|
|
El evaluador interno necesitará
menos tiempo para aprender todo lo referente a la organización y a sus programas.
|
Es posible que un miembro del personal no cuente con una capacitación o experiencia especial en el campo de la evaluación.
|
|
Evaluador externo
|
Alguien que no está
personalmente involucrado en el programa puede ser má
s objetivo al recopilar y analizar los datos y presentar los resultados.
|
La persona ajena podría crear ansiedad a nivel del personal que no está
seguro de los motivos en los que se basa la evaluación/el evaluador.
|
|
Las personas ajenas al programa no son parte de la estructura de poder.
|
Es posible que una persona ajena no comprenda a fondo los metas y objetivos del programa o el contexto del mismo.
|
|
El evaluador externo puede observar el programa o la organización desde una perspectiva diferente.
|
Una evaluación externa puede ser costosa y demandar demasiado tiempo ademá
s de obstaculizar el avance del programa.
|
Introducción de la Evaluación a Su Programa
Para asegurarse de que la evaluación se convierta en una actividad regular y aceptada en su organización y sea un instrumento participativo y ú
til para su personal y organización, es importante seguir unos cuantos pasos simples. Primero, la planificación de las evaluaciones debería convertirse en un elemento regular del proceso de planificación e implementación de programas a nivel de su organización. La evaluación debería considerarse como parte esencial de este proceso, de modo que al igual que se elaboran planes para implementar sus programas, también se elaboran planes para evaluar el proceso y el impacto de las actividades del programa. Segundo, cuando usted planifica y realiza una evaluación, debería emplear todos los datos disponibles primero, antes de siquiera considerar llevar a cabo cualquier esfuerzo especial de recopilación de datos— a menudo caro y que requiere de mucho tiempo, como ser la realización de cualquier tipo de encuestas especiales.
Finalmente, al llevar a cabo evaluaciones internas es importante recordar que se deben enfocar las soluciones y acciones que mejorará
n sus servicios y la administración del programa, en lugar de solamente centrar su atención en revelar y responder a los problemas inmediatos identificados en la evaluación. Es su responsabilidad asegurarse de lograr que los hallazgos de una evaluación sean bien utilizados, para mejorar tanto las actividades específicas de su programa como los aspectos administrativos en general, así como la efectividad y eficiencia de su organización y sus programas.
Volver al principio de página
|
Comentarios de los Revisores
Foro para discutir las aplicaciones adicionales de los conceptos y técnicas presentados en
Actualidad Gerencial
Sobre la implementación de la evaluación como una actividad continua… Un revisor enfatiza, "Es muy importante que la evaluación sea parte de la cultura de una organización. El personal necesita comprender que no se trata de algo separado, solicitado por el donante. Es crucial para el desarrollo y crecimiento de la organización como una actividad continua."
Sobre el empleo de la evaluación para mejorar sus sistemas de información… Un revisor señala, "Las evaluaciones periódicas pueden ayudar a determinar si los sistemas de recopilación de datos a nivel interno está
n funcionando adecuadamente y si el sistema de información está
generando efectivamente el tipo de información que requieren los diferentes miembros del personal del programa."
Sobre el empleo de la evaluación para identificar nuevos clientes potenciales… Un revisor subraya, "La evaluación le ayuda a aprender no solamente si usted está
cubriendo las necesidades de sus clientes actuales, sino también si hay otros clientes potenciales cuyas necesidades no está
n siendo cubiertas. En nuestro programa, evaluamos nuestros servicios clínicos y los tipos de clientes a los cuales está
bamos prestando servicios. Descubrimos que la mayoría de nuestros clientes eran mujeres que tenían tres o cuatro hijos. Los jóvenes y los solteros menores de 20 años de edad solamente representaban el 15 por ciento de nuestros clientes. Como resultado de la evaluación se diseñaron dos programas separados, un programa para adolescentes y un programa que integra la planificación familiar con las prá
cticas de los curanderos tradicionales y parteras. Ahora estamos atendiendo má
s clientes referidos a las clínicas por estos dos programas."
Sobre las razones por las cuales se deben realizar evaluaciones… Un revisor explica, "La evaluación es como los niños pequeños que siempre preguntan "¿Por qué?" con respecto a todo lo que los rodea. La evaluación crea conocimientos, faculta a los administradores a tomar decisiones y contribuye a mejorar la calidad del programa. En ese sentido, las razones por las cuales se debe evaluar nuestro propio trabajo pudrían ser prá
cticamente innumerables."
|
Volver al principio de página
Referencias
Aga Khan Foundation. Monitoring and Evaluating Programs. (Módulo 5-Guía de los Usuarios) Primary Health Care Management Advancement Programme, Aga Khan Foundation, Washington, DC, 1993.
Bertrand, Jane y Amy Tsui, eds. Indicators for Reproductive Health Program Evaluation. The EVALUATION Project, Carolina Population Center, University of North Carolina, Chapel Hill, NC, 1995.
Bruckner, Bates C. et al., eds. A Guide to Methods of Family Planning Program Evaluation 1965-1990. The EVALUATION Project, Carolina Population Center, University of North Carolina, Chapel Hill, NC, 1995.
Buxbaum, Ann. Training Impact Evaluation Workbook. Family Planning Management Development Project, Management Sciences for Health, Newton, MA, 1995.
Clark, Noreen y James McCaffery. Demystifying Evaluation. World Education, Boston, MA, 1979.
Feuerstein, Marie-Thérèse. "Partners in Evaluation: The Patna Experience," CONTACT. Christian Medical Commission, No. 132, agosto de 1993.
Feuerstein, Marie-Thérèse. Partners in Evaluation: Evaluating Development and Community Programmes with Participants. Macmillan, Londres, 1986.
García-Nú
ñez, José. Improving Family Planning Evaluation: A Step-by-Step Guide for Managers and Evaluators. Kumarian Press, West Hartford, CT, 1992.
Love, Arnold J. Internal Evaluation: Building Organizations from Within. Sage Publications, Thousand Oaks, CA, 1991.
Miller, Janice y James Wolff, eds. "Evaluar el Impacto de la Capacitación en el Desempeño del Personal." Actualidad Gerencial en Planificación Familiar, Family Planning Management Development, Management Sciences for Health, Boston, MA, Volumen V, Nú
mero 3, otoño de 1996.
Paton, Michael Quinn. Utilization-Focused Evaluation, Tercera Edición. Sage Publications, Thousand Oaks, CA, 1997.
Sofaer, Shoshanna. "Utilization of Evaluation Results for Policy Advocacy." Presentado en la Conferencia Nacional sobre Educación en Salud y Promoción de la Salud, Tampa, Florida, abril de 1994.
Volver al principio de página
Lista de Verificación para Emplear la Evaluación como Herramienta Gerencial
___ Planificar el proceso de evaluación de modo que se cubran las necesidades de todas las partes interesadas (administradores, personal, clientes o beneficiarios del programa) así como las de las personas ajenas al programa tales como los donantes y las autoridades encargadas de otorgar certificaciones.
___ Asegurarse de que el personal de todos los niveles del programa u organización se involucren en alguna parte de la evaluación de modo que el personal sienta que ha sido incluido en el proceso, que sus preocupaciones han sido escuchadas, y a su vez alentarlos a aplicar los resultados de la evaluación para realizar las mejoras administrativas necesarias.
___ Trabajar con el personal a su cargo y con otras personas interesadas (incluyendo los clientes, el personal de mayor jerarquía y su donante, si fuese aplicable) para identificar los objetivos de la evaluación
___ Decidir cuá
l será
el alcance de la evaluación incluyendo si será
llevada a cabo por un miembro del personal del programa o por un consultor externo y cuá
nto tiempo y dinero se asignará
n a dicha evaluación.
___ Seleccionar los criterios, indicadores y está
ndares para la evaluación.
___ Identificar las fuentes de datos y decidir qué metodología se empleará
para recopilar los datos. Asegurarse de que las metodologías que escoja sean apropiadas para lograr los objetivos de la evaluación y a la gente que tomará
parte en la recopilación y suministro de datos (particularmente cuando está
planeando recopilar información de otros miembros del personal y/o sus clientes).
___ Recopilar datos utilizando métodos tanto cuantitativos como cualitativos, segú
n fuere apropiado.
___ Organizar y analizar los datos de modo que se transformen en información significativa que pueda ser utilizada por otros miembros de la organización para lograr que el programa mejore.
___ Formular recomendaciones y presentar los hallazgos de la evaluación de tal manera que éstos sean comprensibles y ú
tiles para todas las personas que participaron en la evaluación y otras partes interesadas ajenas a la organización.
___ Permitir un tiempo suficiente para revisar y discutir los hallazgos de la evaluación de modo que todas las partes interesadas se dediquen a implementar las soluciones propuestas.
___ Centrar la atención en los hallazgos realistas y las soluciones apropiadas para los problemas identificados a través de la evaluación.
___ Alentar al personal a implementar las recomendaciones y lograr mejoras y cambios duraderos a nivel del programa.
Volver al principio de página
|
|
| 
