Medición de los Resultados

Agencia Suiza para el Desarollo
y la Cooperación
Gestión de proyectos basada en resultados
Un vademécum para gente interesada en el desarollo y la cooperación
Medición de los Resultados
Módulo 3
Indice
1Introducción
3
2 Medición, Evaluación, Pilotaje
4
3
Indicadores para Medir el Cambio
3.1 Uso de los Indicadores
3.2 Elementos de Indicadores Completos
3.3 Tipos de Indicadores
3.4 Calidad de Indicadores
6
6
7
9
11
4
Medición del Cambio
4.1 Línea de Base y Norma de Referencia
4.2 Métodos de Recopilación de Datos
4.3 Preguntas y Cuestionarios
4.4 Calidad de Datos
12
12
14
17
18
5 Apreciación del Cambio
Información legal:
Autor y editor de texto: Nadel - Centro para el Desarrollo y la Cooperación, Zurich
Mandante y editor: Centro para el Desarrollo y la Cooperación COSUDE,
Sección del Aseguramiento de la Calidad y Red, Berna
Traducción: Alexis Amette, Rennes
Gestión de proyecto: LerNetz AG, Berna
Ilustración: gut&schön, Zurich
Diseño: Büro eigenart, Berna
Foto de la portada: Martin Walser, Vaduz
2
20
1Introducción
Definir y Medir Resultados
Resultado
Matriz de Marco Lógico
Revisión/
Evaluación
Resultados e
Indicadores
Planificación
Implementación
Monitoreo
«Una ley inmutable en los negocios
es que palabras
son palabras, explicaciones son explicaciones, promesas
son promesas pero
sólo el desempeño
es la realidad.»
Harold S. Geneen
Gestionar un proyecto significa pilotar un proyecto, dirigirlo y redirigirlo, buscar el mejor
camino y tomar posibles desvíos. Para realizar este pilotaje de manera racional, tanto la
gestión de proyecto como las otras entidades de pilotaje dependen de la relevancia y de la
fiabilidad de la información en las fechas previstas. El centro de la gestión de proyectos consiste en apreciar el progreso del proyecto sobre la base de indicadores claramente definidos y
válidos y tomar las decisiones de pilotaje necesarias. Sin indicadores, la gestión de proyectos
sería como volar en la obscuridad sin instrumentos de pilotaje.
Definir y medir los resultados de un proyecto – outputs y outcomes – es un proceso complejo.
Empieza con la identificación y la planificación mucho antes que los primeros resultados del
proyecto sean visibles. En el momento en el que llegamos a un acuerdo sobre los indicadores,
las declaraciones de resultados a veces imprecisas o abstractas se vuelven entonces más concretas. Si esperamos el final del proyecto para reflexionar sobre los resultados, presentarlos
con el respaldo de hechos y pruebas puede volverse muy complicado y costoso, o tal vez
imposible a realizar.
El trabajo de la cooperación para el desarrollo es realizado con el dinero de los contribuyentes (impuestos) y de los donantes, a quienes debemos mostrar cambios positivos. Por este
motivo la siguiente pregunta es fundamental: ¿qué es un efecto? Un efecto es un cambio
esperado o no, basado en una intervención directa o indirecta. El efecto no aparece sin otro
elemento clave: la causa. Dos elementos son decisivos: un cambio y una relación causal plausible entre dos «cosas». Por supuesto, en la cooperación para el desarrollo se intenta brindar
cambios relevantes con efectos positivos y significativos.
Cuando hablamos de lograr resultados relevantes, aparecen entonces términos como: medida, apreciación, evaluación, monitoreo, pilotaje, indicadores, etc. ¿Cómo definirlos y cómo
están vinculados los unos con los otros? En este módulo 3 presentamos las bases de la apreciación, el término genérico para monitoreo y evaluación, en el módulo 4 nos interesamos
por los problemas específicos del monitoreo de proyecto y en el módulo 5 por los problemas
específicos de la evaluación.
3
2 Medición, Evaluación, Pilotaje
Como lo hemos mencionado anteriormente, los proyectos apuntan a lograr resultados significativos, o, en otros términos, a brindar un cambio positivo en un grupo meta específico.
¿Cómo podemos medir el cambio esperado, y si se puede en qué medida este ha ocurrido?
¿Y si el cambio se ha producido, como definir si se debe al proyecto y no a otras influencias?
¿Cuál es la diferencia entre medición y evaluación? ¿Y cuál es el lugar de la medida, de la
apreciación y del pilotaje en el PCM?
La Apreciación en la Gestion de Proyectos
Gestión
Definir los resultados e indicadores esperados
2
Definir el concepto de M y E
3
Medir y procesar los datos
4
Interpretar las medidas procesadas
5
Analizar la influencia del proyecto
sobre los resultados logrados
6
Tomar, implementar las decisiones de
pilotaje para lograr los resultados esperados
Appreciación = Monitoreo o Evaluación
Medición
Implementación
Planificación
1
1. En la fase de planificación se define y se llega a un acuerdo sobre los resultados esperados,
sobre los indicadores marcando el progreso y sobre los métodos que permiten la obtención
de una información fiable.
2.En la planificación definimos también el concepto de monitoreo y de evaluación. ¿Qué
verificamos, en qué momento y para que propósito?
3. Cuando realizamos el monitoreo o la evaluación de un proyecto nos aseguramos de que
las medidas son tomadas y tratadas de manera correcta.
4. La interpretación de las medidas obtenidas comparándolas con los resultados esperados y
tomando en cuenta los métodos de medida son parte del monitoreo y de la evaluación.
5. Otra tarea del monitoreo y de la evaluación es proporcionar evidencias sobre la manera en
la cual el proyecto y los factores externos han contribuido a los resultados alcanzados y en
qué medida.
6.Finalmente, una tarea clave de la gestión de proyectos, una vez instalado, es tomar las
decisiones de pilotaje adecuadas que permitirán el logro de los resultados esperados.
4
Las etapas 2 y 3, las más «técnicas», son denominadas como: medición. Estas dos etapas
junto con las etapas 1, 4 y 5 están denominadas como: apreciación. Deben establecer los
resultados, medir y sacar conclusiones y recomendaciones. Evaluar sin medir es solo una suposición. Dentro de la cooperación para el desarrollo se denomina apreciación al monitoreo
(o seguimiento), a la revisión o la evaluación según su intención, su tiempo y el lugar de
mando. Dentro de la COSUDE, las apreciaciones formales encomendadas y controladas por la
unidad de responsabilidad operativa se llaman revisiones, las encomendadas por la «Sección
Evaluación y Control de Gestión» se llaman evaluaciones (externas).
En fin, sin verdaderas tomas de decisiones de pilotaje por parte de la gestión de proyectos,
el monitoreo y la evaluación tienen un valor práctico poco significativo. La excepción es la
evaluación ex post, mucho después de la finalización del proyecto. En este caso, las lecciones
aprendidas pueden ser utilizadas en otros proyectos.
5
3 Indicadores para Medir el Cambio
3.1 Uso de los Indicadores
Los indicadores significativos son el elemento central y la base de la medida, de la apreciación
y las decisiones basades en evidencias. Generalmente, un primer conjunto de indicadores se
forma durante la fase de planificación. Durante la fase de implementación podemos modificar estos indicadores y valores meta planificados a la luz de la experiencia práctica y del
estudio de la línea de base efectuada al principio del proyecto.
La participación de los actores involucrados en la elaboración de los indicadores y en la
definición de los valores meta es esencial para crear un entendimiento común del proyecto
y lo que se quiere lograr entre los donantes, los socios, el equipo del proyecto y los beneficiarios. Llegar a un acuerdo sobre los indicadores y establecer valores meta nos obliga a
mirar nuevamente los objetivos de forma más cercana esta vez. A menudo, esto lleva a la
conclusión de que ciertas declaraciones de outcome o output han sido definidas con imprecisión o de forma irrealista. Eso puede (y debe) llevar a una redefinición de estos objetivos
particulares. Este proceso de participación aumenta la apropiación y tiene efectos positivos
en la motivación. Además, hacer que el público esté de acuerdo con los objetivos fomenta la
rendición de cuentas y protege los proyectos de posibles oponentes.
Indicadores en el Marco Lógico
Jerarquía de los
objetivos
Impacto
Indicadores
Medios de verificación
Factores externos
(Supuestos)
Indicadores
requiridos aquí…
Outcomes
… y tal vez aquí
Outputs
Actividades
«Usted obtiene lo
que mide. Si mide
con criterios equivocados, obtendrá
comportamientos
equivocados.»
John H. Lingle
Recursos Inputs
Los indicadores son los instrumentos de control de un proyecto que proporcionan datos concretos y verificables objetivamente sobre hechos que no siempre pueden ser percibidos directamente. En un auto, el velocímetro nos dice a qué velocidad se está conduciendo. Un
termómetro nos indica la temperatura del agua de refrigeración y el indicador de combustible
muestra la cantidad de combustible en el tanque. Si no prestamos atención a estos indicadores podríamos tener una multa por exceso de velocidad, el motor podría sobrecalentarse
o quedarse sin combustible. La COSUDE define un indicador como «un factor cuantitativo o
cualitativo o una variable que proporciona medios sencillos y fiables para medir los logros y
resultados, y que refleja tanto los procesos como los cambios en el contexto.»
Para seguir con la analogía de la conducción de automóviles, también tenemos que tomar en
cuenta la importancia de los factores externos como el estado de la carretera y la densidad
del tráfico. Estamos más atentos conduciendo en una carretera de montaña cerca de los
acantilados que sobre una carretera amplia y llana sin huecos. ¿Cuán difícil sería conducir si,
por ejemplo, no estuviéramos seguros de que los otros automovilistas respetan las señales de
stop y semáforos? Por lo tanto, como demuestran los accidentes en los cruces, esta hipótesis
práctica no se verifica en todos los casos.
6
3.2 Elementos de Indicadores Completos
Un indicador completo para un output, un outcome o un impacto está compuesto por varios
elementos:
Criterio: ¿Qué característica medible de la situación descrita en el output específico, outcome
o impacto observamos y analizamos?
Medida / indicador: ¿Cómo podemos medir el criterio? ¿Cuál es la unidad de medición?
Valor meta: ¿Cuál es la meta cuantitativa a ser alcanzada al final del proyecto, al final de la
fase o del año?
Línea de Base: ¿Cuál es la situación al comienzo del proyecto?
Fuente de datos: ¿De dónde se sacan los datos? ¿Qué métodos utilizamos para recoger
datos? ¿Cuando y con qué frecuencia recogemos y recopilamos los datos?
Análisis y presentación: ¿Cómo analizamos los datos y presentamos la información?
Función: ¿Quién es el responsable para recoger y recopilar estos datos específicos?
Resultado
Elementos condensados del Indicador de Marco Lógico
Criterio
Medida
Valor Meta
Línea de base o
norma de referencia
Elementos para el Sistema de Monitoreo
Medios de
verificación
Presentación
del Análisis
Función
Ejemplo 1
El niño está
sano
Temperatura
del cuerpo
°C
36–37
39
Medición con
termómetro
Curva de
fiebre en la
ficha del
paciente
Enfermera
Ejemplo 2
Impacto :
Estado de salud
de la población
mejorado
Prevalecencia
de enfermedades gastrointestinales
entre los niños
menores de 5
años
Número de
casos por año
reportados en
puesto de salud
por año
< 250
504
Evaluación de
registros de
puesto de
salud al final
de año
Cuadro en el
informe anual
Comité de
Gestión del
Agua (CGA)
Disponibilidad Número de
Outcome 1:
días sin agua
La comunidad del agua
por año
utiliza un
abastecimiento
de agua
sostenible y que
% de grifos
funcione bien
suministrando
40 litros de
agua potable
por persona y
por día al final
de la temporada
seca
< 10
n.c.
Registros CGA
Cuadro en el
informe anual
CGA
> 80%
n.c.
Medición del
Cuadro en el
flujo de agua en informe anual
los grifos una
vez al año Análisis de laboratorio (Ministerio
de Salud)
CGA
Inspección
material
Jefe de
proyectos
Output 1:
Instalación de
bombas
7
Las nuevas
bombas siguen
funcionando
después de 1
año
Número
45
0
Mapeo
En el Marco Lógico podemos inscribir los indicadores en un formulario condensado, porque
los indicadores sin metas no proporcionan mucha información:
Impacto: Outcome: Output:
«Los errores
más graves no
provienen de malas
respuestas. El verdadero peligro es
hacer la pregunta
equivocada.»
Peter Drucker
Menos de 250 casos de diarrea por año registrados en el puesto de salud
Grifos sin agua menos de 10 días al año (media)
Mínimo del 80% de los grifos suministran 40 litros por persona y por día al final de la temporada seca
Las 45 nuevas bombas funcionan un año después de la instalación
Observación: Los valores meta dependen de la situación. Arriba, en el ejemplo 2, establecemos la meta de 40 litros por persona y por día. Para la ayuda humanitaria en situaciones
de emergencia, la COSUDE define el valor meta mínimo de 15 litros por persona y por día.
Para verificar resultados complejos y a gran escala como el outcome del ejemplo 2, utilizamos
varios indicadores. Sobrecargar el sistema de monitoreo con una multitud de indicadores es
un error común, esto convierte el monitoreo en una carga que consume demasiado tiempo y
a veces hasta en un fin en sí mismo.
Los indicadores producen datos que deben ser tratados de la forma correcta para convertirse
en informaciones útiles. La cantidad de datos no es solamente una cuestión de viabilidad,
es también un costo. Los datos fiables son valiosos y costosos. Numerosos proyectos desperdician recursos humanos y financieros acumulando datos sin tener una idea clara de su
utilización.
El arte de definir indicadores y de tratar los datos empieza con la definición clara de los objetivos a alcanzar. Contestar a una de estas dos preguntas ayudará a reducir la acumulación
de datos:
- ¿Cuáles son las preguntas específicas a las que los datos deben ayudar a dar una respuesta?
- ¿Cuáles son las hipótesis de causa-efecto que los datos deben ayudar a verificar?
Cuando el objetivo está claro, es mucho más fácil diferenciar entre los datos que DEBEMOS
conocer, los datos que DEBERIAMOS conocer y los datos que SERÍA BUENO conocer. De tal
manera, obtenemos los datos indispensables reduciendo su cantidad y el riesgo de perder
datos importantes. Menos se vuelve más.
Saber que saber
BUENO a saber
DEBERIA saber
DEBE saber
8
3.3 Tipos de Indicadores
Indicadores cuantitativos: Los indicadores cuantitativos (es decir, objetivamente verificables) se refieren a las características que pueden determinarse de forma fiable. Los siguientes
ejemplos son todos indicadores cuantitativos simples:
• Temperatura corporal del niño,
• Número de hogares a 300 metros de distancia de un grifo,
• Número de sesiones de asesoramiento por agente de extensión al mes.
Los indicadores cuantitativos complejos incluyen varios elementos que deben ser medidos
y después combinados. Un ejemplo relacionado es el indicador sobre la disponibilidad de
agua potable, que consiste en medir la producción diaria de un grifo en un período de tiempo
especial (al final de la temporada seca, cuando las fuentes suministran la menor cantidad de
agua) y su relación con la cantidad de personas del grupo de usuarios.
Los indicadores cualitativos miden las percepciones y experiencias personales y subjetivas.
La información cualitativa es de gran importancia y no debe ser descuidada. Los indicadores
cualitativos permiten saber lo que es importante para las personas y detectar los efectos no
deseados o los elementos que faltan. Sin embargo, la objetividad es un problema. Podemos
hacerlos más objetivos y concretos de varias maneras:
• Cuantificamos los indicadores cualitativos: Por ejemplo en una encuesta sobre el servicio
de buses, los clientes expresan su grado de satisfacción sobre una escala de 1 (insatisfecho)
a 5 (muy satisfecho).
• Aumentamos la objetividad con una muestra estadísticamente correcta. Realizamos la
encuesta de clientes con un número representativo de personas seleccionadas según su
representatividad.
• Anotamos las indicaciones en un registro cuando las observamos, con el fin de minimizar
los errores que pueden ser atribuidos a nuestra memoria.
Indicadores compuestos: Son indicadores que contienen elementos cualitativos, que
requieren una mayor definición y cuantificación.
Ejemplo: Indicador de outcome de actividades de desarrollo de capacidades con organizaciones comunitarias: número de asociaciones de usuarios del agua (AUA) con buen funcionamiento.
El concepto de «buen funcionamiento» podría definirse como:
• AUA tiene un Consejo de Administración elegido;
• AUA se reúne al menos una vez al mes;
• AUA trabaja según reglamentaciones aprobadas.
9
Indicadores proxy: Los indicadores proxy son un medio indirecto para registrar hechos.
Los utilizamos, cuando el indicador directo deseado es demasiado complicado o demasiado
costoso para medir. Para utilizar los indicadores proxy, un buen conocimiento del contexto es
indispensable. Aquí dos ejemplos:
• La tasa de recuperación de inversión en un programa de micro-crédito indica de cierta
manera la calidad de la gestión del banco (aclaraciones anteriores con los prestatarios,
atención al cliente, etc);
• La sustitución de techos de paja por calamina metálica puede ser un indicio de que la situación económica en el hogar ha mejorado.
Criterios estándares: Para varios ámbitos del desarrollo hay listas con criterios estándares
y indicadores (por ejemplo, agricultura, salud, desarrollo de empresa, etc.). Las encontramos
en los sitios web de organizaciones especializadas de las Naciones Unidas (FAO, OMS, etc)
o de redes (ex. Comité de Donantes para el Desarrollo Empresarial, Plataforma Mundial de
Donantes para el Desarrollo Agrícola, etc.). Sin embargo, los equipos de proyecto deberían
sopesar la ventaja del uso de estos criterios uniformes frente a la ventaja de desarrollar indicadores específicos para el proyecto, a través de un proceso participativo. La tabla siguiente
proporciona un ejemplo de criterios estándares utilizados en el desarrollo rural.
Seguridad Alimentaria
• Producción de alimentos
• Zona cultivada
• Rendimientos de alimentos
básicos
• Consumo de productos
básicos
• Precios de alimentos básicos
• Acceso a los mercados
• Capacidad de
almacenamiento de
alimentos en las granjas
• Desnutrición crónica
entre niños
• Tasa de retraso del
crecimiento
(menores de 5 años)
10
Pobreza
• Ingresos reales de
los hogares
• Acceso a ingresos
no agrarios
• Acceso al capital
• Acceso al trabajo
• Acceso a las instalaciones
de riego
• Disponibilidad de
servicios básicos
• Acceso al agua potable
• Acceso a la educación básica
• Acceso a servicios básicos
de salud
Empoderamiento de
Organizaciones de Base
• Participación de grupos de
agricultores en la toma de
decisiones a nivel del
proyecto / local
• Formación de un grupo de
agricultores autónomos en
la zona del proyecto
• Capacidad de las bases para
monitorear y evaluar ellos
mismos los avances
• Capacidad de comercializar
sus productos
• Términos y condiciones de
los acuerdos de
comercialización
Empoderamiento de
las Mujeres
• Matriculación de las niñas en
educación primaria
• Número de grupos de
mujeres formados en la zona
del proyecto
• Número de préstamos
aprobados / desembolsados
para los grupos de mujeres
• Número de grupos de
mujeres que tienen acceso a
un segundo y tercer
préstamo.
• Número de mujeres
miembros de asociaciones
locales de
productores o servicios
• Capacidad de decisión de las
mujeres en los hogares
• Participación de las mujeres
en la toma de decisiones al
nivel de proyecto/local
3.4 Calidad de los Indicadores
Existen numerosos sistemas para evaluar la calidad de los indicadores. El mas famoso se
denomina con la abreviación SMART – Específicos, Medibles, Alcanzables, Pertinentes y Temporales. Esta abreviación es extraída del campo de la educación para verificar la calidad de
los objetivos de aprendizaje, y como no todos utilizan los mismos adjetivos para constituir
SMART, sugerimos los criterios de calidad siguientes, que incluyen los conceptos esenciales
de test: validad y fiabilidad.
Cada indicador
Relevante : El indicador representa un aspecto significativo del resultado. Hay un vínculo de causalidad plausible
entre el indicador y el objetivo.
Fiable : El indicador es preciso y puede ser medido imparcialmente. Si dos personas utilizan el mismo indicador de
forma independiente el uno del otro los llegarán a los mismos resultados.
Grupo de indicadores
Realista : Los valores meta del indicador son realizables en el tiempo definido.
11
Factible : Los datos pueden ser recogidos fácilmente, a tiempo y a costo razonable.
Suficiente : El grupo de indicadores relacionados con el objetivo es adecuado para medir el resultado
4 Medición del Cambio
4.1 Línea de Base y Norma de Referencia
Los proyectos apuntan a brindar un cambio o una diferencia en la vida cotidiana de las personas y de las organizaciones. Para medir estos cambios o diferencias esperadas, se debe
comparar la situación presente con lo que era antes o lo que es en otro lugar. Entonces se
necesita puntos de referencia como una línea de base o normas de referencia.
Referencia
Puntos de Referencia para Medir el Cambio
Año pasado
Valores Meta
Grupo de control
Línea de Base
2010
2013
2016
Línea de Base: El concepto de línea de base se refiere a la situación al inicio de un proyecto.
La forma más simple de una línea de base es la recopilación de datos para el outcome clave y
los indicadores de impacto (máximo de tres cada uno). Cada vez más agencias donantes exigen la inclusión de datos de línea de base en las propuestas de proyectos como una condición
previa al financiamiento. La comparación entre la medición de los indicadores después de uno
o más años y los datos de referencia permite determinar los efectos causados por el proyecto.
Estudios amplios de línea de base analizan en detalle la situación al inicio de un proyecto,
recogiendo datos respecto a una multitud de indicadores. Estos estudios a veces forman parte
del proceso de planificación y permiten a los interesados obtener una imagen amplia de la
situación inicial. Datos existentes como estadísticas, ingresos de los hogares y encuestas sobre
gastos, muchas veces pueden utilizarse para los estudios de línea de base (igual como para
el monitoreo). Estos estudios detallados de línea de base forman una condición ideal para un
estudio igualmente detallado sobre el impacto después de la ejecución del proyecto durante
varios años.
En la implementación de proyectos, los estudios detallados de la línea de base que incluyen
numerosos puntos interesantes pueden provocar estrés, a menos que el concepto de monitoreo defina claramente que datos de la línea de base DEBEN ser constantemente actualizados y los que no lo necesitan. Una regla inteligente podría ser: el estudio de la línea de base
debe ser simple. Si un estudio de la línea de base está disponible, debe precisar claramente los
artículos representando la base del monitoreo y los que pueden ser utilizados para otros fines.
12
El uso de una Norma de Referencia o un estándar de comparación significa comparar el
desempeño de su propio proyecto al de los mejores o a un conjunto de normas. Los objetivos
de referencia implican juntar los productos entregables o los resultados (outcomes, impacto)
con los valores estándar comparables. La evaluación comparativa se utiliza principalmente
para establecer metas para la implementación de proyectos. Organizaciones internacionales
de las Naciones Unidas especializadas y / o ministerios nacionales han establecido normas o
estándares en muchas áreas que pueden ser utilizadas como puntos de referencia.
«Procesando
cifras, el aproximadamente exacto
es preferible al
precisamente erróneo.»
Carl G. Thor
Una buena manera para medir el cambio es comparar los datos proporcionados por el sistema
de monitoreo con los datos del estudio de la línea de base. Pero muchos proyectos carecen
de datos fiables para la línea de base. En algunos casos los grupos de control pueden servir
de puntos de referencia. Donde los grupos de control no están incluidos en el diseño del
proyecto, encontramos pocas veces los puntos de referencia adecuados - o el ejercicio se
vuelve demasiado complejo, largo y costoso.
Si no existen datos de línea de base ni tampoco grupos de control disponibles, el cambio suele
ser evaluado como un ejercicio de retrospectiva preguntando a la gente sobre su percepción
de los cambios y del progreso. Pero cuando tenemos que confiar en la memoria de las personas, debemos calcular y aceptar errores de medición importantes.
Tipos de Comparación
Aspectos Metodológicos
Ventajas
Desventajas
antes / después
Línea de base : evaluar el
cambio comparando la
situación al inicio del proyecto
con la situación actual.
Fácilmente factible si los datos
de línea de base están
disponibles y son coherentes
con los datos de monitoreo
actualizados.
Atribuir el cambio a la acción
del proyecto podría ser difícil
(factores externos).
con / sin
Grupo de comparación o
control : evaluar el cambio
comparando la situación de los
grupos meta con la situación
de grupos fuera del proyecto.
Difícil de encontrar grupos de
Buena manera para atribuir el
control adecuados; puede ser
cambio a la intervención del
proyecto, sobre todo si los datos demasiado complejo y costoso.
de la línea de base están
disponibles en los grupos de
intervención y de control.
Línea de base y grupo de
comparación : evaluar el
cambio comparando con un
Lo mejor para el Monitoreo grupo de comparación (primera
diferencia) antes y después del
y la Evaluación
proyecto (segunda diferencia).
Proporciona la mas alta
precisión.
Controla el tiempo y los efectos
en una ubicación fija, teniendo
en cuenta riesgos de confusión
(influencias por otro proyecto y
factores) y sesgo de selección.
Necesita la más grande
cantidad de datos en
comparación a los otros
métodos.
Reconstruir el cambio : Evaluar
el cambio tratando de
reconstruir la línea de base y
pidiendo a los destinatarios que
reconstruyan el proceso de
cambio.
Sin necesidad de línea de base.
Los resultados pueden no ser
muy precisos; la situación inicial
no esta clara, a veces con gran
error de medición; atribución
difícil.
Diferencia
en la diferencia
retrospectiva
13
4.2 Métodos de Recopilación de Datos
Aquí se presenta un breve resumen de los métodos ampliamente utilizados en los círculos
internacionales de desarrollo.
Métodos Principales utilizados en el Monitoreo y en la Evaluación
2
Métodos centrales:
Estos métodos centrales son utilizados muy a menudo para el monitoreo y evaluación, puesto que son
particularmente adecuados para medir y registrar cambios.
• Análisis de los actores involucrados
• Revisión de la documentación
• Mediciones biofísicas
• Observación directa
• Análisis de costos y beneficios
• Encuestas y cuestionarios
• Entrevistas semi-estructuradas
• Estudios de caso
Métodos de discusión para grupos:
Estos métodos son especialmente apropiados para el monitoreo participativo y los procesos de evaluación. La técnica
Metaplan (tablón, fichas) es particularmente útil para estimular y estructurar el debate.
• Lluvia de ideas
• Grupo focal
• FODA o SEPO
• Juego de roles
Métodos para obtener información distribuida en el espacio:
Estos métodos permiten registrar los aspectos geográficos. Pueden incluir la distribución de tierras y cuestiones
respeto al uso del suelo, pero también pueden ser vinculados a la salud, a la educación o a temas económicos
• Esbozo (mapeo)
• Trayectos
• Mapeo SIG (sistema de información geográfico)
• Fotografías y video
Métodos para modelos de cambio basados en el tiempo:
Estos métodos ayudan a registrar y a comprender el cambio basado en el tiempo, por ejemplo, cambios de un mes o
un año al otro.
• Agendas
• Monitoreo-foto
• Tendencias históricas y calendarios
Métodos para analizar vínculos y relaciones:
En el monitoreo y la evaluación es esencial captar los cambios dentro de las relaciones entre grupos (actores
involucrados, organizaciones), así como entre los problemas, ciclos de producción, recursos, causa-efecto, e
input-output.
• Mapas mentales
• Diagrama de flujo de impacto
(causa y efecto)
• Diagrama de Venn
• Arboles de problemas y objetivos
• Rueda M&E
• Diagrama de input-output
Métodos para clasificar y priorizar:
La clasificación es importante cuando la información debe ser comparada en base a las fortalezas, la importancia o
los criterios previamente definidos.
• Clasificación de la riqueza
• Matriz de notación
2
14
FIDA 2002, Anexo D
• Clasificación
Hay diferencias importantes entre enfoques y métodos cuantitativos y cualitativos.
Métodos cualitativos: Estos enfoques y métodos son muy populares en el trabajo de desarrollo, sobre todo porque los enfoques cualitativos concuerdan con un enfoque participativo.
Enfoques como la Diagnóstico Rural Participativa (DRP) y el Aprendizaje y Acción Participativos (PLA), que se han convertido en una práctica casi habitual del trabajo de desarrollo internacional, se basan principalmente en métodos cualitativos. Los métodos cualitativos pueden
registrar información con percepciones subjetivas, observaciones, sentimientos y opiniones;
frecuentemente proporcionan descripciones. De vez en cuando se utilizan otros medios de
ilustración como fotografías, dibujos, etc.
Los enfoques cualitativos nos ayudan a responder a preguntas tales como de qué manera y
por qué determinadas situaciones ocurrieron. Son especialmente adecuados para registrar los
hábitos, opiniones, experiencias y prioridades de la gente. Algunos métodos comúnmente
utilizados son las entrevistas individuales (con informantes clave), entrevistas de grupo (entrevistas con grupos seleccionados según criterios específicos) y los estudios de casos.
Los críticos sostienen que estos métodos cualitativos para medir el cambio tienen todos el
punto común de ser subjetivos y de no ser representativos. Por lo tanto es difícil comparar los
resultados y sacar generalizaciones es problemático. Demasiados elementos dependen de la
elección de los socios interrogados, de las dinámicas de grupo en grupos de reflexión o de
intereses escondidos en la selección de los casos a estudiar. Las ventajas de los métodos cualitativos de poder captar las percepciones, las observaciones y las apreciaciones son al mismo
tiempo sus principales desventajas. Numerosas personas entrevistadas dan sus opiniones y
percepciones como si fueran hechos, y con la ausencia de datos cuantitativos, muchos evaluadores los toman así.
A pesar de esta desventaja, los métodos cualitativos siguen jugando un papel importante en
la medida y la apreciación del cambio y también en completar los datos cuantitativos. Ayudan
a encontrar interpretaciones plausibles de estos datos. También permiten la apreciación prudente de resultados que no pueden ser medidos de otra manera.
Métodos cuantitativos: El objetivo de los métodos cuantitativos es registrar hechos como
unidades contables. Ellos proporcionan resultados, que generalmente se expresan en cifras.
La exactitud de los resultados depende de la exactitud de los datos primarios, de la exactitud
de los instrumentos de medición, del tratamiento correcto de los datos y de su correcta interpretación. Estar acostumbrado a las estadísticas es una de las habilidades metodológicas
necesarias para utilizar métodos cuantitativos. Los enfoques cuantitativos se utilizan para registrar mediciones cuantificables, por ejemplo, en el rendimiento de cultivos (kg / ha), la construcción de canales de riego (km), el aumento de ingresos del hogar, etc. Los resultados de
los métodos cuantitativos se presentan en series estadísticas, tablas, gráficos, diagramas, etc.
Los métodos cuantitativos también pueden ser utilizados para medir elementos abstractos
como las opiniones personales o la satisfacción que generalmente se asocia con la calidad.
Como lo muestra el siguiente ejemplo, los cuestionarios y las encuestas estandarizadas están
basados en el principio de la cuantificación de las informaciones cualitativas, es decir las opiniones personales de los encuestados interrogando de esta manera el mínimo de personas necesarias para obtener conclusiones estadísticas significativas. Son costosos en tiempo y dinero.
Los prerrequisitos para emprender estos tipos de encuestas son las habilidades metodológicas
y los recursos materiales y humanos necesarios.
15
Indicador : Nivel de
satisfacción de los agricultores
con los servicios de extensión
1.
2.
3.
totalmente en gran parte mas o menos
satisfecho
satisfecho
satisfecho
4.
poco
satisfecho
5.
insatisfecho Sin respuesta
1. Los asesores ofrecen
servicios adaptados a mis
necesidades.
2. Los servicios de asesoramiento
son de primera calidad.
3. Gracias al asesor mis ingresos en
la horticultura han aumentado
de forma significativa.
4. Estoy de acuerdo con brindar
una contribución financiera a
los servicios de asesoramiento.
5. ¿En qué campos los servicios
de asesoramiento deberían
ser mejorados? ¿Y cómo?
Los datos obtenidos por métodos cuantitativos son más objetivos – al menos en el sentido en
el que pueden ser verificados de nuevo y validados. Los resultados pueden ser utilizados como
puntos de partida concretos para un análisis más profundo de las razones, causas, efectos
secundarios positivos y negativos etc. Pero una vez más, los métodos cuantitativos necesitan
habilidades especializadas.
A los críticos de los métodos cuantitativos les gusta citar Albert Einstein: «Lo que cuenta no
puede ser siempre contado y lo que se puede contar no cuenta necesariamente.» Si hacemos
solamente lo que se puede contar, tomamos el riesgo de quedarnos superficiales, pero el desarrollo apunta a atacar la raíz de los problemas y así brindar soluciones sostenibles.
La cooperación para el desarrollo es un trabajo de campo práctico y no está adecuado para
debates meramente teóricas. Por lo tanto, el verdadero problema no es cualitativo versus
cuantitativo pero cómo combinar los métodos de la manera la más práctica. El desafío es
cuantificar lo que se puede con un esfuerzo razonable y valorizar lo que no puede ser cuantificado. Para seleccionar los métodos relativos a un contexto específico, consideramos los
criterios siguientes:
•
•
•
•
•
Recursos y habilidades disponibles
Requisitos en términos de participación
Requisitos en términos de exactitud y de rigor científico
Tiempo disponible
Posibilidad de utilizar datos o información existentes
Si los resultados tienen una importancia crucial, y además, son difíciles de medir, los costos
de un estudio de impacto realizado por un especialista pueden entonces ser justificados. Eso
reduce la carga de trabajo para el equipo del proyecto y aumenta la probabilidad de obtener
resultados fiables.
16
4.3 Preguntas y Cuestionarios
«Si usted quiere
una respuesta
sabia, haga una
pregunta razonable.»
Johann W.
von Goethe
El diseño de los cuestionarios es una habilidad con muchos obstáculos y necesita una pericia
especializada muchas veces subcontratado por consultores. Los cuestionarios mal diseñados
traen datos que no pueden ser tratados. Lo mismo ocurre con la formulación de las preguntas, la unidad básica de un cuestionario. Aquí compartimos algunas consideraciones básicas
sobre las preguntas y los cuestionarios:
1. Las preguntas y los cuestionarios suscitan respuestas sinceras.
Cuando una persona encuestada piensa que la respuesta puede tener consecuencias negativas, la probabilidad de obtener una respuesta honesta disminuye. Una primera solución
es garantizar la confidencialidad o el anonimato, pero eso no siempre es suficiente.
2. Las preguntas no son basadas en supuestos.
Mal ejemplo: ¿Cuál es el porcentaje del presupuesto de su hogar que dedica en la educación?
Esta pregunta contiene tres supuestos dudables: Muchas familias no tienen ingresos fijos.
Ciertas personas no saben cuánto gastan realmente en la escolarización, el transporte,
el material etc. ¿Y finalmente, cuántos padres son capaces de calcular correctamente los
porcentajes?
3. Cada pregunta solicita una sola dimensión.
Mal ejemplo: ¿Es su asesor competente y el servicio útil?
¿Cómo usted interpretaría la respuesta «mas o menos satisfecho»?
a) El asesor es bastante competente y el servicio en parte útil.
b) El servicio es útil a pesar de las pocas habilidades del asesor.
c) El asesor es competente pero el servicio tiene poco valor.
d) O ……...
4. Las preguntas no implican la respuesta que conviene al interrogante.
Mal ejemplo: ¿No debemos aumentar el programa «mosquiteras gratis para la gente pobre»?
Las preguntas dirigidas son un error común de los principiantes, particularmente en las
entrevistas orales.
5. Las preguntas son fáciles de entender.
Mal ejemplo: ¿Considerando las dos desventajas, que aparecen como ventajas bajo un
cierto ángulo, no tenemos que desalentar el uso de la tecnología moderna?
Las preguntas fáciles de entender se expresan en el lenguaje cotidiano de las personas
encuestadas, usan una sintaxis simple y evitan las expresiones con (doble) negación. A
menudo es más difícil escribir preguntas fáciles de entender que escribir preguntas complicadas.
6. Los cuestionarios son cortos.
Los cuestionarios largos cansan y la calidad de las respuestas baja hacia el fin. Debemos
respetar las limitaciones de tiempo de nuestras personas interrogadas. Además los cuestionarios largos traen más datos para procesar.
7. Los cuestionarios tienen una estructura lógica.
Agrupar las preguntas según los asuntos o según el tipo de pregunta aumenta las probabilidades de que las personas encuestadas completen el cuestionario. Se sienten más cómodos.
17
4.4 Calidad de Datos
Aunque teniendo indicadores perfectos e instrumentos apropiados para medir el cambio, hay
muchas oportunidades para cometer errores y equivocarse en el proceso de recopilación de
datos, su procesamiento, interpretación y en la comunicación hacia el usuario final.
Calidad de los Datos
DATOS
incorrecto
Muestreo
correcto
manipulada
Recopilación
correcta
incorrecta
no
¿reparable?
incorrecto
no
réparable?
si
Tratamiento
correcto
si
Interpretación
inapropiada
apropiada
Descartar
incorrecto debido a negligencia, error
(o manipulación)
UTILISAR
Los puntos siguientes deberían ayudar en mejorar o validar la calidad de los datos:
Muestreo
• Determinar la talla apropiada de su muestreo que le permite obtener resultados estadísticos significativos.
• Efectuar una selección aleatoria para evitar los riesgos de parcialidad.
Recopilación
• Formar bien a los recopiladores. Deben entender el objetivo de la recopilación de datos y
los métodos utilizados.
• Llamar a su profesionalidad. Deben comprometerse a permanecer lo más imparciales posible.
• Hacer un test piloto del cuestionario. Eso permite reformular las preguntas imprecisas y
puede revelar la necesidad de formar de nuevo a los recopiladores.
18
Tratamiento
• Verificar la plausibilidad de los resultados.
Interpretación
• Verificar cada interpretación de los resultados por medio de una triangulación con otras
fuentes.
19
5 Apreciación del Cambio
La medición del cambio frente a los puntos de referencia es una cosa, pero demostrar que
los cambios previstos han ocurrido y fueron causados por las intervenciones del proyecto es
otra cosa. Como los proyectos se realizan en contextos complejos y a lo largo de un tiempo
determinado, los factores externos juegan un papel y pueden tener una influencia aún mayor
que el mismo proyecto. Tres tipos de análisis nos ayudan a determinar los efectos provocados
por un proyecto.
Tendencia – Contribución – Atribución
Ingresos del algodón orgánico en la región
Matriz de Marco Lógico
Marco Lógico para
el Análisis de
Contribución
Análisis de atribución =
evaluación de impacto
análisis de tendencia
= monitoreo
atribución
del proyecto
factores
externos
Línea de base
2006
«Una medición
más precisa de lo
necesario perjudica
tanto como una
medición que no
es suficientemente
precisa.»
Arthur David
Ritchie
2008
2010
El Análisis de Tendencias pretende demostrar hasta donde se puede observar un cambio
de outcomes a lo largo del tiempo. Para alcanzar este objetivo necesitamos una línea de base.
Idealmente, cada sistema de monitoreo debe ser capaz de conducir un análisis de tendencias.
La pregunta es: ¿Estamos yendo en la dirección correcta?
El Análisis de la Contribución pretende demostrar en qué medida el proyecto puede ser
una de las causas de los cambios observados en los outcomes. El análisis de contribución se
apoya en cadenas de argumentos lógicos (es decir, el Marco Lógico) y en cambios medidos (es
decir, un sistema de monitoreo). El análisis de la contribución debe ser parte de todo informe
de evaluación. La pregunta es: ¿Nuestros argumentos SI-ENTONCES y supuestos son (todavía)
correctos?
El Análisis de Atribución tiene por objetivo evaluar la proporción del cambio observado,
que puede realmente atribuirse al proyecto o programa evaluado. Esto implica elaborar una
evaluación contrafactica: ¿Cuál habría sido la condición de la población en el momento del
análisis de impacto, si el proyecto no hubiera sido llevado a cabo? Esto suele ser posible para
los outputs de proyectos, a veces para los outcomes y en la mayoría de los casos imposible
para los impactos de un proyecto.
20