Evaluación de Impacto

Ciudad de Guatemala, 2013
1
Sesión 1
¿Qué es una
evaluación de
impacto?
M a g d a l e n a Va l d é s
mvaldes@povertyactionlab.org
J-PAL LAC
2
Clases (Profesores)
Actividades en Grupo (Todos)
Horario
Trabajo en Grupo (Prof. Asistentes)
Lunes 10
Martes 11
Miércoles 12
Jueves 13
Viernes 14
Introducción
Proyecto en Grupo
Ejercicio 1
Clase 7. Aspectos
Operativos.
Presentaciones
Finales
Clase 1.
¿Qué es una
evaluación?
Caso de Estudio 2
Clase 5. Muestreo y
tamaño de muestra..
Proyecto en Grupo
Presentaciones
Finales
Caso de Estudio 1
Clase 3. ¿Por qué
aleatorizar?
Ejercicio 2
Clase 8. Evaluación
aleatoria de principio.
a fin.
Ceremonia de
Clausura
Clase 2. Resultados,
Indicadores y
Midiendo Impacto.
Clase 4. ¿Cómo
aleatorizar?
Caso de Estudio 3
Proyecto en Grupo
Almuerzo cierre
Proyecto en Grupo
Proyecto en Grupo
Clase 6. Amenazas y
Análisis.
Proyecto en Grupo
Cóctel
3
Índice
1. Introducción
2. ¿Por qué evaluar impacto?
3. ¿Qué es una evaluación de
impacto?
4. ¿Cuándo realizar una evaluación
de impacto?
4
Introducción
5
La gran pregunta
• ¿Cómo decidimos qué programas
implementar?
• Piense en un programa social en el cual
Usted está involucrado y por favor indique:
– Nombre del programa
– ¿Es un buen programa?
– ¿Cómo sabe si es un buen programa?
6
¿Es un buen programa?
1. Sí
2. No
3. No se
33%
1.
33%
2.
33%
3.
7
La gran pregunta
¿Es un buen programa?
• Premisa: La mayoría de los programas sociales tienen
una intención genuina de mejorar las condiciones de
vida de la población de participantes.
• Existe poca evidencia rigurosa en cuanto al impacto de
la mayoría de programas sociales. Por lo tanto, no
sabemos cuales programas son efectivos y cuales no lo
son.
8
¿Cómo decidimos qué programas
implementar?
Apoyo
Ideología
• Presupuesto
• Político
• Capacidad
• Propia
• Externa
Conocimiento
• Evidencia
• Experiencia
• Personal
• Colectiva
Programas
y Políticas
Sociales
9
Para obtener
evidencia:
Debemos evaluar
10
¿Por qué evaluar un
programa?
• Premisa: La mayoría de los programas sociales
tienen una intención genuina de mejorar las
condiciones de vida de la población de
participantes.
• Realidad: Del dicho al hecho hay un trecho.
–
–
–
–
Implementación defectuosa
Hipótesis lejanas a la realidad
Cambios culturales
Etc…
11
¿Por qué evaluar un
programa?
• Una buena evaluación puede ayudar a:
– Identificar programas que están funcionando bien
– Identificar aspectos de un programa que pueden ser
mejorados
– Identificar programas que no están funcionando bien
y que deben ser modificados o descontinuados
• En resumen, las evaluaciones pueden contribuir
a un uso más racional de los recursos que se
dedican a los programas sociales.
12
Componentes de una
evaluación
Evaluación
de
Necesidades
¿Cuál es el
problema?
Objetivo del
Programa
Evaluación
Teórica de
Programas
Evaluación
de
Procesos
¿Cómo, en ¿Las METAS se
teoría, podemos cumplieron? ¿El
resolver el
programa
problema?
funciona como
fue planificado?
Evaluación
de Impacto
Análisis
CostoEfectividad
¿Los
Dadas la
OBJETIVOS magnitud y el
se
costo ¿Cómo se
cumplieron? compara este
¿En qué
programa con
magnitud?
otras
alternativas?
Componentes de una
evaluación
Evaluación
de
Necesidades
¿Cuál es el
problema?
Objetivo del
Programa
Evaluación
Teórica de
Programas
Evaluación
de
Procesos
¿Cómo, en ¿Las METAS se
teoría, podemos cumplieron? ¿El
resolver el
programa
problema?
funciona como
fue planificado?
Evaluación
de Impacto
Análisis
CostoEfectividad
¿Los
Dadas la
OBJETIVOS magnitud y el
se
costo ¿Cómo se
cumplieron? compara este
¿En qué
programa con
magnitud?
otras
alternativas?
¿Qué es una
evaluación de
impacto?
15
Evaluación de Impacto: Medir
eficiencia
Evaluación
de Impacto
Las evaluaciones de impacto miden el
éxito de un programa. Nos ayuda a
eliminar las intervenciones menos
eficientes de todas las intervenciones
exitosas y mejorar los programas
existentes. El principal propósito de una
evaluación de impacto es la determinar si
un programa tiene impacto y
cuantificar cuán grande es el impacto.
Se basa en OBJETIVOS finales, para los
cuales fueron creados los programas…
Para empezar…. ¿Qué es
Impacto?
El impacto de un programa es la diferencia entre:
V/S
Los resultados que los
participantes del
programa obtienen
Los resultados que esos
mismos participantes
hubieran obtenido si no
hubiesen participado en
el programa
Para empezar…. ¿Qué es
Impacto?
El impacto de un programa es la diferencia entre:
V/S
Que ocurrió con el
programa
Que hubiera ocurrido
sin el programa
Contrafactual
Test de lectura
Para empezar…. ¿Qué es
Impacto?
Programa
lectura escolar
T=0
Inicio Programa
Tiempo
¿Qué impacto tuvo este
programa?
1. Positivo
2. Negativo
3. No sé
33%
1.
33%
2.
33%
3.
20
Test de Lectura
Contrafactual
Programa
Lectura Escolar
Impacto
Tiempo
Test de Lectura
Contrafactual
Programa
Lectura Escolar
Impacto
Tiempo
Contrafactual
El contrafactual es Hipotético…
Ya que representa el estado del mundo que participantes del
programa habrían experimentado en la ausencia del programa
• Problema: No se puede observar el contrafactual
• Solución: Tenemos que “replicar” o “construir” el contrafactual
Construyendo el
Contrafactual
Objetivo: Seleccionar a un grupo que sea exactamente igual
al grupo de participantes en todas las formas.
– Sólo difieren en si reciben o no el programa.
– Así podemos atribuir diferencias en los resultados
entre el grupo de participantes y el grupo de
comparación al programa (y no a otros factores).
Construyendo el
Contrafactual
El contrafactual generalmente se construye a partir de la
selección de un grupo no afectado por el programa:
• Evaluación No Aleatoria
• Evaluación Aleatoria
Construyendo el
Contrafactual
Evaluación No Aleatoria (NO EXPERIMENTAL):
• Métodos:
– Diferencias en Diferencias, Matching, Variables Instrumentales, etc…
• Todos estos métodos tratan de hacer lo mismo:
– Estimar que hubiera pasado sin el programa por medio de generar un
grupo de control.
– Estimar la diferencia entre el grupo de control y el grupo de tratamiento.
Para definir el grupo de control los métodos no experimentales
hacen supuestos ¿Se pueden verificar estos supuestos?
Construyendo el Contrafactual:
¿Porqué aleatorizar?
Evaluación Aleatoria:
Tome una muestra de postulantes a un programa. Asígnelos de forma
aleatoria (una lotería) a un grupo de tratamiento y a un grupo de
control.
Tratamiento
Control
Construyendo el Contrafactual:
¿Porqué aleatorizar?
Evaluación Aleatoria:
Al construir un CONTRAFACTUAL de manera aleatoria,
cualquier diferencia al finalizar el programa puede ser atribuida
al programa ya que:
– Se elimina cualquier sesgo que puede haber en una evaluación
no experimental.
– La aleatorización hace que los grupos sean comparables en
variables observables y no observables.
– No es necesario hacer demasiados supuestos, como en las
evaluaciones cuasi-experimentales.
¿Y qué pasa con
los otros
componentes de
una evaluación?
29
Componentes de una
evaluación
Evaluación
de
Necesidades
¿Cuál es el
problema?
Evaluación
Teórica de
Programas
Evaluación
de
Procesos
Evaluación
de Impacto
Análisis
CostoEfectividad
¿Cómo, en ¿Las METAS se
¿Los
Dadas la
teoría, podemos cumplieron? ¿El OBJETIVOS se magnitud y el
resolver el
programa
cumplieron? costo ¿Cómo se
Todas son Importantes
y muchas veces
representan
una cadena de acciones
problema?
funciona como
¿En qué
compara este
fue planificado? magnitud?
programa con
otras
alternativas?
Muchas veces confundimos
impacto con procesos…
• Proceso: Describimos
lo que ocurrió.
Evaluación de
Procesos
¿Las METAS se
cumplieron? ¿El
programa
funciona como
fue planificado?
Evaluación de
Impacto
¿Los
OBJETIVOS se
cumplieron?
¿En qué
magnitud?
• Impacto: Comparamos
lo que ocurrió con lo
que habría ocurrido en
la ausencia del
programa.
Análisis Costo-Efectividad
(ACE)
Análisis
CostoEfectividad
Análisis Costo-Efectividad (ACE):
Toma el impacto de un programa y lo divide
por el costo del programa, generado
estadísticas tales como: el número de casos
de diarrea prevenidos por dólar invertido.
32
ACE es un
punto de partida
para
discusiones de
política pública
basadas en
evidencia
33
Finalmente…
¿Cuándo es relevante
una evaluación de
Impacto?
¿Cuándo realizar una
evaluación de impacto?
1. Siempre
2. Nunca
3. La mayor parte de
las veces
4. La menor parte de
las veces
25%
1.
25%
25%
2.
3.
25%
4.
35
¿Cuándo realizar una
evaluación de impacto?
• Cuando hay una pregunta importante sin resolver para la cual
se requiere una respuesta:
–
–
–
–
–
Programa común sin mucha evidencia.
Incertidumbre acerca de la estrategia alternativa que utilizará (Diseño).
Pregunta clave que subyace a muchos programas diferentes.
Presentación de un nuevo programa, importantes preguntas de diseño
El programa a ser evaluado vale la pena evaluar. Ejemplo: Progresa /
Oportunidades
• Cuándo podamos controlar efectos secundarios: Ejemplo:
Efecto desplazamiento políticas laborales
36
¿Cuándo realizar una
evaluación de impacto?
• Plazo: no muy temprano ni muy tarde:
– Realice una evaluación una vez que se aclaren los enredos básicos:
– Debe tratar de asegurar razonablemente que este sea el estado del
programa que desearía evaluar.
– No hay punto al utilizar una evaluación rigurosa para encontrar que aún hay
problemas de gestión y logística. Evaluación de Procesos.
– Antes de la presentación a mayor escala
– Luego podría ser muy tarde para tener un grupo de control.
– Si se descubre que no es efectivo, el dinero ya habrá sido gastado.
• Tiempo, experticia y dinero para hacerlo bien.
37
¿Cuándo realizar una
evaluación de impacto?
• Dos principios generales que se pueden aplicar para la
elaboración de evaluaciones de impacto:
– Algunos pocos estudios de impacto de alta calidad valen más que
muchos estudios de mala calidad.
– Si hace la pregunta correcta, es más probable que se usen los
resultados de la evaluación.
38
¿Cuándo NO debe realizarse
una evaluación impacto?
• Cuando el programa es prematuro y aún requiere cambios
considerables que no puedan ser medidos antes de ser
llevado a escala o ser replicado
• Cuando el programa es demasiado pequeño en escala para
aleatorizar.
• Si se ha probado un impacto positivo utilizando una
metodología rigurosa y los recursos son suficientes para
cubrir a todos.
• Cuando el programa depende de un factor No escalable
¿ Vo l v a m o s a l a p r e g u n t a d e l
comienzo, es un buen
programa?
1. Sí
2. No
3. No se
33%
1.
33%
2.
33%
3.
40
¡GRACIAS!
A
M a g d a l e n a Va l d é s
mvaldes@povertyactionlab.org
J-PAL LAC
41