Como leer y supervisar una Evaluación de Impacto

Como leer y
supervisar una
Evaluación de
Impacto: Regresión
Discontinua
Diether W. Beuermann, Ph.D.
Oficina de Evaluación y Supervisión
Intuición
ƒ El objetivo de esta y todas las metodologías no experimentales
de evaluación de impacto es: Construir un grupo control que
sirva de aproximación contra-factual al grupo tratamiento.
ƒ La Regresión Discontinua (RD) aprovecha la existencia de
una regla que excluya cierto grupo de la administración de
algún programa para así construir un grupo de control.
ƒ Ejemplo: Programa de Transferencias Monetarias no
Condicionadas en Bolivia “Bolivida” [Yanez-Pagans, 2008]
ƒ Regla: En 2001 todo adulto de 65 años de edad o mas recibe
una trasferencia estándar de dinero (aprox. US$ 248 / año)
Intuición
ƒ Vemos como la regla (dictada por la variable edad) afecta
fuertemente la probabilidad de recibir la transferencia.
Intuición
ƒ La intuición radica en que la regla determina la existencia de
personas que reciben y no reciben el programa pero que son
muy parecidas.
ƒ Esto esta concentrado en el punto de discontinuidad
Intuición
ƒ Es decir, tenemos un “Experimento Natural” en el sentido de
que una regla externa determina como “grupo de
tratamiento” a aquellas personas con 65 años o mas.
Asimismo, la regla determina un “grupo de control”
comprendido por personas con menos de 65 años de edad.
Grupo Tratamiento
Grupo Control
Diseño
ƒ Línea de Base: No es estrictamente necesaria, pero
idealmente se debería tener.
ƒ Datos: Gran ventaja es que se pueden utilizar datos de una
sola dimensión temporal (“Datos de Corte Transversal”)
ƒ Pero es indispensable tener abundancia de observaciones
alrededor del punto de quiebre dictado por la regla de
acceso al programa Æ Impactos son identificados con
observaciones alrededor del corte.
ƒ Aspecto Clave: Regla de acceso al programa debe ser
fielmente respetada.
Evaluación
ƒ Mecánica: Habiéndose identificado la variable que determina
el ingreso o no al programa de acuerdo a la regla de
elegibilidad; nos encontramos en un entorno similar al de un
experimento.
ƒ Mecánica: En tal sentido, el impacto resulta de comparar
aquellos agentes que marginalmente accedieron al programa
(T) con aquellos que marginalmente no accedieron al mismo
(C)
Grupo Tratamiento
Grupo Control
Evaluación
ƒ Línea de Base: Si existen datos de periodos previos a la
introducción del programa Æ No deberían haber diferencias
significativas entre T y C
Evaluación
ƒ Pregunta 1: La transferencia monetaria afecta el nivel de
inversión en la educación de personas mas jóvenes dentro del
hogar?
Efectos
Significativos
cuando la
beneficiaria es
Mujer
Evaluación
ƒ Pregunta 2: Existen efectos heterogéneos con respecto al
genero del niño?
Efectos
mayormente
concentrados
en niños
Evaluación
ƒ Robustez: Varian los efectos estimados si variamos el rango
de la variable de elegibilidad?
Efectos varian
cuando nos
enfocamos en
agentes en el
margen de la
elegibilidad
Chequeo Final: Puntos Claves
ƒ Diseño del Estudio:
– Regla de acceso: Deber ser clara, basada en variable(s) observables y debe ser
RESPETADA.
– Datos Previos: Idealmente, hacer una línea de base previa para efectuar las
pruebas de balance en forma análoga al método experimental.
ƒ Evaluación:
– Datos: Se debe contar con datos de las variables de interés en agentes que
marginalmente quedaron fuera y dentro del programa.
– Muestra?: Idealmente debemos contar con la máxima cantidad de
observaciones encontradas en el margen. Las observaciones fuera del
vecindario del margen no son muy útiles.
– Robustez: Proveer evidencia de cómo varían los resultados con respecto a
poblaciones heterogéneas y con respecto a la variabilidad del rango en la
variable que determina la elegibilidad del programa.