Implementando una evaluación - The Abdul Latif Jameel Poverty
Anuncio
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN Implementando una evaluación: Recolección de datos, desgaste y posibles problemas a evitar Juan Esteban Saavedra Abdul Latif Jameel Poverty Action Lab povertyactionlab.org He decidido llevar a cabo una evaluación experimental… • Quiero aprender sobre uno de mis programas usando asignación aleatoria • Ya decidí sobre el tipo de diseño (individual/conglomerados) que voy a usar • Ya hice los cálculos de poder para determinar cuál es el tamaño muestral que necesito en mi evaluación • ¿Cómo comienzo? 2 ¿Necesitamos una línea de base? • ¿Hay información administrativa para construir el marco muestral y realizar la asignación? • Costo de la intervención vs. costo de las encuestas – Cuando la intervención es grande y costosa y recoger datos es barato vale la pena recoger línea de base – Cuando la intervención es pequeña y recoger datos es costoso, es mejor dedicar recursos adicionales a una intervención mayor y no recoger línea de base ¿Necesitamos una línea de base? • Ventajas • Permite validar ejecución del protocolo experimental • Permite analizar interacciones con variables pre‐ tratamiento – Puede ser importante para analizar validez externa – as covariables podrían absorber potencialmente la variación. • Variables de línea de base absorben variación muestral y port tanto aumentan poder muestral ¿Recopilar datos propios o usar datos administrativos? • Típicamente los datos administrativos son muy útiles para el diseño inicial – Marco muestral • Pero en general luego hacen falta datos específicos propios para: – Obtener datos sobre variables que nos interesan – Obtener cobertura adecuada de las poblaciones tratadas y de control. – Obtener mediciones en el momento adecuado. Ejemplo: Vouchers en Colombia • Marco muestral y algunas variables pre‐ tratamiento provenían de datos administrativos • Angrist y coautores (2002) realizaron encuestas para medir resultados de corto plazo (3 años) • Usamos datos administrativos del ministerio de educación y del ministerio de la protección social para analizar impactos de largo plazo (15 años) ¿Necesitamos una encuesta piloto? • La encuesta piloto permite revisar: – El orden de las preguntas – Las respuestas disponibles (cuando el cuestionario ofrece respuestas “cerradas”) – El planteamiento de las preguntas – La habilidad de los encuestadores. – La forma y valor de la compensación para los encuestados (si corresponde) • Durante piloto se puede experimentar con el cuestionario para ver detectar posibles problemas con la medición. ¿Cuándo hacer la medición final? • Depende del plazo esperado para observar efectos • Es ideal realizar múltiples mediciones: – Los resultados en una etapa pueden ayudar a asegurar el financiamiento de las etapas posteriores – Mayor precisión – Recopilar datos en cada etapa ayuda el seguimiento posterior de los encuestados • ¿Se pueden usar datos administrativos para resultados de largo plazo? Consideraciones prácticas • Costo por encuesta (duración, complejidad) vs. número de encuestas • La capacidad de recursos humanos de la organización que implementa la encuesta • La disponibilidad y capacidad de los encuestados para proporcionar la información deseada. Disposición y capacidad del encuestado • Crear“rapport” para obtener información deseada • Utilizar mediciones objetivas si el tratamiento puede influenciar la medición • Preguntar información que no requiera cálculos por parte del encuestado => minimiza error Recolección de datos I • Si se toman muestras de una población objetivo más grande, se necesita marco muestral • La encuesta debe ser clara y no debe dejar espacio a la interpretación del encuestador Recolección de datos II • ¿Subcontratar vs. emplear directamente a los encuestadores? • Es esencial capacitar a los encuestadores en procedimientos y pilotear recolección • Crear manuales para todos los instrumentos de la encuesta Nuevos encuestadores aprenden a utilizar los equipos de salud en Udaipur, India. La capacitación de 45 encuestadores duró dos semanas. Recolección de datos III • Se necesita una verificación periódica de todos los formularios realizada por un supervisor y una nueva verificación aleatoria por parte del gerente de investigación • Volver a encuestar una sub‐muestra de encuestados de manera aleatoria Recolección de datos IV • Para datos recolectados en varias rondas, completar nombres y fechas de los encuestadores en los formularios y fechas de la encuesta • Usar formularios cuyas páginas se puedan separar Recolección de datos V • El equipo en terreno incluye a entrevistadores y supervisores • El tamaño ideal de un equipo bajo un supervisor depende del área de la encuesta y de la longitud del cuestionario (normalmente 8 a 10) • Analizar la estructura de pago del equipo para garantizar calidad de datos Grosh y Glewwe, 2005 Cuestiones logísticas: que las encuestas lleguen a los encuestados & Supervisor Supervisor & Usted Supervisor Supervisor Supervisor Encuestador Encuestador Encuestador Encuestador Encuestador Encuestador Encuestador Encuestador Hogar Hogar Hogar Hogar Hogar Hogar Hogar Hogar Encuestado Encuestado Encuestado Encuestado Encuestado Y luego que los cuestionarios lleguen al ingreso de datos • Ingrese rápidamente los datos para captar los problemas • Al ingresar los datos, asigne un número de encuesta a cada cuestionario • Escanee los documentos • Invierta en una buena base de datos de ingreso de datos (puede utilizar una empresa de software). • Ingrese dos veces todos los datos y unifique con las copias impresas para detectar errores. • Vuelva a ingresar algunas entradas por tercera vez (supervisor) y busque obtener un índice de error menor al 0,5%. • Después de volver a ingresarlos, limpie los datos. Ingreso de datos Cada vez mayores posibilidades de hacer las cosas en computadoras portátiles, Ipods y teléfonos celulares en terreno. La información va directamente a una base de datos (por ejemplo, las plataformas Datadine y Android de Google) Fotografía de Chris Blattman Presupuestación • Realice un presupuesto generoso • Las cosas muchas veces fallan – Movimientos cambiarios – Tiempo de inactividad del encuestador – Gastos de transporte – Necesidad de re encuestar Consideraciones éticas • Verifique lo que se debe aprobar – Comité de Ética (IRB) del país – Comité de Ética (IRB) de la universidad • Permita el tiempo adecuado • Consentimiento informado oral vs. escrito • Permisos – – – – Gobierno nacional Autoridades locales Ministerio correspondiente Seguimiento de la aleatorización! Una buena estrategia de evaluación es necesaria… pero no es suficiente • Incluso si ha logrado configurar un estudio aleatorizado adecuado, aún puede tener problemas con la medición del impacto y el análisis • Un problema frecuente es la deserción muestral (desaparición de encuestados o desgaste) – “¿Es un problema si algunas de las personas en el experimento desaparecen antes de que termine de recolectar sus datos?” 21 Desgaste muestral No está en la evaluación Población objetivo Muestra de la evaluación Asignación aleatoria Grupo de tratamiento Participantes Desertores Grupo de control Controles Desertores 22 Sesgo por desgaste • Es un problema si el tipo de individuos que desaparecen está correlacionado con el tratamiento. • ¿Por qué? • Esto se denomina sesgo por deserción (attrition bias). • ¿Por qué esperaríamos que esto ocurriera? 23 Sesgo por desgaste: un ejemplo • Desea saber si un programa de alimentación tiene un impacto: – mayor matrícula – peso de los niños • Usted va a todas las escuelas (tratamiento y control) y pesa a todos los que asisten a la escuela en un día determinado • ¿La diferencia en el peso entre los grupos en tratamiento y de control estará sub‐estimada o sobre‐estimada? 24 Peso de cada niño (3 niños por grupo) Antes del tratam iento Después del tratam iento T C T C 30 35 40 30 35 40 32 37 42 30 35 40 Prom. Diferencia Diferencia ¿Qué ocurriría si sólo asistieran a la escuela niños de más de 30 k? Antes del tratam iento T C [ausente] [ausente] 35 35 40 40 Después del tratam iento T C 32 37 42 [ausente] 35 40 Prom. Diferencia Diferencia Sesgo por desgaste: otro ejemplo • Suponga que el tratamiento es un “voucher” que permite a los tratados ir a una escuela privada • Quienes reciben el voucher tienen mayor probabilidad de graduarse de la secundaria y por tanto de tomar el examen de ingreso a la universidad • Sólo tenemos puntajes de quienes tomaron el examen • ¿Es la comparación de puntajes T‐C entre quienes tomaron la prueba insesgada? 27 Sesgo por desgaste • Si hay desgaste verifique que no sea diferente entre tratamiento y el control • Verifique también que interacción entre tratamiento y variables observables no predice probabilidad de salir de la muestra – La recolección línea de base es crucial para entender quienes eran más probables de desertar • Procure acotar el grado del sesgo 28 Control del desgaste muestral • Causa primaria – En países desarrollados: rechazo del encuestado – En países en vías de desarrollo: incapacidad de encontrar al encuestado • Encontrar a la gente es difícil • Muchas encuestas no realizan ninguna búsqueda Control del desgaste muestral • Datos de seguimiento recolectados en 1997 (Thomas, Frankenberg y Smith, 2001) – Información de vecinos, parientes, líderes comunitarios si el encuestado en 1993 ya no se encuentra en su ubicación original – Índice de re contacto de 94,4% – Éxito similar en Kenya Life Panel Survey (1998 ‐ presente) • 84% encuestado nuevamente; 89% se volvió a encuestar al menos a un pariente Control del desgaste muestral • Ex ante – Cuando diseñe la encuesta, introduzca en la primera medición la posibilidad de encontrar posteriormente a los encuestados – Desarrolle un protocolo de segumiento o monitoreo y realice un presupuesto para éste • Ex post – Si tiene datos experimentales, compare a los que desertaron y los que no lo hicieron, además de los grupos de control en dimensiones observables – De ser necesario, ajuste estadísticamente En conclusión: ¿Para qué sirven los datos? • Describir el entorno dentro del cual se realiza la intervención/el experimento • Medir los insumos de la intervención • Medir los resultados de la intervención • Evaluar la implementación de la intervención – Desgaste • Registrar las percepciones sobre la intervención 32 Gracias! Juan Esteban Saavedra
