Impulso a la evaluación de impacto Juan M. Hernández-Agramonte www.poverty-action.org Agenda ① ¿Cómo se produce evidencia? ① Valor de evidencia en Política: Ejemplo Tikichuela ② ¿Por qué no se produce suficiente evidencia? ③ Logros y siguientes pasos ①¿Cómo se produce evidencia? IPA y J-PAL Investigación Reducir la pobreza garantizando que las políticas públicas se basen en evidencia Desarrollando capacidades Lecciones de política Evidencia Causal Muchas de las preguntas de política pública requieren encontrar relaciones de causa-efecto. • ¿Cuál es el impacto de un programa de que entrega información sobre los retornos de la educación en los puntajes de los estudiantes y la matrícula? • ¿Cuál es el efecto del aprendizaje de habilidades socio-emocionales en el clima escolar? Efecto de política A en resultado B Cuatro elementos importantes: El problema y la población que presenta problema. Resultado esperado (que mide resolución del problema). Política (programa, política, tratamiento, etc) Punto referencia (Contrafactual). ¿Cómo estaría la población que presenta el problema si no recibiera programa? ¿Cómo se produce evidencia? T C 7 ②Valor evidencia ¿Por qué evaluar un programa? • ¿Qué pasaría si tuviéramos evidencia suficiente para contestar preguntas? Asignación presupuestaria basada en evidencia Expandir las intervenciones más costo-efectivas Innovación Descubrimiento de nuevas ideas efectivas Mejores procesos políticos Mayor costo de utilizar argumentos extremos y menor polarización política 9 Usando la evaluación de impacto para aprender Tikichuela matemáticas en mi escuela Ministerio de Educación y Cultura (MEC) y BID Intervención en Educación Inicial (5 años) Uso de Educación por Radio Interactiva (ERI) Adaptación del curriculum BMLK Evaluación de impacto experimental durante 3 años Diseñar, aprender y mejorar DISEÑO • BMLK • ERI EVALUACIÓN 2011 • Incremento .16 • Cierre de brechas • Brechas niños y niñas DECISIONES 2011 • Modificar programa • Evaluar modificaciones DECISIONES 2013 • Ampliar a 1° y 2° de primaria • Evaluar en 2° y 3° • Focalizar EVALUACIÓN 2013 • No se produce brecha • No hay efectos duraderos ③¿Por qué no se produce suficiente evidencia? Diferencia abismal de evidencia en relación a las Ciencias Naturales Número de evaluaciones de impacto experimentales 160000 140000 120000 100000 80000 60000 40000 20000 0 Medicina Ciencias sociales Algunas posibles causas de la sub-producción de evidencia • Problemas de Agencia – Multiples agentes con intereses distintos • Ilusión de Irrelevancia – Gran confianza al “sentido comun” y sobreestimación de los costos Algunas posibles causas de la sub-producción de evidencia • Los tiempos de evaluación no siempre se ajustan a los ciclos políticos • Evaluación vista como herramienta de control y no de aprendizaje • Dificultades operativas y cambios de prioridades 4) Avances y desafíos Avances en Perú Institucionalizados • Ministerio de Economía y finanzas (MEF) – Financiamiento – Presupuesto basado en Resultados • MIDIS gestión basada en evidencia No institucionalizados • Campeones de la evaluación: personas y direcciones • Sociedad civil: – REDLACME 2013 – IEN 2013 – REDPERUME Avances en el MINEDU • Esfuerzos institucionales: – DIDE articulando investigación fortaleciendo capacidades y promocionando una cultura de evidencia – SPE dando acompañamiento técnico y entregando financiación – PpR creando incentivos • Agentes externos que promueves la EI: – – – – – – BID con PRONABEC Beca 18 JPAL/IPA, Banco Mundial y DIGEDIE con Escuela Amiga/Nueva JPAL/IPA y DES Entrega de información para prevenir deserción JPAL/IPA y UMC Mejora de los informes para IIEE y padres para incentiva mejora JPAL/IPA y SPE Uso de SMS para mejorar la implementación de mantenimiento JPAL/IPA talleres de capacitación y sensibilización • Oportunismo: – No hay una priorización de la evaluación – Voluntades y capacidades de las direcciones de poder vincularse a estos canales – Direcciones comprometidas pero volátiles Siguientes pasos • Fortalecer la cultura del uso y producción de evidencia: – Más espacios y ajustados a necesidades – Promocionar y facilitar procesos de vinculación – Promocionar la evaluación como aprendizaje • Avanzar hacia esquemas institucionalizados de innovación y aprendizaje • Fortalecer sistemas de información para crear esquemas de innovación ANEXOS Ideas estructurales 1. Fomentar una cultura de evidencia y aprendizaje en el quehacer público 2. Promover mecanismos formales para institucionalizar el aprendizaje 3. Empoderar a la ciudadanía para demandar evidencia en las políticas públicas 21 Ideas oportunistas 1. Pensar evaluaciones desde el diseño del programas 2. Acercar a políticos con académicos 3. Facilitar el uso de evidencia 22