From Program Evaluation to Strategy Evaluation: Mexico and the

De la Evaluación de Programas a la
Evaluación de Estrategias:
México y Estados Unidos
23 y 24 de Septiembre de 2010
Seminario Internacional “Análisis e Incidencia de las Políticas Públicas”
ITESM-EGAP, Campus Estado de México
Lorenzo Moreno, Ph.D., M.Sc.
Temas de la Presentación
Evaluaciones de Progresa/Oportunidades
y la evaluación de la estrategia contra la
pobreza en México
Experiencia en E.E.U.U. y México con
evaluaciones de estrategia y la formación
de capacidades técnicas en México
2
Perspectiva y Posibles Sesgos
Mathematica
Mis
convicciones
WWS
Mis
antecedentes
Experiencia de
20 años
Enseño
evaluación de
programas y
políticas
Capacitación de
evaluadores
altamente
calificados
Crecí en México
Programas
domésticos de
servicios de
salud
MPA y MPP
Evaluación para
la asignación de
recursos públicos
Estadístico, pero
economista por
“osmosis”
IMSS-SSA:
Programa de
Planificación
Familiar
Programas
internacionales
de desarrollo
Banco de
México:
Investigación
Económica
Casi 28 años en
el extranjero
3
No todo lo que se puede contar cuenta,
y no todo lo que cuenta se puede contar
Albert Einstein
4
Estrategias Sociales y Evaluación
5
Brecha Crónica entre Estrategia y Evaluación
Estrategia
Evaluación
6
Proceso para la Evaluación de Estrategias
Marco Institucional
Marco Lógico
Marco Técnico
•
•
•
•
Mandato legal
Unidad de evaluación
Regulación en el uso de evaluaciones e incentivos para su uso
Normas sobre transparencia
• Coordinación entre unidades administrativas
• Selección de indicadores adecuados
• Capacitación de evaluadores
• Metodología para la estimación de impactos
• Implementación y administración de evaluaciones
• Capacitación de evaluadores
Fuente: Adaptación de Gonzalo Hernández Licona. “Building a Monitoring & Evaluation System: A Public Policy Challenge with Technical
Elements.” Presented to the Planning Commission, Government of India, 2009.
7
Estrategia Contra la Pobreza en
México
8
Tres Pilares…
Estrategia Contra La Pobreza
Desarrollar
capacidades
básicas
Incrementar
las
oportunidades
generadoras
de ingresos
Mejorar la
infraestructura
en regiones
marginadas
Fuente: Santiago Levy. Progress Against Poverty. Sustaining Mexico’s Progresa-Oportunidades Program. Brookings Institution, 2006.
9
… Muchos Programas
Principales Programas Sociales
Contra la Pobreza
Progresa-Oportunidades
Programa de Apoyo
Alimentartio (PAL)
Programa Jornaleros
Agrícolas
Programa 70 y más
Programa de Empleo
Temporal (PET)
Programa Opciones
Productivas
Programa Estancias
Infantiles para Apoyar a
Mujeres Trabajadoras
Fuente: Adaptación de Levy, 2006.
10
Hábitat
Programa para el Desarrollo
de Zonas Prioritarias (PDZP),
antes Microregiones
Apoyo para Regularizar
Asentamientos Irregulares
Programa Espacios Públicos
Programa 3x1 para
Migrantes
Uayalceh 2010 (Hda. Henequenera 1763-1910), Yucatán
11
Evaluación de Progresa-Oportunidades
Incentivos para tomar acciones personales
para salir de la pobreza
El programa más evaluado en México, Latino
América y posiblemente el mundo
Gran contribución en la formación de
capacidades técnicas en México y a nivel
mundial
• Identificación e implementación de diseños estadísticos
• Uso de métodos econométricos para estimar impactos con alta
confiabilidad y mínimo sesgo
Fuente: Santiago Levy. Progress Against Poverty. Sustaining Mexico’s Progresa-Oportunidades Program. Brookings Institution, 2006.
12
Larga Lista de Evaluaciones de Impacto
Consumo, ahorro e inversión
Nutrición y salud
Educación y participación laboral
Selección de beneficiarios
Indices de pobreza
Costo-beneficio (educación infantil y juvenil)
Transferencias y mercados regionales
Relaciones intra-hogares y status de la mujer
Migración
Fuente: Santiago Levy. Progress Against Poverty. Sustaining Mexico’s Progresa-Oportunidades Program. Brookings Institution, 2006.
13
Pero Existen Limitaciones Técnicas …
Progresa-Oportunidades no es la estrategia
contra la pobreza
• Es sólo un componente ampliamente emulado y difundido a
nivel mundial
Métodos estadísticos solo pueden responder a
preguntas muy específicas:
• ¿Es Hábitat efectivo en regiones con alta pobreza patrimonial?
Se requiere adaptar metodologías para
responder preguntas muy amplias:
• ¿Se ha reducido la desigualdad histórica en pobreza?
• Síntesis de evaluaciones de impacto
• Monitoreo de otras fuentes de datos administrativos o de
paneles
Fuente: Adaptación de Levy, 2006.
14
Y También Institucionales…
Pese al cambio de cultura evaluativa
en México, las evaluaciones externas
adolecen de:
•
•
•
•
•
Sistematización y homogeneidad
Control de calidad
Influencia en el ajuste de los programas
Utilización en la toma de decisiones
Difusión entre tomadores de decisiones y el
público
• Capacitación de evaluadores (no sólo
econometristas)
Fuente: CONEVAL. Informe de Evaluación de la Política de Desarrollo Social en México en 2008. México, DF: CONEVAL 2008, p. 84.
15
Posibles Contribuciones a la
Evaluación de Estrategias
16
En los Estados Unidos
Experiencia limitada:
• El Congreso, no el Ejecutivo, elabora las estrategias
sociales
• La Oficina de Administración y Presupuesto (OMB) está
enfocada en el presupuesto más que en estrategias
sociales
• Las evaluaciones de impacto son más “sexys”
Pese así, hay esfuerzos en:
• Política federal en educación
• Política federal de tecnología de la información en salud
• Bill & Melinda Gates Foundation: Programas educativos y
de salud
Mathematica participa en estas evaluaciones
• Otros actores: Abt Associates, American Institutes of
Research, Brookings Institution, MDRC, Urban Institute
17
En México
CONEVAL ha logrado grandes avances,
reconocidos en todo el mundo:
•
•
•
•
•
•
•
•
Preparación de marcos lógicos para 520 programas
Evaluación anual de 130 programas
Identificación de indicadores de resultados
Análisis de resultados de evaluación externa de
85 programas; síntesis de resultados 2006-2007
Preparación de un marco normativo
Identificación de los criterios para un sistema de
evaluación del desempeño
Estimación de indicadores de pobreza 1992-2008 a
nivel nacional, estatal y municipal
Análisis de la estrategia de alimentación y nutrición
Fuente: CONEVAL. Informe de Evaluación de la Política de Desarrollo Social en México en 2008. México, DF: CONEVAL 2008, p. 84.
18
Grandes Retos Para CONEVAL
Asegurar:
• No se evaluén programas innecesariamente
• Evaluaciones de alta calidad
• Respuesta a la limitada experiencia de
muchas instituciones locales
• Incentivos para usar objetivamente los
resultados de evaluaciones
• Vínculos formales entre evaluaciones y el
proceso de preparación del presupuesto
• Evaluación de impacto del nuevo sistema de
evaluación y monitoreo en la calidad de la
política social
Fuente: Dan Levy. Evaluación de Política Social en México: Perspectiva de un Evaluador. Presentación en el Seminario “Política
Social para la Equidad.” ITESM, s.f.
19
Posible Sinergias
Capacitación de evaluadores para monitorear
estrategias
Desarrollo y uso de sistemas de evaluación y
monitoreo locales
Asegurar la transparencia y credibilidad de los
indicadores
Sintetizar los probables impactos de las intervenciones
utilizando evidencia confiable
Considerar la experiencia de:
• Top Tier Initiative - Coalition for Evidence-Based Policy
• Policy Group - Poverty Action Laboratory (MIT)
• Bill & Melinda Gates Foundation
• Mathematica
Fuente: Desarrollo propio en base a CONEVAL, 2008; y D. Levy, comunicación personal, Agosto, 2010.
20
Posibles Contribuciones desde “El Otro Lado”
Cultura de
evaluación bien
establecida y en
crecimiento
Reputación de
independencia y
objetividad
Experiencia
sintetizando
resultados de
evaluaciones de
impacto
Experiencia en la
retroalimentación de
tomadores de
decisiones
Experiencia
capacitando
evaluadores
21
Pero Aquí Me Detengo en “Este Lado ….”
22
Para Información Adicional
• Investigador Senior
– lmoreno@mathematica-mpr.com
– +1.609.936.2766
• Profesor Visitante de Asuntos Públicos e
Internacionales, Woodrow Wilson School, Princeton
University
– lmoreno@princeton.edu
– +1.609.933.9106
23