Secretaría de Desarrollo Social Meta evaluación 2007-2012 del Programa de Apoyo Alimentario Informe Final Institución a cargo del proyecto: Universidad Autónoma de Chiapas Centro Universidad - Empresa Coordinador General: Jorge Mario Soto Romero Responsable Administrativo Alfredo Martínez de la Torre Investigadores: Ricardo A. Belman Martínez Alida Marcela Gutiérrez Landeros Melissa Rodríguez Segura Tuxtla Gutiérrez, Chiapas 23 de Octubre de 2012 1 Resumen ejecutivo La presente Meta evaluación 2007-2012 del Programa de Apoyo Alimentario (PAL) tiene como objetivo analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad que permitan al programa obtener mejores resultados en próxima administración federal. Así, los principales resultados del PAL en materia de evaluación son los siguientes: Principales fortalezas y oportunidades: El PAL atiende a población pobre de localidades rurales dispersas donde el Programa de Desarrollo Humano Oportunidades no puede operar por falta de acceso a servicios de educación o de salud o en otro tipo de localidades donde no hay capacidad de atención por parte de los servicios de salud bajo el esquema de Oportunidades. Brinda a la población vulnerable la posibilidad de mejorar su nutrición y salud mediante los apoyos monetarios y los complementos alimenticios. Cuenta con criterios de elegibilidad claros y con procedimientos adecuados para la identificación y selección de beneficiarios. El proceso de transferencia de recursos y entrega de apoyos cumple con lo establecido en las ROP; se basa en procedimientos documentados, estandarizados, sistematizados y difundidos públicamente, y es eficaz y eficiente. El PAL tiene el potencial de funcionar como un programa previo a Oportunidades para atender a la población en condición de pobreza en caso de que se pretenda eventualmente ampliar el acceso a los servicios de educación y/o de salud para permitir así la entrada de Oportunidades. Principales debilidades y amenazas: El problema focal y los objetivos del programa no están correctamente identificados y claramente definidos, pues subsisten ambigüedades e inconsistencias importantes. El tránsito de los hogares del PAL a Oportunidades está limitado principalmente por la cobertura y capacidad de los servicios de educación y de salud en las localidades. No se abarca un horizonte de mediano y largo plazo para ir atendiendo a la población objetivo del programa Los cambios en los indicadores de Fin y Propósito no han respondido cabalmente a los comentarios de las diversas instancias. No se han realizado evaluaciones de impacto, por lo que no se conocen los verdaderos efectos e impactos imputables al programa. Hallazgos sustantivos y metodológicos relevantes de otros programas similares: Se puede mejorar significativamente la nutrición infantil mediante transferencias focalizadas pero no condicionadas de ingreso, especialmente si se logra atender a las familias con niños desde edades muy tempranas y al menos hasta el nivel prescolar. 2 Las transferencias no condicionadas también pueden lograr ganancias relevantes en la salud de niños y adultos, aún sin mejoras en el acceso a los servicios de salud, por medio de la mejora en el estado físico y el incremento del gasto en salud. Los principales impactos de las transferencias no condicionadas se dan en la seguridad alimentaria, y particularmente como mecanismo de protección ante choques económicos, demográficos y estacionales. Esto puede ocurrir a través de una mayor producción agrícola (disponibilidad); el incremento del gasto y la variedad de los alimentos así como en la reducción de comidas perdidas (acceso); y en la reducción de las enfermedades producto del incremento en el gasto en el cuidado de la salud (uso). Apoyos en especie como los desayunos escolares y los suplementos y complementos alimenticios han mostrado buenos resultados nutricionales, por lo que se podrían explorar arreglos alternativos para combinar los apoyos en efectivo y en especie. Agenda de evaluación propuesta: 2013: Diagnostico y propuestas de atención 2014: Evaluación de diseño. 2015-2016: Evaluación de impacto. 2017: Evaluación estratégica de desempeño de los programas sociales alimentarios. 2017: Evaluación de procesos. 2018: Evaluación de consistencia y resultados. Sugerencias para la evaluación de impacto: Evaluar el impacto del programa sobre la nutrición de los niños y de las mujeres embarazadas y en lactancia y sobre la morbilidad de los miembros de los hogares, así como en la seguridad alimentaria (acceso a los alimentos) de los hogares, en los niveles de Fin y Propósito respectivamente. El modelo sería de doble diferencia, con grupos de tratamiento y de comparación así como levantamientos basales y de seguimiento, a partir de encuestas propias con representatividad nacional. Se recomienda además explorar la factibilidad de utilizar los datos del módulo de consumo diario de la ENIGH, con un modelo de diferencia simple. Complementariamente, se propone evaluar los posibles efectos en otros aspectos como el gasto en salud, la producción de alimentos y la satisfacción con la vida propia. En materia de monitoreo, y considerando el diseño actual del programa se desarrollaron las siguientes propuestas: Propuesta para mejorar los resúmenes narrativos: Fin: Contribuir al desarrollo de capacidades básicas en nutrición y salud de la población con ingresos menores a la línea de bienestar mínimo que no tiene acceso al Programa Oportunidades. Propósito: Familias beneficiarias incrementan su seguridad alimentaria Propuesta para mejorar los indicadores: 3 Fin: (a) diferencia en el puntaje Z de crecimiento para variables seleccionadas de niños menores de 12 años entre familias beneficiarias y no beneficiarias; (b) diferencia en la prevalencia de anemia de mujeres embarazadas o en lactancia entre familias beneficiarias y no beneficiarias; (c) diferencia en la incidencia de enfermedades gastrointestinales en niños menores de 5 años entre familias beneficiarias y no beneficiarias. Propósito: (a) diferencia en el índice de acceso a la alimentación entre familias beneficiarias y no beneficiarias; (b) diferencia en el consumo promedio ponderado de alimentos básicos entre familias beneficiarias y no beneficiarias; (c) diferencia en el gasto promedio ponderado en alimentos básicos entre familias beneficiarias y no beneficiarias. Finalmente, de las reflexiones complementarias del equipo metaevaluador se derivan las siguientes recomendaciones: Fortalecer el diseño, ampliar la cobertura e incrementar los apoyos del PAL, por su gran potencial para reducir la vulnerabilidad, mejorar la seguridad alimentaria y disminuir la carencia alimentaria, particularmente en las familias del decil más bajo de ingreso. Se espera que de estos efectos se deriven impactos en nutrición y salud. Se recomienda redefinir el problema focal, los objetivos y las poblaciones potencial y objetivo, centrándolos en la seguridad alimentaria. Eliminar la exclusión entre el PASL y el PAL o limitarla solo a aquellos individuos que reciben complementos alimenticios, considerando las complementariedades y sinergias en el soporte nutricional y la prevención de enfermedades. Desarrollar un esquema operativo que facilite el transito de las familias del PAL hacia Oportunidades, en los casos en que éstas sean elegibles, a través de la adecuación y flexibilización de los criterios para la selección de localidades, los requisitos de corresponsabilidad de las familias y los mecanismos de verificación de cumplimiento de Oportunidades, para atender a quienes viven en localidades con déficits en la cobertura y capacidad de los servicios educativos y de salud. Incrementar los montos máximos del conjunto de apoyos del PAL para acercarlos más a los que entrega Oportunidades, considerando que las familias del primero son, por definición, más carenciadas que las del segundo. Explorar alternativas para ampliar y diversificar la entrega de apoyos en especie, incluyendo vales canjeables por alimentos fortificados (leche Liconsa y harina Mi Masa). Buscar nuevas formas de coordinación, complementación y sinergias con Oportunidades, PAR y PASL, para mejorar la atención a las familias más pobres. 4 Índice de contenido Resumen ejecutivo.......................................................................................................................... 2 1 2 Introducción ............................................................................................................................ 7 Descripción del Programa ....................................................................................................... 8 2.1 2.2 2.3 2.4 2.5 3 Antecedentes y objetivos .......................................................................................................... 8 Problema focal y árbol de problemas ........................................................................................ 8 Población potencial y población objetivo ................................................................................ 11 Apoyos otorgados .................................................................................................................... 11 Evolución de la cobertura ........................................................................................................ 12 Reporte de evaluación .......................................................................................................... 13 3.1 Principales resultados de las evaluaciones 2007-2011 ............................................................ 14 3.1.1 Evaluación de Consistencia y Resultados (ECR 2007) .......................................................... 14 3.1.2 Evaluación de Diseño (ED 2009) .......................................................................................... 16 3.1.3 Evaluación Específica de Desempeño (EDD 2008) ............................................................... 17 3.1.4 Evaluación Específica de Desempeño (EDD 2009-2010)...................................................... 18 3.1.5 Evaluación Específica de Desempeño (EDD 2010-2011)...................................................... 20 3.1.6 Evaluación de Consistencia y Resultados (ECR 2011-2012) ................................................. 21 3.2 Análisis de evaluaciones de resultados o de impacto en el ámbito nacional o internacional de programas similares ............................................................................................................................. 23 3.2.1 Subsidio de apoyo infantil, Sudáfrica................................................................................... 23 3.2.2 Esquema piloto de trasferencias sociales de Mchinji, Malawi............................................. 25 3.2.3 Desayunos escolares en zonas rurales, Jamaica. ................................................................. 28 3.3 Agenda de evaluación para el periodo 2013-2018 .................................................................. 31 3.3.1 2013: Diagnóstico y propuestas de atención ....................................................................... 33 3.3.2 2014: Evaluación de diseño ................................................................................................. 33 3.3.3 2015-2016: Evaluación de Impacto ..................................................................................... 34 3.3.4 2017 Evaluación estratégica de desempeño de los programas sociales alimentarios ......... 35 3.3.5 2017: Evaluación de procesos ............................................................................................. 35 3.3.6 2018: Evaluación de cconsistencia y resultados .................................................................. 36 3.4 Análisis de viabilidad y pertinencia para las evaluaciones de impacto .................................... 37 3.4.1 Pertinencia de la evaluación ................................................................................................ 37 3.4.2 Aspectos a evaluar .............................................................................................................. 38 3.4.3 Metodologías y fuentes de información .............................................................................. 40 3.4.4 Viabilidad técnica y financiera ............................................................................................. 43 3.5 Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones ................ 45 3.6 Análisis de la contribución de los programas alimentarios a la reducción de la carencia de acceso a la alimentación ....................................................................................................................... 51 3.6.1 Aspectos conceptuales y de diseño programático .............................................................. 51 3.6.2 Potencial de contribución de cada programa ...................................................................... 52 3.6.3 Programa de Desarrollo Humano Oportunidades y Programa de Apoyo Alimentario ........ 53 3.6.4 Programa de Abasto Social de Leche ................................................................................... 54 3.6.5 Programa de Abasto Rural ................................................................................................... 54 3.6.6 Conclusiones y recomendaciones sobre los programas y la carencia .................................. 55 3.7 Reflexiones y recomendaciones complementarias del metaevaluador ................................... 56 5 3.7.1 3.7.2 3.7.3 3.7.4 4 Sobre el problema focal y las poblaciones potencial y objetivo .......................................... 56 Sobre la mutua exclusión entre el PASL y el PAL ................................................................. 58 Sobre la cobertura y focalización......................................................................................... 60 Sobre los apoyos que otorga el PAL .................................................................................... 61 Reporte de monitoreo .......................................................................................................... 63 4.1 Introducción ............................................................................................................................ 63 4.2 Análisis histórico de la Matriz de Indicadores para Resultados 2007-2012 ............................. 64 4.2.1 Principales cambios de la Matriz de Indicadores 2007-2012 ............................................... 64 4.2.2 Análisis 2008-2009 .............................................................................................................. 64 4.2.3 Análisis 2009-2010 .............................................................................................................. 67 4.2.4 Análisis 2010-2011 .............................................................................................................. 68 4.2.5 Análisis 2011-2012 .............................................................................................................. 69 4.3 Principales comentarios a la Matriz de Indicadores 2008-2012 .............................................. 70 4.3.1 Fin........................................................................................................................................ 71 4.3.2 Propósito ............................................................................................................................. 72 4.3.3 Componentes ...................................................................................................................... 73 4.3.4 Comentarios generales ........................................................................................................ 74 4.4 Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012 ................. 75 4.4.1 Análisis de la MIR 2012 y vínculo con las Reglas de Operación ........................................... 75 4.4.2 Propuesta de mejoras para MIR 2013 ................................................................................. 76 4.5 Análisis de los indicadores de Fin y de Propósito ..................................................................... 77 4.5.1 Indicadores de la MIR 2012 ................................................................................................. 77 4.5.2 Propuesta de mejoras para indicadores MIR 2013 .............................................................. 78 5 6 Conclusiones ......................................................................................................................... 82 Bibliografía ............................................................................................................................ 84 6.1 6.2 6.3 6.4 7 Documentos sobre el programa .............................................................................................. 84 Documentos de otros programas similares ............................................................................. 86 Documentos normativos y programáticos ............................................................................... 87 Documentos teóricos y metodológicos ................................................................................... 87 Anexos ................................................................................................................................... 89 7.1 7.2 7.3 7.4 7.5 Anexo 1: Síntesis de Evaluaciones 2007-2012 ......................................................................... 89 Anexo 2: Síntesis de Evaluaciones de programas similares internaciones ............................... 89 Anexo 3: Agenda de evaluación ............................................................................................... 89 Anexo 4: FODA ......................................................................................................................... 89 Anexo 5: Análisis histórico y propuestas de mejora de la MIR................................................. 89 6 1 Introducción Conforme a los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal (Lineamientos), el numeral vigésimo cuarto, define las evaluaciones complementarias, como aquellas que no se encuentran previstas en el Programa Anual de Evaluación (PAE), y cuya aplicación está a consideración de las necesidades que identifiquen las dependencias o entidades. En este sentido, al ser interés particular de la Sedesol contar con información acerca del desempeño y resultados de los Programas Sociales, y con base en la información disponible de evaluación y monitoreo, se plantea una evaluación complementaria, denominada “Metaevaluación 2007-2012 para el Programa de Apoyo Alimentario (PAL)”. El objetivo general de la evaluación es analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en dichos temas, que permitan al programa obtener mejores resultados en el periodo 2013-2018. Este objetivo general posteriormente se desarrollará en una serie de objetivo específicos, a los cuales se les da cumplimiento formal en los diversos apartados de documento. El desarrollo de la metaevaluación del PAL comienza con la descripción general del programa a partir de lo establecido en diversos documentos normativos y técnicos básicos, así como las evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones de causa y efecto asociadas a dicho problema. Posteriormente, en el apartado de evaluación se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período 2007-2012; se analizan evaluaciones de resultados o impacto de programas similares al PAL; se propone una agenda de evaluación para el periodo 2013-2018; se enuncian principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones derivadas de las evaluaciones realizadas al programa, y se exponen las conclusiones y recomendaciones más relevantes del equipo metaevaluador. En el apartado de monitoreo, se hace un análisis de la evolución de la Matriz de Indicadores de Resultados (MIR) del programa durante el período 2007-2012. El análisis histórico identifica los principales cambios en los resúmenes narrativos y en los indicadores que componen la Matriz, que surgieron como resultado a las observaciones y recomendaciones de diversas instancias normativas y fiscalizadoras, así como de evaluaciones externas realizadas al programa. Así mismo, se incluye una serie de recomendaciones del equipo metaevaluador para mejorar la matriz hacia el inicio de la próxima administración federal. Finalmente, se presentan las conclusiones y recomendaciones resultantes de la metaevaluación y se incluyen una serie de anexos que refiere el contenido del documento. 7 2 Descripción del Programa En este apartado se presenta una descripción general del programa a partir de lo establecido en diversos documentos básicos, tales como las Reglas de Operación del Programa (ROP) 2012, el Diagnóstico del Programa de Apoyo Alimentario 2009 (en adelante, el Diagnóstico), la Nota de Actualización de la Población Potencial y Objetivo del PAL 2012 (en adelante, la Nota), así como las evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones de causa y efecto asociadas a dicho problema. Posteriormente, se describen los diferentes apoyos que otorga el programa a sus beneficiarios, se identifica y cuantifica la población potencial y objetivo, y se da cuenta de la evolución de la cobertura durante los años recientes. 2.1 Antecedentes y objetivos El Programa de Apoyo Alimentario con clave programática S118, dependiente de la Secretaría de Desarrollo Social (Sedesol), desde 2010 es coordinado por la Coordinación Nacional de Programa de Desarrollo Humano Oportunidades (CNPDHO) e inició sus operaciones en el año 2000. Las ROP del PAL señalan que éste forma parte de la estrategia del Ejecutivo Federal para promover, en el marco de una política social integral, acciones que contribuyan al cumplimiento del derecho a la alimentación y a la nutrición en las familias en condición de pobreza, aspecto que deriva tanto del Plan Nacional de Desarrollo 2007-2012 (PND) como del Programa Sectorial de Desarrollo Social 2007-2012 (PSDS), en los cuales ese derecho ocupa un lugar central para el desarrollo de capacidades básicas. El PAL provee apoyos monetarios y en especia para cubrir los déficits alimentarios y prevenir la desnutrición de la población más pobre. Su documento normativo define el objetivo general del PAL como: “Contribuir al desarrollo de las capacidades básicas de los beneficiarios, mediante la realización de acciones que permitan mejorar su alimentación y nutrición”. El objetivo específico se establece en términos de: “Mejorar la alimentación y la nutrición de las familias beneficiarias, en particular de los niños menores de 5 años y de las mujeres embarazadas o en periodo de lactancia”. 2.2 Problema focal y árbol de problemas El problema central que aborda el Programa se define en su Nota 2012 como la “persistencia de desnutrición crónica, anemia y deficiencia de micronutrientes en familias en situación de pobreza en localidades rurales marginadas y desatendidas por los programas de asistencia social existentes”. Las causas identificadas se agrupan en dos tipos: 1) las relacionadas con prácticas y hábitos para una alimentación adecuada, entre ellas se encuentran la insuficiencia 8 de servicios de salud y educación; el desconocimiento de prácticas adecuadas de alimentación, la escasa higiene y salud; la insuficiencia en el suministro de agua y, la calidad ambiental del entorno donde crecen los niños. 2) Las asociadas a la inseguridad alimentaria y mala distribución de alimentos, entre ellas se destacó la pobreza, desempleo y subempleo; el acceso a alimentos ricos en macro y micronutrientes; la privatización de recursos naturales; el control de la distribución de alimentos por grandes empresas transnacionales y dificultades de distribución en el medio rural; el desmantelamiento de economías locales; el ameno de la tierra y recursos forestales; y la inestabilidad políticas, migración interna y sobrepoblación en ciudades. Todos estos factores atraviesan por dimensiones económicas, socioculturales, políticas y ambientales. Los efectos del problema que atiende el PAL se expresan en: a) el aumento de la vulnerabilidad de las personas a enfermedades; b) el bajo desarrollo cognoscitivo y, c) la baja capacidad productiva. Todas ellos a su vez asociados a situaciones como altas tasas de mortalidad y morbilidad, malas prácticas de salud e higiene, bajo rendimiento escolar, manejo inadecuado de recursos disponibles, acortamiento de la vida laboral y bajo rendimiento productivo. En conjunto, estas consecuencias dan como resultado mayor pobreza y con ello la creación y reproducción de las condiciones de marginación. A continuación se presenta el árbol de problemas que se encuentra en el Diagnóstico 2009. 9 Fuente: Sedesol (2009), Diagnóstico sobre el acceso insuficiente a productos básicos y complementarios de la población que habita en localidades rurales de alta y muy alta marginación. Nota: Algunos conceptos del problema focal que aparecen originalmente en el Diagnóstico de 2009 fueron redefinidos en 2012 para la elaboración de la Nota sobre la población potencial y objetivo del PAL, sin que se afectara la esencia del análisis. 10 2.3 Población potencial y población objetivo La Nota de actualización de la población potencial y objetivo 2012 define a la población potencial del programa en 2012 como aquellos hogares que tienen carencia por acceso a la alimentación y carencia por acceso a los servicios de salud, que no son beneficiarios de Oportunidades, de conformidad con los requisitos de elegibilidad y la metodología de focalización establecidas en las ROP. Dicha población se cuantifica en aproximadamente 9.87 millones de hogares en 2010. 1 Respecto de la población objetivo, las Reglas de Operación 2012 señalan que son los “hogares cuyas condiciones socioeconómicas y de ingreso impiden desarrollar las capacidades de sus integrantes en materia de educación, nutrición y/o salud, y que no son atendidos por el Programa Oportunidades”. De acuerdo con la Nota, el total de la población objetivo estimada asciende a 3.2 millones de hogares en 2010. 2.4 Apoyos otorgados De acuerdo con las ROP 2012, los apoyos que otorga el Programa se dividen en tres modalidades: Apoyo alimentario. El Programa otorga apoyos monetarios directos mensuales a las familias beneficiarias con la finalidad de elevar su estado de nutrición. Asimismo, se hace entrega de complementos o leche fortificada, según el grupo de riesgo al que va dirigido, con la finalidad de reforzar la alimentación y la nutrición infantil, así como la de las mujeres embarazadas y en periodo de lactancia. Adicionalmente, el Programa otorga un apoyo monetario mensual llamado apoyo alimentario Vivir Mejor, el cual tiene como propósito compensar a las familias beneficiarias por el efecto del alza internacional de los precios de los alimentos. Apoyo infantil Vivir Mejor. Las familias beneficiarias con hijos de 0 a 9 años de edad reciben bimestralmente un apoyo monetario mensual por cada menor (máximo 3 niños por hogar) en este rango de edad para fortalecer su desarrollo. Apoyo especial para el tránsito al Programa Oportunidades. Las familias beneficiarias que transiten al Programa Oportunidades recibirán un apoyo monetario en el periodo de transición denominado “Apoyo Especial para el Tránsito a Oportunidades”, con el propósito de proteger su economía durante ese lapso. 1 Cabe señalar que al revisar la Nota de Actualización de la Población Potencial y Objetivo 2012, el equipo metaevaluador encontró una serie inconsistencias y ambigüedades importantes en las definiciones y en la cuantificación de las poblaciones potencial y objetivo, que hacen dudar acerca de la validez de ambos elementos. 11 2.5 Evolución de la cobertura La evolución de la cobertura del PAL muestra que la población atendida casi se triplica al pasar de 253,744 hogares en 2004 a 673,547 en 2011; sin embargo, en términos absolutos la población atendida presentó una caída continua durante 2004-2008, ya que pasó de 253,744 a 126,332 hogares; luego experimentó un importante repunte en 2009 y 2010, y observó una ligera caída en 2011; finalmente, la cifra quedó en 673,547 familias atendidas. Tipo de Población Unidad de Medida Potencial Objetivo Hogares Atendida % Año 2004 Año 2005 Año 2006 Año 2007 Año 2008 Año 2009 Año 2010 Año 2011 Ne Ne Ne Ne Ne Ne Ne 834,729 597,705 565,835 272,301 Ne 129,603 290,950 670,000 670,000 253,744 184,121 171,247 Ne 126,332 261,969 677,027 673,547 42.5 32.5 62.9 Ne 97.5 90 101 100.5 Fuente: ECR 2011-2012, Anexo 11. La evolución en la cobertura del PAL podría llevar a pensar que durante el periodo de análisis se suscita un proceso de convergencia hacia la atención de la totalidad de la población potencial, ya que el programa ha logrado atender a una población mayor aun que la población objetivo para los años 2010 y 2011; no obstante, habría que valorar si las familias atendidas para estos años realmente comprenden al grueso de la población considerada como población objetivo del PAL. 12 3 Reporte de evaluación En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los principales resultados; identifica las fortalezas, oportunidades, debilidades y amenazas más relevantes, y enuncia las recomendaciones que los evaluadores derivaron en su momento de las evaluaciones—el Anexo 1 facilita una visión esquemática de este ejercicio. Para establecer un punto de referencia con otras experiencias a nivel internacional, posteriormente se muestra una síntesis de evaluaciones de resultados o impacto aplicadas a programas, proyectos o intervenciones públicas que son similares, ya sea por algunos de sus objetivos, componentes o poblaciones atendidas. Se trata de obtener información útil para valorar en qué medida las acciones del programa han obtenidos resultados en otras realidades, así como de analizar y aprovechar aquellos aspectos del esquema metodológico aplicado en estos casos para próximas evaluaciones al programa. El Anexo 2 posibilita una visión sintética de las evaluaciones a intervenciones similares a la que nos ocupa. A continuación, se propone una agenda de evaluación para el período 2013-2018, que pretende ser una guía para orientar los ejercicios que deberán hacerse al programa conforme a la normatividad en la materia. La agenda propuesta plantea los objetivos para cada evaluación y el período de duración, señala los componentes específicos para analizar, hace una justificación de cada ejercicio con base en necesidades o recomendaciones identificadas en esta metaevaluación, y propone un conjunto de insumos necesarios para llevar a cabo las evaluaciones durante todo el período. La esquematización de la propuesta puede observarse en el Anexo 3. Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una propuesta más detallada para someter al programa una evaluación de impacto. Se describen la metodología y las fuentes de información necesarias para llevar a cabo este tipo de evaluación, de acuerdo con la naturaleza de las variables específicas a medir así como de las características específicas del programa. La propuesta se acompaña de un análisis de pertinencia y de viabilidad técnica y financiera. En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos elementos que, a juicio del metaevaluador, son relevantes, en términos de su importancia e implicaciones para el desempeño del programa, así como vigentes, en el sentido que la situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma esquemática se presenta en el Anexo 4. Finalmente, se incorpora una sección de conclusiones y recomendaciones del metaevaluador, que si bien en su mayoría construyen sobre el análisis de las evaluaciones antes revisadas, en 13 algunos casos llegan a resultados distintos al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas conclusiones y recomendaciones se enfocan principalmente en aspectos asociados al diseño, la cobertura y los impactos del programa, y son responsabilidad exclusiva del metaevaluador. 3.1 Principales resultados de las evaluaciones 2007-2011 En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los principales resultados; identifica las recomendaciones que los evaluadores derivaron en su momento de las evaluaciones—el Anexo 1 facilita una visión esquemática de este ejercicio. Cabe señalar que los resultados aquí presentados reflejan lo encontrado en cada evaluación en el momento en que estas se llevaron a cabo, y no reflejan la opinión del equipo metaevaluador. Asimismo, es necesario enfatizar que, conforme a la normatividad respectiva, los principales hallazgos y recomendaciones de las evaluaciones externas se incorporaron en un mecanismo de seguimiento y derivaron en aspectos susceptibles de mejora, que en su momento fueron atendidos por los responsables de los programas. Sin embargo, por el diseño del propio mecanismo de seguimiento y la naturaleza de los problemas que les dieron origen, algunos hallazgos y recomendaciones importantes pueden seguir siendo vigentes a la fecha en que se realiza la presente metaevaluación. En los casos en esto ocurra, a juicio del metaevaluador, dichos hallazgos y recomendaciones cuyo caso se retomarán en el análisis FODA de la sección 3.5. 3.1.1 Evaluación de Consistencia y Resultados (ECR 2007) La presente evaluación tuvo como objetivo general, evaluar la consistencia y orientación a resultados del Programa de Apoyo Alimentario con la finalidad de proveer información que retroalimente su diseño, gestión y resultados. Más específicamente, se propuso analizar la lógica y congruencia en el diseño del programa, su vinculación con la planeación sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable, así como las posibles complementariedades y/o coincidencias con otros programas federales; identificar si el programa cuenta con instrumentos de planeación y orientación hacia resultados; examinar si el programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el ejercicio fiscal evaluado; analizar los principales procesos establecidos en las ROP o en la normatividad aplicable; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas; identificar si el programa cuenta con instrumentos que le permitan recabar información para medir el grado de satisfacción de los beneficiarios del programa y sus resultados, y examinar los resultados del programa respecto a la atención del problema para el que fue creado. La evaluación fue realizada por CEPNA S.C mediante investigación de gabinete. A continuación se incluyen las principales conclusiones: 14 Diseño: El problema fue correctamente identificado y claramente definido, mediante un diagnóstico actualizado y adecuado; en tanto que el Fin y el Propósito, también fueron claramente definidos y correspondieron con el problema. El Programa estuvo alineado con los objetivos del Programa Sectorial de Desarrollo Social y con el Plan Nacional de Desarrollo. Por otra parte, las lógicas vertical y horizontal de la Matriz de Indicadores de Resultados fueron claras y válidas. Todos los indicadores fueron claros, relevantes, económicos, adecuados y monitoreables. La población potencial no estuvo claramente definida, pero sí la objetivo: “hogares en condición de pobreza que no reciban apoyos de otros programas alimentarios federales”. Planeación estratégica: Se tuvieron programas anuales, pero no hubo una planeación de mediano y largo plazo, también se contó con indicadores y metas anuales, así como con estrategias, políticas y programas de trabajo detallados. Cobertura y focalización: No existió un método para cuantificar a las poblaciones potencial y objetivo; la población atendida en 2007 fue de 143,423 hogares. No se tuvo una estrategia de cobertura de mediano y largo plazo, ya que ésta se definió fundamentalmente en función de la de Oportunidades y Abasto Social de Leche, y también se careció de un horizonte de permanencia en las localidades atendidas. Operación: Se contó con procedimientos adecuados para seleccionar los hogares beneficiarios y se cumplió con los criterios de elegibilidad, monto y entrega de apoyos contemplados en las Reglas de Operación. Percepción de la población objetivo: Se contó con instrumentos para medir la satisfacción de los hogares beneficiarios. En general, la percepción sobre el programa fue favorable. Resultados: No se reportó información a nivel de Propósito ni de Fin. Se realizaron dos evaluaciones de impacto: 2003-2005 y otra en 2006, cuyos principales impactos se reportaron en nutrición y talla para la edad, de manera modesta, pero positivos. 15 3.1.2 Evaluación de Diseño (ED 2009) Evaluación del diseño del Programa de Apoyo Alimentario a cargo de Diconsa, S.A. de C.V. se realizó como parte del Programa Anual de Evaluación 2009 emitido por el Coneval, la SFP y la SHCP, el cual señala en el apartado II, numeral 15 que aquellos programas que hayan tenido cambios sustanciales deberán realizar una evaluación en materia de diseño. Los objetivos de la evaluación son analizar la justificación de la creación y diseño del programa, identificar y analizar su vinculación con la planeación sectorial y nacional, analizar la consistencia entre su diseño y la normatividad aplicable e identificar posibles complementariedades y/o coincidencias con otros programas federales. El estudio fue realizado por el Centro de Estudios Económicos y Sociales en Salud dependiente del Hospital Infantil de México Federico Gómez, el análisis realizado se basó en la revisión de gabinete de información entregada por Diconsa así como entrevistas con responsables de los programas, personal de la unidad de evaluación y planeación de la dependencia coordinadora. A continuación se exponen los aspectos más relevantes de los temas que comprende la misma. Principales Resultados: Hubo un impacto limitado en nutrición, debido a que no se tenía vinculación con acciones de salud preventiva, y se atendieron localidades que tenían acceso a otros programas diferentes al Programa de Desarrollo Humano Oportunidades y a localidades con servicios de salud y educación que podrían ser atendidas por dicho programa. Contribución a objetivos estratégicos: No se contribuyó adecuadamente al logro de los objetivos estratégicos, tanto a los sectoriales, como a los del Plan Nacional de Desarrollo. Matriz de indicadores: La Matriz de Indicadores de Resultados no presentaba una lógica interna: el problema a atender no estaba claramente identificado; no se delimitó adecuadamente el universo de atención de acuerdo con las Reglas de Operación, y éstas señalaban apoyos para tener acceso al servicio de agua potable, pero dicha Matriz de Indicadores de Resultados no incorporó indicadores al respecto. Los indicadores de Fin no permitieron medir la contribución del PAL para resolver el problema de la desnutrición, y las Actividades y Componentes no fueron suficientes para alcanzar los objetivos del programa. Asimismo, no existió vinculación del PAL con el sector salud, por lo que los efectos sobre nutrición serían limitados. Población potencial y población objetivo: La Matriz de Indicadores de Resultados y las Reglas de Operación tenían diferentes definiciones de la oblación potencial; no se cuantificó ni caracterizó adecuadamente a la población objetivo, ya que las definiciones de ambas poblaciones resultaron ser demasiado amplias porque incluían a población en localidades de todos los tamaños, de todos los grados de marginación, con acceso a servicios de salud y educación, y a hogares pobres y no pobres. 16 Coincidencias, complementariedades y duplicidades: Se determinó que podía existir complementariedad y/o sinergia con programas que fortalecen la cobertura y la calidad de los servicios de salud, educación e infraestructura social básica. Asimismo, se recomendó tener vinculación con los programas que facilitaban el acceso a los servicios de salud. Por otra parte, pudo existir duplicidad a nivel de localidad en los programas de Desarrollo Humano Oportunidades, Liconsa, 70 y más o Abasto Rural de Diconsa, o inclusive, en temas de aguas. No existió una estructura ni manuales de procedimientos formalmente autorizados para operar, lo cual limitaba las posibilidades de control, supervisión y monitoreo, y la asignación clara de responsabilidades. 3.1.3 Evaluación Específica de Desempeño (EDD 2008) La Evaluación Específica de Desempeño 2008 al Programa de Apoyo Alimentario a cargo de Diconsa, S.A. de C.V. se realizó para mostrar los avances a través del tiempo en materia de indicadores conforme a la información disponible, así como identificar avances en los aspectos susceptibles de mejora del programa derivados de las evaluaciones externas y las acciones establecidas por el programa para atenderlos. La evaluación consistió en un análisis de gabinete que comprendió el ejercicio 2007-2008. El Instituto Nacional de Salud Pública fue responsable de la evaluación, siendo el coordinador Dr. Bernardo Hernández Prado. A continuación se exponen los aspectos más relevantes de la misma. Indicadores: Tres de los cuatro indicadores estratégicos seleccionados correspondían al Fin y al Propósito, y no se contaba con las mediciones recientes de estos indicadores. El indicador restante utilizado correspondía al Componente, y su valor se encontraba 20 puntos porcentuales por arriba de la meta programada para 2008. Tres de cinco indicadores de gestión seleccionados estaban por arriba de la meta programada en un rango de entre 7 y 42.8 puntos porcentuales. Un indicador estaba 51.4 puntos porcentuales por debajo de la meta. La meta y el valor del indicador restante eran incoherentes, por lo que no se pudo determinar si el indicador estaba por encima o por debajo de la meta. Se reportaron los principales resultados de: 1) la Evaluación de Impacto 2006, 2) dos Evaluaciones sobre Resultados Relevantes 2006, y 3) la Evaluación de Consistencia y Resultados 2008. Con base en las evaluaciones, se mostró un buen cumplimiento de sus objetivos; no obstante, se identificaron áreas de mejora en su focalización. El análisis de los indicadores de gestión señaló un buen cumplimiento de las actividades con valores por encima de la meta en muchos casos. 17 Los indicadores estratégicos aún no pudieron ser evaluados en algunos casos, debido a los tiempos propuestos para su medición. Los indicadores propuestos permitieron evaluar aspectos relevantes del impacto y de la operación; aunque no hay una definición de población potencial y son generales en algunos casos. Cobertura: La población potencial no estuvo claramente definida ni cuantificada. Se mostró una tendencia ascendente en la cobertura entre 2007 y 2008, que alcanzó el 98% de atención de la población objetivo en 2008. Aspectos susceptibles de mejora: Se debían formalizar los mecanismos de definición de metas. Se desarrolló un documento preliminar para adaptarlo al ejercicio 2009, y se tenía que definir de manera clara y precisa la población potencial en las Reglas de Operación, además se propuso incluirla en la modificación de las Reglas de Operación, pero hasta esta evaluación no se había concretado. Era necesario desarrollar un mecanismo para cuantificar a la población potencial y a la población objetivo, y realizar una estrategia de cobertura. De acuerdo con la Posición Institucional, la pertinencia de esta recomendación estaba acotada por la falta de definición de la población potencial. Se acordó que en 2009 se llevaría a cabo un diagnóstico que incluiría esta cuantificación. Asimismo, se debían desarrollar instrumentos para medir el costo y la efectividad de la operación. De acuerdo con la Posición Institucional no era factible hacerlo. Por último, se tenía que definir una estrategia de cobertura a corto, mediano y largo plazo. La pertinencia de esta recomendación estaba acotada por la falta de definición de la población potencial; sin embargo, en la evaluación se establecía que se llevaría a cabo un diagnóstico en 2009. Los administradores del PAL atendieron las recomendaciones realizadas y propusieron acciones concretas para resolverlas, reconociendo las limitaciones para tal efecto. 3.1.4 Evaluación Específica de Desempeño (EDD 2009-2010) La Evaluación Específica de Desempeño 2009 al Programa de Apoyo Alimentario a cargo de Diconsa, S.A. de C.V. se realizó para mostrar los avances a través del tiempo en materia de indicadores conforme a la información disponible, así como identificar avances en los aspectos susceptibles de mejora del programa derivados de las evaluaciones externas y las acciones establecidas por el programa para atenderlos. La evaluación consistió en un análisis de gabinete que comprendió el ejercicio 2009-2010. El Hospital Infantil de México Federico Gómez fue responsable de la evaluación, siendo la coordinadora Evelyne Eugenia Rodríguez Ortega. A continuación se exponen los aspectos más relevantes de la misma. 18 Indicadores: Tres de cuatro indicadores de resultados seleccionados correspondían a indicadores de Propósito y estuvieron por encima de la meta en un rango de entre 2 y 6 puntos porcentuales. El indicador restante correspondió a nivel de Componente y se encontró 16 puntos porcentuales por debajo de la meta. Por otra parte, tres de cuatro indicadores de gestión y servicios seleccionados estuvieron por debajo de la meta en un rango de entre 5 y 86 puntos porcentuales; el indicador restante cumplió la meta. La mayoría de los indicadores seleccionados tuvieron como línea basal a 2009, lo que imposibilitó analizar su evolución. Se reportaron los principales resultados de la Evaluación de Impacto 2006, de la Evaluación de Diseño 2009 y de la Posición Institucional 2009. Debido a que varios de los indicadores de Fin y Propósito tenían su línea basal en 2009, no fue posible hacer una valoración de los resultados. Cobertura: La población potencial no estuvo claramente definida, pero sí cuantificada. Evolución de la Cobertura Año Población Potencial Población Objetivo 2008 SD 128,366 2010 613,162 284,368 Fuente: Evaluación Específica de Desempeño 2009-2010. Población Atendida 126,332 261,969 No fue posible analizar la evolución de la cobertura pues la definición de la población objetivo en 2009 no fue la misma que la de 2008. Aspectos susceptibles de mejora: Era necesario establecer que la población objetivo se refería a los hogares pobres extremos en localidades rurales sin acceso a servicios de salud y educación que no contaban con el Programa de Desarrollo Humano Oportunidades ni con otros programas alimentarios de transferencias de ingreso. Se tenía que establecer un procedimiento para referenciar a los servicios de salud los casos con trastornos nutricionales. Por otra parte, se recomendó utilizar los mismos factores que usaba el Programa de Desarrollo Humano Oportunidades para seleccionar a beneficiarios. Avances: Se desarrolló una metodología para definir metas, mas no se atendió el aspecto de medición de costo-efectividad, ya que la Posición Institucional señalaba que no era factible. Asimismo, se hizo un diagnóstico para la cuantificación de la población potencial y de la población objetivo, pero el cálculo no era sobre la población objetivo que señalaban las Reglas de Operación. Por otro lado, la definición de la estrategia de cobertura no presentaba avances, debido a que el PAL cambió de unidad responsable, y 19 la definición de la población potencial en las Reglas de Operación no se atendió por criterios que dio el CONEVAL. 3.1.5 Evaluación Específica de Desempeño (EDD 2010-2011) La Evaluación Específica de Desempeño 2010-2011 al Programa de Apoyo Alimentario a cargo de Coordinación Nacional del Programa de Desarrollo Humano Oportunidades, se realizó para mostrar los avances a través del tiempo en materia de indicadores conforme a la información disponible, así como identificar avances en los aspectos susceptibles de mejora del programa derivados de las evaluaciones externas y las acciones establecidas por el programa para atenderlos. La evaluación consistió en un análisis de gabinete que comprendió el ejercicio 20102011. El Hospital Infantil de México Federico Gómez fue responsable de la evaluación, siendo la coordinadora Evelyne Eugenia Rodríguez Ortega. A continuación se exponen los aspectos más relevantes de la misma. Indicadores: En los dos indicadores de resultados seleccionados no se proporcionó su valor ni su meta, por lo que no fue posible analizar su desempeño. En dos de los tres indicadores de servicios y de gestión seleccionados, el valor se encontró por encima de la meta en 1.5 puntos porcentuales y 7,027 familias, respectivamente. El indicador restante quedó por debajo de la meta en 31 puntos porcentuales. Se reportaron los principales resultados de la Evaluación de Impacto 2006 y los hallazgos relevantes de las Reglas de Operación de 2010, de la Evaluación Específica de Desempeño de 2009 y de los Avances en las Acciones de Mejora de 2009. Hubo cambios sustantivos en el diseño, en lo referente a la población potencial, la población objetivo, los criterios de elegibilidad, los montos y tipos de apoyos, y la operación, por lo que no se registró información histórica de sus indicadores estratégicos. También se cambiaron los montos y los tipos de apoyos dirigidos, por igual, a zonas urbanas y rurales. Cobertura: Hubo una población potencial definida, pero no cuantificada, mientras que la población objetivo estuvo definida y cuantificada. También hubo confusión en las definiciones de población potencial y población objetivo, debido a que las Reglas de Operación traían una definición de población objetivo que en realidad se refería a la de población potencial. Evolución de la Cobertura Año 2009 2010 Población Potencial 613,162 SD Población Objetivo 284,368 680,000 Población Atendida 261,969 677,027 Fuente: Evaluación Específica de Desempeño 2010-2011. 20 No hubo una cuantificación de la población potencial para 2010, mientras que en 2009 fue de 613,162 hogares. Para ese mismo año (2009), la definición señalaba a los hogares en pobreza patrimonial, y a los hogares pobres y no pobres ubicados en localidades marginadas o sin grado de marginación; mientras que en 2010 se focalizó a hogares en pobreza alimentaria o pobres con ingreso insuficiente para invertir en el desarrollo de las capacidades, de cualquier localidad, incluso de aquellas donde el Programa de Desarrollo Humano Oportunidades podía operar. La población objetivo aumentó 139% de 2009 a 2010 para ubicarse en 680 mil hogares en 2010, superior a la población potencial estimada según la definición anterior. En 2010, la cobertura de la población objetivo estuvo en la meta, mientras que el número de familias beneficiadas subió 158% de 2009 a 2010, según lo programado, y se ubicó en 677 mil hogares en 2010. Por otra parte, la población atendida aumentó 158% en el mismo periodo (2009-2010) para cerrar en 2010 con 677,027 hogares beneficiarios, superando también a la población potencial de 2009. Aspectos susceptibles de mejora: El programa no contó con aspectos definidos en el documento de trabajo. 3.1.6 Evaluación de Consistencia y Resultados (ECR 2011-2012) La presente evaluación tuvo como objetivo general, evaluar la consistencia y orientación a resultados del Programa de Apoyo Alimentario con la finalidad de proveer información que retroalimente su diseño, gestión y resultados. Más específicamente, se propuso analizar la lógica y congruencia en el diseño del programa, su vinculación con la planeación sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable, así como las posibles complementariedades y/o coincidencias con otros programas federales; identificar si el programa cuenta con instrumentos de planeación y orientación hacia resultados; examinar si el programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el ejercicio fiscal evaluado; analizar los principales procesos establecidos en las ROP o en la normatividad aplicable; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas; identificar si el programa cuenta con instrumentos que le permitan recabar información para medir el grado de satisfacción de los beneficiarios del programa y sus resultados, y examinar los resultados del programa respecto a la atención del problema para el que fue creado. La evaluación fue realizada por Centro de Investigación en Alimentación y Desarrollo, A.C.mediante investigación de gabinete. A continuación se incluyen las principales conclusiones: Diseño: El Programa ha venido consolidando su objetivo, pero no dio continuidad al trabajo de las metas. Además, se presentó el problema identificado en un documento, en el que se establecen los plazos para su revisión y actualización, y se contó con un diagnóstico del problema. 21 El Programa se alineó con el Plan Nacional de Desarrollo y con el Programa Sectorial de Desarrollo Social, y fue posible identificar a la Matriz de Indicadores de Resultados en las Reglas de Operación o en los documentos normativos. La población potencial y la población objetivo fueron definidas y contaron con una metodología para su cuantificación y con plazos para su revisión y actualización. Asimismo, registró complementariedad con el Programa de Desarrollo Humano Oportunidades y coincidencia con programas del Sistema Nacional DIF. Planeación estratégica: Contó con un plan anual, pero no una planeación a mediano y largo plazo, y no hubo permanencia de la población atendida, ya que las Reglas de Operación consideran el tránsito al Programa de Desarrollo Humano Oportunidades. Cobertura y focalización: Contó con un método para la estimación de la población potencial, en tanto que la población objetivo fue de 670 mil hogares en 2011, al igual que en 2010. De 2004 a 2011, la población atendida se incrementó casi el triple (con caídas importantes en el inter) con respecto de la población objetivo. Operación: Se tuvieron procedimientos e instrumentos de medición adecuados para la selección de los hogares beneficiarios y se cumplió con los criterios de elegibilidad que se expresan en las Reglas de Operación. Se cumplió con las características establecidas en las Reglas de Operación de 2010, respecto del contenido, monto y entrega de los apoyos (en especie y en efectivo). Con respecto de los criterios de elegibilidad de beneficiarios, éstos estuvieron claramente especificados, y el procedimiento fue estandarizado y sistematizado. Percepción de la población objetivo: El instrumento usado para medir la satisfacción de la población atendida no indujo las respuestas de los beneficiarios, correspondió a las características de éstos pero los resultados no fueron representativos. Resultados: Se documentaron resultados a nivel de Fin y de Propósito, por medio de dos indicadores centrales, estudios o evaluaciones que no eran de impacto, y estudios y programas internacionales. La Evaluación de Impacto de 2006 encontró efectos positivos relacionados con el Fin y con el Propósito. En 2010, el Programa cambió sustancialmente, por lo que los resultados de las evaluaciones anteriores correspondían a otro diseño, Las evaluaciones (elaboradas por CIESAS (2005), INSP (2006) y el INCMSZ (2006 y 2009)) señalaron la existencia de mejoras en los estados nutricios de los beneficiarios. 22 3.2 Análisis de evaluaciones de resultados o de impacto en el ámbito nacional o internacional de programas similares Para establecer un punto de referencia con otras experiencias a nivel internacional, se muestra una síntesis de evaluaciones de resultados o impacto aplicadas a programas, proyectos o intervenciones públicas que son similares, ya sea por algunos de sus objetivos, componentes o poblaciones atendidas. Se trata de obtener información útil para valorar en qué medida las acciones del programa han obtenidos resultados en otras realidades, así como de analizar y aprovechar aquellos aspectos del esquema metodológico aplicado en estos casos para próximas evaluaciones al programa. El Anexo 2 posibilita una visión sintética de las evaluaciones a intervenciones similares a la que nos ocupa. 3.2.1 Subsidio de apoyo infantil, Sudáfrica Características similares o tipos de apoyo que entrega el programa: Se trata de un programa focalizado en la población en pobreza que otorga transferencias de ingreso no condicionadas de ingreso, con el objetivo de mejorar la nutrición de los niños de hasta 14 años. La transferencia es de aproximadamente 25 dólares por familia y se otorga principalmente a las madres. Nombre de la evaluación: The impact of unconditional cash transfer son nutrition: The South African Child Support Grant Objetivo de la evaluación: Comprender el impacto de la transferencia de ingreso mediante la evaluación de las diferencias entre los hogares beneficiarios y no beneficiarios (grupo de comparación) entre marzo de 2007 y marzo-abril de 2008 en las siguientes áreas: migración de niños y adultos, salud e higiene, educación, trabajo infantil, nutrición y consumo de alimentos, propiedad de activos, calidad de la vivienda, gastos del hogar y uso de la transferencia de ingreso, choques a los hogares, bienestar e impacto de la transferencia, decisiones acerca del gasto de las transferencias y envidias y conflictos. Principales resultados: Cerca de la mitad de los niños elegibles recibían el apoyo en 2004. Los resultados del modelo señalan que no hay ganancias en nutrición para los niños que cubrieron menos del 20% de los primeros 36 meses de edad. Las ganancias máximas (0.25 más puntaje z) se obtuvieron cuando cubrieron dos tercios del tiempo anteriormente señalado. El estudio descarta la posibilidad de que la ganancia se deba a la mejora en los servicios de salud ya que la mayoría de los líderes comunitarios coincidieron en que no ha habido una mejora en éstos. 23 En un segundo modelo que separó a los niños por edades (menores de un año, entre uno y dos años y de dos a tres años), se encontró que la ganancia en el puntaje Z es mayor (0.45) si los niños ingresaron al programa con menor edad. Utilizando información de los adultos de la encuesta KIDS de 1998, los autores señalan que un aumento de 0.4 en el puntaje Z se traduce en un incremento de 3.5 cm en la estatura de los adultos. Posteriormente, los autores utilizaron la elasticidad de los salarios respecto a la altura calculada para Brasil, controlando por niveles educativos (Thomas y Strauss, 1997), para señalar que el incremento de estatura atribuible al programa, se podría reflejar en un incremento salarial entre 190 y 262 rands sudafricanos al mes. Con una tasa de descuento anual del 5%, los autores estimaron que las ganancias en salario serían de 11,123 rands para una vida económicamente activa de 40 años. Considerando el costo de 20 meses del programa, sus cálculos señalan una proporción de beneficio-costo de entre 3.3 y 4.5. Si se asume una cifra realista de empleo del 50% del tiempo, la proporción se reduce a entre 1.6 y 2.3. Los autores señalan que la cifra puede ser conservadora porque ignora el impacto del puntaje Z en el logro y progreso educativos, así como las ganancias potenciales de continuar recibiendo el apoyo entre los tres y 14 años. Metodologías empleadas: Se utilizó información de la KwaZulu-Natal Income Dynamics Study (KIDS) que fue levantada a los mismos hogares en los años 1993, 1998 y 2004 (KwaZulu-Natal es la provincia más pobre de Sudáfrica y concentra a un 20% de la población de ese país). Se utilizó como variable dependiente la altura para la edad (puntaje z) de los niños como un indicador ex post de los insumos nutricionales que ha recibido, especialmente durante los tres primeros años de vida. El programa no se implementó siguiendo un diseño experimental, por lo que se construyó una variable para identificar al grupo de control que representa el deseo de participar en el programa como el porcentaje de desviación en la solicitud para un niño en relación al retraso promedio esperado para la edad del niño y cohorte locacional. Un deseo positivo indica que quienes los cuidan tienen deseos por arriba del promedio y viceversa. La variable de tratamiento se trató como continua (tiempo de permanencia en el programa) mediante un puntaje generalizado de propensión. Valoración técnica: El programa no se implementó siguiendo un diseño experimental, por lo que la selección para recibir el tratamiento no fue aleatoria, además de que el tiempo de tratamiento no fue uniforme entre los beneficiarios. Por tal motivo, se decidió utilizar la variable de tratamiento como continua. Derivado de los tiempos diferenciales en la exposición al tratamiento, los autores de la evaluación señalan que una dificultad adicional que pudieran enfrentar sería un sesgo proveniente de una eventual mejora de los servicios de salud en el tiempo. Para hacer frente a esta posible fuente de sesgo, los autores incluyeron como controles la cohorte de nacimiento de los niños y efectos locacionales. 24 La evaluación advierte que un inconveniente de usar el puntaje Z como variable dependiente es que no todos los niños absorben físicamente de la misma manera los alimentos. Otro problema pudieran ser los posibles errores de medición del puntaje Z, así como de la información retrospectiva de la compra de alimentos. Utilidad de los resultados para el Programa de Apoyo Alimentario: El hallazgo de efectos sobre la nutrición de los niños aun cuando las transferencias no son condicionadas demuestra que es posible recurrir a este tipo de apoyos para la acumulación de capital humano en contextos donde, por razones estructurales, no es posible que los beneficiarios cumplan con las condiciones de asistir a la escuela o a revisiones médicas. Incluso, los hallazgos de esta evaluación señalan que el gasto en alimentos no es inelástico a ingreso, sino que, por el contrario, una transferencia incondicionada otorgada a madres de familias en condiciones de pobreza efectivamente se traduce en inversiones en la nutrición de su familia particularmente de los niños. Un resultado adicional de la evaluación es que los resultados son mayores cuando los apoyos se otorgan desde que los niños son más pequeños. A la luz de lo anterior, se recomienda explorar la posibilidad que el PAL otorgue transferencias de ingreso incondicionadas a las familias que tengan niños que todavía no puedan asistir a la escuela y extender los apoyos a los niños en edad de asistir a educación prescolar, independientemente de si lo hacen o no. El programa logró mejorar la nutrición infantil, medida como altura para la edad, mediante transferencias incondicionadas, pero focalizadas. Los autores reconocen que si se hubiera condicionado los pagos del programa a revisiones médicas, quizá los efectos del programa se hubieran incrementado, aunque los efectos de la transferencia incondicionada son robustos. Los autores señalan que sus resultados se contraponen a la teoría que señala que la nutrición es inelástica al ingreso y sugieren que tal vez se debe a que las transferencias se hacen a las mujeres. 3.2.2 Esquema piloto de trasferencias sociales de Mchinji, Malawi Características similares o tipos de apoyo que entrega el programa: Se otorga un apoyo mensual al 10% de los hogares más pobres y sin opciones de trabajo dependiendo de su tamaño y del número de niños en edad de asistir a la escuela. En promedio, los hogares reciben un apoyo mensual de 14 dólares. Los comités de las comunidades y distritales se encargan de seleccionar a los hogares beneficiarios. Nombre de la evaluación: Impact Evaluation Report: External Evaluation of the Mchinji Social Cash Transfer Pilot Objetivo de la evaluación: Comprender el impacto de la transferencia de ingreso mediante la evaluación de las diferencias entre los hogares beneficiarios y no beneficiarios (grupo de comparación) entre marzo de 2007 y marzo-abril de 2008 en las siguientes áreas: migración de niños y adultos, salud e higiene, 25 educación, trabajo infantil, nutrición y consumo de alimentos, propiedad de activos, calidad de la vivienda, gastos del hogar y uso de la transferencia de ingreso, choques a los hogares, bienestar e impacto de la transferencia, decisiones acerca del gasto de las transferencias y envidias y conflictos. Principales resultados: El 73% de los adultos mejoró su estado de salud en comparación con sólo el 7% de los adultos en el grupo de comparación. El 84% de los adultos en el Programa tuvo mayor probabilidad de recibir cuidados de salud en caso de enfermedad, en comparación con el 10% de los adultos en el grupo de comparación. En ambos grupos se registró una caída en el porcentaje de adultos que respondieron haber estado enfermos en el mes anterior; sin embargo, la caída en el grupo de tratamiento fue de 21 puntos porcentuales, mientras que en el grupo de comparación fue de 8. También, en ambos grupos, se registró una menor cantidad de adultos sin enfermedades; sin embargo, en el grupo de tratamiento, la cifra fue del 20.2%, mientras que en el grupo de control fue de 7.3%. Sólo un 25% de los hogares en el grupo de tratamiento reportó no haber gastado nada en el cuidado de las enfermedades de los adultos, mientras que esta cifra fue de 63% en el grupo de control. No se encontraron diferencias significativas en el índice de masa corporal de adultos, ya que ambos presentan un patrón de variación estacional; sin embargo, no se observó dicha variación del índice de masa corporal en el grupo de tratamiento cuando las familias recibían transferencias por arriba de los 1,800 kwachas de Malawi. Se reportó que el 81% de los niños en el grupo de comparación mejoró su estado de salud, mientras que el porcentaje fue de 15% en el grupo de comparación. El 80% de los niños en el grupo de tratamiento recibió asistencia cuando se enfermó, mientras que en el grupo de comparación sólo fue el 8%. En el grupo de tratamiento, el 42% de los niños se enfermó en el mes pasado, mientras que en el grupo de control fue el 55%. El 15% de los niños en el grupo de tratamiento tuvo bajo peso, mientras que en el grupo de control, el porcentaje fue de 26%. El 96% de los niños en el grupo de tratamiento estaba matriculado en las escuelas vs. el 84% en el grupo de comparación. El 5% de los niños en el grupo de comparación abandonó la escuela, mientras que en el grupo de tratamiento, la cifra fue del 2%. El promedio de gastos escolares por niño o adolescente de entre 6 y 18 años creció en 454 kwachas, mientras que en el grupo de comparación fue de 121. El 93% de los hogares en el grupo de intervención afirmó que el consumo de alimentos mejoró, mientras que en el grupo de comparación, la cifra fue de 11%. Por el contrario, 36% de los hogares en el grupo de comparación señaló que su alimentación empeoró en el periodo estudiado, a diferencia de un 1.3% en el grupo de tratamiento. El 88% de los hogares con acceso al programa comió tres veces al día, mientras que esta frecuencia fue de sólo 44% en el grupo de comparación. Metodologías empleadas: Se escogieron cuatro grupos comunitarios de desarrollo en los que opera el programa y otros cuatro con características similares como grupo de comparación. 26 La muestra fue de 408 hogares en el grupo de tratamiento y 411 en el grupo de control. Debido a que no existe información estadística acerca de las comunidades, se consideró que tienen características similares. Se recabaron encuestas longitudinales en hogares que consistió en tres rondas de recolección de información, así como 106 entrevistas a profundidad con beneficiarios y no beneficiarios, 18 grupos focos con niños, 20 grupos foco con miembros de las comunidades donde opera el programa, 33 grupos foco con comités de protección social que aprueban a los hogares participantes y más de 100 entrevistas con informantes clave. La encuesta cuantitativa incluyó mediciones antropométricas, así como preguntas acerca de las características socioeconómicas, de salud, prácticas higiénicas, educación, trabajo infantil, alimentación, choques externos, bienestar psicológico y patrones de gasto de los hogares. El tratamiento estadístico que se dio a los datos fue a partir de tablas de contingencia y búsqueda de diferencias estadísticamente significativas entre ambos grupos. Valoración técnica: Debido a que son los grupos comunitarios los que eligen a los hogares beneficiarios al interior de las comunidades, los criterios para seleccionarlos pueden diferir de una comunidad a otra, razón por la cual puede haber sesgos entre los hogares que pertenecen al grupo de tratamiento, así como entre éstos y los que pertenecen al grupo de comparación. Adicionalmente, el grupo evaluador decidió otorgar una despensa pagada por UNICEF al grupo de comparación debido a sus difíciles condiciones de vida y a que no serían incluidos en el programa, sino hasta un año después. Se estimó que el impacto de esta transferencia sería mínimo. Al parecer hubo un sesgo sistemático en la conformación de los grupos de tratamiento y de control. En el primer caso, tendían a tener más niños, mientras que en el segundo, adultos mayores. El principal problema con la evaluación es que el tratamiento estadístico no fue econométrico, sino de estadísticas descriptiva. Es decir, no utilizó modelos en los que se controlara por variables que pudieran incidir en la variable dependiente, ni se buscó hacer un aparejamiento de cada uno de los hogares en el grupo de tratamiento con algunos del grupo de comparación. Po tal motivo, la validez interna de la evaluación es baja. Sin embargo, dado que se trata de un país con los un Índice de Desarrollo Humano de los más bajos del mundo y con muy bajas capacidades institucionales, es posible inferir que no debe haber grandes diferencias entre los grupos de beneficiarios y no beneficiarios (e incluso entre el resto de la población). Utilidad de los resultados para el Programa de Apoyo Alimentario: A partir de los resultados de esta evaluación es posible concluir que las transferencias no condicionadas pueden ser útiles para aliviar las condiciones de vida de los hogares que viven en las condiciones más extremas y fomentar a su vez la acumulación de capital humano. Los principales impactos de este tipo de transferencias se dan en la 27 seguridad alimentaria, particularmente como mecanismo de protección ante choques económicos, demográficos y estacionales. Las dimensiones que conforman a la seguridad alimentaria se ven mejoradas mediante la mayor producción agrícola (disponibilidad de alimentos), el incremento en el gasto dedicado a la compra de alimentos y en la reducción de comidas perdidas (acceso a los alimentos) y en la variedad en el consumo de alimentos y reducción de la incidencia de enfermedades producto del incremento en el gasto en el cuidado de la salud (uso de los alimentos). El programa es un instrumento efectivo de protección social que, en el corto plazo, protege a los hogares de choques económicos demográficos y estacionales, mejora la nutrición, la seguridad alimentaria, incrementa la posesión de activos por parte de los hogares y el gasto en necesidades básicas. Asimismo, el programa fue útil para aliviar la pobreza, reducir el hambre e incrementar la inscripción escolar. Algunos resultados en particular fueron: Menor incidencia de enfermedades entre niños y adultos; mayor gasto en el cuidado de la salud y en educación; mayor acumulación de activos productivos y ganado; e incremento en el gasto de alimentos, mayor diversidad en el consumo de alimentos y menos comidas perdidas. Lo anterior sugiere que, particularmente en las familias del decil más bajo de ingreso, el PAL tiene un gran potencial para disminuir la vulnerabilidad, mejorar la seguridad alimentaria y disminuir la carencia por acceso a la alimentación. 3.2.3 Desayunos escolares en zonas rurales, Jamaica. Características similares o tipos de apoyo que entrega el programa: Se otorgó un desayuno a niños de entre segundo y quinto grado de primaria que incluye un sándwich de queso o un pan y leche saborizada equivalentes a entre 576 y 703 kilocalorías y 27.1 gramos de proteína. Al grupo de control se le dio un cuarto naranja que sirvió como placebo ya que provee 18 kilocalorías y 0.4 gramos de proteína. Todas las comidas se sirvieron antes de empezar clases en todos los días de escuela en cuartos o en momentos distintos. Nombre de la evaluación: Nutrition and education: a randomized trial of the effects of breakfast in rural primary school children. Objetivo de la evaluación: Determinar el efecto de proveer un desayuno escolar sobre la asistencia escolar, estado nutricional y logro educativo en aritmética, ortografía y lectura; si el estado nutricional o la edad del niño modifican el efecto; y si el niño gastó menos dinero en la escuela si se le daba el desayuno. Cabe señalar que en este caso no se trata de la evaluación de un programa, sino de un experimento desarrollado en escuelas rurales de Jamaica para valorar los posibles efectos de los desayunos escolares en la nutrición y la educación. 28 Principales resultados: El estado nutricio original del niño no estuvo relacionado al cambio en su logro académico. Hubo un beneficio significativo del desayuno en el logro educativo en aritmética y la interacción entre tratamiento y grado escolar señala que este beneficio se observó principalmente en los niños más jóvenes (segundo y tercer año). No hubo resultados significativos en lectura y ortografía. Los niños que recibieron el desayuno tuvieron más asistencia a la escuela de manera significativa. Adicionalmente, también mejoraron de manera significativa su peso, estatura e índice de masa corporal. Los niños en el grupo de tratamiento incrementaron 0.25 centímetros en promedio su estatura en los ocho meses que duró el periodo de intervención, equivalente a un mes de crecimiento para niños en este rango de edad considerando la estadística de referencia. Puede afirmarse que de continuar el tratamiento durante toda la primaria crecerían 2.4 centímetros adicionales, lo que equivale a un tercio de la desviación estándar de la estatura para la edad de un niño de 11 años. El incremento en peso fue equivalente a entre dos y tres meses en relación a la población de referencia. No hubo efectos significativos del desayuno en la cantidad de dinero que el niño lleva a la escuela (transferencia de ingreso de la familia). Tampoco hubo una diferencia significativa en la historia de desayunos antes y después del programa. Metodología utilizada: El experimento se llevó acabo en una zona rural montañosa de Jamaica poblada con familias pobres y cuyas escuelas estaban lejanas de sus hogares. Se escogieron 16 escuelas primarias y se pesó y se registró la edad de todos los niños de segundo a quinto de primaria. Se seleccionaron 407 niños cuyo peso para la edad estaba igual o por debajo de una desviación estándar de las Estadísticas del Centro Nacional de Salud. Se escogió un grupo de control compuesto por 407 niños con un rango de edad de más-menos 3 meses, del mismo sexo, escuela y clase, pero con pesos para la edad igual o mayor a una desviación estándar de la misma referencia. Se excluyeron niños que estaban repitiendo el año escolar. Se utilizó la Prueba de Amplio Rango de Logro Educativo que evalúa lectura, ortografía y aritmética. La asistencia escolar se recopiló a partir de los registros escolares. Se les administró un cuestionario para conocer su estatus socioeconómico (calidad de la vivienda y número de posesiones), la cantidad de dinero que llevaban a la escuela y el tipo de desayuno que habían comido en casa el día de la entrevista. Se les tomó medidas de su peso y altura para la edad tomando como referencia el puntaje z de las Estadísticas del Centro Nacional de Salud, así como el índice de masa corporal. Se les asignó de manera aleatoria a grupos con desayuno y de control. Estas medidas se volvieron a tomar al final del año escolar. Se utilizaron regresiones múltiples controlando por las mediciones iniciales de los niños, edad, sexo y grupo nutricional. El puntaje de la casa se introdujo paso a paso para controlar por posibles efectos del estado socioeconómico, así como efectos de interacción entre la edad, sexo, estado nutricional y estado socioeconómico y el grupo de tratamiento. Se hicieron regresiones separadas para la estatura, peso e índice de masa corporal. Valoración técnica: En general, el diseño metodológico de dobles diferencias es adecuado y consistente con el tipo de evaluación realizada debido a que se contó con una línea base de las características 29 socioeconómicas de los hogares de los niños y de sus medidas antropométricas, así como con un grupo de control. La validez interna del estudio es alta debido al diseño experimental aleatorio y a que se minimizaron las diferencias entre el grupo de tratamiento y de control al conseguir que los niños pertenecieran a la misma escuela, y tuvieran medidas antropométricas iniciales, edad, sexo, grupo nutricional y características socioeconómicas similares. Si bien el cuarto de naranja que se le otorgó al grupo de control no es un placebo verdadero, la diferencia en el aporte nutricional respecto al sándwich y al vaso de leche es lo suficientemente amplia como para poder adjudicar los resultados al efecto del tratamiento. Una ventaja adicional del estudio es que duró un año, por lo que, de acuerdo a sus propios autores, se trató de la primera prueba aleatoria y controlada de largo plazo para medir el efecto de los desayunos escolares. Sin embargo, dado que no se utilizó un muestreo probabilístico, la validez externa del estudio es baja, es decir, no es posible generalizar sus resultados a una población Utilidad de los resultados para el Programa de Apoyo Alimentario: La evaluación destaca el papel muy positivo que pueden jugar los desayunos institucionales en la nutrición de los niños rurales en edad escolar, lo cual se ha confirmado en una amplia serie de estudios internacionales. Lo anterior, a pesar de que los desayunos no estén fortificados con micronutrientes, y se esperaría que el efecto sería mayor si éstos se fortificaran. Se recomienda a la Sedesol que explore las posibles sinergias, complementariedades y ventajas de especialización entre el conjunto de programas alimentarios federales y los programas de desayunos escolares a cargo de los gobiernos estatales, particularmente en las localidades rurales con alta concentración de desnutrición y pobreza. Los niños que recibieron los desayunos mostraron mejoras pequeñas, pero estadísticamente significativas en la asistencia escolar, así como en su estado nutricional, en comparación a los del grupo de control. Los niños más pequeño (de segundo y tercer grados de primaria) mejoraron sus resultados en aritmética, equivalentes a un 30% del progreso anual promedio. Dado que los niños que asisten a escuelas en mejores condiciones, tienen resultados superiores, es de esperar que este resultado, en conjunción con una mejora en las condiciones de las escuelas, pudiera ser mayor. Adicionalmente, el efecto positivo en los resultados en aritmética pudiera también incrementarse como resultado del incremento en la asistencia escolar. Por otra parte, los niños reportaron que continuaron tomando sus desayunos habituales en casa y trayendo la misma cantidad de dinero, por lo que el desayuno no constituye una transferencia de ingreso. Los autores recomendaron focalizar los apoyos en los niños desnutridos con comidas escolares donde los recursos son tan limitados que no sean suficientes para alimentar a todos los niños. Los niños más jóvenes son los que se benefician más de las comidas escolares y también pueden ser considerados como población objetivo. Asimismo, recomiendan la adopción de intervenciones integrales que incluyan componentes en salud, nutrición y educación para que se maximicen los retornos a la inversión. 30 3.3 Agenda de evaluación para el periodo 2013-2018 En esta sección se propone una agenda de evaluación para el periodo 2013-2018, incorporando una justificación técnica y empírica sobre la importancia que cada ejercicio tendría para el programa, con base en los principales resultados de las evaluaciones en el periodo 2007-2012 y el análisis de la información proporcionada. Se señalan también los periodos de ejecución y el orden en el que se deberán ir implementando cada una de las evaluaciones consideradas. Como referencia general para elaborar la agenda, tomaron los Lineamientos generales para la evaluación de los programas federales de la Administración Pública Federal, publicados en el DOF el 30 de marzo de 2007. El Anexo 3 facilita una visión esquemática de la propuesta. La agenda sugerida empieza con un Diagnóstico y propuestas de atención, a implementarse en el año 2013. Tiene como propósito identificar, definir y especificar de forma clara y rigurosa la problemática focal que se pretende resolver a través del programa, así como analizar, valorar y seleccionar las estrategias y mecanismos de atención que resulten más adecuados. Este estudio deberá cumplir cabalmente con los criterios y requisitos mínimos establecidos en los Lineamientos generales para la elaboración de diagnósticos de cuyos resultados se obtienen propuestas de atención de Programas de Desarrollo Social, publicados el 7 de mayo de 2009, e incorporar asimismo las metodologías y mejores prácticas en la materia. Los resultados de este ejercicio pretenden brindar una base sólida de datos, análisis y estrategia para anclar sólidamente el diseño, la operación y los resultados del programa durante la siguiente administración federal, y de manera inmediata informar los cambios que se pretendan hacer durante el primer año de la misma. Para el año 2014 se propone una Evaluación de diseño. El ejercicio deberá analizar la justificación de la creación y diseño del programa, especificar su vinculación con la planeación sectorial y nacional, valorar la consistencia entre su diseño y la normatividad aplicable, así como identificar posibles complementariedades y/o coincidencias con otros programas federales. Esta evaluación deberá proveer información y análisis que retroalimente el diseño conceptual y operativo del programa, así como los resultados que se deben esperar del mismo. De forma inmediata, se pretende que sirva para valorar los cambios que se hayan hecho al programa del primer al segundo año de la gestión, y generar recomendaciones para refinarlos hacia el tercer año. Posteriormente, para 2015 y 2016 se recomienda una Evaluación de impacto, para identificar los cambios en la situación de la población objetivo del programa que se reflejan a través de los indicadores de resultados, y que son propiamente atribuibles a su intervención. Conforme a los estándares en la materia, se deberán utilizar metodologías rigurosas y fuentes de información confiables con representatividad nacional; para ello, se propone la combinación de enfoques cuantitativos y cualitativos así como el levamiento de información en campo a través de diversos instrumentos, los cuales de describen a mayor detalle en la sección subsecuente. La evaluación de impacto propuesta busca estimar en qué medida el programa está alcanzado sus objetivos y qué condiciones y factores pueden afectan sus logros, de forma tal que el programa pueda consolidar elementos clave de diseño y operación, o en su caso cambiarlos, para mejorar 31 su efectividad. Por sus características y complejidad se recomienda que la evaluación comprenda dos años—entre 18 y 24 meses, para ser más precisos—a efecto de poder realizar mediciones basales y de seguimiento. En el año 2017 se plantea realizar La evaluación estratégica de desempeño de los programas sociales alimentarios se propone con el objetivo de evaluar de forma comparativa los logros e impactos del PAL, PDHO, PAR y PASL en la carencia de acceso a la alimentación, identificando los espacios de sinergia, complementariedad y duplicidades, a afecto de mejorar la articulación de estas iniciativas. Se deberá analizar los objetivos y pertinencia de los programas con el problema que buscan atender. Asimismo y considerando el Sistema de Evaluación de Desempeño (SED), evaluar los principales resultados que permitan emitir retos y recomendaciones de los programas. También para 2017 se propone una Evaluación de procesos. Este ejercicio pretende realizar un análisis sistemático de la operación del programa mediante trabajo de campo y de gabinete, con la finalidad de conocer cómo sus procesos—traducidos en sus Componentes, productos o entregables—conducen al logro de los objetivos y metas a nivel de Propósito. Asimismo, se busca detectar los problemas operativos que enfrenta el programa y las buenas prácticas que realiza, de manera que se puedan detectar áreas de oportunidad y emitir las recomendaciones correspondientes. A través de una serie de preguntas específicas que descomponen la operación y la aplicación de técnicas especializadas para el mapeo y análisis de procesos, se pretende valorar el funcionamiento y la organización del programa, permitiendo así conocer los factores que sustentan la implementación y hacer ejercicios comparativos para la medición y la mejora de su gestión en el tiempo. Finalmente, para el año 2018 se propone una Evaluación de consistencia y resultados. Este ejercicio plantea una concatenación lógica de objetivos para analizar los aspectos más importantes del programa, incluyendo la lógica y congruencia de su diseño, los instrumentos de planeación y de orientación hacia resultados, la estrategia de cobertura y los avances presentados, los principales procesos establecidos en las ROP y en la normatividad aplicable, los sistemas de información y sus mecanismos de rendición de cuentas, los instrumentos para medir el grado de satisfacción de los beneficiarios y sus resultados, así como los logros respecto a la atención del problema para el que fue creado. El propósito de esta evaluación es contar con una visión integral y comprensiva de cómo ha sido, qué tan bien ha funcionado y cuáles han sido los logros del programa al cierre de la administración federal, a manera que la siguiente pueda tener una sólida base para tomar decisiones informadas. A continuación se presentan los detalles básicos de cada una de las evaluaciones propuestas, en el año y secuencia en que corresponden. 32 3.3.1 2013: Diagnóstico y propuestas de atención Objetivos: Fundamentar la permanencia y justificar las eventuales modificaciones sustantivas al programa, a partir de la identificación del problema que se busca resolver así como la caracterización y análisis detallado de los aspectos principales del mismo. Plantear posibles alternativas de solución y seleccionar las más apropiada, a efecto de mejorar el diseño, la operación y los resultados del programa. Componentes a evaluar: Identificación del problema Caracterización del problema Experiencias de atención a la problemática Propuesta de diseño Marco de actuación de la propuesta Proyecciones financieras y metas para la solución propuesta Previsiones para integración y operación de padrones Justificación e importancia: Deficiencias e inconsistencias importantes en el Diagnóstico 2010, particularmente en torno de: la identificación, caracterización y magnitud del problema focal; y la definición y cuantificación de la población potencial y objetivo. Adicionalmente, el diagnóstico no incluye una propuesta de atención, que: revise otras experiencias nacionales e internacionales para atender el problema; especifique, valore y seleccione las alternativas de atención; y proponga elementos de rediseño así como proyecciones y previsiones para mejorar sustancialmente el desempeño del programa. Periodo de ejecución: 3 -4 meses 3.3.2 2014: Evaluación de diseño Objetivo general: Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, el diseño del programa. Lo anterior, con el fin de que las recomendaciones puedan retroalimentar el diseño y mejorar la gestión del programa. Objetivos Específicos: Analizar el diseño del programa. Identificar y analizar su vinculación con la planeación sectorial y nacional. 33 Analizar la consistencia entre su diseño y la normatividad aplicable. Identificar posibles complementariedades y/o coincidencias con otros programas. Componentes a evaluar: Características del programa Contribución a los objetivos estratégicos; Matriz de indicadores, Población potencial y objetivo; Vinculación con las ROP, y Coincidencias, complementariedades y duplicidades con otros programas. Justificación técnica y/o empírica: Valorar la integración del marco conceptual y normativo construido en el diagnóstico. Valorar el análisis para la selección de la alternativa de selección basado en la revisión de experiencias internacionales y nacionales Constatar la correspondencia entre las ROP y la MIR Periodo de ejecución: 3-4 meses 3.3.3 2015-2016: Evaluación de Impacto Objetivos: Identificar con metodologías rigurosas la contribución, atribuible a la ejecución del programa, en la reducción de la carencia por acceso a la alimentación de la población objetivo, así como otras variables asociadas (ahorro, consumo, alimentación y nutrición). Levantar información para realizar una evaluación horizontal que permita medir la contribución de cada programa alimentario del Sector Desarrollo Social, y comparar los resultados entre ellos. Componentes a evaluar: Valoración sobre los efectos e impactos esperados, incluyendo los indicadores de Fin y Propósito de la MIR, así como otras mediciones complementarias: o Efectos sobre el consumo y ahorro de los hogares o Impactos en la alimentación de las familias o Impactos en la nutrición de poblaciones en riesgo nutricional (niños de 0 a 24 meses, niños entre 2 y 5 años, mujeres embarazadas y en lactancia) Justificación técnica y/o empírica: En más de 6 años no se han realizado evaluaciones de impacto rigurosas al programa, por lo que se desconoce en qué medida cumple con los objetivos establecidos. 34 El levantamiento de una sola encuesta para los programas alimentarios, permitiría medir la contribución marginal de cada programa en la reducción de la desnutrición, en lugar de que cada programa levante su propia encuesta. Periodo de ejecución: 18 - 24 meses 3.3.4 2017 Evaluación estratégica de desempeño de los programas sociales alimentarios Objetivos y aspectos a evaluar: Evaluar de forma comparativa los logros e impactos del PAL, PASL, PAR y PDHO en la carencia de acceso a la alimentación, identificando los espacios de sinergia, complementariedad y duplicidades, a afecto de mejorar la articulación de estas iniciativas Componentes a evaluar: La respuesta gubernamental para atender los principales problemas asociados a la carencia por acceso de alimentos de la población mexicana. La política y programas federales con objetivos de alimentación o nutrición en sus beneficiarios. El vínculo multifactorial entre la disponibilidad, acceso, consumo y aprovechamiento de los alimentos en ambientes sanos. Los impactos marginales de cada programa en la reducción de la carencia de acceso a la alimentación, considerando variables de consumo, alimentación y nutrición. Justificación técnica e importancia: Contar con elementos de análisis sobre los alcances y contribución de cada uno de los programas de corte alimentario en el logro de los objetivos de la política social, de alimentación y nutrición Periodo de ejecución: 6 a 9 meses 3.3.5 2017: Evaluación de procesos Objetivo: Realizar un análisis sistemático, mediante trabajo de campo y de gabinete, sobre la operación del programa con la finalidad de conocer cómo se conducen al logro de la meta a nivel propósito, así como detectar los problemas operativos a los que se enfrenta y las buenas prácticas que se realizan, de manera que se puedan emitir recomendaciones que permitan mejorar su gestión. 35 Aspectos a evaluar: Operación del programa. Identificación y clasificación de los procesos. Análisis y medición de atributos de los procesos. Análisis global de la operación del programa. Justificación técnica y/o empírica: Valorar si la operación del programa favorece el logro de la metas a nivel de Propósito, ya que, de existir un diseño adecuado, la correcta operación del programa permitiría el logro de las metas de cada Componente establecido en la matriz de indicadores del programa y, por lo tanto, el logro del Propósito. Periodo de ejecución. 6 - 9 meses 3.3.6 2018: Evaluación de cconsistencia y resultados Objetivos: Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, la fortaleza del programa en cuanto a su diseño, planeación estratégica, cobertura y focalización, operación, percepción de la población objetivo y resultados. Lo anterior, con el fin de que las recomendaciones de este análisis puedan retroalimentar el diseño y la gestión del programa, para incidir positivamente en su desempeño. Componentes a evaluar: Diseño, Planeación Estratégica Cobertura y Focalización Operación Percepción de la Población Objetivo Resultados. Justificación técnica o importancia: Se considera pertinente analizar el programa de forma global y sistemática, al menos una vez durante cada administración, a efecto de valorar la consistencia y los resultados del mismo. Periodo de ejecución: 6 meses 36 3.4 Análisis de viabilidad y pertinencia para las evaluaciones de impacto Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una propuesta más detallada para someter al programa una evaluación de impacto. Se describen la metodología y las fuentes de información necesarias para llevar a cabo este tipo de evaluación, de acuerdo con la naturaleza de las variables específicas a medir así como de las características específicas del programa. La propuesta se acompaña de un análisis de pertinencia y de viabilidad técnica y financiera. 3.4.1 Pertinencia de la evaluación En 2006 el PAL tuvo una evaluación de impacto, en particular asociada a los componentes básicos de salud y nutrición, así como a otros aspectos relevantes como la movilidad laboral intergeneracional, el consumo de los hogares, antropometría, entre otros. Con todo, es pertinente realizar más estudios de este tipo, por diversas razones. En primer lugar, algunos de los efectos e impactos deseados del programa son observables sólo en el largo plazo, y únicamente algunos de ellos han sido cuantificados en evaluaciones previas. Además, las condiciones propias y de contexto de los hogares beneficiarios y sus miembros pueden cambiar a lo largo del tiempo; de hecho, se espera que pase por el progreso secular del país, sus regiones y las localidades, al margen del programa. Ello implica que algunos de los cambios puedan incidir sobre la significancia y magnitud de los efectos del programa sobre diversas variables de interés. Otra razón para impulsar nuevas evaluaciones de impacto radica en los cambios en la referencia para la población objetivo, que tan sólo en esta administración pasó de la pobreza extrema a la pobreza alimentaria a la línea de bienestar mínimo, de acuerdo con las diversas metodologías aplicables para la medición de la pobreza. Aunque el programa siempre ha tenido su propio vector de referencia—el sistema de puntaje—es evidente que las condiciones de elegibilidad pueden tener efectos sobre la composición de los grupos beneficiarios y entonces sobre los eventuales efectos e impactos promedio a estimar. Por otro lado, los cambios en el resumen narrativo y los indicadores de la matriz de indicadores de resultados de 2007 a la fecha, pueden requerir estimaciones que no se hayan realizado anteriormente. Es decir, es posible que ante cambios en los niveles de Fin y Propósito, las evaluaciones de impacto previas no reflejen de forma precisa las nuevas variables de interés. Adicionalmente, cabe mencionar que la propia expansión en la cobertura del programa, hasta llegar a cubrir prácticamente en su totalidad a su población objetivo, ha generado una serie de complicaciones metodológicas para realizar las evaluaciones, pues ha resultado cada vez más difícil encontrar buenos grupos de control o de comparación. Si bien los evaluadores han tratado de resolver este problema de diversas formas, varios de ellos han hecho patente las limitaciones que puede acarrear para su estimaciones, y han recomendado que en adelante se 37 exploren nuevas alternativas técnicas y metodológicas para evaluar los efectos e impactos del programa. Finalmente, a lo largo de los años se ha dejado de lado la estimación de los efectos e impactos del programa en relación con otras iniciativas federales y estatales para la formación de capacidades básicas en los hogares en condición de pobreza. Esto representa un área de oportunidad muy relevante, tanto en el sentido de poder estimar los resultados de la actuación conjunta de los programas, como de comparar el costo-efectividad y las ventajas y desventajas de cada uno de ellos—o al menos de los principales—en ciertos nichos de población y variables de interés. 3.4.2 Aspectos a evaluar Por principio, se recomienda que los aspectos a evaluar de forma prioritaria sean aquellos que correspondan con los indicadores a nivel de Fin y Propósito de la matriz de indicadores, para cada uno de los componentes del programa. De esta forma, se alinea de forma más adecuada el sistema de monitoreo con el sistema de evaluación, dando consistencia y estabilidad a las mediciones de desempeño. Por otro lado, se puede tener información sobre el impacto diferenciado que cada componente aporta al Fin del programa y con ello tomar decisiones de política pública adecuadas o dirigidas a mejorar los resultados deseados. En el caso del PAL, se recomienda que las evaluaciones de efectos e impactos en los principales tipos de beneficiarios (grupos etarios e indígenas), con una combinación adecuada de métodos y fuentes de información, consideren algunos de los siguientes aspectos, que no pretenden ser exhaustivos sino inicialmente sólo indicativos: Alimentación y nutrición: o Puntaje Z2 de crecimiento de variables seleccionadas (niños menores de 5 años) o Prevalencia de anemia (niños menores de 5 años y/o mujeres embarazadas y en lactancia) Condiciones de vida y oportunidades: 2 Las mediciones antropométricas se usan para evaluar el estado nutricional de individuos y grupos de población, y sirven como referencia evaluar el impacto de programas de nutrición y ayuda alimentaria. Las mediciones antropométricas que comúnmente se utilizan en este tipo de programas son índices referidos a la talla, el peso y la edad, particularmente la talla para la edad (T/E), peso para la edad (P/E), peso para la talla (P/T) y el índice de masa corporal para la edad (IMC/E). Cada índice se registra como un puntaje Z—referido en desviaciones estándar—que describe en qué medida y en qué dirección se desvía la medición antropométrica de un individuo del promedio de su sexo establecido por la OMS en los Patrones de Crecimiento Infantil de 2006. El puntaje Z de un individuo se pueden utilizar para clasificar su grado de desnutrición y también se puede calcular una media de puntaje Z para determinar el estado nutricional de un grupo de población. Con base en lo anterior, se recomienda que durante la etapa de diseño de la evaluación del programa se decida cuáles de los cuatro índices se utilizarán, o si aplicará el conjunto completo. Como mínimo, recomienda usar el índice de talla para la edad, que es una referencia muy común de desnutrición y resulta muy fácil de medir en campo. 38 o o o o o Pobreza multidimensional extrema (bienestar y carencias sociales) Movilidad laboral intergeneracional Salarios Empoderamiento (individual, comunitario, género) Satisfacción con la vida propia (índice de felicidad) 3 Salud: o Morbilidad (incidencia) o Convalecencia (duración) Existen diversas pruebas, variables y construcciones metodológicas que se pueden utilizar para medir los indicadores antes sugeridos. Como ejemplo de buenas prácticas y como referencias específicas para valorar las diversas alternativas para medir efectos e impactos sobre consumo, alimentación y nutrición, se sugiere revisar las siguientes evaluaciones: a) Evaluación del Modelo Integral de Apoyo a la Nutrición y el Neurodesarrollo PALOportunidades 2011. INCMNSZ. b) Análisis del impacto de la fortificación de la leche Liconsa con hierro, zinc y otros micronutrimentos sobre el rendimiento escolar de la población de beneficiarios del Programa de Abasto Social de Leche a cargo de LICONSA 2009. INSP. c) Estudio de evaluación de la calidad y el impacto de la harina de maíz enriquecida y fortificada marca Sedesol-Diconsa 2008. INCMNSZ. 3 La felicidad es un concepto complejo que ha sido abordado desde muchas perspectivas. La perspectiva científica se caracteriza por ofrecer una definición operacional de la felicidad que, aunque no comprende toda la complejidad que otras perspectivas consideran sobre este concepto, sí permite su medición. En palabras simples, la felicidad es definida como el grado con que una persona aprecia la totalidad de su vida presente de forma positiva y experimenta afectos de tipo placentero. Esta definición tiene implicaciones relevantes para la medición de la felicidad. En los últimos años se han realizado esfuerzos para cuantificar la felicidad como un indicador de valoración de la satisfacción con la vida y percepción de acceso a oportunidades de desarrollo personal; de hecho, existen intentos serios para proporcionar información válida sobre la percepción de la calidad de vida–Gallup World Poll (GWP), the World, Values Survey (WVS), and the European Social Survey (ESS)–que pueden ser usados para guiar la formulación de políticas públicas. En ese sentido, el World Hapiness Report 2010, concluye que el uso regular a gran escala y la recopilación de datos sobre la felicidad. mejora la formulación de políticas. Por tal motivo, se recomienda que se valore la pertinencia de incorporar un índice de satisfacción con la vida propia, que incorpore elementos cualitativos sobre la percepción de los beneficiarios y se asocie con el concepto de felicidad como variable relevante de medición de los efectos del programa. Cabe mencionar que, en función de la justificación, los objetivos y el alcance de Oportunidades, así como de las condiciones de la población beneficiaria y la capacidad transformadora que puede tener el programa sobre estas, es de esperarse que existan efectos significativos y relevantes, cuya medición contribuiría a arrojar nueva luz sobre una intervención con las características de Oportunidades. Véase: Helliwell, Layard and Sachs. 2010. World Happiness Report, Columbia University, 2010. 39 3.4.3 Metodologías y fuentes de información Para evaluar un programa con el alcance de Apoyo Alimentario es necesario combinar métodos, técnicas y fuentes de información diversas. Independientemente de las aproximaciones particulares que se tomen—esto es, cuantitativas y cualitativas, encuestas y entrevistas, levantamientos propios y datos censales, etc.—todas las evaluaciones deberán partir de un diseño de investigación robusto y adecuado para las variables de interés y los grupos de aplicación, que preferentemente hayan sido probadas en estudios similares. La estrategia metodológica propuesta para la evaluación de impacto considera tres elementos clave: la mezcla de métodos cualitativos y cuantitativos, un enfoque cuasi-experimental a lo largo del estudio, y la utilización de estudios de caso. Las características y relevancia de estos elementos de diseño se desarrollan a continuación. Cuantitativo y cualitativo Debido a la cantidad, diversidad y complejidad de los aspectos a estudiar del programa, es necesario establecer una estrategia metodológica compuesta, con procedimientos de acopio de información y técnicas analíticas tanto cuantitativas como cualitativas adecuadas para cada uno de estos aspectos. El propósito es asegurar que se obtengan y examinen apropiadamente todos los datos requeridos, para lograr resultados válidos, generar conclusiones sólidas y proponer recomendaciones útiles. Así, el diseño se debe ubicar dentro las evaluaciones de métodos mixtos (mixed-methods evaluation), vertiente que consideramos la más rica y adecuada para evaluar al PAL.4 Este tipo de investigación evaluativa permite integrar no sólo aquellos datos y observaciones cuantitativas comúnmente utilizadas en la evaluación de programas y proyectos sociales para medir fenómenos relevantes “objetivos” y “regulares”, estimando asimismo su variabilidad y grado de generalización, sino también para otros datos y observaciones cualitativas que reflejan percepciones subjetivas y formas de interacción de los actores, que permiten entender mejor y describir en profundidad dichos fenómenos. 5 En la evaluación del PAL, los análisis a partir de datos y técnicas tanto cualitativas como cuantitativas se deben diseñar con rigor lógico y metodológico buscando maximizar su validez para hacer inferencias descriptivas y causales en torno de los fenómenos, variables y condiciones que se busca apreciar y entender. La vertiente cuantitativa resulta más adecuada para observaciones relativamente abundantes o con “números grandes”, que normalmente se derivan de censos o encuestas. Por otro lado, la vertiente cualitativa se utiliza para observaciones relativamente escasas o con “números pequeños”, con datos obtenidos a partir 4 Para un mayor desarrollo sobre las características de las evaluaciones de métodos mixtos, véase: Frechtling and Sharp (1997). En el caso mexicano, entre los ejemplos más relevantes de este acercamiento metodológico son las evaluaciones recientes del Programa de Desarrollo Humano Oportunidades, que combinan diversas metodologías y técnicas tanto cuantitativas como cualitativas. 5 Para un mayor desarrollo de sobre las características básicas, utilización y complementación de las metodologías cuantitativas y cualitativas, véase: Cortes (2002); y King, Keohane & Verba (1994, pp. 3-7). 40 de grupos de enfoque, entrevistas y observación en sitio, entre otras técnicas. Estas vertientes se encuentran en los extremos opuestos del compromiso—en el sentido de trade-off—que cualquier investigación con tiempo y recursos limitados se ve obligada a que hacer en cuanto a amplitud y profundidad de las observaciones. Se recomienda que la vertiente cuantitativa se oriente principalmente hacia la medición y valoración de las intervenciones y sus efectos, mientras que la cualitativa se utilice para describir los contextos en que dichas intervenciones y efectos ocurren, así como para entender los significados que los diversos actores involucrados les otorgan. Sin pretender simplificar excesivamente sus diferencias, es evidente que la evaluación necesita contar con ambas perspectivas para cumplir con su fin de ser útil para la toma de decisiones y la mejora del programa. Se pretende que las metodologías cuantitativas y cualitativas no sólo se complementen funcionalmente hablando—en el sentido de que lo que no se hiciera o lograra con unas se consiguiera con las otras—sino que además se integraran—en el sentido de que lo que se logre o consiga con unas sirva para informar, extender y refinar lo obtenido a través de las otras. Dicha complementación e integración se debe hacer de manera formal y explícita tanto en los estudios de caso como en los modelos estadísticos. Enfoque cuasi-experimental Con el enfoque cuasi-experimental no sólo se estiman y aprecian los valores de las variables de interés asociados a la intervención del programa, sino también de la comparación con los valores que se hubieran dado en ausencia de la misma—esto es, el escenario contrafactual. La intención es identificar y estimar mejor los cambios y las diferencias que se pueden atribuir propiamente a la intervención del programa, y no confundirlos con aquellos que se pueden derivar de otros factores internos o externos a la problemáticas social, y que son ajenos al programa. Si bien los enfoques cuasi-experimentales y los contrafactuales más en general son comúnmente utilizados para estimaciones de impacto con base en técnicas cuantitativas y bases de datos grandes, en términos metodológicos son igualmente aplicables a los análisis con base en técnicas cualitativas, que normalmente emplean datos obtenidos a partir de grupos de enfoque, entrevistas y observación en sitio. Esto es porque la lógica inferencial del diseño es la que proporciona su validez interna, y no el uso de una técnica de recolección y tratamiento de datos en particular; así, dicha lógica simplemente debe ser explicada y formalizada de manera clara y precisa. En cuanto al detalle de la vertiente cuantitativa, para la evaluación de impacto se sugiere el uso de modelos de estimación por dobles diferencias, ya que es uno de los métodos que suele arrojar resultados más robustos debido a la construcción de los grupos de tratamiento y de comparación, tanto de manera previa a la intervención del programa así como en periodos posteriores a la misma—esto es, un modelo “antes y después” con grupo de comparación. En el 41 caso del PAL, el grupo de tratamiento consistiría de localidades apoyadas, y el de comparación se haría con localidades no apoyadas. La información que se requiere para realizar las estimaciones se puede obtener de encuestas propias con representatividad nacional para la población objetivo, tanto atendida como no atendida. En consideración de los distintos apoyos que entrega el PAL, se recomienda valorar la pertinencia de que la encuesta considere estratos de tipos de beneficiarios y no beneficiarios por grupo de edad y sexo que estén asociados a los distintos tipos de apoyo. En lo que toca a los estudios de caso, que implican sustancial trabajo cualitativo, estos pueden diseñarse con un enfoque comparativo—incluyendo casos de tratamiento y casos de comparación—procurando que la lógica y procedimientos de selección de los casos replique en lo posible lo que se haría en la vertiente cuantitativa de la evaluación. Por otro lado, también se alienta seguir utilizando métodos cualitativos en la evaluación, especialmente para identificar los mecanismos de las relaciones causales así como los factores ambientales relevantes que no pueden ser identificados o especificados a través de los modelos estadísticos. Entre otros aspectos a examinar, se pueden considerar la influencia de las motivaciones y expectativas, aspectos culturales y la inclusión social, entre otros, que pueden incidir sobre los resultados del programa, así como servir para identificar otros no esperados. Estudios de caso Los estudios de caso aplican a efecto de obtener una visión más comprensiva y detallada del impacto del programa, así como de las condiciones que afectan su desempeño. Así se sugiere que la unidad de análisis básica sean los proyectos apoyados, buscando captar entonces los efectos e impacto que se derivan de estos hacia el fortalecimiento institucional de lo actores sociales así como al desarrollo y el capital social de los grupos vulnerables. Los proyectos a estudiar se pueden seleccionar considerando una variabilidad de condiciones relevantes, tales como el área de intervención (prevención de violencia, desarrollo productivo, inclusión social, etc.); tipo de grupos beneficiados (mujeres en riesgo, indígenas en situación de pobreza, personas discriminadas, etc.); costo e inversiones, número de participantes, tiempo de ejecución, entre otras. Los estudios de caso buscan combinar e integrar diversos métodos y técnicas tanto cualitativas como cuantitativas, a efecto de lograr una apreciación más informada y sólida de los actores, procesos y condiciones a analizar. Entre las herramientas empleadas se puede incluir el análisis de registros administrativos y de inversión, encuestas propias, grupos de enfoque, entrevistas semi-estructuradas y profundas, así como la observación en sitio. En todos los estudios se deben utilizar las mismas herramientas para recolección y análisis de datos, a efecto de asegurar la mayor comparabilidad y aprovechamiento de la información posible, esto con algunas variaciones según lo ameriten las condiciones particulares y de acuerdo a la metodología sugerida. El enfoque de los estudios puede ser etnográfico, explicativo, comparativo y contrafactual, para poder hacer inferencias descriptivas y causales relacionadas con el impacto del programa. 42 3.4.4 Viabilidad técnica y financiera La viabilidad técnica radica en la capacidad de la institución para generar información y procesarla adecuadamente con propósitos evaluativos. En este sentido, la experiencia en evaluación de programas sociales en México y en otros países, hacen patente que se puede alcanzar este objetivo, desde el punto de vista estrictamente técnico. Existen en el país una variedad de instituciones educativas y de investigación así como empresas consultoras especializadas que pueden llevar a cabo este tipo de trabajos. Además, hay ejemplos de buenas prácticas para el levantamiento y procesamiento de información cuantitativa y cualitativa para la evaluación de programas, buena parte de ellas en la propia Sedesol. Igualmente, se han aplicado exitosamente modelos de evaluación robustos e indicadores apropiados para medir estas mismas variables de interés u otras similares. Es importante insistir que cualquier evaluación de impacto se beneficia si con anterioridad se verifican, actualizan, complementan y sistematizan las bases de datos disponibles. En el caso del PAL, se sugiere revisar y mejorar la información disponible sobre los actores sociales, los grupos vulnerables y los proyectos, tanto apoyados como no apoyados, a efecto de contar los insumos necesarios para conformar los grupos de tratamiento y comparación. Sobre la viabilidad financiera de la evaluación de impacto propuesta, cabe mencionar que el monto de recursos públicos que se destina anualmente al programa y lo que ya se ha gastado en los últimos años, no solamente justifica sino que además permite realizar una evaluación rigurosa para medir sus resultados. En el caso del PAL como en el de la mayoría de los iniciativas sociales federales, el costo relativo de las evaluaciones de impacto—aun de aquellas que pueden implicar levantamientos de información razonablemente amplios—suele ser muy pequeño en comparación con el presupuesto global de los programas. Más aún, para el programa el costo de una evaluación como la que se propone seguramente es muy bajo en comparación con el costo derivado de las deficiencias de diseño, cobertura, focalización y operación que suelen tener las iniciativas sociales en México y en otros países, respecto de las cuales no hay razón lógica para que el PAL esté exento. Finalmente, también existe un costo intrínseco en no conocer los resultados del PAL, pues los tomadores de decisiones no tienen una forma verificable, objetiva y transparente de saber si es conveniente ampliar la cobertura, incrementar el monto de los apoyos, o invertir más en alguna vertiente y recortar otra, entre otras decisiones con implicaciones financieras importantes, cuyos eventuales costos directos y de oportunidad seguramente exceden por mucho los de realizar una evaluación de impacto rigurosa. De tal forma, la evaluación de impacto propuesta se puede considerar ex ante como técnica y financieramente viable, y resulta por demás conveniente. En todo caso lo correcto es buscar diseños apropiados y asegurar los recursos suficientes para el ejercicio cumpla cabalmente su propósito. 43 En complemento a lo anterior, cabe mencionar que el PAL tuvo un presupuesto en 2012 de 4,083 millones de pesos. La provisión presupuestal así como la importancia del objetivo general del programa, crean la necesidad y justifican la conveniencia de conocer en que medida estos recursos públicos tienen efectos en las condiciones que dieron origen al programa. Como ya fue mencionado, aunque las evaluaciones de impacto pueden demandar recursos importantes, en ningún caso son comparables con los recursos que se podrían consumir por operar un programa que no presenta efectos y puede ser sujeto de un rediseño para estar alineado con la planeación de la política social. Por el contrario, estos recursos destinados a elaborar evaluaciones de impacto pueden dar indicios para fortalecer dicha política. Como una estimación preliminar, el equipo metaevaluador considera que el rango de costo para una evaluación de impacto del PAL podría ir de 9 a 12 millones de pesos que, comparados con el presupuesto de los dos ejercicios fiscales que comprendería dicha evaluación, representa aproximadamente 0.22% a 0.29% del total. Se reconoce que en las ROP, año con año se incluyen cláusulas que ponen un tope sobre el uso de recursos destinados a la evaluación. No obstante, una evaluación metodológicamente robusta y con una justificación adecuada sobre la decisión de llevarse a cabo, debería tener un canal financiero asegurado. En este caso, el volumen presupuestal del programa facilita una evaluación de esta naturaleza al posibilitar que no se contraponga con la limitante contenida al respecto de las evaluaciones en las ROP. 44 3.5 Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones En este apartado se incorpora un resumen de las Fortalezas, Oportunidades, Debilidades y Amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos elementos que, a juicio del metaevaluador, son relevantes, en términos de su importancia e implicaciones para el desempeño del programa, así como vigentes, en el sentido que la situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma esquemática se presenta en el Anexo 4. 45 Resumen de Fortalezas, Oportunidades, Debilidades y Amenazas del Programa de Apoyo Alimentario Tema de evaluación Aspecto identificado Referencia Recomendación Referencia de la recomendación Fortalezas Diseño El PAL atiende a población pobre de localidades rurales dispersas donde Oportunidades no puede operar por falta de acceso a servicios de educación y/o de salud. EED10/11-PAL-HIMFG-pp.13 RECOMENDACIÓN DEL EVALUADOR Realizar seguimiento nutricional a los beneficiarios directos, los niños menores de 5 años y las mujeres embarazadas, para conocer el impacto y su contribución a las políticas de desarrollo social. RECOMENDACIÓN DEL METAEVALUADOR Diseño Brinda la oportunidad a la población vulnerable de mejorar su nutrición y salud mediante los apoyos monetarios y de complementos alimenticios ECR11/12-PAL-CIAyD-pp.67 Diseño La información socio-económica proporciona un instrumento que garantiza una mayor transparencia en la asignación de los recursos. ECR11/12-PAL-CIAyD-pp.67 Cobertura y focalización La población atendida corresponde con la población objetivo. ECR07-PAL-CEPNA-pp.117; ECR11/12-PAL-CIAyD-pp.67 Cobertura y focalización Operación Operación El Programa cuenta con criterios de elegibilidad claros y con procedimientos adecuados para la identificación y selección de beneficiarios. El proceso de transferencia de recursos y entrega de apoyos cumple con lo establecido en las Reglas de Operación; se basa en procedimientos documentados, estandarizados, sistematizados y difundidos públicamente, y es eficaz y eficiente. El Programa cuenta con un padrón de beneficiarios y ha establecido mecanismos adecuados para su depuración, actualización y verificación. Ante la restricción en el acceso efectivo a los servicios de salud — característica que afecta particularmente a la población objetivo del PAL, pues de otra manera de estaría en Oportunidades— no resulta factible hacer un seguimiento nutricional de los beneficiarios, tal como lo propone el evaluador. Sin embargo, sigue siendo necesario conocer el impacto del programa, por lo que se sugiere hacer mediciones periódicas a una muestra de beneficiarios y no beneficiarios comparables, con un propósito de evaluación y no propiamente de seguimiento, utilizando técnicas adecuadas para tales efectos. ECR07-PAL-CEPNA-pp.117; ECR11/12-PAL-CIAyD-pp-14 ECR07-PAL-CEPNA-pp.117; ECR11/12-PAL-CIAyD-pp.39 a 40 y 43 a 44 ECR07-PAL-CEPNA-pp.117; ECR11/12-PAL-CIAyD-pp.35 a 37 46 Oportunidades Diseño El PAL tiene el potencial de funcionar como un programa previo a Oportunidades para atender a la población en condición de pobreza que vive en localidades rurales pequeñas y dispersas, en caso de que se pretenda, eventualmente, ampliar el acceso a los servicios de educación y/o de salud para permitir así la entrada de Oportunidades. Planeación Con base en los datos que el programa levanta en los hogares atendidos, es posible generar información muy valiosa para ser utilizada por las autoridades federales, estatales y municipales en la planeación de otros programas. La información detallada sobre la situación de ED09-PAL-HIMFG-pp.201; los hogares que habitan en localidades rurales pequeñas y EED09/10-PAL-HIMFG-pp.21 dispersas, de alta marginación y pobreza, suele ser muy escasa y se recoge con periodicidades relativamente largas; sin embargo, resulta de gran utilidad cuando se quiere focalizar adecuadamente las intervenciones y maximizar el impacto de los programas, así como la eficiencia de los recursos en la población que presenta mayores carencias. EED10/11-PAL-HIMFG-pp.13 Establecer mecanismos de coordinación con las autoridades educativas y sanitarias de los estados con el fin de participar en los procesos de planeación de la cobertura y ampliación del acceso a los servicios de educación y de salud en las localidades actualmente no cubiertas, con el propósito de facilitar la entrada de Oportunidades. RECOMENDACIÓN DEL EVALUADOR Revisar y hacer una sola encuesta por hogar igual a la que levanta el programa Oportunidades, en vez de las dos actuales. Sistematizar y hacer disponible esta información a otras autoridades federales y locales. RECOMENDACIÓN DEL METAEVALUADOR Establecer mecanismos de colaboración e intercambio de información con otras autoridades federales, estatales y municipales, para utilizar la información que generan las partes, con las salvaguardas legales aplicables. 47 Debilidades y amenazas El problema focal del programa, así como la población potencial y objetivo no están correctamente identificados ni claramente definidos, pues subsisten algunas ambigüedades e inconsistencias importantes. Diseño El problema focal identificado en el Diagnóstico 2009 del PAL (“la persistencia de desnutrición crónica, anemia y deficiencia de micronutrientes en familias en situación de pobreza en localidades rurales marginadas y desatendidas por los programas de asistencia social existentes”) es en general correcto, si bien tiene algunas deficiencias que se pueden corregir fácilmente. Sin embargo, dicho problema no se refleja en la definición de población objetivo establecida en las ROP 2012 (“Hogares cuyas condiciones socioeconómicas y de ingreso impiden desarrollar las capacidades de sus integrantes en materia de educación, nutrición y/o salud, y que no son atendidos por el Programa Oportunidades”). Adicionalmente, en sí misma, esta definición no está correctamente alineada con la lógica interna del PAL expuesta en sus objetivos general y específico (“Contribuir al desarrollo de las capacidades básicas de los beneficiarios, mediante la realización de acciones que permitan mejorar su alimentación y nutrición” y “Mejorar la alimentación y la nutrición de las familias beneficiarias, en particular de los niños y niñas menores de 5 años y de las mujeres embarazadas o en periodo de lactancia”). Por otro lado, las aproximaciones a la población potencial y objetivo del PAL que se hicieron considerando el Diagnóstico Oportunidades 2011 que aparece en la Nota de actualización de la población potencial y objetivo del PAL son ambiguas y técnicamente incorrectas, conforme a la metodología establecida para ello en el marco lógico y en los lineamientos de Coneval. (La población potencial se propone como “individuos no menores de 22 años, que no sean mujeres en edad reproductiva y no sean mayores de 70 años, y que además cuenten con un ingreso per cápita menor a la línea de bienestar”, y la población objetivo se plantea como “individuos que no sean menores de 22 años, no sean mujeres en edad reproductiva y no sean mayores de 70 años, además de contar con un ingreso per cápita menor a la línea de bienestar mínimo”). RECOMENDACIÓN DEL METAEVALUADOR Se recomienda revisar la definición del problema focal y, a partir de ésta, redefinir también las características de la población potencial y la población objetivo, de conformidad con los criterios técnicos establecidos en la metodología de marco lógico y en los Lineamientos de CONEVAL correspondientes. Por otro lado, se debe considerar que el hecho de que el PAL esté en coordinación directa con Oportunidades no significa que ambos ECR07-PAL-CEPNA-pp.117; programas tengan el mismo problema focal y atiendan el mismo tipo ED09-PAL-HIMFG-pp.201; de poblaciones, con la diferencia de que el primero opera donde el EED10/11-PAL-HIMFG-pp.13; segundo no puede hacerlo, debido a las limitaciones en el acceso a los ROP 2012; Diagnóstico del PAL; servicios educativos y/o de salud. En términos de diseño formal, el PAL Nota de actualización de la se ha centrado siempre en torno a la alimentación y a la nutrición, población potencial y objetivo mientras que Oportunidades lo ha hecho sobre las capacidades básicas del PAL. de educación, salud y nutrición. Sin embargo, en la normatividad y en la práctica, la cobertura del PAL ha estado condicionada a la de Oportunidades, como si fueran programas que se sustituyeran entre sí o que duplicaran los beneficios, y esto no es realmente cierto. Por lo tanto, si van a operar de forma coordinada, es indispensable que se defina con claridad cuál es la problemática que aqueja a la población que no cuenta con acceso a Oportunidades, qué objetivos de política social se pretenden alcanzar en dicha población, y qué tipo de apoyos deben otorgarse a través de lo que hoy se conoce como PAL, lo cual seguramente implicará una redefinición de éste. Aparentemente, los problemas en torno a la definición del 48 problema focal, de la población potencial y la población objetivo se dieron por solventados al pasar el programa de Diconsa a la CNPDHO, y así se reflejó en la ECR11. No obstante, como ya se vio, las inconsistencias y ambigüedades subsisten. Esto tiene implicaciones muy importantes en materia de diseño, al menos en torno a la cuantificación de poblaciones y a la definición y focalización de apoyos. RECOMENDACIÓN DEL METAEVALUADOR Diseño No se cuenta con una mayor frecuencia en la periodicidad de la información para los indicadores de Fin y de Propósito. Las fuentes de información para evaluar el impacto se realizan cada 5 años y provienen de los resultados de la ENSANUT. EED10/11-PAL-HIMFG-pp.13; ECR11-PAL-CIAYD-pp.67 a 68 Además de la coordinación para el diseño de la ENSANUT, se recomienda desarrollar encuestas propias del programa que permitan medir los indicadores de interés en la población beneficiaria y no beneficiaria con mayor frecuencia, sirviendo como herramientas para las evaluaciones de efectos e impactos a nivel de Propósito y de Fin. RECOMENDACIÓN DEL METAEVALUADOR Redefinir la función del PAL y ampliar los apoyos para los hogares que actualmente atiende, para que cumpla una función más amplia y de mejor manera. Diseño El tránsito de los hogares del PAL a Oportunidades está limitado por la cobertura de los servicios educativos y de salud en las localidades. ECR11/12-PAL-CIAyD-pp.67 Alternativamente, se sugiere incorporar gradualmente a Oportunidades a las poblaciones del PAL, independientemente de los avances en la cobertura de los servicios educativos y de salud en sus localidades, y revaluar la pertinencia de condicionar los apoyos a quienes no están en condiciones fácticas de cumplir. También se pueden buscar formas distintas o innovadoras para que los hogares y sus miembros puedan cumplir la condicionalidad de Oportunidades y migrar hacia dicho programa. RECOMENDACIÓN DEL EVALUADOR Cobertura y focalización No se abarca un horizonte de largo plazo, debería existir una estrategia de ampliación de cobertura para que en un plazo definido se vaya cubriendo a la población objetivo del programa en pobreza alimentaria. Con base en la revisión y actualización del diagnóstico se deben trazar metas tanto de mediano como de largo plazos (transexenales) por el PAL. ECR11/12-PAL-CIAyD-pp.68 RECOMENDACIÓN DEL METAEVALUADOR Es necesario establecer un plan que permita la coordinación de las actividades y componentes del Programa con la Secretaría de Salud para la planeación de la infraestructura y de los servicios de salud en localidades remotas, así como con las Caravanas de Salud. 49 RECOMENDACIÓN DEL METAEVALUADOR Resultados Falta evaluación comparativa que mida los impactos del PAL respecto de otros programas de alimentación y nutrición ECR11/12-PAL-CIAyD-pp.68 Realizar evaluaciones a todos los programas alimentarios y de nutrición existentes en el país que permitan conocer los impactos particulares de cada uno y establecer así una comparación entre ellos. Lo anterior puede ser complementado con estudios de costo-efectividad. RECOMENDACIÓN DEL METAEVALUADOR Resultados El Programa no cuenta con evaluaciones externas recientes que midan sus efectos e impactos a nivel de Propósito y de Fin. Llevar a cabo evaluaciones periódicas y técnicamente rigurosas que permitan conocer los verdaderos efectos e impactos del programa. 50 3.6 Análisis de la contribución de los programas alimentarios a la reducción de la carencia de acceso a la alimentación En este apartado se analiza si los bienes y servicios otorgados por los programas a cargo de las dependencias y entidades del Sector de Desarrollo Social que tienen componentes alimentarios (PDHO, PAL, PAR y PASL), contribuyen a reducir la carencia en el acceso a la alimentación, tomando como referencia los elementos del indicador considerado en la metodología para la medición de la pobreza en México. 3.6.1 Aspectos conceptuales y de diseño programático La carencia por acceso a la alimentación se entiende como “la existencia de limitaciones significativas en el ejercicio del derecho a disfrutar del acceso físico y económico a una alimentación adecuada y a los medios para obtenerla” (CONEVAL, 2011). De esta manera, la carencia se encuentra asociada a los conceptos de estabilidad, suficiencia y variedad de los alimentos; entonces, se entiende asociada a algún grado de inseguridad alimentaria. La inseguridad alimentaria es el concepto opuesto al de seguridad alimentaria, es decir, la situación en la cual todas las personas tienen en todo momento acceso físico y económico a suficientes alimentos inocuos y nutritivos para satisfacer sus necesidades alimenticias y sus preferencias en cuanto a los alimentos, a fin de llevar una vida activa y sana” (FAO, 2009). Así, desde una perspectiva conceptual, se considera en situación de carencia por acceso a la alimentación a los hogares que presentan un grado de inseguridad alimentaria moderado o severo. Una vez que se tiene claridad conceptual en torno a la carencia de acceso a la alimentación, la metodología de Coneval se aboca al problema de la medición, para lo cual considera específicamente de las experiencias de hambre en los hogares. Esta aproximación se compone de una escala a partir de diversas preguntas aplicadas en los hogares, por medio de la cual se capta la percepción tanto de preocupación como de problemas con la cantidad o calidad de la dieta en el hogar durante un periodo de referencia. El constructo teórico detrás de las preguntas de la escala supone que un choque negativo—como la pérdida de ingreso—produce preocupación en los integrantes de hogar, seguida de una reducción en la calidad de la dieta, una disminución de contenido calórico en los alimentos de los adultos y luego en niños, hasta llegar al hambre, definida como dejar de comer un día en el periodo de referencia de la escala. Formalmente, el diseño de los programas sociales alimentarios plantea incidir sobre el estado nutricional a través de la mejora del acceso físico o económico a alimentos de los hogares pobres, ya sea a través de apoyos monetarios, en especie o en el precio. La desnutrición no es sinónimo de carencia por acceso a la alimentación—en los términos de la mala alimentación que, a su vez, provoca la deficiencia de diversos componentes del complejo nutricio en el organismo—frecuentemente es consecuencia de encontrarse en tal situación. 51 En términos de medición, los programas sociales alimentarios usan indicadores relacionados con la desnutrición a nivel Fin o de Propósito de la MIR, basados principalmente en el cálculo de las prevalencias de talla baja, peso bajo o anemia para grupo determinados, principalmente en niños menores de 5 años y mujeres embarazadas y en lactancia. Algunos programas utilizan levantamientos propios como fuente de información para estimar los indicadores, mientras que otros los construyen a partir de la ENSANUT, aunque con algunas limitaciones en términos de muestreo estadístico. Cabe resaltar que, con la información disponible, resulta muy difícil hacer una medición precisa de la posible contribución de los programas a disminuir la carencia por acceso a la alimentación, al menos en los términos en que la mide el Coneval. Esto es porque los programas no recogen datos sobre las experiencias de hambre de los hogares de manera regular ni a través de las evaluaciones, pero también porque la información que sí recoge la ENIGH no necesariamente tiene representatividad estadística como para poder hacer las mediciones de referencia. 3.6.2 Potencial de contribución de cada programa Derivado del análisis conceptual y de la medición de la carencia por acceso a la alimentación, se han identificado cuatro formas básicas en las que los programas pueden contribuir a la disminución de la carencia por acceso a la alimentación: a) mediante transferencia monetaria directa a los hogares, que elevaría su ingreso disponible y derivaría en un incremento en el consumo y gasto en alimentos así como mejoras en la calidad y variedad de los mismos; b) a través de la provisión directa de productos alimentarios básicos de manera gratuita, lo que en principio implicaría un aumento en su consumo; c) mediante un subsidio al precio de los bienes de consumo básico, esperando un aumento de la cantidad demandada al disminuir los costos y cambiar la estructura de precios relativos de los productos básicos; y d) a través de la información, difusión y capacitación en hábitos alimenticios, que derivaría en mejores decisiones y comportamientos de consumo que, a cualquier nivel de ingreso, incrementaría la satisfacción de las necesidades alimenticias. Así, desde una perspectiva lógica-causal, se puede esperar que los programas alimentarios tengan un efecto positivo sobre el consumo de alimentos y en consecuencia, una disminución en la carencia de acceso a los alimentos. Estos programas parten de supuesto que los bajos ingresos y el insuficiente acceso y disponibilidad de alimentos son factores que inciden sobre la inseguridad alimentaria, y por lo tanto se convierten en determinantes de la carencia. Los bajos ingresos de los hogares se traducen en un menor poder de compra y, por tanto, en menores posibilidades de satisfacer sus requerimientos de alimentos y otras necesidades básicas. Por 52 otro lado, cuando no hay acceso físico o disponibilidad de alimentos, los hogares ven limitada su capacidad de satisfacer sus necesidades alimenticias, independientemente de su nivel de ingreso. A continuación se presenta brevemente un análisis de los efectos principales que se espera tengan los programas alimentarios sobre la carencia de acceso a la alimentación, en consideración tanto de las principales características de los programas como de la conceptualización y forma de medición de la carencia. 3.6.3 Programa de Desarrollo Humano Oportunidades y Programa de Apoyo Alimentario En el caso del PDHO y del PAL, las transferencias monetarias en principio elevan el ingreso disponible y con ello la demanda y el consumo de alimentos, disminuyendo la carencia. Lo anterior supone que, a cualquier nivel de consumo—incluso al nivel autoconsumo absoluto— existe un ingreso mínimo imputable para la sobrevivencia de las familias, de forma tal que las transferencias en efectivo que efectúan los programas influyen directamente en el consumo de alimentos. Al incrementar y estabilizar el consumo, se espera que las experiencias de hambre disminuyan y ellos posibilite cruzar el umbral de la carencia por acceso a los alimentos. La medida en la cual los hogares logren cruzar dicho umbral gracias al apoyo de los programas – esto es, el impacto—es un problema empírico, que depende no sólo del monto de los apoyos promedio de los programas sino también de las condiciones socioeconómicas de los hogares que atiende cada programa. En general, se puede esperar que el PDHO tenga un efecto relevante en el gasto y consumo de alimentos de las familias en pobreza extrema, gracias a la suma de los apoyos monetarios que otorga—que para 2012 suele estar en un rango entre 1,560 y 2,520 pesos por mes por familia, dependiendo del número y nivel escolar de los becarios registrados. Sin embargo, estos efectos no se traducen directamente en una reducción de la carencia, puesto que son mediados por la mejora en la calidad y diversidad de los alimentos y no sólo por el incremento en la cantidad de los mismos—siendo este último el que tendría mayores impactos sobre las experiencias de hambre, que es lo que mide la carencia En cuanto al PAL, los argumentos anteriores aplican de igual forma, pero con dos diferencias básicas que actúan en sentido opuesto. La primera es que el monto promedio de apoyo es sustancialmente menor que el del PDHO, variando entre 510 y 720 pesos por familia por mes dependiendo del número de niños registrados, por lo que los efectos del programa sobre el gasto en alimentos serían en principio menores. La segunda es que, por sus condiciones estructurales asociadas precisamente a no contar con acceso a los servicios de salud o educación, las familias del PAL suelen tener ingresos promedio sustancialmente inferiores a los del PDHO; por lo tanto, en principio estas familias presentarían la carencia en mayor grado, y el efecto del programa sobre la misma tendería a ser mayor que el del PDHO. 53 Adicionalmente, se puede esperar que el PDHO tenga un efecto positivo complementario, aunque seguramente de menor nivel que el asociado al ingreso, a través de la información, difusión y capacitación en hábitos alimenticios que se realiza en los servicios de salud y las visitas preventivas. Estas actividades podrían mejorar las decisiones y comportamientos de consumo de los hogares pobres, e incrementaría la satisfacción de las necesidades alimenticias independientemente o en complemento de lo que se logre a través del ingreso. 3.6.4 Programa de Abasto Social de Leche El potencial del PASL para contribuir a la disminución de la carencia de acceso a los alimentos es prácticamente nulo. En principio, el proveer leche fortificada a menor precio que el de mercado, reduce el gasto en leche y libera recursos para ser utilizados en otros bienes. Sin embargo, considerando que la leche no es una parte fundamental del consumo y el gasto de la población objetivo—las familias con ingresos por debajo de la línea de bienestar—y que la población efectivamente atendida—en su mayoría, en localidades urbanas y por encima de la línea de bienestar mínimo—no presenta la carencia, el programa no debe tener impacto alguno sobre la misma. No obstante, el programa sí tiene un potencial importante para disminuir la desnutrición, y desde una perspectiva más amplia sobre la seguridad alimentaria y una medición más incluyente, podría considerarse alguna posible contribución para disminuir la carencia. En este sentido, el PASL podría potenciar su contribución al ampliar su cobertura en las zonas rurales donde se concentre la población por debajo de la línea de bienestar mínimo, con mayores niveles de desnutrición y de la carencia de alimentos. 3.6.5 Programa de Abasto Rural Si bien el PAR tiene un potencial de contribuir a la disminución de la carencia, debido a que busca llevar productos a las comunidades con problemas de abasto y reducir el costo de la canasta básica alimentaria, su impacto dependerá en buena medida de la cobertura y focalización de las tiendas Diconsa así como de los diferenciales de precio en la canasta básica y sus efectos sobre el consumo. En cuanto a la cobertura y focalización, un numero importante de tiendas Diconsa se encuentra en localidades con grado de marginación media o baja—más del 45%--con escasa prevalencia en carencia por acceso a alimentos, mientras que subsiste una proporción importante de localidades objetivo—al menos 22%—que presentan un grado alto de desabasto y que no son atendidas por el programa. En cuanto al margen de ahorro en la canasta básica, en los años recientes ha fluctuado entre 15% y 21%; sin embargo, no se ha evaluado el efecto en el consumo que se deriva de dicho ahorro, tanto de forma directa a través de las compras en las tiendas como de forma indirecta a través del efecto sobre los precios en los mercados locales. 54 De tal forma, si bien el programa tiene potencial para contribuir a la disminución de la carencia alimentaria, no queda claro en qué medida realmente lo hace. Para que el PAR pudiera tener un mayor impacto sobre la carencia seria necesario mejorar la cobertura y focalización hacia las localidades rurales con niveles altos de desbasto y de carencia alimentaria. Convendría también analizar la conveniencia de ampliar el subsidio en los bienes alimentarios que pesan más en la canasta básica y que reflejen los patrones de consumo local. Asimismo, sería provechoso desarrollar e incorporar formas alternativas de distribución y comercialización para poder llegar más lejos, tanto a las localidades objetivo no cubiertas como a otras de tamaño menor a 200 habitantes. Con todo, cabe recordar un aspecto esencial: que el PAR vende sus productos y que Diconsa busca en lo posible recuperar costos para dar viabilidad financiera al programa, lo cual si bien es entendible, limita el impacto del programa en la carencia. Así, es probable que, para la población con mayores niveles de carencia alimentaria y por lo tanto en la pobreza más severa, el apoyo del PAR sea útil pero no resulte suficiente. 3.6.6 Conclusiones y recomendaciones sobre los programas y la carencia Del análisis anterior se puede concluir que, considerando los enfoque conceptuales y de cálculo asociados a la metodología para la medición de la pobreza en México, el PDHO y el PAL son los programas que tienen mayor potencial para contribuir a la disminución de la carencia de acceso a los alimentos, el PAR puede tener un efecto relevante pero limitado, y el PASL no tiene efecto directo, sino solo a través de la nutrición. Sin embargo, esto es lo que se espera de los programas considerando su diseño y operación actual, mismos que pueden modificarse si se quisiera aumentar dicha contribución. En ese caso, el mayor potencial estaría seguramente en el PAL, por el tipo de población que atiende, y el cambio más importante consistiría en incrementar los montos de los apoyos. En una línea similar, el segundo cambio relevante seguramente sería a través del PAR, focalizándolo más hacia las localidades donde se concentra la carencia, buscando disminuir los precios de algunos de los productos básicos que más se consumen en dichas localidades, y procurando formas alternativas de distribución y comercialización para poder llegar más lejos. En cuanto al PDHO y el PASL, no se considera necesario ni conveniente modificarlos, ya que cada uno cumple razonablemente su función, uno de forma directa y otro de forma indirecta. Finalmente, se recomienda a Sedesol valorar la pertinencia de medir la contribución del PDHO, el PAL y el PAR a la disminución de la carencia, utilizando para ello las evaluaciones de impacto que se sugieren en la presente metaevaluación. Como parte de este ejercicio, se recomienda evaluar el impacto tanto de forma individual para cada programa, como de forma conjunta, en los casos en que confluyan dos o tres programas Para ello, se sugiere usar una aproximación ligada a la de Coneval, a partir de las experiencias de hambre de los hogares, pero explorar 55 también otras posibles alternativas que sean consistentes con el concepto de seguridad alimentaria, que está detrás de la carencia. 3.7 Reflexiones y recomendaciones complementarias del metaevaluador En esta sección incorpora un conjunto de conclusiones y recomendaciones del metaevaluador, que si bien en su mayoría se construyen sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegan a resultados distintos al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas conclusiones y recomendaciones se enfocan principalmente en aspectos asociados al diseño, la cobertura y los impactos del programa, y son responsabilidad exclusiva del metaevaluador. 3.7.1 Sobre el problema focal y las poblaciones potencial y objetivo Reflexión: En principio, las definiciones del problema focal y de las poblaciones potencial y objetivo de los programas sociales deben hacerse conforme a lo establecido en los Lineamientos generales para la elaboración de diagnósticos de cuyos resultados se obtienen propuestas de atención de Programas de Desarrollo Social, así como en los Lineamientos y criterios generales para la definición, identificación y medición de la pobreza de Coneval. Asimismo, la literatura y las buenas prácticas en la materia, detallan las formas en que se pueden desarrollar dichas definiciones (como ejemplo, véase Aldunate y Córdoba 2011). Sin embargo, un análisis riguroso de los diversos elementos de diseño del programa señala cuestiones que, en opinión del equipo metaevaluador, no están resueltas adecuadamente y pueden incidir de forma significativa sobre su efectividad. De inicio, el problema focal así como la población potencial y objetivo no están correctamente identificados y claramente definidos, pues subsisten algunas ambigüedades e inconsistencias importantes que se reflejan en las Reglas de Operación 2012, el Diagnóstico del PAL 2009 y la Nota sobre población potencial y población objetivo del PAL 2012. Al revisar las definiciones actuales del problema focal y las poblaciones potencial y objetivo con base en la normatividad y los criterios antes citados, el equipo metaevaluador encontró que no están correctamente identificados y claramente definidos, pues subsisten algunas ambigüedades e inconsistencias importantes. Conforme al problema que aparece en el Diagnóstico, el problema focal del PAR se define como: Problema focal actual: Persistencia de desnutrición crónica, anemia y deficiencia de micronutrientes en familias en situación de pobreza en localidades rurales marginadas y desatendidas por los programas de asistencia social existentes. 56 Con base en la idea de que el problema focal debe describir correctamente la situación que justifica la existencia del programa, sería incorrecto considerar que toda la población que habita en localidades rurales marginadas sufre desnutrición crónica, anemia y/o deficiencia de micronutrientes, aunque sea cierto que una parte de dicha población sí sufre dicho problema, y que éste efectivamente tenderá a concentrarse en las localidades marginadas. Siguiendo esa descripción del problema focal, el programa tendría que centrarse en la población que se encuentra en desnutrición crónica, anemia y deficiencia de micronutrientes. Cabe mencionar que el diagnóstico hace una elaboración amplia de la situación de la desnutrición en México, de las enfermedades asociadas y de su relación con la pobreza, lo cual hace que el problema esté correctamente analizado y descrito, particularmente en lo que las relaciones lógicas; no obstante, su especificación en el enunciado que identifica el problema focal no es clara, por lo ya mencionado. Por otro lado, se acuerdo con la Nota de actualización y las ROP 2012, las poblaciones potencial y objetivo se definen como sigue: Población potencial: Personas que no puedan ser beneficiarias del Programa Oportunidades, sean menores de 22 años, no sean mujeres en edad reproductiva y no sean mayores de 70 años, además de contar con un ingreso per cápita menor a la línea de bienestar. Población objetivo: Hogares cuyas condiciones socioeconómicas y de ingreso impiden desarrollar las capacidades de sus integrantes en materia de educación, nutrición y/o salud y que no son atendidos por el Programa Oportunidades. La población potencial es aquella que parte de la población que es afectada por el problema, y que por lo tanto requiere de los servicios o bienes que proveerá el programa. La población objetivo es el subconjunto de la población potencial que un programa público diseñado ex profeso podría buscar atender en el corto y mediano plazos, tomando en consideración las limitaciones financieras e institucionales existentes. Conforme a estos preceptos, es evidente que el problema focal actual no se refleja en dichas definiciones—independientemente de si está planteado correctamente o no—lo que rompe la lógica interna del programa. Esta inconsistencia no es sólo cuestión de redacción, tienen implicaciones metodológicas importantes que impiden una correcta cobertura y focalización de las personas y hogares que se espera beneficiar. Recomendaciones: Con base en lo anterior, se recomienda al PAL y la Sedesol las siguientes acciones a) Redefinir el problema focal, mediante la sustitución del concepto de “desnutrición crónica y deficiencia de micronutrientes” por otro más adecuado y preciso, centrado en la “seguridad alimentaria”, entendida como acceso a la alimentación. En la sección que 57 analiza la contribución a la carencia por acceso a la alimentación, se detallan los alcances e implicaciones de este concepto. b) Orientar la definición de la población potencial hacia los hogares que presenten el problema focal—aquellos con ingresos menores a la línea de bienestar mínimo, que no reciben los beneficios de Oportunidades. 3.7.2 Sobre la mutua exclusión entre el PASL y el PAL Reflexión: Las ROP 2012 del Programa de Abasto Social de Leche establecen una mutua exclusión con respecto del PAL, de forma tal que los beneficiarios individuales que reciban los beneficios del segundo no pueden recibir los del primero. Así, en principio un mismo hogar no puede recibir simultáneamente los beneficios de ambos programas, teniendo que optar por uno o por otro. El argumento de la mutua exclusión se basa en la premisa de que, dado que ambos programas tienen componentes alimentarios o nutricionales y que otorgan transferencias de ingreso—en el caso del PASL por la vía del precio de la leche—existiría duplicidad de apoyos si un mismo individuo o familia accediera a los beneficios de ambos programas. En opinión del equipo metaevaluador, la mutua exclusión es inadecuada y el argumento de las duplicidades es incorrecto. Esto es fundamentalmente porque los apoyos alimentarios y nutricionales que entrega el PASL son distintos de los que entrega PAL, y también en su mayoría a grupos de beneficiarios individuales distintos, como se explica a continuación:6 a) El PASL entrega leche fortificada con micronutrientes a precio menor al del mercado, siendo que el diferencial de precio no está planteado como un apoyo económico en sí mismo sino como en incentivo o mecanismo para que las familias compren la leche Liconsa, incrementando su consumo de leche y accediendo a los micronutrientes de forma regular. b) En contraste, los apoyos del PAL consisten principalmente en transferencias de efectivo, que se van al consumo general de las familias y cuyo impacto en la nutrición tiende a ser menor y más disperso que el que se ha documentado para la leche fortificada. 6 Para una elaboración más amplia sobre este tema, véase: Soto Romero, J.M., I. Schockaert, J.E. Lozano y V. Aramburu. (2008) “¿Duplicidad, Complementariedad o Sinergia?: Análisis de los impactos económicos, sociales y nutricionales del Programa de Abasto Social de Leche y el Programa de Desarrollo Humano Oportunidades en las familias pobres.” En: Enrique Contreras y Federico Martínez (eds.). Dar leche a la niñez pobre en edad escolar: Producción láctea nacional, ayuda y seguridad alimentaria en México. UNAM: Centro de Investigaciones Interdisciplinarias en Ciencias y Humanidades. 58 c) El PAL entrega además suplementos nutricionales para mujeres embarazadas y en lactancia así como para los niños menores de cinco años7. En estos casos efectivamente podría haber una duplicidad, ya que en los efectos esperados de la leche fortificada y los suplementos, si bien no son idénticos, son al menos parecidos. d) De tal forma, es claro que sólo existirían duplicidades de apoyos del PASL con respecto del PAL en grupos de beneficiarios muy específicos, con los cuales efectivamente podría aplicar la mutua exclusión de beneficios, si se considerara necesario.8 A pesar de lo anterior, en las ROP del PASL se ha mantenido la mutua exclusión, lo que deja a los hogares del PAL sin posibilidad de acceder a los beneficios de la leche fortificada de Liconsa. Esta situación tiene implicaciones muy relevantes, ya que el PAL atiende a los hogares en condición de mayor pobreza, con ingresos por debajo de la línea de bienestar mínimo y con importantes déficits en la formación de capacidades básicas; este es precisamente el segmento que concentra los déficits y riesgos nutricionales, y en el cual la leche fortificada Liconsa ha demostrado tener mayores efectos e impactos positivos. En este sentido, la mayor preocupación estaría en la población de PAL de 5 a 9 años, que no reciben suplementos alimenticios por parte de este programa, así como en los beneficiarios mayores de 70 años que reciben transferencias Recomendación: Con base en lo anterior, se recomienda a Liconsa, la CNPDHO y la Sedesol eliminar la mutua exclusión entre el PASL y el PAL, o alternativamente limitarla solo a aquellos individuos que reciben suplementos alimenticios, en virtud de que ambos programas podrían tener complementariedades y sinergias importantes en términos de soporte nutricional, desarrollo cognitivo y prevención de enfermedades. 7 La segunda previsión de la ROP 2012, señala que “La entrega de sobres de complemento nutricional para mujeres embarazadas y en período de lactancia, referida en el numeral 3.5.2. de estas Reglas, permanecerá suspendida hasta en tanto SEDESOL y la Coordinación Nacional convoquen al Sector Salud para diseñar una estrategia de atención específica para este grupo de población, que podrá incluir la entrega de complementos alimenticios, leche o tabletas, lo cual deberá ocurrir durante el primer semestre del año.” Sin embargo se desconoce si esto ha ocurrido. 8 Una argumentación prácticamente idéntica se hizo de manera más detallada en las evaluaciones externas del PASL de 2004, 2005 y 2006, en las que se recomendó eliminar o delimitar la mutua exclusión con Oportunidades, con base en estudios específicos y pruebas estadísticas en torno al consumo de los hogares de ambos programas. Posteriormente, dichos estudios fueron refinados y publicados en 2008. Por otro lado, en la evaluación de consistencia y resultados del PASL de 2011-2012, se retomaron los argumentos y las recomendaciones. Como aclaración de interés, se hace notar que el Coordinador General de la presente Meta evaluación del PDHO, coordinó también las evaluaciones del PASL de 2004, 2005 y 2006 así como los estudios específicos antes referido; sin embargo, no participó en la evaluación de 2011-2012, que retomaron las recomendaciones y fue realizada por un grupo de investigación distinto. 59 3.7.3 Sobre la cobertura y focalización Reflexión: En su origen, el PAL surge para atender a familias que carecían de sustento mínimo alimentario en las comunidades rurales más remotas del país. En una segunda etapa, se incorporan los hogares que no contaban con la atención de otros programas, específicamente Oportunidades. Esta situación ocasiona que, en los hechos, el PAL tienda a concentrarse en localidades donde subsisten limitaciones en la oferta institucional de servicios de salud, mismas que Oportunidades no pueden atender por sus requisitos de corresponsabilidad y la concepción integral de los componentes. En ese sentido, muchos de estos hogares y localidades, que atiende el PAL son elegibles para Oportunidades, con excepción de que no cuentan con acceso regular a los servicios de salud. Resulta evidente que el tránsito de los hogares del PAL a Oportunidades está limitado por la cobertura y capacidad de los servicios educativos y de salud en las localidades. La población que típicamente atiende el PAL tiene mayores carencias que la de Oportunidades, en parte precisamente por la condición de dispersión e inaccesibilidad de muchas localidades, que limita el acceso a los servicios sociales y de infraestructura. En la literatura, a estas poblaciones se les conoce usualmente como ultrapobres, y la falta de acceso a servicios que sufren difícilmente se les puede imputar. Por ello, asignar apoyos a poblaciones altamente carenciadas —como las del PAL que en promedio reciben apoyos sustancialmente menores que los asignados a otros grupos con menores carencias relativas, como los de Oportunidades—por no poder cumplir condicionalidades que son ajenas a su propia decisión, resulta claramente inadecuado y puede considerarse hasta regresivo. Recomendaciones: Con base en lo anterior, se recomienda a la CNPDHO y la Sedesol las siguientes acciones: a) Desarrollar un esquema operativo que facilite el transito de las familias del PAL hacia Oportunidades, en los casos en que éstas sean elegibles, a través de la adecuación y flexibilización de los criterios para la selección de localidades, los requisitos de corresponsabilidad de las familias y los mecanismos de verificación de cumplimiento de Oportunidades, para atender a quienes viven en localidades con déficits en la cobertura y capacidad de los servicios educativos y de salud. b) Gestionar ante la SS, IMSS y los operadores de los servicios estatales de salud la ampliación de la cobertura de los servicios de salud en las modalidades tradicionales en las localidades que aún no cuentan con dichos servicios, así como la ampliación de la capacidad de atención en las localidades con alta concentración de población objetivo de Oportunidades que no ha podido incorporarse por la limitación de la oferta institucional para poder cumplir con la corresponsabilidad. 60 c) Desarrollar modalidades alternativas para la comprobación de la corresponsabilidad en salud de los beneficiarios de Oportunidades, tales como las Caravanas de la Salud o la telemedicina. En este línea, se debe buscar entonces establecer acuerdos o convenios entre la CNPDHO, la Sedesol, la SS y los órganos operadores en los estados, para incorporar la prestación de los servicios y la comprobación de la corresponsabilidad en las modalidades alternativas existentes, la ampliación de la cobertura de las mismas así como la creación de otras nuevas, que puedan llegar a las poblaciones que carecen de servicios de salud o en las que estos son insuficientes.9 Bajo la premisa fundamental de que donde pueda llegar el servicio educativo puede llegar en alguna forma el servicio médico, si se exploran nuevas alternativas y se adecuan los criterios y normas vigentes, es posible llevar Oportunidades mucho más lejos, donde más se le necesita. 3.7.4 Sobre los apoyos que otorga el PAL Reflexión: La población objetivo del PAL es aquella que tiene menores ingresos y mayores carencias sociales, y por lo tanto la que requiere más y mejores apoyos. La literatura especializada y las evaluaciones de programas similares demuestran que las transferencias no condicionadas tienen efectos positivos en la población con mayores rezagos, si se focalizan adecuadamente. Con todo, y en la misma línea planteada cuando surgió el Progresa, los apoyos a entregar no deben ser de una magnitud tal que inhiban el esfuerzo de las familias por superar su propia condición de pobreza y no representar un desincentivo para mejorar sus ingresos. De igual forma, debe construirse de forma tal que no estimulen el incremento de la fertilidad y las familias numerosas. Por otra parte, otros programas sociales que entregan apoyos en especie también pueden tiene impactos relevantes en la alimentación y la nutrición, y especialmente cuando los apoyos se asocian a alimentos, suplementos o complementos, fortificados con micronutrientes—como la leche Liconsa, la harina Mi Masa de Diconsa y la papilla de Oportunidades—o cuando se dirigen a poblaciones con mayor riesgo nutricional—como los desayunos escolares en las zonas rurales. Recomendaciones: Con base en lo anterior, se recomienda a la CNPDHO y la Sedesol las siguientes acciones: 9 Conforme a lo establecido en el artículo XVII de la Ley General de Salud, corresponde a los gobiernos de los estados y el Distrito Federal, dentro de sus respectivas circunscripciones territoriales, proveer los servicios de salud, disponiendo de la capacidad de insumos y el suministro de medicamentos necesarios para su oferta oportuna y de calidad; y aplicar de manera transparente y oportuna los recursos que sean transferidos por la Federación y las aportaciones propias, para la ejecución de las acciones de protección social en salud, en función de los acuerdos de coordinación que para el efecto se celebren. 61 a) Incrementar los montos máximos del conjunto de apoyos del PAL y acercarlos más a los que entrega Oportunidades, con el objeto de mejorar la disponibilidad, acceso y uso de los alimentos de las familias beneficiarias. Para ello, es necesario la realización de un estudio que ayude a establecer los montos adecuados de los apoyos. b) Explorar alternativas para ampliar y diversificar la entrega de apoyos en especie, incluyendo vales canjeables por alimentos fortificados (leche Liconsa y harina Mi Masa). c) Buscar nuevas formas de coordinación, complementación y sinergias con Oportunidades, PAR y PASL, para mejorar la atención a las familias más pobres. 62 4 4.1 Reporte de monitoreo Introducción En 2007, la Secretaría de Desarrollo Social (Sedesol) elaboró la Matriz de Indicadores para Resultados (MIR) de los programas federales a su cargo con la finalidad de mejorar su diseño y de cumplir con los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal10 que establecen que los programas federales deben contar con una MIR. Desde entonces, la MIR es usada por la Sedesol y por otros actores, como la Secretaría de Hacienda y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP), la Auditoría Superior de la Federación (ASF), el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval) e incluso el H. Congreso de la Unión, para dar seguimiento a los resultados alcanzados por los programas federales, lo que la convierte en el principal instrumento para monitorear el desempeño de dichos programas en el Gobierno Federal11. La MIR de los programas federales de la Sedesol se ha ido modificando año con año principalmente con tres objetivos: 1) mejorar el diseño de los programas, 2) contar con mejores indicadores de resultados y de gestión para monitorear su desempeño, y 3) mejorar su alineación con las ROP. Para ello, la Sedesol ha tomado en consideración los comentarios y propuestas de mejora emitidos por actores como el Coneval, la SHCP y los evaluadores externos que han evaluado los programas. Este documento tiene como objetivo analizar la MIR 2012 del Programa de Apoyo Alimentario, para generar propuestas de mejora para la elaboración de la MIR 2013, especialmente en los niveles de Fin y Propósito, poniendo especial atención en los indicadores de resultados. Para lo anterior, en la primera parte se hace un análisis de los cambios que se han implementado a la MIR de 2008 a 2012, para ello, se identifican los comentarios que diversos 10 Diario Oficial de la Federación. 30 de marzo de 2007. La Ley General de Desarrollo Social establece en el Art. 77 que el Coneval antes de aprobar los indicadores de resultados, gestión y servicios de los programas sociales, los someterá a la consideración de la SHCP y a la Cámara de Diputados por conducto de la ASF, para que emitan las recomendaciones que en su caso estime pertinentes, para esta aprobación, se toman los indicadores de la MIR. Asimismo, los Lineamientos para la revisión, actualización, calendarización y seguimiento de la Matriz de Indicadores para Resultados de los programas presupuestarios 2012 establecen en el numeral 13 que la SHCP, la SFP y el CONEVAL, en el ámbito de sus respectivas competencias y considerando las disposiciones aplicables, deberán emitir las recomendaciones a las MIR y sus indicadores que consideran convenientes. También, estos Lineamientos establecen como uno de sus objetivos específicos registrar los avances en la consecución de las metas de los indicadores de los programas presupuestarios durante el ejercicio fiscal 2012 para dar cumplimiento a los informes sobre la Situación Económica, las Finanzas Públicas y la Deuda Pública (informe trimestral a cargo de la SHCP enviado al Congreso de la Unión), de conformidad con el artículo 107 de la Ley de Presupuesto y Responsabilidad Haciendaria. 11 63 actores han emitido a la MIR para el mismo periodo. Posteriormente, se valora el resumen narrativo de la MIR 2012 analizando su correspondencia con las ROP de ese año y se realizan propuestas de mejora. Por último, se valoran los indicadores de Fin y de Propósito de la MIR 2012, y se emiten propuestas de mejora. 4.2 Análisis histórico de la Matriz de Indicadores para Resultados 2007-2012 En este apartado se hace un análisis de la evolución de la Matriz de Indicadores de Resultados (MIR) del programa durante el período 2008-2012. Se identifican los principales cambios en el resumen narrativo y en los indicadores asociados a los mismos, que surgieron como respuesta a las observaciones y recomendaciones de instancias como la Auditoría Superior de la Federación, la Secretaría de Hacienda y Crédito Público, la Secretaría de la Función Pública, el Consejo Nacional de Evaluación de la Política de Desarrollo Social y los evaluadores externos del programa. La secuencia de cambio se presenta en los niveles de Fin, Propósito y algunos casos de Componente, para todos los años comprendidos en el período. Al final de la sección se presenta una propuesta para mejorar el resumen narrativo y los indicadores para la MIR del año 2013. Un esquema del análisis histórico de la MIR y de las propuestas de mejora se presenta en el Anexo 5. 4.2.1 Principales cambios de la Matriz de Indicadores 2007-201212 En esta sección se hace un resumen de los principales cambios de la MIR del PAL de 2008 a 2012, enfocándose en el resumen narrativo de los niveles de Fin, Propósito y Componentes y en los indicadores de Fin y de Propósito. Los cambios se presentan primero del resumen narrativo y posteriormente de los indicadores para cada año. 4.2.2 Análisis 2008-2009 Resumen narrativo De 2008 a 2009, se generalizó el resumen narrativo a nivel de Fin, en el sentido de que se buscó que el programa contribuyera en un objetivo de mayor alcance; sin embargo, esta generalización derivó en colocar un concepto demasiado amplio que no está claramente definido: las “capacidades básicas”. En 2008, el Fin hacía referencia a un objetivo específico que era “Contribuir al desarrollo de las capacidades nutricias de la población que habita en localidades rurales”, el cual se consideró como adecuado 13; sin embargo, el programa decidió 12 Al no contar con la MIR 2007, el análisis se realiza a partir de 2008. Para profundizar en las causas que un indicador sea considerado adecuado. Véase Guía para el desempeño de Indicadores Estratégicos de Coneval y SHCP, 2010. 13 64 mantenerlo como “Contribuir al desarrollo de las capacidades básicas mejorando la nutrición de la población”. Para este periodo, a nivel de Propósito, hubo solamente precisiones en la población objetivo. La sintaxis fue la establecida conforme a la Metodología de Marco Lógico (MML). Además, el programa incluyó la nutrición de la población objetivo, la cual no estaba presente en 2008. La población objetivo del programa hacía referencia a las “familias en pobreza […] ubicados en localidades de menos de 2500 habitantes de alta y muy alta marginación que no reciben apoyos del Programa Oportunidades o del Programa de Abasto Social de Leche”; sin embargo, esto fue modificado a “Familias en pobreza patrimonial14“, lo cual era más acotado y adecuado. Por último, a nivel de Componentes, de 2008 a 2009 se presentó una restructuración importante ya que de los dos Componentes que se tenían en 2008, únicamente prevaleció uno (Apoyos alimentarios entregados). Además, fueron integrados tres Componentes adicionales, los cuales cumplen con la sintaxis de la MML y son más adecuados que los que se tenían en 2008. Es posible determinar que los Componentes de 2009 en su conjunto son los necesarios y suficientes para el logro del Propósito. Resumen narrativo Fin Propósito Componentes 2008 2009 Contribuir al desarrollo de las capacidades nutricias de la población que habita en localidades rurales. Familias en pobreza con niveles de alimentación mejorados ubicados en localidades de menos de 2,500 habitantes de alta y muy alta marginación que no reciben apoyos del Programa Oportunidades o del Programa de Abasto Social de Leche. Contribuir al desarrollo de las capacidades básicas mejorando la nutrición de la población. Beneficiarios y facilitadores capacitados. --- Familias en pobreza patrimonial que reciben los apoyos del Programa mejoran sus niveles de alimentación y nutrición. 14 Estimación realizada anteriormente para la medición de la pobreza por ingresos. Esta estimación cambió debido a que la Ley General de Desarrollo Social pide que la medición de la pobreza en el país se lleve a cabo con un enfoque multidimensional. La pobreza por ingresos consistía en comparar los ingresos de las personas con los valores monetarios de diferentes líneas alimentaria, capacidades y patrimonio: Pobreza alimentaria: Incapacidad para obtener una canasta básica alimentaria, aun si se hiciera uso de todo el ingreso disponible en el hogar para comprar sólo los bienes de dicha canasta. Pobreza de capacidades: Insuficiencia del ingreso disponible para adquirir el valor de la canasta alimentaria y efectuar los gastos necesarios en salud y educación, aun dedicando el ingreso total de los hogares nada más que para estos fines. Pobreza de patrimonio: Insuficiencia del ingreso disponible para adquirir la canasta alimentaria, así como realizar los gastos necesarios en salud, vestido, vivienda, transporte y educación, aunque la totalidad del ingreso del hogar fuera utilizado exclusivamente para la adquisición de estos bienes y servicios. 65 Apoyos alimentarios entregados a los beneficiarios. Apoyos alimentarios entregados. --- Servicios de orientación y promoción social realizados. --- Complementos nutricionales entregados. --- Seguimiento nutricional realizado. Indicadores De 2008 a 2009, a nivel de Fin, se mantuvieron los dos indicadores que se refieren a la prevalencia de anemia en los menores de cinco años y a la prevalencia de baja talla para la edad en niños menores de cinco años. En 2009, el objetivo hizo referencia a las capacidades básicas; sin embargo, el indicador no midió dicho alcance, el cual, era más específico en 2008 (capacidades nutricias). A nivel de Propósito, de 2008 a 2009 se integraron tres nuevos indicadores, lo cual se consideró adecuado, ya que se incorporó mayor información sobre la problemática sufrida por los beneficiarios. Con este par de indicadores, el programa midió la prevalencia de baja talla y la prevalencia de bajo peso en los niños menores de cinco años. A diferencia de 2008, éstos indicadores se refirieron a la población en general y no únicamente a la población rural. Indicadores Fin 2008 Prevalencia de anemia en niños prescolares en el medio rural. Prevalencia de desnutrición en niños (baja talla para la edad) en el medio rural. --- Nivel de ingesta. 2009 Prevalencia de anemia en niños menores de cinco años. Prevalencia de baja talla para la edad en niños menores de cinco años. Prevalencia de bajo peso para la edad en niños menores de cinco años. Nivel de ingesta. Prevalencia de anemia en niños atendidos entre uno y cinco años de edad. Propósito Prevalencia de baja talla para la edad en niños atendidos entre uno y cinco años de edad. Prevalencia de bajo peso para la edad en niños atendidos entre uno y cinco años de edad. 66 4.2.3 Análisis 2009-2010 Resumen narrativo De 2009 a 2010, el Fin del programa se mantuvo sin cambios sustanciales, únicamente fue agregada la referencia a las capacidades básicas de los beneficiarios; sin embargo, esto no era adecuado, ya que a nivel de Fin, se debería hacer alusión a la problemática general, no solamente a la de los beneficiarios. En el Propósito se realizaron dos ajustes sobre la población objetivo, 1) se eliminó que fueran familias en “pobreza patrimonial”, y 2) se acotó a “Familias beneficiarias, en particular niños menores de cinco años y mujeres embarazadas o en periodo de lactancia”, la cual fue más específica y más adecuada. Para 2010, dada la poca claridad del objetivo de Fin, no es posible determinar si el logro del Propósito contribuye al logro del Fin. Los mayores cambios que tuvo la Matriz de 2009 a 2010 se presentaron a nivel de Componentes. Los cuatro Componentes que se tenían en 2009 fueron agregados en uno sólo llamado “Apoyos monetarios emitidos”, lo cual, no necesariamente era mejor, ya que no fue posible determinar qué tipo de destino tienen los apoyos otorgados. En este punto es pertinente mencionar que justo en 2009 se dio el cambio de unidad responsable del PAL, pasando de DICONSA a la CNPDHO y se planteó como necesario hacer un cambio en el diseño del programa Debido a lo anterior, y a la falta de claridad del nuevo Componente, no era posible determinar si el Componente fue el necesario y suficiente para el logro del Propósito. Resumen narrativo 2010 Fin Contribuir al desarrollo de las capacidades básicas de los beneficiarios, mediante la realización de acciones que permitan mejorar su alimentación y nutrición. Propósito Familias beneficiarias, en particular niños menores de cinco años y mujeres embarazadas o en periodo de lactancia, mejoran su alimentación y nutrición. Componentes Apoyos monetarios emitidos. Indicadores A nivel de Fin se eliminó el indicador referente a la prevalencia de anemia en niños menores de cinco años y el de prevalencia de bajo peso para la edad en niños menores de cinco años; así mismo y se mantuvo el indicador de prevalencia de baja talla para dicho segmento de la población; este segundo indicador se modificó al agregarse como la diferencia en las variables 67 entre población beneficiaria y no beneficiaria, lo que lo hizo un indicador más completo. El haber eliminado el otro indicador no representó mayor ausencia de información. A nivel de Propósito se eliminaron tres indicadores de la MIR 2009 (los de nivel de ingesta, prevalencia de anemia y prevalencia de bajo peso), pero dado que no eran muy relevantes y la información resultaba únicamente complementaria al seguimiento del objetivo de Propósito, fue adecuada su eliminación. El indicador que se mantuvo, únicamente fue acotado en la población para la cual se midió la prevalencia de baja talla. Indicadores 2010 Fin Porcentaje de diferencia en la prevalencia de baja talla para la edad en menores de cinco años de la población beneficiaria y no beneficiaria. Propósito Prevalencia de baja talla para la edad en niños menores de cinco años de edad beneficiarios del Programa. 4.2.4 Análisis 2010-2011 Resumen narrativo De 2010 a 2011, el Fin y el Propósito del programa se mantuvieron sin cambios; sin embargo, el Fin no era el adecuado, ya que a este nivel se debería hacer alusión a la problemática general, no solamente la de los beneficiarios. Para 2011, dado que el Fin debe hacer alusión a la problemática general y no solamente a los beneficiarios, no es posible determinar si el logro del Propósito contribuye al logro del Fin. El componente “Apoyos monetarios emitidos” no necesariamente fue mejor que la desagregación de Componentes que se tenía en 2009, ya que no era posible determinar qué tipo de destino tienen los apoyos otorgados. Debido a lo anterior, y a la falta de claridad del Componente, no fue posible determinar si eran los necesarios y suficientes para el logro del Propósito. Resumen narrativo 2011 Fin Contribuir al desarrollo de las capacidades básicas de los beneficiarios, mediante la realización de acciones que permitan mejorar su alimentación y nutrición. Propósito Familias beneficiarias, en particular niños menores de cinco años y mujeres embarazadas o en periodo de lactancia, mejoran su alimentación y nutrición. Componentes Apoyos monetarios emitidos. 68 Indicadores A nivel de Fin y de Propósito se mantuvieron los indicadores. El programa midió el Fin a través del indicador “Porcentaje de diferencia en la prevalencia de baja talla para la edad en menores de cinco años de la población beneficiaria y no beneficiaria”, y el Propósito por medio del indicador “Prevalencia de baja talla para la edad en niños menores de cinco años de edad beneficiarios del Programa”. De acuerdo con lo anterior y dado que los indicadores de Fin y de Propósito son claros y miden factores relevantes de los objetivos, se consideran adecuados para medir su cumplimiento. Indicadores 2011 Fin Porcentaje de diferencia en la prevalencia de baja talla para la edad en menores de cinco años de la población beneficiaria y no beneficiaria. Propósito Prevalencia de baja talla para la edad en niños menores de cinco años de edad beneficiarios del Programa. 4.2.5 Análisis 2011-2012 Resumen Narrativo De 2011 a 2012, el Fin y el Propósito del programa se mantuvieron sin cambios. Sin embargo, el Fin no era el adecuado, ya que a este nivel se debería hacer alusión a la problemática general, no solamente la de los beneficiarios. Para 2012, dada la poca claridad del objetivo de Fin, no fue posible determinar si el logro del Propósito contribuye al logro del Fin. El componente “Apoyos monetarios emitidos” no necesariamente fue mejor que la desagregación de Componentes que se tenía en 2009, ya que no era posible determinar qué tipo de destino tienen los apoyos otorgados. Debido a lo anterior, y a la falta de claridad del Componente, no era posible determinar si éste era el necesario y suficiente para el logro del Propósito. Resumen narrativo 2012 Fin Contribuir al desarrollo de las capacidades básicas de los beneficiarios, mediante la realización de acciones que permitan mejorar su alimentación y nutrición. Propósito Familias beneficiarias, en particular niños menores de cinco años y mujeres embarazadas o en periodo de lactancia, mejoran su alimentación y nutrición. Componentes Apoyos monetarios emitidos. 69 Indicadores A nivel de Fin y Propósito se mantuvieron los indicadores. El programa midió el Fin a través del indicador “Porcentaje de diferencia en la prevalencia de baja talla para la edad en menores de cinco años de la población beneficiaria y no beneficiaria”, y el Propósito por medio del indicador “Prevalencia de baja talla para la edad en niños menores de cinco años de edad beneficiarios del Programa”. De acuerdo con lo anterior, los indicadores de Fin y de Propósito se consideran adecuados para medir su cumplimiento. Indicadores 2012 Fin Porcentaje de diferencia en la prevalencia de baja talla para la edad en menores de cinco años de la población beneficiaria y no beneficiaria. Propósito Prevalencia de baja talla para la edad en niños menores de cinco años de edad beneficiarios del Programa. 4.3 Principales comentarios a la Matriz de Indicadores 2008-2012 En esta sección se hace un resumen de los principales comentarios emitidos a la MIR del PAL de 2008 a 2012 por evaluadores externos, los cuales fueron rescatados de la documentación proporcionada para esta Meta evaluación15. Los comentarios se presentan primero del Fin, posteriormente del Propósito, después de los Componentes y finalmente se presentan los comentarios que se identificaron como generales. Los resultados aquí presentados reflejan lo encontrado en la citada evaluación en el momento en que se llevó a cabo y no necesariamente siguen vigentes o reflejan la opinión del Meta-evaluador. Cuando se establece que “No se cuenta con comentarios”, significa que no se identificaron comentarios realizados por los actores mencionados en los documentos revisados. 15 Para el PAL se revisaron los siguientes documentos proporcionados al metaevaluador: Comentarios a la mir emitidos por el Coneval Evaluación de Consistencia y Resultados 2007 Evaluación de Consistencia y Resultados 2011-2012 Evaluación de diseño 2009 Evaluación Específica de Desempeño 2008-2009 Evaluación Específica de Desempeño 2009-2010 Evaluación Específica de Desempeño 2010-2011 Histórico de Aspectos Susceptibles de Mejora 70 4.3.1 Fin A continuación se describirán los principales comentarios de las diversas evaluaciones a nivel Fin de la MIR de 2008 a 2012. Principales comentarios MIR 2008– Fin Resumen narrativo No se cuenta con comentarios para la MIR. Indicadores No se cuenta con comentarios a los indicadores. Principales comentarios MIR 2009– Fin Resumen narrativo No se cuenta con comentarios para la MIR. Indicadores Es un indicador pertinente y relevante, ya que está relacionado con el objetivo del Programa. Sin embargo, el denominador de la fórmula debe corregirse, ya que debe ser el número de niños beneficiarios a quienes se les hizo la prueba de hemoglobina, en ese grupo de edad, y no el total de niños atendidos de esa edad. Principales comentarios MIR 2010– Fin Resumen narrativo Se recomienda precisar qué son las “capacidades básicas o nutricias”. Indicadores Se recomienda realizar las acciones necesarias, a fin de que los indicadores incluidos en la Matriz de Indicadores para Resultados del Programa de Apoyo Alimentario establezcan un referente que determine si el logro de las metas es suficiente para cumplir con los objetivos del programa. Se recomienda definir los indicadores suficientes, a fin de medir el cumplimiento de los objetivos general y específico del Programa de Apoyo Alimentario. Principales comentarios MIR 2011– Fin Resumen narrativo Se podría mejorar el resumen narrativo a nivel de Fin, clarificando más el objetivo sectorial al cual se espera contribuir. De acuerdo con lo expresado en la sesión, se sugiere que el programa analice la adecuación al resumen narrativo en el que deben estar los siguientes elementos: “[…] reducción de la desnutrición crónica” y “población en pobreza”. Es recomendable especificar a qué nivel de pobreza se refiere o, alternativamente, mencionar a qué percentil de ingresos se refiere; por ejemplo, a la población en los tres primeros deciles de ingreso. 71 Indicadores Se recomienda elaborar indicadores agregados, a nivel de fin, que permitan dar seguimiento al impacto del programa en la población. Se propone un indicador más sencillo enfocado a medir la contribución del programa en la reducción de la desnutrición crónica entre la población más pobre como la "Prevalencia de desnutrición crónica en niños de 0 a 59 meses de edad que viven en hogares que se encuentran en los tres primeros deciles de condiciones de bienestar." Principales comentarios MIR 2012– Fin Resumen narrativo No se cuenta con comentarios para la MIR. Indicadores No se cuenta con comentarios. 4.3.2 Propósito A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel Propósito de la MIR de 2008 a 2012. Principales comentarios MIR 2008 – Propósito Resumen narrativo No se cuenta con comentarios para la MIR. Indicadores No se cuenta con comentarios. Principales comentarios MIR 2009 – Propósito Resumen narrativo No se cuenta con comentarios para la MIR. Indicadores No se cuenta con comentarios. Principales comentarios MIR 2010 – Propósito Resumen narrativo En los Aspectos Susceptibles de Mejora, en el Mecanismo 2010, se estableció redefinir la población objetivo del programa, para lo cual, se elaboró una propuesta de Población Objetivo alineada a los objetivos del programa. Indicadores No se cuenta con comentarios. 72 Principales comentarios MIR 2011 – Propósito Resumen narrativo El actual objetivo a nivel de Propósito comprende dos aspectos, “alimentación y nutrición“. Sin embargo, el indicador actual tiene una relación directa con la “nutrición”, mientras que la “alimentación” es un aspecto que no se encuentra dentro de dicho indicador. La “mejora en la alimentación” puede tener varios campos, desde la “variedad de alimentos” hasta la “cantidad de alimentos”. Dado que no se encuentra definido este aspecto en la matriz, como adecuación al resumen narrativo se recomienda omitir el término “alimentación” del objetivo. Indicadores Los indicadores de propósito son los mismos establecidos en el fin de la matriz. Se recomienda identificar nuevos indicadores. Prevalencia de baja talla para la edad en niños menores de cinco años de edad beneficiarios del Programa. La única adecuación sugerida para el indicador de Propósito es cambiar, en la medida de lo posible, la frecuencia de medición a anual, o al menos bianual, aun considerando que el medio de verificación es la ENSANUT. Lo anterior implica realizar una medición antropométrica a una muestra de beneficiarios del pal cada año o cada dos años, además del levantamiento quinquenal de la ENSANUT. Adicionalmente, se sugiere incluir al menos un indicador de eficacia en la cobertura de la población objetivo que puede ser alguna de las dos alternativas presentadas a continuación. Si se mantiene la referencia a la alimentación en el resumen narrativo del Propósito y/o si no es posible medir con mayor frecuencia la prevalencia de desnutrición, se sugiere considerar un indicador de consumo de alimentos (idealmente enfocado en los menores de 5 años) con base en la ENIGH, que deberá ser validado por un especialista en nutrición. (Informe de Sesiones de Mesa Técnica de Revisión de Indicadores del Programa de Apoyo Alimentario). Principales comentarios MIR 2012 – Propósito Resumen narrativo No se cuenta con comentarios para la MIR. Indicadores No se cuenta con comentarios. 4.3.3 Componentes A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel Componentes de la MIR de 2008 a 2012. Principales comentarios MIR 2008 – Componentes Resumen narrativo No se cuenta con comentarios para la MIR. 73 Principales comentarios MIR 2009 – Componentes Resumen narrativo No se cuenta con comentarios para la MIR. Principales comentarios MIR 2010 – Componentes Resumen narrativo Para este año, se sugirió que el componente quedara redactado de manera más sencilla: "Apoyos monetarios emitidos". Asimismo, se sugirió que éste fuera uno de dos componentes para el programa; (dicha recomendación no necesariamente es acorde a la opinión de la Meta evaluador). Principales comentarios MIR 2011 – Componentes Resumen narrativo No se cuenta con comentarios para la MIR. Principales comentarios MIR 2012 – Componentes Resumen narrativo No se cuenta con comentarios para la MIR. 4.3.4 Comentarios generales En esta sección se hace un recuento de los comentarios generales en el resumen narrativo e indicadores que han hecho a la MIR de 2007 a 2012 del pal, para ello se identifican los comentarios de las diversas evaluaciones para cada periodo. Principales comentarios MIR 2008 Resumen narrativo No se cuenta con comentarios. Indicadores No se cuenta con comentarios. Principales comentarios MIR 2009 Resumen narrativo No se cuenta con comentarios. Indicadores No se cuenta con comentarios. Principales comentarios MIR 2010 Resumen narrativo Se recomienda revisar los objetivos e indicadores contenidos en la Matriz de Indicadores para Resultados del Programa de Apoyo Alimentario, conforme a la metodología del 74 marco lógico, a fin de perfeccionarlos y de que permitan medir el impacto del programa en los beneficiarios. Indicadores No se cuenta con comentarios. Principales comentarios MIR 2011 Resumen narrativo No se cuenta con comentarios. Indicadores En los Aspectos Susceptibles de Mejora, Mecanismo 2008, el programa se comprometió a revisar la Matriz de Indicadores de Resultados. De manera específica se sugirió incorporar más indicadores a nivel de Componentes y Actividades que permitan evaluar su gestión, por lo cual, el programa obtuvo indicadores de gestión a nivel de Actividad y Componente para incorporarse en la MIR 2013 del pal. Principales comentarios MIR 2012 Resumen narrativo No se cuenta con comentarios. Indicadores No se cuenta con comentarios. 4.4 Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012 En esta sección el Meta evaluador hace un análisis de la MIR 2012 y de su correspondencia con las ROP de ese año para los niveles de Fin, Propósito y Componentes. También, se presentan las propuestas de mejora para la MIR 2013 del resumen narrativo y de los indicadores de Fin y de Propósito. 4.4.1 Análisis de la MIR 2012 y vínculo con las Reglas de Operación Fin El Fin cumple con la sintaxis que establece la MML. El Objetivo General de las Reglas de Operación coincide con el Fin del programa, lo cual es adecuado y correcto. El Fin ha tenido solamente modificaciones que precisan el objetivo del programa; sin embargo, el objetivo debería estar enfocado hacia la problemática en general y no solamente tomar en cuenta a los beneficiarios. En el resumen narrativo debería estar acotada la población que presenta la problemática y el tipo de acciones que mejoran la situación de la población. Asimismo, no queda claro que la nutrición y la alimentación sean, en sí mismas, una capacidad básica a diferencia de la salud o la educación. Se debe especificar directamente qué problemática pretende contribuir a solucionar el programa. 75 Propósito El Propósito cumple con la sintaxis que establece la MML. El Objetivo Específico de las Reglas de Operación coincide con el Propósito del programa, lo cual es adecuado y correcto. Este nivel de la matriz no ha cambiado drásticamente desde 2007, pero pudiera ser importante que se acotara mejor el planteamiento del Propósito para que se relacione directamente con las cuestiones alimenticias o solamente con las de nutrición. Componentes El Componente de la MIR se encuentra agregado como “apoyos monetarios”, el cual se desagrega en los apoyos descritos en las Reglas de Operación. Estos apoyos pueden ser incorporados en la MIR tal como se describen en las “Características de los Apoyos del Programa”. Se sugiere regresar al esquema que se tenía en 2009. Es posible identificar los Componentes en las ROP; sin embargo, de manera desagregada, lo cual podría trasladarse de esa forma a la MIR. Al igual que en los Componentes, el programa en 2009 desagregaba las actividades que desarrollaba. No obstante, en 2010, se decidió quedarse únicamente con la "cobertura", lo cual no describe lo que hace el programa. Se recomienda que se vuelva a desagregar la información como en 2009. 4.4.2 Propuesta de mejoras para MIR 2013 A continuación se presentan algunas propuestas de mejora para el Fin y Propósito de la MIR 2013. Fin El Fin ha tenido solamente modificaciones que precisan el objetivo del programa; sin embargo, el objetivo debería estar relacionado hacia la problemática en general y no solamente tomar en cuenta a los beneficiarios. En el resumen narrativo debería estar acotada la población que presenta la problemática y el tipo de acciones que mejoran su situación. Asimismo, no queda claro a que capacidades básicas se refiere la definición actual, por lo que se debe especificar directamente qué problemática pretende contribuir a solucionar el programa. Se propone que el objetivo en este nivel se defina de la siguiente forma: Contribuir al desarrollo de capacidades básicas en nutrición y salud de la población con ingresos menores a la línea de bienestar mínimo que no tiene acceso al Programa Oportunidades. 76 Propósito Este nivel de la matriz no ha cambiado drásticamente desde 2008, pero puede ser importante que se acotara mejor el planteamiento del propósito para que se relacione directamente con las cuestiones alimenticias o solamente con las de nutrición Se recomienda que el objetivo sea redactado como: Propósito: Familias beneficiarias incrementan su seguridad alimentaria. Componentes Se recomienda desagregar los Componentes de acuerdo con lo que el programa entrega a su población beneficiaria, y regresar al esquema que se tenía en el 2009. 4.5 Análisis de los indicadores de Fin y de Propósito En esta sección se valoran los indicadores de Fin y Propósito de la MIR 2012. 4.5.1 Indicadores de la MIR 2012 Fin El indicador no ha tenido demasiadas modificaciones desde 2008; sin embargo, resulta poco relevante, ya que supone que la variación en la desnutrición en niños (baja talla para la edad) en el medio rural es imputable en su totalidad a los efectos del programa en la población. Propósito Diferencia de puntaje Z de baja talla para la edad en niños menores de cinco años beneficiarios del Programa. Desde 2008, el programa ha tenido una variedad de indicadores para medir este nivel. Sin embargo, de 2009 a 2010, se decidió tener uno sólo, el cual pudiera mejorar, ya que, aunque el término “prevalencia” es también utilizado para hacer referencia a la población que sufre de una enfermedad respecto de otra población, también puede suponer una comparación respecto de un período de tiempo. El indicador de prevalencia de baja talla se encuentra tanto en Fin como en Propósito. El indicador de nivel de ingesta necesita estar relacionado con algún tipo de requerimiento o recomendación de consumo (se pueden tomar las elaboradas por Coneval para la construcción de la Línea de Bienestar Mínimo). Este indicador se puede obtener de la Encuesta Nacional de Salud y Nutrición (ENSANUT) (si la nueva base 77 contiene recordatorios de consumo) o de la Encuesta Nacional de Ingresos y Gastos de los Hogares (ENIGH) utilizando como proxy el gasto en alimentos. 4.5.2 Propuesta de mejoras para indicadores MIR 2013 A continuación se hacen algunas propuestas de mejora a los indicadores de nivel Fin y Propósito para la MIR 2013. Fin Se sugiere cambiar la definición del indicador de este nivel, para incluir los siguientes: a) Diferencia en el puntaje Z de crecimiento de la variable seleccionada16 de niños menores de 12 años entre familias beneficiarias y no beneficiarias ∑ ∑ Donde: DDPZ: Doble diferencia en el valor del puntaje Z de crecimiento de la variable seleccionada PZ: Puntaje Z de crecimiento de la variable seleccionada T: Tratamiento C: Comparación i: Individuo del grupo de tratamiento j: Individuo del grupo de control t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de comparación b) Diferencia en la prevalencia de anemia de mujeres embarazadas o en lactancia entre familias beneficiarias y no beneficiarias ∑ ∑ 16 Para el detalle de las variables a considerar a efecto de calcular el puntaje Z, refiérase a la nota al pie en la sección 3.4.2. Aspectos a evaluar. Como mínimo, se sugiere talla para la edad. 78 Donde: DDPAMEL: Doble diferencia en la prevalencia de anemia de mujeres embarazadas o en lactancia PAMEL: Prevalencia de anemia de mujeres embarazadas o en lactancia T: Tratamiento C: Comparación i: Individuo del grupo de tratamiento j: Individuo del grupo de control t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de comparación c) Diferencia en la incidencia de enfermedades gastrointestinales en niños menores de 5 años entre familias beneficiarias y no beneficiarias. ∑ ∑ Donde: DDEGI: Doble diferencia en la incidencia de enfermedades gastrointestinales en niños menores a 5 años entre familias beneficiarias y no beneficiarias EGI: Incidencia de enfermedades gastrointestinales en niños menores de 5 años T: Tratamiento C: Comparación i: Individuo del grupo de tratamiento j: Individuo del grupo de control t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de comparación Propósito Se sugiere cambiar la definición del indicador de este nivel, para incluir los siguientes: a) Diferencia en el índice de acceso a la alimentación entre familias beneficiarias y no beneficiarias. ∑ ∑ 79 Donde: DDIAA: Doble diferencia en el índice de acceso a la alimentación entre familias beneficiarias y no beneficiarias IAA: Índice de acceso a la alimentación T: Tratamiento C: Comparación i: Familia del grupo de tratamiento j: Familia del grupo de control t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de comparación b) Diferencia en el consumo promedio ponderado de alimentos básicos entre familias beneficiarias y no beneficiarias. ∑ ∑ Donde: DDCPPAB: Doble diferencia en el consumo promedio ponderado de alimentos básicos CPPAB: Consumo promedio ponderado de alimentos básicos T: Tratamiento C: Comparación i: Familia del grupo de tratamiento j: Familia del grupo de control t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de comparación 80 c) Diferencia en el gasto promedio ponderado en alimentos básicos entre familias beneficiarias y no beneficiarias. ∑ ∑ Donde: DDGPPAB: Doble diferencia en el gasto promedio ponderado en alimentos básicos GPPAB: Gasto promedio ponderado en alimentos básicos T: Tratamiento C: Comparación i: Familia del grupo de tratamiento j: Familia del grupo de control t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de comparación 81 5 Conclusiones Como se puede apreciar a lo largo del presente trabajo, en periodo de 2007 a 2012 se realizaron un total de siete evaluaciones externas al programa, en las cuales se analizaron diversos aspectos específicos asociados a su diseño, operación y resultados. Los hallazgos de estas evaluaciones sirvieron para identificar un conjunto de fortalezas, oportunidades, debilidades y amenazas, así como para proponer recomendaciones; a su vez, estos elementos derivaron en aspectos susceptibles de mejora, a los cuales se le dio seguimiento a través de los mecanismos establecidos. La revisión permitió constatar que el programa implementó acciones que resolvieron algunos de los problemas identificados e implicaron diversas mejoras. Con todo, en opinión del equipo metaevaluador y a la fecha de realización este ejercicio, subsisten diversas deficiencias y áreas de oportunidad identificadas en las evaluaciones anteriores que la Sedesol y los responsables del programa deben considerar y retomar, para mejorar su desempeño. Aquellas que se consideraron relevantes y vigentes aparecen en el análisis FODA global, que incluye también las recomendaciones de los evaluadores originales y, en algunos casos, notas y recomendaciones propias del equipo metaevaluador cuando se consideró pertinente hacerlo. Asimismo, en el desarrollo del ejercicio se analizaron evaluaciones hechas a otros programas considerados como similares al PAL, ya fuera en función de sus objetivos, poblaciones atendidas o componentes particulares. El análisis derivó en diversos elementos relevantes, incluyendo la confirmación de que, con un diseño y condiciones adecuadas, programas como el PAL pueden efectivamente lograr resultados en cuanto a la seguridad alimentaria. Estas evaluaciones sirvieron también para identificar indicadores, metodologías y fuentes de información que pueden ser útiles para evaluar el desempeño del programa. En cuanto a la agenda de evaluación 2013-2018, se propuso una secuencia lógica y ordenada de las evaluaciones a realizar al programa, considerando una justificación técnica y empírica sobre la importancia que cada ejercicio podría tener. Se propuso primero elaborar un estudio de Diagnóstico y propuestas de atención, luego una Evaluación de diseño, posteriormente una Evaluación de impacto, después una Evaluación de procesos, y finalmente una Evaluación de consistencia y resultados. Esta secuencia buscó brindar una base sólida de datos, análisis y estrategia para anclar el diseño, la operación y los resultados del programa durante la siguiente administración federal, de forma tal que cada año se puedan informar los cambios y refinamientos en diversos aspectos relevantes. Dada la importancia de corroborar en los hechos los cambios que el PAL puede generar para revertir el problema que le dio origen, la metaevaluación incorporó una propuesta más detallada para una evaluación de impacto. En ella, se describieron la metodología y las fuentes de información necesarias para llevar a cabo la evaluación, conforme a los estándares y mejores prácticas en la materia, a la naturaleza de las variables específicas a medir así como a las características específicas del programa. La propuesta se acompañó de un análisis de 82 pertinencia y de viabilidad técnica y financiera, que justifica la necesidad de realizar este tipo evaluación al programa. Como un elemento de valor agregado que complementa los análisis previos, se desarrollaron una serie de reflexiones y recomendaciones sobre la situación actual del PAL, que si bien construyen sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegaron a conclusiones distintas al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas reflexiones y recomendaciones son responsabilidad exclusiva del metaevaluador, y se enfocaron principalmente en aspectos asociados al diseño del programa. Por su importancia, se enfatizó y se elaboró ampliamente sobre la identificación y especificación del problema focal así como sobre la definición de las poblaciones potencial y objetivo. Las reflexiones y recomendaciones de esta sección respetaron los elementos básicos del diseño y la lógica interna actuales del programa; por lo tanto, sólo se propuso mejorar la consistencia de dichos elementos básicos del programa, a efecto de mejorar su desempeño. Un análisis más amplio de la adecuación del diseño, operación y resultados del programa queda fuera del alcance de esta metaevaluación, y sería en su caso objeto de otro estudio. Finalmente, también a lo largo de estos años distintas instancias normativas, fiscalizadoras y evaluadoras hicieron una serie de observaciones y recomendaciones para mejorar la Matriz de Indicadores para Resultados del PAL, tanto en sus resúmenes narrativos como en los indicadores para monitoreo. Cabe señalar que, en opinión del equipo metaevaluador, algunas de estas observaciones y recomendaciones no necesariamente fueron adecuadas ni eran consistentes entre sí; por otro lado, a pesar de los cambios que sí se implementaron, en algunos casos subsisten deficiencias y áreas de oportunidad. Por ello, y considerando la historia de los cambios en la MIR y lo que falta por hacer, el equipo metaevaluador recomendó algunas mejoras y refinamientos en los resúmenes narrativos y los indicadores del programa en los niveles de Fin y Propósito, respetando el diseño básico actual y los resultados que se esperan del mismo. 83 6 6.1 Bibliografía Documentos sobre el programa Rodríguez, Evelyne. Evaluación Específica de Desempeño 2010-2011 del Programa de Apoyo Alimentario. (EED10/11) --------------- Específica de Desempeño 2009-2010 del Programa de Apoyo Alimentario a cargo de DICONSA, S.A de C.V. (EED09/10) Hernández, Bernardo. Evaluación Específica de Desempeño 2008 del Programa de Apoyo Alimentario a cargo de DICONSA S.A de C.V. (EED08) Centro de Investigación en Alimentación y Desarrollo, A.C. (2012). Evaluación de Consistencia y Resultados 2011-2012 del Programa de Apoyo Alimentario. (ECR11/12) Centro de Estudios para un Proyecto de Nacional Alternativo S.C. (2008). Evaluación de Consistencia y Resultados 2007 del Programa de Apoyo Alimentario a cargo de DICONSA, S.A. de C.V. (ECR07) Instituto Nacional de Salud Pública Centro de Investigación en Nutrición y Salud (2006). Evaluación del estado de nutrición de niños menores de 5 años y sus madres, y gasto en alimentos de familias de localidades marginales en México. Análisis comparativo de la entrega de despensas y transferencias en efectivo 2003-2005. (EI06) Hospital Infantil de México Federico Gómez (2009). Evaluación del Diseño 2009 del Programa de Apoyo Alimentario a cargo de DICONSA S.A. de C.V. (ED09) Instituto Nacional de Ciencias Médicas y Nutrición Salvador Zubirán. (2011). Evaluación del Modelo Integral de Apoyo a la Nutrición y el Neurodesarrollo PAL-Oportunidades 2011. --------------- (2011). Actividades realizadas en las localidades seleccionadas para la Evaluación del Modelo Integral de Apoyo a la Nutrición y el Neurodesarrollo PAL-Oportunidades 2011. Consejo Nacional de Evaluación de la Política de Desarrollo Social. (2011). Informes de Sesiones de Mesa Técnica de Revisión de Indicadores: Programa de Apoyo Alimentario. Coordinación Nacional del Programa de Desarrollo Humano Oportunidades. (2012). Matriz de Indicadores de Resultados del Programa de Apoyo Alimentario. --------------- (2012). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa de Apoyo Alimentario. 84 --------------- (2011). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa de Apoyo Alimentario. --------------- (2010). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa de Apoyo Alimentario. ---------------. (2011). Matriz de Indicadores de Resultados del Programa de Apoyo Alimentario. --------------- . (2010). Matriz de Indicadores de Resultados del Programa de Apoyo Alimentario. --------------- (2010). Auditoría al Programa de Apoyo Alimentario. Diconsa, S.A. de C.V. (2009). Matriz de Indicadores de Resultados del Programa de Apoyo Alimentario a cargo de Diconsa. --------------- . (2008). Matriz de Indicadores de Resultados del Programa de Apoyo Alimentario a cargo de Diconsa. --------------- (2009). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa de Apoyo Alimentario a cargo de Diconsa, S.A. de C.V. --------------- (2008). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa de Apoyo Alimentario a cargo de Diconsa, S.A. de C.V. Secretaría de Desarrollo Social (2012). Reglas de Operación del Programa de Apoyo Alimentario. ---------------. (2011). Reglas de Operación del Programa de Apoyo Alimentario. --------------- . (2010). Reglas de Operación del Programa de Apoyo Alimentario. --------------- (2009). Reglas de Operación del Programa de Apoyo Alimentario. --------------- (2008). Reglas de Operación del Programa de Apoyo Alimentario. --------------- (2007). Reglas de Operación del Programa de Apoyo Alimentario. --------------- . (2012). Aspectos Susceptibles de Mejora del Programa de Apoyo Alimentario: Posición Institucional sobre el Programa de Apoyo Alimentario. --------------- (2011). Aspectos Susceptibles de Mejora del Programa de Apoyo Alimentario: Posición Institucional sobre el Programa de Apoyo Alimentario. 85 --------------- . (2010). Aspectos Susceptibles de Mejora del Programa de Apoyo Alimentario: Posición Institucional sobre el Programa de Apoyo Alimentario. --------------- (2012). Seguimiento a Aspectos Susceptibles de Mejora Derivados de Informes y Evaluaciones: Clasificación de los Aspectos Susceptibles de Mejora. Programa de Apoyo Alimentario. ---------------. (2011). Seguimiento a Aspectos Susceptibles de Mejora Derivados de Informes y Evaluaciones: Clasificación de los Aspectos Susceptibles de Mejora. Programa de Apoyo Alimentario. --------------- . (2008). Seguimiento a Aspectos Susceptibles de Mejora Derivados de las Evaluaciones Externas: Clasificación de los Aspectos Susceptibles. Programa de Apoyo Alimentario a cargo de Diconsa, S.A. de C.V. --------------- . (2012). Seguimiento a Aspectos Susceptibles de Mejora Derivados de Informes y Evaluaciones: Documento de Trabajo del Programa de Apoyo Alimentario. ---------------. (2011). Seguimiento a Aspectos Susceptibles de Mejora Derivados de las Evaluaciones Externas: Documento de Trabajo del Programa de Apoyo Alimentario. ---------------. (2008). Seguimiento a Aspectos Susceptibles de Mejora Derivados de las Evaluaciones Externas: Documento de Trabajo del Programa. Programa de Apoyo Alimentario cargo de Diconsa, S.A. de C.V. --------------- (2012). Nota de Actualización de la Población Potencial y Población Objetivo del Programa de Apoyo Alimentario. --------------- (2009). Diagnóstico del Programa de Apoyo Alimentario a cargo de DICONSA S.A. de C.V. 6.2 Documentos de otros programas similares Agüero, J. M., et. al. (2007). “The Impact of Unconditional Cash Transfers on Nutrition: The South African Child Support Grant”. International Poverty Centre. Miller, Candace, et.al. (2008). “Impact Evaluation Report External Evaluation of the Mchinji Social Cash Transfer Pilot”. Center for International Health and Development Boston University School of Public Health Boston, Massachusetts y The Centre for Social Research University of Malawi 86 Powell, Christine A., et al. (1998). “Nutrition and education: a randomized trial of the effects of breakfast in rural primary school children”. The American Journal of Clinical Nutrition, num. 68 pp.873-879. 6.3 Documentos normativos y programáticos Secretaría de Hacienda y Crédito Público, Secretaría de la Función Pública y Consejo Nacional de Evaluación de la Política de Desarrollo Social (2007). Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal. Secretaría de Hacienda y Crédito Público y Consejo Nacional de Evaluación de la Política de Desarrollo Social (2010) Guía para la Construcción de la Matriz de Indicadores para Resultados. --------------- (2010). Guía para el Diseño de Indicadores Estratégicos. ---------------- (2008). Oficio Circular 307-a.-1593, Lineamientos Generales para el Proceso de Programación y Presupuestación para el Ejercicio Fiscal 2008, Anexo Dos: Metodología para la Elaboración de la Matriz de Indicadores de los Programas Presupuestarios de la APF. Unidad de Política y Control Presupuestario. --------------- (2007). Circular 307-A-0221. Lineamientos para la Actualización de la Matriz de Indicadores de los Programas Presupuestarios y la Elaboración de los Calendarios de Metas de los Indicadores del Presupuesto de Egresos de la Federación para el Ejercicio Fiscal 2008. Unidad de Política y Control Presupuestario. Consejo Nacional de Evaluación de la Política de Desarrollo Social (2010). Diagnóstico de Matrices de Indicadores para Resultados 2010. Principales Hallazgos. --------------- (2008). Informe de Evaluación de la Política de Desarrollo Social en México. --------------- (2007). Modelo de TDR de la Evaluación de Consistencia y Resultados 2007, Anexo 02, Nota Técnica con los Principales Conceptos de la Matriz de Indicadores. 6.4 Documentos teóricos y metodológicos Aldunate, Eduardo. (2004). “Metodología del Marco Lógico”. Boletín del Instituto, 15, Latinoamericano y del Caribe de Planificación Económica y Social (ILPES). Santiago de Chile. Aldunate, Eduardo y Julio Córdoba. (2011). “Formulación de programas con la metodología de marco lógico”. Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile. 87 Bonnefoy, Juan y Marianela Armijo. (2005). “Indicadores de desempeño en el sector público”. Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile. Camacho, Hugo, et. al. (2001). El enfoque del Marco Lógico: 10 casos prácticos. Cuaderno para la identificación y diseño de proyectos de desarrollo. Madrid, Fundación Cideal. Comisión Económica para América Latina. (2001). El uso de los indicadores socioeconómicos en la formulación y evaluación de proyectos sociales: aplicación metodológica. Serie Manuales, 15, ILPES-CEPAL, Santiago de Chile. Comisión Económica para América Latina. (2004). Uso de los indicadores socioeconómicos en la evaluación de impacto de proyectos y programas de lucha contra la pobreza. Serie Manuales, ILPES-CEPAL, La Paz, Bolivia. Cortés, Fernando. (2002) “Algunos aspectos de la controversia entre la investigación cualitativa e investigación cuantitativa”. El Colegio de México, Mimeo. Díaz, Luis. (2001). “La metaevaluación y su método”, Revista de Ciencias Sociales, Vol. II-III, Número 92-93, pp. 171-192, Universidad de Costa Rica. Glass, G.V., McGraw, B., & Smith, M. L., (1981). Meta-analysis in social research. Beverly Hills: Sage Publications. Martin, Paula H. (1982). Meta-Analysis, Meta-Evaluation and Secondary Analysis. Washington, DC: ERIC Clearinghouse. Scriven, Michael. (1991). Evaluation Thesaurus. Newbury Park: SAGE Publications. 88 7 Anexos 7.1 Anexo 1: Síntesis de Evaluaciones 2007-2012 7.2 Anexo 2: Síntesis de Evaluaciones de programas similares internaciones 7.3 Anexo 3: Agenda de evaluación 7.4 Anexo 4: FODA 7.5 Anexo 5: Análisis histórico y propuestas de mejora de la MIR 89