Secretaría de Desarrollo Social Meta evaluación 2007-2012 del Programa de Abasto Social de Leche a cargo de Liconsa, S.A. de C.V. Informe Final Institución a cargo del proyecto: Universidad Autónoma de Chiapas Centro Universidad - Empresa Coordinador General: Jorge Mario Soto Romero Responsable Administrativo Alfredo Martínez de la Torre Investigadores: José Arturo Baca Millán Alida Marcela Gutiérrez Landeros Claudia Sánchez Velasco Ricardo Belman Martínez Tuxtla Gutiérrez, Chiapas 23 de octubre de 2012 1 Índice de contenidos Resumen ejecutivo ...........................................................................................................................4 1. Introducción ..............................................................................................................................7 2. Descripción del Programa .........................................................................................................8 2.1 Antecedentes y objetivos ......................................................................................................8 2.2 Problema focal y árbol de problemas....................................................................................8 2.3 Población potencial y objetivo ..............................................................................................9 2.4 Apoyos otorgados ................................................................................................................10 2.5 Evolución de la cobertura ....................................................................................................11 3. Evaluación ...............................................................................................................................12 3.1 Principales hallazgos en las evaluaciones ........................................................................13 3.1.1 Evaluación de Consistencia y Resultados (ECR 2007) ..................................................13 3.1.2 Evaluación Específica de Desempeño (EED 2008)........................................................15 3.1.3 Evaluación de Impacto (EI 2009) ..................................................................................16 3.1.4 Evaluación Específica de Desempeño (EED 2009-2010) ..............................................19 3.1.5 Evaluación Específica de Desempeño (EED 2010-2011) ..............................................20 3.1.6 Evaluación de Consistencia y Resultados (ECR 2011-2012) .........................................20 3.2 Análisis de evaluaciones de resultados o de impacto en el ámbito nacional o internacional de programas similares.........................................................................................22 3.2.1 Desayunos en escuelas primarias rurales, Jamaica......................................................22 Características similares o tipos de apoyo que entrega el programa: ...........................................22 3.2.2 Vaso de Leche, Perú .....................................................................................................25 3.3 Agenda de evaluación para el período 2013-2018 ..........................................................28 3.3.1 2013: Diagnóstico y propuestas de atención ...............................................................30 3.3.2 2013: Específica de cobertura, comercialización y financiamiento .............................31 3.3.3 2014: Evaluación de Diseño .........................................................................................32 3.3.4 2015-2016: Evaluación de impacto ..............................................................................32 3.3.5 2017: Evaluación estratégica de desempeño de los programas sociales alimentarios 33 3.3.6 2017: Evaluación de procesos ......................................................................................34 3.3.7 2018: Evaluación de consistencia y resultados ............................................................34 3.4 Análisis de viabilidad y pertinencia para las evaluaciones de impacto ...........................35 3.4.1 Pertinencia de la evaluación ........................................................................................35 3.4.2 Aspectos a evaluar........................................................................................................36 3.4.3 Metodologías y fuentes de información ......................................................................37 3.4.4 Viabilidad técnica y financiera......................................................................................40 3.5 Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones ......42 3.6 Análisis de la contribución de los programas alimentarios a la reducción de la carencia de acceso a la alimentación ........................................................................................................55 3.6.1 Aspectos conceptuales y de diseño programático.......................................................55 3.6.2 Potencial de contribución de cada programa ..............................................................56 3.6.3 Programa de Desarrollo Humano Oportunidades y Programa de Apoyo Alimentario57 2 3.6.4 Programa de Abasto Social de Leche ...........................................................................58 3.6.5 Programa de Abasto Rural ...........................................................................................58 3.6.6 Conclusiones .................................................................................................................59 3.7 Reflexiones y recomendaciones complementarias del metaevaluador ..........................60 3.7.1 Sobre el problema focal y las poblaciones potencial y objetivo ..................................60 3.7.2 Sobre la cobertura y focalización .................................................................................64 4. Reporte de monitoreo ............................................................................................................66 4.1 Introducción .....................................................................................................................66 4.2 Análisis histórico de la Matriz de Indicadores para Resultados 2007-2012 ....................67 4.2.1 Principales cambios de la Matriz de Indicadores 2007-2012 .......................................67 4.2.2 Análisis 2007-2008 .......................................................................................................67 4.2.3 Análisis 2008-2009 .......................................................................................................69 4.2.4 Análisis 2009-2010 .......................................................................................................70 4.2.5 Análisis 2010-2011 .......................................................................................................71 4.2.6 Análisis 2011-2012 .......................................................................................................73 4.3 Principales comentarios a la Matriz de Indicadores 2007-2012 ......................................73 4.3.1 Fin .................................................................................................................................74 4.3.2 Propósito ......................................................................................................................75 4.3.3 Componentes ...............................................................................................................76 4.4 Comentarios generales ....................................................................................................76 4.5 Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012........78 4.5.1 Análisis de la MIR 2012 y vínculo con las Reglas de Operación ...................................78 4.5.2 Propuesta de mejoras para MIR 2013..........................................................................79 4.6 Análisis de los indicadores de Fin y de Propósito ............................................................79 4.6.1 Indicadores de la MIR 2012 ..........................................................................................79 4.6.2 Propuesta de mejoras para indicadores MIR ...............................................................79 5. Conclusiones ...........................................................................................................................83 6. Bibliografía ..............................................................................................................................85 7. Anexos .....................................................................................................................................88 Anexo 1 “Síntesis de Evaluaciones 2007-2012”. ............................................................................88 Anexo 2 “Síntesis de Evaluaciones de programas similares internacionales”. ..............................88 Anexo 3. “Agenda de evaluación” ..................................................................................................88 Anexo 4. “FODA”.............................................................................................................................88 Anexo 5. “Análisis histórico y propuestas de mejora de la MIR” ...................................................88 3 Resumen ejecutivo La presente Meta evaluación 2007-2012 del Programa de Abasto Social de Leche a cargo de Liconsa, S.A. de C.V. (PASL) tiene como objetivo analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad que permitan al programa obtener mejores resultados en próxima administración federal. Así, los principales resultados del PASL en materia de evaluación son los siguientes: Principales fortalezas y oportunidades: • El Programa cuenta con un diagnóstico que muestra la gravedad del problema que busca revertir, así como con evidencia de estudios nacionales e internacionalesde que la leche fortificada es eficaz para reducir la desnutrición, especialmente en la población más pobre. • Ha implementado y dado seguimiento a las recomendaciones de las evaluaciones externas para mejorar su desempeño, específicamente en torno a su diseño, cobertura y operación. • Cuenta con herramientas informáticas eficientes y de vanguardia para la selección, incorporación y baja de beneficiarios, como el sistema georeferenciado de lecherías, el sistema de puntaje con modelos estadísticos robustos para valorar la elegibilidad de los solicitantes, y el sistema de información, administración y actualización del padrón. • Los beneficiarios manifiestan un alto grado de satisfacción respecto de la calidad y el precio de la leche fortificada, así como sobre los requisitos y la atención del programa. • Documenta impactos positivos del consumo de leche fortificada sobre el desarrollo intelectual, el crecimiento de los niños y la prevención y control de la anemia, lo cual demuestra que la relación costo/beneficio de la leche fortificada Liconsa es muy alta. Principales debilidades y amenazas: • La definición de la población objetivo no se concentra en los grupos en los que la evidencia empírica ha demostrado que la leche fortificada tiene mayor impacto. • El programa no cuenta con una estrategia de cobertura de mediano y largo plazo, ni considera criterios nutricionales para focalizar sus apoyos. • El programa opera primordialmente en áreas urbanas, por lo que tiene una menor cobertura en las localidades rurales, especialmente en los estados del sureste del país que tienen las mayores prevalencias de desnutrición infantil. • La exclusión de beneficiarios del PASL con respecto de Oportunidades y el Programa de Apoyo Alimentario, limita la contribución del PASL a la disminución de la prevalencia de desnutrición crónica infantil,ya que los últimos dos focalizan hacia la pobreza extrema. • El Programa no cuenta con evidencia de que su tipo de intervención es más eficaz que otras alternativas para disminuir la desnutrición de la población pobreza patrimonial. Hallazgos sustantivos y metodológicos relevantes de otros programas similares: • Programas con diseño, poblaciones objetivo y componentes similares al PASL han mostrado ser efectivos para promover la nutrición, tales como Vaso de Leche en Perú (2004) y los desayunos escolares en escuelas rurales de Jamaica (1998). 4 • • El estudio de Jamaica destaca el papel muy positivo que pueden jugar los desayunos escolares y en general los apoyos alimentarios en especie, enel desarrollo físico y cognitivo de los niños rurales de escasos ingresos, a pesar de no estar fortificados. Por lo tanto, se esperaría que los efectos fueran mayoresy más diversos si los desayunos incluyeran alimentos fortificados con micronutrientes, como la leche Liconsa. Así, se recomienda explorar las posibles sinergias, complementariedades y ventajas de especialización entre el PASL y los programas estatales de desayunos escolares, particularmente en la atención de las localidades rurales con alta concentración de desnutrición y pobreza. La evaluación de Perú sugiere que el impacto de los programas de leche sobre la desnutrición es menor o nulo cuando existen filtraciones en la cobertura y una focalización inadecuada en términos de pobreza. Esto puede suceder cuando las poblaciones atendidas son mayoritariamente no pobres o pobres moderados en lugar de pobres extremos, pues los últimos son quienes tienen más riegos de padecer desnutrición. Así, el PASL podría obtener ganancias sustanciales en términos de impactos con una mejor focalización de los apoyos, dirigiéndolos hacia las familias con mayor pobreza y riesgo nutricional, así como ampliando su cobertura hacia las regiones escasamente atendidas y localidades rurales. Agenda de evaluación propuesta: • 2013: Diagnóstico y propuestas de atención • 2013: Evaluación específica de cobertura, comercialización y financiamiento • 2014: Evaluación de diseño • 2015 y 2016: Evaluación de impacto • 2017: Evaluación estratégica de desempeño de los programas sociales alimentarios • 2017: Evaluación de procesos • 2018: Evaluación de consistencia y resultados Sugerencias para la evaluación de impacto: • Se recomienda evaluar el impacto del programa en la nutrición de los niños, las mujeres embarazadas y en lactancia y los adultos mayores, no con un modelo clínico con consumo en condiciones controladas, sino con uno que capture los beneficios tal como las familias los obtienen yaprovechan en condiciones normales—esto es, una evaluación centrada en el programa y no en la leche fortificada como tal. • El modelo sería de doble diferencia, con grupos de tratamiento y de comparación; levantamientos basales y de seguimiento a través de encuestas propias con representatividad nacional; y estratos metropolitanos, urbanos y rurales, leche líquida y en polvo, e ingresos por debajo de la línea de bienestar y la de bienestar mínimo. En materia de monitoreo, y considerando el diseño actual del programa, se proponelo siguiente: Propuesta para mejorar aspectos de los resúmenes narrativos: Fin: Contribuir al desarrollo de las capacidades básicas en educación y salud de las personas con ingresos menores a la línea de bienestar, a través de la disminución de su riesgo nutricional. 5 Propósito:Las personas con ingresos por debajo de la línea de bienestar disminuyen su riesgo nutricional. Propuesta para mejorar los indicadores: Fin: • Diferencia en los resultados de las pruebas estandarizadas de desarrollo cognitivo y lingüístico en los niños de familias beneficiarias, con respecto a la misma variable en los niños de familias no beneficiarias. • Diferencia en la incidencia de enfermedades gastrointestinales en niños menores de 5 años de las familias beneficiarias, con respecto a la misma variable de los niños de las familias no beneficiarias. Propósito: • Diferencia en el puntaje Z de crecimiento de variables seleccionadas de niños menores de 12 años de familias beneficiarias, con respecto de la misma variable para los niños de las familias no beneficiarias. • Diferencia en la prevalencia de anemia de mujeres embarazadas o en lactancia de familias beneficiarias, con respecto a la misma variable de mujeres de familias no beneficiarias. • Diferencia en el consumo promedio de leche por persona de las familias beneficiarias con ingresos menores a la línea de bienestar, con respecto de la misma variable para las familias no beneficiarias Finalmente, las principales reflexiones y recomendaciones complementarias del equipo metaevaluador son las siguientes: • • • • Redefinir el problema focal, mediante la sustitución o especificación del concepto de “insuficientes niveles de nutrición” por el de “riesgo nutricional”. Redefinir la población potencial y objetivo, eliminando o acotando de forma más especifica la mutua exclusión de beneficiarios del PASL con respecto al Programa Oportunidades y de Apoyo Alimentario. Realizar una evaluación de cobertura, comercialización y financiamiento, que analice la cobertura efectiva de localidades y poblaciones, los modelos existentes y alternativos de comercialización y entrega de productos, así como los esquemas de financiamiento más adecuados para llevar los apoyos a quienes más los necesitan. Establecer una estrategia de cobertura de mediano y largo plazo para el PASL, a partir de las redefinición de la población potencial y objetivo y en un marco de actuación que considere de forma explícita la existencia de otros programas alimentarios. Se sugiere que dicha estrategia considere nuevos enfoques de comercialización y financiamiento, que promueva la ampliación de la cobertura hacia las localidades rurales y las regiones no atendidas, y que valore la pertinencia y factibilidad de gradualmente cerrar, relocalizar o transferir a particulares las lecherías cuya existencia ya no se justifica, porque sus localidades de atención no presentan el problema focal. 6 1. Introducción Conforme a los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal (Lineamientos), el numeral vigésimo cuarto, define las evaluaciones complementarias, como aquellas que no se encuentran previstas en el Programa Anual de Evaluación (PAE), y cuya aplicación está a consideración de las necesidades que identifiquen las dependencias o entidades. En este sentido, al ser interés particular de la Secretaría de Desarrollo Social (SEDESOL)contar con información acerca del desempeño y resultados de los Programas Sociales, y con base en la información disponible de evaluación y monitoreo, se planteó una evaluación complementaria denominada “Metaevaluación 2007-2012 para el Programa de Abasto Social de Leche (PASL)”. El objetivo general de la evaluación es analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en dichos temas, que permitan al programa obtener mejores resultados en el periodo 2013-2018. Este objetivo general posteriormente se desarrollará en una serie de objetivos específicos, a los cuales se les da cumplimiento formal en los diversos apartados del presente documento. El desarrollo de la metaevaluación del PASL comienza con la descripción general del programa a partir de lo establecido en diversos documentos normativos y técnicos básicos, así como las evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones de causa y efecto asociadas a dicho problema. Posteriormente, en el Reporte de Evaluación se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período 2007-2012; se analizan evaluaciones de resultados o impacto de programas similares al PASL; se propone una agenda de evaluación para el periodo 2013-2018; se enuncian principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones derivadas de las evaluaciones realizadas al programa, y se exponen las conclusiones y recomendaciones más relevantes del equipo metaevaluador. En el Reporte de Monitoreo, se hace un análisis de la evolución de la Matriz de Indicadores de Resultados (MIR) del programa durante el período 2007-2012. El análisis histórico identifica los principales cambios en los resúmenes narrativos y en los indicadores que componen la Matriz, que surgieron como resultado a las observaciones y recomendaciones de diversas instancias normativas y fiscalizadoras, así como de evaluaciones externas realizadas al programa. Así mismo, se incluye una serie de recomendaciones del equipo metaevaluador para mejorar la MIRhacia el inicio de la próxima administración federal. Finalmente, se presentan las conclusiones y recomendaciones resultantes de la metaevaluación y se incluyen una serie de anexos que refiere el contenido del documento. 7 2. Descripción del Programa En este apartado se presenta una descripción general del Programa de Abasto Social de Leche (PASL), a partir de lo establecido en los vigentesdocumentos básicos, tales como las Reglas de Operación del Programa 2012 (ROP), el Diagnóstico de la Población en Condiciones de Pobreza vulnerable a los efectos de la Desnutrición 2010, (en adelante, el Diagnóstico), la Nota de Actualización de la Población Potencial (PP) y Población Objetivo (PO) “Nota Sobre Población Potencial y Población Objetivo 2011” (en adelante, la Nota), así como las evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones de causa y efecto asociadas a dicho problema. Posteriormente, se describen los diferentes apoyos que otorga el programa a sus beneficiarios, se identifica y cuantifica la población potencial y objetivo, y se da cuenta de la evolución de la cobertura durante los años recientes. 2.1 Antecedentes y objetivos El Programa de Abasto Social de Lechea cargo de Liconsa S.A. de C.V., con clave programática S052, inició operaciones en 1949 y es coordinado porla Secretaría de Desarrollo Social (SEDESOL), , tiene como fin contribuir al desarrollo de capacidades básicas mejorando la nutrición y alimentación de la población cuyo ingreso está por debajo de la línea de bienestar. Las Reglas de Operación del Programa 2012 (ROP) señalan que su objetivo general es “Contribuir al desarrollo de capacidades básicas mejorando la nutrición y la alimentación de la población cuyo ingreso está por debajo de la línea de bienestar.” Su objetivo específico está definido como “Apoyar a los hogares beneficiarios para que tengan acceso al consumo de leche fortificada de calidad a bajo precio”. El medio que utiliza el programa para la consecución de sus objetivos se realiza por medio de apoyos a hogares beneficiarios, para que tengan acceso a leche fortificada y de calidad, a bajo precio. 2.2 Problema focal y árbol de problemas En la Nota sobre la población potencial y objetivo del PASL, el problema focal que aborda el programa, se define como“la población en pobreza patrimonial presenta un nivel de nutrición insuficiente”. Las causas principales que se identifican en torno al problema son el insuficiente abasto de alimentos en las zonas rurales, malos hábitos alimenticios, bajo consumo y bajo aprovechamiento de nutrientes (hierro, vitaminas, minerales, etc.), y la mayor vulnerabilidad a episodios de desnutrición. Por otra parte, los efectos más importantes del problema incluyen el bajo rendimiento escolar y laboral, y mayor riesgo a enfermedades. 8 A continuación se presenta el árbol de problemas que el programa construyó en torno al problema focal. Fuente: Diagnóstico sobre la población en condiciones de pobreza vulnerable a los efectos de la desnutrición (SEDESOL,2010). 2.3 Población potencial y objetivo Como lo señala la Nota sobre la población potencial y objetivo del PASL, la población potencial está definida como: Hogares con ingreso per cápita inferior al valor de la Línea de Bienestar económico, y que no son beneficiarios de los programas Desarrollo Humano Oportunidades o de Apoyo Alimentario, y que cuentan con integrantes que pertenecen a alguno de los siguientes grupos: • • • • • • Niños y niñas entre 6 meses y 12 años, Mujeres de 13 a 15 años, Mujeres embarazadas y en periodo de lactancia, Mujeres de 45 a 59 años, Adultos de 60 años o mayores, y Personas con discapacidad y enfermos crónicos. 9 En cuanto a la población objetivo las ROP 2012 señalan que son las personas pertenecientes a hogares cuyo ingreso está por debajo de la línea de bienestar, de acuerdo a los criterios emitidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL)1, que no cuentan con apoyo de los Programas de Desarrollo Humano Oportunidades y el de Apoyo Alimentario, y que pertenecen a cualquiera de los siguientes grupos: • • • • • • Niñas y niños de 6 meses a 12 años de edad. Mujeres adolescentes de 13 a 15 años. Mujeres en periodo de gestación o lactancia. Mujeres de 45 a 59 años. Enfermos crónicos y personas con discapacidad mayores de 12 años. Adultos de 60 y más años. Los grupos de personas antes mencionados no son limitantes en el caso de los Convenios Interinstitucionales, debido a las especificaciones y población señaladas en cada uno de sus Convenios. Por lo anterior, podrán ser beneficiarios de este Programa las personas atendidas por Instituciones de Asistencia Social públicas y/o privadas legalmente constituidas y sin fines de lucro que tengan establecido un Convenio Interinstitucional. La población atendida se define como aquella a la cual realmente impacta el Programa y de acuerdo con la Nota de poblaciones del PASL, en2010 el Programa atendía a 26.7 millones de personas. 2.4 Apoyos otorgados De acuerdo con las Reglas de Operación 2012, el programa otorga una dotación de leche fortificadacon alto valor nutricional a un precio preferencial por litro, con lo que el beneficiario genera un ahorro por la diferencia de precio entre leche Liconsa y la leche comercial. Existen dos modalidades de apoyo: • 1 Abasto comunitario: o La dotación de leche autorizada es de cuatro litros a la semana por beneficiario registrado en el padrón, y cada hogar tendrá derecho a adquirir un máximo de 24 litros a la semana, dependiendo del número de sus beneficiarios, conforme a lo que se establece en el siguiente cuadro: Disponible en http://www.coneval.gob.mx/cmsconeval/rw/pages/medicion/Pobreza_2010/Lineas%20de%20bienestar.es.do 10 Número de beneficiarios 1 2 3 4 5 6 o más • 2.5 Dotación semanal (litros) 4 8 12 16 20 24 Convenios Interinstitucionales: o Liconsa mantendrá y podrá ampliar su cobertura mediante convenios interinstitucionales para otorgar el beneficio de la leche a aquellos segmentos de la población objetivo que no estén siendo atendidos mediante el mecanismo anterior. Evolución de la cobertura Entre 2008 y 2011 la población objetivo pasó de 16.4 millones de personas a 6 millones, asimismo de 6.2 millones de hogares a 3 millones.La población atendida por número de hogares paso de 6 a 3 millones.Es importante mencionar que los datos presentados a partir de 2010 incluido el mismo, se considera la línea de bienestar. Evolución de la cobertura del PASL (millones) Tipo de 2008 2009 2010 Población Potencial Personas 24.2 ND 26.7 Hogares 8.7 8.7 10.8 Objetivo Personas 16.4 ND ND Hogares 6.2 6 ND Atendida Personas ND ND ND Hogares 6 6 6 Fuente: Evaluación de Consistencia y Resultados 2011-2012. Anexo 1. 2011 ND ND 6 3 5 3 11 3. Evaluación En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los principales resultados; identifica las fortalezas, oportunidades, debilidades y amenazas más relevantes, y enuncia las recomendaciones que los evaluadores derivaron en su momento—el Anexo 1 facilita una visión esquemática de este ejercicio. Para establecer un punto de referencia con otras experiencias a nivel internacional, posteriormente se muestra una síntesis de evaluaciones de resultados o impacto aplicadas a programas, proyectos o intervenciones públicas que son similares al PASL, ya sea por algunos de sus objetivos, componentes o poblaciones atendidas. Se trata de obtener información útil para valorar en qué medida las acciones del programa han obtenido resultados en otras realidades, así como de analizar y aprovechar aquellos aspectos del esquema metodológico aplicado en estos casos para próximas evaluaciones al programa. El Anexo 2 posibilita una visión sintética de las evaluaciones a intervenciones similares a la que nos ocupa. Más adelante, se propone una agenda de evaluación para el periodo 2013-2018, que pretende ser una guía para orientar los ejercicios que deberán hacerse al programa conforme a la normatividad vigente en la materia. La agenda propuesta plantea los objetivos para cada evaluación y el período de duración, señala los componentes específicos para analizar, hace una justificación con base en necesidades o recomendaciones identificadas en esta metaevaluación, y propone un conjunto de insumos necesarios para llevar a cabo las evaluaciones durante el periodo. La esquematización de la propuesta puede consultarseen el Anexo 3. Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una propuesta más detallada para someter al PASLa una evaluación de impacto. Se describen la metodología y las fuentes de información necesarias para llevar a cabo este tipo de evaluación, de acuerdo con la naturaleza de las variables específicas a medir así como de las características específicas del programa. La propuesta se acompaña de un análisis de pertinencia y de viabilidad técnica y financiera. En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y amenazas (FODA) del PASLidentificadas en cada evaluación analizada, acompañadas de sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos elementos que, a juicio del metaevaluador, son relevantes en términos de su importancia e implicaciones para el desempeño del programa, así como vigentes, en el sentido que la situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma esquemática se presenta en el Anexo 4. Finalmente, se incorpora una sección de conclusiones y recomendaciones del metaevaluador, que si bien en su mayoría se construyen sobre el análisis de las evaluaciones antes revisadas, en 12 algunos casos llegan a resultados distintos al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas conclusiones y recomendaciones se enfocan principalmente en aspectos asociados al diseño, la cobertura y los impactos del programa, y son responsabilidad exclusiva del metaevaluador. 3.1 Principales hallazgos en las evaluaciones En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los principales resultados.El Anexo 1 facilita una visión esquemática de este ejercicio. Cabe señalar que los resultados aquí presentados reflejan lo encontrado en cada evaluación en el momento en que estas se llevaron a cabo, y no reflejan la opinión del equipo metaevaluador. Asimismo, es necesario enfatizar que, conforme a la normatividad respectiva, los principales hallazgos y recomendaciones de las evaluaciones externas se incorporaron en un mecanismo de seguimiento y derivaron en aspectos susceptibles de mejora, que en su momento fueron atendidos por los responsables de los programas. Sin embargo, por el diseño del propio mecanismo de seguimiento y la naturaleza de los problemas que les dieron origen, algunos hallazgos y recomendaciones importantes pueden seguir siendo vigentes a la fecha en que se realiza la presente metaevaluación. Cuando esto ocurra, a juicio del metaevaluador, dichos hallazgos y recomendaciones se retomarán en el análisis FODA de la sección 3.4. 3.1.1 Evaluación de Consistencia y Resultados (ECR 2007) El objetivo de la Evaluación consistió en analizar los siguientes aspectos del PASL: Diseño, Planeación Estratégica, Cobertura y Focalización, Operación, Percepción de la Población Objetivo y sus principales resultados; además incluye el análisis de las principales fortalezas retos y recomendaciones de cada tema evaluado, así como las conclusiones de la evaluación. La evaluación se realizó mediante el análisis de información documental del Programa con base en los Términos de Referencia para la Evaluación de Consistencia y Resultados 2007 del PASL emitidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL). Adicionalmente, y con el propósito de profundizar el análisis documental, el grupo evaluador reporta que llevaron a cabo reuniones de trabajo con los operadores del programa. Para la evaluación se utilizó la Metodología de Marco Lógico, propuesta por el CONEVAL, y las directrices generales para avanzar hacia el Presupuesto Basado en Resultados y el Sistema de Evaluación del Desempeño, de la Secretaría de Hacienda y Crédito Público, orientada a evaluar la gestión de los programas públicos en función de sus resultados, desde la perspectiva de los beneficiarios; dicha metodología permitió articular de forma sistemática los objetivos, metas y resultados del PASL.La evaluación fue realizada por Beta KorosiConsultoría. 13 Diseño: • El Problema está correcta y claramente identificado y definido, además existe un diagnóstico actualizado y adecuado. • El Programa está alineado a los objetivos del Plan Sectorial de Desarrollo Social (PSDS)y al Plan Nacional de Desarrollo (PND). La población potencial no está definida en las ROP2007, pero sí la objetivo. • En materia de monitoreo, el fin y propósito están claramente definidos, y corresponden con el problema. • Las lógicas vertical y horizontal de la MIRson claras y válidas. • Todos los indicadores son claros, relevantes, económicos, adecuados y monitoreables. Planeación estratégica: • El Programa tiene programas anuales, pero no planeación de mediano y largo plazo. • Tiene indicadores y metas anuales, así como estrategias, políticas y programas de trabajo detallados, no para mediano y largo plazo. Cobertura y focalización: • No existe un método para cuantificar la población potencial;la objetivo es cuantificada como la meta de beneficiarios del PASL. • El PASLno tiene una estrategia de cobertura de mediano y largo plazo, ya que ésta no tiene planeación estratégica. Operación: • El Programa cuenta con instrumentos para medir la satisfacción de los beneficiarios. • La percepción sobre el programa es de un alto grado de satisfacción. Resultados: • El PASLreporta información a nivel de Propósito y de Fin. • Tiene indicadores propios, para los cuales recolecta regularmente información veraz y oportuna. • En el 2002 se realizó una evaluación de resultados, en 2004 y 2006, se realizaron evaluaciones de impacto. • Los principales impactos se reportan en la fundamentación técnica del Programa, el estado nutricional de los niños, la efectividad de los micronutrimentos sobre la prevalencia de anemia, la deficiencia de micronutrimentos y el desarrollo neuroconductual de los beneficiarios. 14 3.1.2 Evaluación Específica de Desempeño (EED 2008) Esta evaluación fue realizada por el Instituto Nacional de Salud Pública (INSP) dirigida por Bernardo Hernández Prado y tiene como objetivo la valoración general de los indicadores, evolución de la cobertura y seguimiento a los aspectos de mejora. El programa calcula indicadores estratégicos, de los cuales 3 de 5 se encuentran por arriba de la meta propuesta y que son: • Porcentaje de hogares beneficiarios del PASL en relación a los hogares objetivo. • Consumo promedio de mililitros por día de los beneficiarios Liconsa vs. la recomendación de la OMS. • Margen de ahorro de las familias beneficiarias del programa. Los 2 indicadores restantes se empezaron medir en 2008, año de la evaluación, y que a continuación se mencionan: • • Prevalencia de desnutrición en niños (baja talla para la edad). Porcentaje de hogares beneficiarios del PASL en relación a los hogares objetivo. Respecto a los 5 indicadores de gestión que calcula el programa, todos superaron la meta establecida. Los indicadores son: • • • • • Porcentaje de cumplimiento del programa de Producción Porcentaje de cumplimiento de hierro en leche fortificada Liconsa Porcentaje del cumplimiento de ácido fólico en leche fortificada Liconsa Porcentaje de cumplimiento del programa de Distribución Costo de fabricación por litro producido del PASL Se reportan los principales resultados de evaluación de impacto de 2004 y 2009, evaluación de consistencia y resultados 2007, y evaluaciones externas de resultados 2005 y 2006. En caso de querer profundizar se recomienda ver las fichas correspondientes de las evaluaciones. La valoración general que hacen los evaluadores: • El Programa tiene una diversidad de evaluaciones que en conjunto documentan una buena operación, un diseño adecuado y efectos positivos. • Los indicadores estratégicos y de gestión son pertinentes y relevantes, y permiten conocer los resultados del Programa en relación con su propósito y fin. 15 3.1.3 Evaluación de Impacto (EI 2009) El objetivo general de la evaluación fue conocer el impacto diferencial de la intervención temprana en comparación con la intervención tardía con leche fortificada LICONSA sobre indicadores funcionales de ganancia en capital humano: desarrollo intelectual, desempeño escolar, crecimiento físico y composición corporal (masa muscular y grasa) y verificar que la prevalencia de anemia y de deficiencias de hierro se mantienen controladas, en niños que tenían entre 12 y 30 meses de edad al inicio de la intervención en 2003. Se plantearon los siguientes objetivos específicos: • Verificar la efectividad de la leche Liconsa fortificada para mantener baja la prevalencia de anemia y la deficiencia de hierro. • Comparar el efecto de la introducción temprana de la leche Liconsa fortificada para mejorar el desarrollo intelectual y el rendimiento escolar. • Evaluar el efecto de la leche Liconsa fortificada sobre el desarrollo de sobrepeso y obesidad en los niños beneficiarios. • Evaluar el efecto de la leche Liconsa fortificada para mantener las ganancias de talla y masa muscular obtenidas previamente. La hipótesis a demostrar es que la leche LICONSA fortificada con múltiples micronutrimentos, tendría una mayor efectividad para disminuir la prevalencia de talla baja, deficiencia de zinc, mejorar el desarrollo intelectual y el rendimiento escolar y el crecimiento en masa libre degrasa que la leche no fortificada. Metodología utilizada: Se conformaron tres grupos: • Aquellos que reciben leche fortificada Liconsa desde 2003 y que al inicio de la intervención tenían entre 12 y 30 meses de edad. • El segundo grupo conformado por niños de la misma edad, sin embargo, durante el primer año de intervención recibieron leche sin fortificar y es a partir del 2004 que consumen leche fortificada y • Un tercer grupo que se incorporó a partir de 2005 después de la aleatorización y que nunca ha recibido leche fortificada. Las variables de desenlace fueron las mismas para los tres grupos de tratamiento y están agrupadas en los siguientes tres componentes: • A.1 Evaluación del estado nutricio de zinc y de hierro, micronutrientes adicionados a la leche LICONSA fortificada. • A.2 Comparación del impacto sobre el desarrollo intelectual: Inteligencia, Adquisición de lenguaje, Desempeño escolar, Asistencia, Calificaciones, Evaluación del maestro. 16 • A.3 Comparación del crecimiento en peso, talla y composición corporal, a fin de evaluar si el consumo adicional de energía contenida en la leche influye sobre el desarrollo de sobrepeso en los niños. Debido a que es la primera vez que se miden las variables de inteligencia y desempeño escolar, el diseño es transversal. Sin embargo, mantener los dos grupos experimentales permite evaluar la oportunidad de la intervención no solamente la efectividad • El grupo de control es comparable con los otros dos grupos experimentales ya que en la evaluación de 2005 se demostró que no había diferencias socioeconómicas entre ellos. Sin embargo, se debe reconocer que fue incorporado después de la aleatorización, por lo cual su comparabilidad podría ser discutible. • Las variables utilizadas fueron distribución y consumo promedio de leche, información socioeconómica, anemia, estado de hierro, rendimiento escolar y desarrollo intelectual, estado de nutrición, composición corporal y morbilidad. • La cobertura para los grupos de intervención estuvieron por arriba del 90% con excepción de la muestra de sangre (la de menor participación), de 87.1%. • El 40.5% del total de los niños estudiados informaron ser beneficiarios del programa LICONSA. Cerca de la mitad de los niños de los grupos de intervención completa (49.8%) y cruzada (58.3%) continuaban siendo beneficiarios del programa. Cabe resaltar que el 8.6% de los niños del grupo control pasaron también a ser beneficiarios. • El 53.8% del grupo de intervención completa tomaron leche Liconsa,el de intervención cruzada 58.3% y sólo el 18.1% del grupo de control. Para la conformación de los índices de agrupamiento en componentes principales se consideró el piso firme en viviendas, techo de mampostería, cerca de la mitad tenia agua entubada domiciliaria. Entre las posesiones, hogares contaban con televisión y refrigerador, vehículo automotor y computadora entre otros. Las diferencias entre los grupos eran mínimas. Estas características corresponden a comunidades semiurbanas o urbanas marginales con un nivel de pobreza que podría calificarse como pobreza de recursos. Aproximadamente el 78% de las familias de los tres grupos refirieron gastar entre cuatrocientos y mil pesos mensuales en alimentación,estos datos sugieren que: • Los grupos de comparación tenían las mismas posibilidades o dificultades para cubrir los costos de la adquisición de la leche distribuida por el programa de Liconsa. Valoración técnica: La metodología aplicada en la evaluación se considera pertinente, dados los objetivos de la misma. Si bien existen otras metodologías para la medición de impactos que implican requerimientos de información muy diversas así como grados de robustez distintos, los modelos especificados son 17 utilizados ampliamente en la literatura, por ejemplo, para la construcción del índice de nivel socioeconómico se aplicaron “Componentes Principales” que es una metodología estadística de síntesis de información o reducción de la dimensión. Esta técnica es utilizada por el CONEVAL para la formación del índice de rezago social y CONAPO para calcular el índice de marginación. Asimismo, se estimó unaregresión lineal y logística para estudiar adecuadamente las asociaciones de las variables de estudio. Los errores de cada regresión se comportaron como lo menciona la teoría, con distribución normal y varianza cero. Principales resultados: • El grupo de intervención completa tiene prevalencia de anemia de 5.6% respecto a su total;el de intervención cruzada, de 15.5%, y el grupo que no consume leche, de 9.7%. • No existen diferencias significativas en el rendimiento escolar entre los tres grupos de intervención, tanto para primaria como para prescolar. Sin embargo, para los evaluadores, esto puede ser consecuencia de conveniencias académico administrativas que ocurren en el sistema escolar. • La prevalencia de talla baja fue de 4.3% en global. El grupo de intervención completa 3.8%;grupo de intervención cruzada 3.6%, y para el grupo de control 5.9%. • La prevalencia de enfermedades diarreicas por grupo de tratamiento fue mayor en los niños del grupo de control (11.3%), en comparación con los niños del grupo de intervención completa y cruzada (6.4% y 5.7%, respectivamente). • En los grupos de intervención completa y cruzada, se observó una asociación positiva entre obesidad y altos consumos de leche. Principales fortalezas: • La fortificación de la leche Liconsa mostró su efectividad para el desarrollo mental y futuro desempeño de los niños, así como, los efectos que tiene su consumo en las edades críticas de 12-24 meses sobre la adquisición de habilidades y competencias que comienzan a ser evidentes durante los inicios de la etapa escolar. • Los niños que consumieron la leche fortificada tuvieron una menor prevalencia de peso bajo y talla baja (desmedro), la talla alcanzada a 5 años de intervención fue de al menos 2 cm mayor en los niños que no han consumido leche fortificada. • En conclusión, se puede afirmar que el consumo de leche fortificada ayuda a mejorar el desarrollo intelectual, apoya el crecimiento de los niños y previene y controla la anemia. El capital humano ganado no deja duda que la relación costo/beneficio es muy alta. 18 Principales debilidades: • La falta de hierro en la dieta hace más proclive a los niños a la anemia, lo que está asociado con mayor prevalencia de infecciones agudas y menor capacidad para el trabajo físico. Por ello, la ventana de oportunidad para la realización de intervenciones para la prevención, control y tratamiento de la anemia por deficiencia de hierro es en los niños menores de dos años. En edades más tardías sus secuelas son irreversibles. • De no realizarse una intervención temprana, el desarrollo intelectual y cognitivo de los niños se encontraría seriamente dañado, para lo cual no existe una solución de futuro. Recomendaciones: • Diferentes expertos sugieren que el consumo de leche fortificada puede producir obesidad, para ello se sugiere la realización de un estudio que descarte o corrobore que debido a que el programa de Liconsa mejora su disponibilidad a nivel de los hogares, se asocia con un incremento en las tasas de sobrepeso y obesidad. 3.1.4 Evaluación Específica de Desempeño (EED 2009-2010) Esta evaluación fue realizada por el Centro de Estudios Económicos y Sociales en Salud, Hospital Infantil de México Federico Gómez, coordinada por Evelyne Eugenia Rodríguez Ortega. La evaluación tiene como objetivo la valoración general de los indicadores, evolución de la cobertura y seguimiento a los aspectos de mejora. Se mencionan 3 indicadores de resultados, los cuales se encuentran por arriba de la meta. Los indicadores son: • Margen de ahorro de las familias beneficiarias del programa. • Número de hogares beneficiarios • Número de beneficiarios del Programa Se midieron 3 indicadores de servicio y gestión y todos superaron la meta programada. Ellos son: • • • Costo por litro distribuido Porcentaje de cumplimiento del Programa de distribución Costo de fabricación por litro producido del Programa de Abasto Social de Leche Asimismo, se reportan los principales resultados de evaluación de impacto de 2004 y 2009, y los resultados de evaluación de consistencia y resultados 2005 y 2007, evaluación externa 2006, Reglas de Operación 2009, y MIR2009 y 2010. En caso de querer profundizar en los resultados de algunas de las presentes evaluaciones ver la ficha correspondiente. 19 3.1.5 Evaluación Específica de Desempeño (EED 2010-2011) Esta evaluación fue realizada por el Centro de Estudios Económicos y Sociales en Salud, Hospital Infantil de México Federico Gómez, coordinada por Evelyne Eugenia Rodríguez Ortega. La evaluación tiene como objetivo la valoración general de los indicadores, evolución de la cobertura y seguimiento a los aspectos de mejora. Se reporta los indicadores de resultados: • Porcentaje de cobertura de los hogares objetivo, se encuentra por arriba de la meta pero por abajo deloreportado el año anterior • Margen de ahorro de las familias beneficiarias delprograma superó la meta del programa. Indicadores de servicio y gestión: Se mencionan 5 indicadores de gestión, de los cuales 3 superaron la meta planteada y que son: • Promedio de litros distribuidos por beneficiario al mes • Porcentaje de beneficiarios niñas y niños menores de 5 años • Costo integrado por litro de leche De los indicadores de gestión y que no rebasaron la meta son: • Número de beneficiarios atendidos del Programa de Abasto Social • Promedio de litros distribuidos por beneficiario al mes Además, se reportan los principales resultados de evaluación de impacto de 2004 y 2006.Se reportan resultados de evaluación de consistencia y resultados 2007, Reglas de Operación 2010 y 2011, si se requiere profundizar es necesario ver las fichas correspondientes. 3.1.6 Evaluación de Consistencia y Resultados (ECR 2011-2012) La evaluación se desarrolló mediante un trabajo de gabinete, la correspondiente Matriz de Marco Lógico. El análisis de la información se complementó con entrevistas a funcionarios de Liconsa S.A. de C.V. Los temas que se abordan fueron: análisis de la justificación de la creación y diseño del Programa; análisis de la población potencial y objetivo; análisis de la matriz de indicadores para resultados; análisis de posibles complementariedades y coincidencias con otros programas federales; instrumentos de planeación; orientación hacia resultados y esquemas o procesos de evaluación; generación de información; análisis de los procesos establecidos en las Reglas de Operación (ROP) o normatividad aplicable; mejora y simplificación regulatoria; organización y gestión; eficiencia y economía operativa del Programa; sistematización de la información; cumplimiento y avance en los indicadores de gestión y productos; rendición de cuentas y transparencia; percepción de la población atendida, y medición de resultados. Además, el evaluador incluyó una propuesta preliminar de MIR.La evaluación fue realizada por la Universidad Intercultural del Estado de México (UIEM), siendo el coordinador técnico el Dr. Ívico Ahumada Lobo. 20 Diseño: • El problema está correcta y claramente identificado y definido; existe un diagnóstico actualizado y adecuado. • El Fin y Propósito están claramente definidos y corresponden con el problema. • El programa está alineado a los objetivos del PND, pero el logro del propósito en los términos de su indicador no aporta al cumplimiento de las metas del programa sectorial. • Las lógicas vertical y horizontal de la MIR son claras y válidas.Todos los indicadores son claros, relevantes, económicos, adecuados y monitoreables. • La población potencial está claramente definida: los hogares en condición de pobreza patrimonial con al menos un miembro que pertenece a uno de los siguientes grupos de población: niños y niñas entre 0 y 12 años, mujeres de 13 a 15 años, mujeres embarazadas y en período de lactancia, mujeres posmenopáusicas, adultos de 60 años o mayores, así como personas con discapacidad y enfermos crónicos. • La población objetivo está claramente definida: hogares en condiciones de pobreza patrimonial que tienen al menos un miembro en los grupos que focaliza el PASLy que no son beneficiarios del Programa de Desarrollo Humano Oportunidades. Planeación Estratégica: • Tiene planeación institucionalizada, la cual va de acuerdo al periodo de gobierno, por lo que no tiene de largo plazo. • Tiene indicadores y metas anuales, así como estrategias, políticas y programas de trabajo detallados. Cobertura y focalización: • EL PASL no tiene una estrategia de cobertura para atender a su población objetivo, tiene un Sistema automatizado que utiliza un algoritmo de selección para procesar la información del RI (Registro de Información) para identificar a su población objetivo. Año Población potencial (personas) 2008 ND 2009 ND 2010 32,793,492 2011 ND Fuente: ECR (2011-2012) Población objetivo (hogares) 6,201,059 6,001,382 10,249,819 3,008,700 Población atendida (hogares) 6,030,725 6,070,933 6,047,405 3,056,366 21 Operación: • El Programa tiene procedimientos adecuados para seleccionar a los beneficiarios. Además, cumple con los criterios de elegibilidad de las ROP. Percepción de la población objetivo: • El PASL cuenta con instrumentos para medir la satisfacción de los beneficiarios.La percepción sobre el Programa es de un alto grado de satisfacción. Resultados: • El Programa documenta sus resultados a nivel de Propósito con los indicadores de la MIR. • Reporta información a nivel de Propósito y Fin. • Cuenta con indicadores propios, para los cuales recolecta regularmente información veraz y oportuna. • Se reportan los principales resultados de evaluaciones de impacto 2004, 2006 y 2009; y de resultados 2006 realizada por el ITESM. Para consultar los resultados de dichas evaluaciones ver las fichas correspondientes. 3.2 Análisis de evaluaciones de resultados o de impacto en el ámbito nacional o internacional de programas similares 3.2.1 Desayunos en escuelas primarias rurales, Jamaica. Nombre de la evaluación: Nutrition and education: a randomized trial of the effects of breakfast in rural primary school children. 1998. Objetivos de la evaluación: • Determinar el efecto de proveer un desayuno escolar sobre la asistencia escolar, estado nutricional y logro educativo en aritmética, ortografía y lectura; si el estado nutricional o la edad del niño modifican el efecto; y si el niño gastó menos dinero en la escuela si se le daba el desayuno. • Cabe señalar que en este caso no se trata de la evaluación de un programa, sino de un experimento desarrollado en escuelas rurales de Jamaica para valorar los posibles efectos de los desayunos escolares en la nutrición y la educación. Características similares o tipos de apoyo que entrega el programa: • Se otorgó un desayuno a niños de entre segundo y quinto grado de primaria que incluye un sándwich de queso o un pan y leche saborizada equivalentes a entre 576 y 703 kilocalorías y 27.1 gramos de proteína. Al grupo de control se le dio un cuarto naranja que sirvió como placebo ya que provee 18 kilocalorías y 0.4 gramos de proteína. • Todas las comidas se sirvieron antes de empezar clases en todos los días de escuela en cuartos o en momentos distintos. 22 Metodología utilizada: El experimento se llevó acabo en una zona rural montañosa de Jamaica poblada con familias pobres y cuyas escuelas estaban lejanas de sus hogares. Se escogieron 16 escuelas primarias y se pesó y se registró la edad de todos los niños de segundo a quinto de primaria. Se seleccionaron 407 niños cuyo peso para la edad estaba igual o por debajo de una desviación estándar de las Estadísticas del Centro Nacional de Salud. Se escogió un grupo de control compuesto por 407 niños con un rango de edad de más-menos 3 meses, del mismo sexo, escuela y clase, pero con pesos para la edad igual o mayor a una desviación estándar de la misma referencia. Se excluyeron niños que estaban repitiendo el año escolar. Se utilizó la Prueba de Amplio Rango de Logro Educativo que evalúa lectura, ortografía y aritmética. La asistencia escolar se recopiló a partir de los registros escolares. Se les administró un cuestionario para conocer su estatus socioeconómico (calidad de la vivienda y número de posesiones), la cantidad de dinero que llevaban a la escuela y el tipo de desayuno que habían comido en casa el día de la entrevista. Se les tomó medidas de su peso y altura para la edad tomando como referencia el puntaje Z de las Estadísticas del Centro Nacional de Salud, así como el índice de masa corporal. Se les asignó de manera aleatoria a grupos con desayuno y de control. Estas medidas se volvieron a tomar al final del año escolar. Se utilizaron regresiones múltiples controlando por las mediciones iniciales de los niños, edad, sexo y grupo nutricional. El puntaje de la casa se introdujo paso a paso para controlar por posibles efectos del estado socioeconómico, así como efectos de interacción entre la edad, sexo, estado nutricional y estado socioeconómico y el grupo de tratamiento. Se hicieron regresiones separadas para la estatura, peso e índice de masa corporal. Resultados: El estado nutricio original del niño no estuvo relacionado al cambio en su logro académico. Hubo un beneficio significativo del desayuno en el logro educativo en aritmética y la interacción entre tratamiento y grado escolar señala que este beneficio se observó principalmente en los niños más jóvenes (segundo y tercer año). No hubo resultados significativos en lectura y ortografía. Los niños que recibieron el desayuno tuvieron más asistencia a la escuela de manera significativa. Adicionalmente, también mejoraron de manera significativa su peso, estatura e índice de masa corporal. Los niños en el grupo de tratamiento incrementaron 0.25 centímetros en promedio su estatura en los ocho meses que duró el periodo de intervención, equivalente a un mes de crecimiento para niños en este rango de edad considerando la estadística de referencia. Puede afirmarse que de continuar el tratamiento durante toda la primaria crecerían 2.4 centímetros adicionales, lo que equivale a un tercio de la desviación estándar de la estatura para la edad de un niño de 11 años. El incremento en peso fue equivalente a entre dos y tres meses en relación a la población de referencia. No hubo efectos significativos del desayuno en la cantidad de dinero que el niño lleva a la escuela (transferencia de ingreso de la familia). Tampoco hubo una diferencia significativa en la historia de desayunos antes y después del programa. 23 Valoración técnica: En general, el diseño metodológico de dobles diferencias es adecuado y consistente con el tipo de evaluación realizada debido a que se contó con una línea base de las características socioeconómicas de los hogares de los niños y de sus medidas antropométricas, así como con un grupo de control. La validez interna del estudio es alta debido al diseño experimental aleatorio y a que se minimizaron las diferencias entre el grupo de tratamiento y de control al conseguir que los niños pertenecieran a la misma escuela, y tuvieran medidas antropométricas basales, edad, sexo, grupo nutricional y características socioeconómicas similares. Si bien el cuarto de naranja que se le otorgó al grupo de control no es un placebo verdadero, la diferencia en el aporte nutricional respecto al sándwich y al vaso de leche es lo suficientemente amplia como para poder adjudicar los resultados al efecto del tratamiento. Una ventaja adicional del estudio es que duró un año, por lo que, de acuerdo a sus propios autores, se trató de la primera prueba aleatoria y controlada de largo plazo para medir el efecto de los desayunos escolares.Sin embargo, dado que no se utilizó un muestreo probabilístico, la validez externa del estudio es baja, es decir, no es posible generalizar sus resultados a una población. Conclusiones y recomendaciones del evaluador: Los niños que recibieron los desayunos mostraron mejoras pequeñas, pero estadísticamente significativas en la asistencia escolar, así como en su estado nutricional, en comparación a los del grupo de control. Los niños más pequeños (de segundo y tercer grados de primaria) mejoraron sus resultados en aritmética, equivalentes a un 30% del progreso anual promedio. Dado que los niños que asisten a escuelas en mejores condiciones, tienen resultados superiores, es de esperar que este resultado, en conjunción con una mejora en las condiciones de las escuelas, pudiera ser mayor. Adicionalmente, el efecto positivo en los resultados en aritmética pudiera también incrementarse como resultado del incremento en la asistencia escolar. Por otra parte, los niños reportaron que continuaron tomando sus desayunos habituales en casa y trayendo la misma cantidad de dinero, por lo que el desayuno no constituye una transferencia de ingreso. Los autores recomendaron focalizar los apoyos en los niños desnutridos con comidas escolares donde los recursos son tan limitados que no sean suficientes para alimentar a todos los niños. Los niños más jóvenes son los que se benefician más de las comidas escolares y también pueden ser considerados como población objetivo.Asimismo, recomiendan la adopción de intervenciones integrales que incluyan componentes en salud, nutrición y educación para que se maximicen los retornos a la inversión. Observaciones generales y recomendaciones del metaevaluador: 24 El estudio de Jamaica destaca el papel positivo que pueden jugar los desayunos escolares y en general los apoyos alimentarios en especie, en el desarrollo físico y cognitivo de los niños rurales de escasos ingresos, a pesar de no estar fortificados. Esto se ha confirmado en una amplia serie de estudios internacionales. Por lo tanto, se esperaría que los efectos fueran mayores y más diversos si los desayunos incluyeran alimentos fortificados con micronutrientes, como la leche Liconsa. Así, se recomienda a Liconsa y SEDESOL explorar las posibles sinergias, complementariedades y ventajas de especialización entre el conjunto de programas alimentarios federales, así como entre estos y los de desayunos escolares a cargo de los gobiernos estatales, particularmente en las localidades rurales con alta concentración de desnutrición y pobreza. Vínculo: http://ajcn.nutrition.org/content/6n8/4/873.full.pdf 3.2.2 Vaso de Leche, Perú Nombre de la Evaluación: Programas de transferencia de alimentos: Análisis empírico de la efectividad del programa de Vaso de Leche, Perú. 2004 Objetivo de la evaluación: Realizar una evaluación del impacto del programa sobre el nivel nutricional de sus beneficiarios, así como la focalización del gasto. Características similares o tipos de apoyo que entrega el programa: • La población objetivo del programa son, en primer lugar, los niños de 0 a 6 años, mujeres embarazadas y madres en periodo de lactancia y posteriormente, niños de entre 7 y 13 años, adultos mayores y personas con tuberculosis. • El producto a distribuir por el programa del Vaso de Leche debe tener al menos 90% de insumos nacionales y puede ser leche en cualquier forma y/o productos lácteos enriquecidos y/o sustitutos lácteos como la quinua, cebada, arroz, soya, etc. La ley que enmarca el funcionamiento del programa del Vaso de Leche señala que los productos a distribuir por el Programa deben ser siempre preparados por los Comités de Madres del Vaso de Leche (CMVL). • Sin embargo, la realidad muestra que la entrega del producto depende de las características locales, ya sea por distancia al centro de entrega del producto (por lo general, local del CMVL) o por falta de infraestructura adecuada, el producto puede ser entregado preparado o sin preparar. Metodología utilizada: 25 Se utilizó como variable dependiente para medir el nivel nutricional el puntaje Z antropométrico que estandariza la medición de la talla para la edad, utilizando como referencia las estadísticas del UnitedStatesNational Center of HealthStatistics. Las variables independientes fueron las características de los niños (sexo, edad y orden de nacimiento), las características de la madre (lengua materna y educación), las características del hogar (hacinamiento, material de la vivienda y activos del hogar), la localización (urbana y rural) y el dominio geográfico. Para evitar sesgos de autoselección, dado el carácter de inscripción voluntaria al programa, se introdujo el monto promedio gastado por distrito en los años de 1995 a 1997 y de 1998 a 2000. El modelo se estimó con base en las variables instrumentales, utilizando como instrumento identificador el porcentaje de la población con al menos una necesidad básica insatisfecha a nivel distrital, a partir de la información del censo de 1993.A la ecuación instrumental se le permitió variar en el tiempo con una dummy aditiva, que capture cambios en el intercepto, y con dummies multiplicativas, que capturen cambios en los parámetros entre periodos. Las bases de datos que se usaron para las estimaciones son de la Encuesta Nacional de Niveles de Vida de los años 1997 y 2000, y únicamente se utilizó la información perteneciente a los niños menores de cinco años. Se incluyeron variables dicotómicas para identificar a las regiones para las cuales la encuesta permite realizar inferencias. Resultados: La mayor parte de beneficiarios pertenecen a las categorías de pobre y pobre extremo (40% y 33% respectivamente), aunque existe un considerable porcentaje de beneficiarios cuyo nivel de gasto no se encuentra bajo la línea de bienestar, y que constituyen una filtración en la población objetivo del Programa (27%). El grupo de adultos mayores de 70 años tiene un 43% de beneficiarios no pobres que constituyen el grupo de población objetivo con mayor nivel de filtración. El grupo objetivo prioritario (menores de 6 años), por su parte, muestra un 19% de filtraciones. El programa Vaso de Leche no tiene un efecto positivo y significativo en el nivel nutricional de los menores de edad. Incluso, en los lugares donde las transferencias per cápita del programa son más altas, se observan peores resultados nutricionales que los que se esperarían considerando los demás predictores. Presenta serios problemas de filtraciones ya que atiende a un gran número de población que no pertenece a las categorías de pobre o pobre extremo. Además, el programa presenta problemas de subcobertura, lo que implica que el gasto del Estado orientado a los más pobres no llega efectivamente a ellos. Valoración técnica: En general el diseño metodológico es adecuado y consistente con el tipo de evaluación realizada, aunque subsisten algunos inconvenientes. En particular, la validez interna de la evaluación es baja ya que no se descartan hipótesis alternativas que pudieran explicar los resultados obtenidos. Por ejemplo, la ausencia de un efecto positivo y significativo en el nivel nutricional de los menores de edad puede deberse también a que existen variables no observadas que expliquen el resultado 26 nutricional (enfermedades, vacunas, nivel nutricional de la madre) y que no pudieron ser incluidas en el modelo debido a que las encuestas utilizadas no las capturaron. Conclusiones y recomendaciones del evaluador: Se recomienda la realización de un estudio más amplio y con el objetivo explícito de evaluar el impacto del programa sobre el nivel nutricional, que complemente los hallazgos realizados hasta este momento y que permita a las instancias adecuadas tomar las medidas correctivas que permitan que el gasto del Estado llegue efectivamente a quienes más lo necesiten y que se mejore el nivel nutricional de los niños en situación de pobreza. Observaciones generales y recomendaciones del metaevaluador: El resultado de que el programa VL no demuestra ser efectivo, puede deberse a dos factores básicos: que la dotación que se entrega de leche no es suficiente como para tener efectos, y que la mala focalización del programa genera tanto filtraciones como subcobertura. En el caso del PASL, el primer problema no parece aplicar, pero sí claramente el segundo, por lo que el programa podría obtener ganancias sustanciales en términos de impactos con una mejor focalización de los apoyos, dirigiéndolos hacia las familias con mayor pobreza y riesgo nutricional, así como ampliando su cobertura hacia las regiones escasamente atendidas y localidades rurales. La evaluación de Perú sugiere que el impacto de los programas de leche sobre la desnutrición es menor o nulo cuando existen filtraciones en la cobertura y una focalización inadecuada en términos de pobreza. Esto puede suceder cuando las poblaciones atendidas son mayoritariamente no pobres o pobres moderados en lugar de pobres extremos, pues los últimos son quienes tienen más riegos de padecer desnutrición. Asimismo, derivado de la dificultad para encontrar las causas de la ausencia de efectos positivos y significativos, se recomienda incluir reactivos en las encuestas de seguimiento que permitan descartar hipótesis acerca de otras posibles explicaciones con el fin de incrementar la validez interna de las evaluaciones de impacto del PASL, particularmente en lo que se refiere a vacunas, enfermedades, estado nutricio de la madre, entre otras. Vínculo: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&ved=0CCIQF jAA&url=http%3A%2F%2Feconweb.tamu.edu%2Fccancho%2FFiles%2FResearch%2FCancho%2520 Novella%2520(2004)%2520VL.doc&ei=9l5oUOuoC6nW2gXL34HwAw&usg=AFQjCNFkcT33SnbOIRd 8fbFhUkIf-x03dQ 27 3.3 Agenda de evaluación para el período 2013-2018 En esta sección se propone una agenda de evaluación para el periodo 2013-2018, incorporando una justificación técnica y empírica sobre la importancia que cada ejercicio tendría para el programa, con base en los principales resultados de las evaluaciones en el periodo 2007-2012 y el análisis de la información proporcionada. Se señalan también los periodos de ejecución y el orden en el que se deberán ir implementando cada una de las evaluaciones consideradas. Como referencia general para elaborar la agenda, se tomaron los Lineamientos generales para la evaluación de los programas federales de la Administración Pública Federal, publicados en el Diario Oficial de la Federación (DOF) el 30 de marzo de 2007. El Anexo 3 facilita una visión esquemática de la propuesta. La agenda sugerida empieza con un Diagnóstico y propuestas de atención, a implementarse en el año 2013. Tiene como propósito identificar, definir y especificar de forma clara y rigurosa la problemática focal que se pretende resolver a través del programa, así como analizar, valorar y seleccionar las estrategias y mecanismos de atención que resulten más adecuados. Este estudio deberá cumplir cabalmente con los criterios y requisitos mínimos establecidos en los Lineamientos generales para la elaboración de diagnósticos de cuyos resultados se obtienen propuestas de atención de Programas de Desarrollo Social, publicados el 7 de mayo de 2009, e incorporar asimismo las metodologías y mejores prácticas en la materia. Los resultados de este ejercicio pretenden brindar una base sólida de datos, análisis y estrategia para anclar sólidamente el diseño, la operación y los resultados del programa durante la siguiente administración federal, y de manera inmediata informar los cambios que se pretendan hacer durante el primer año de la misma. En 2013, y por su importancia para este programa, es necesario realizar una Evaluación específica de cobertura, comercialización y financiamiento, lacual tiene el propósito abordar la discusión sobre los alcances en la atención que brinda el programa, así como definir la estrategia de cobertura y focalización más acorde a los tipos de población potencial y objetivo que atiende. Asimismo, tiene como objetivo evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, la cobertura efectiva de localidades y poblaciones, los modelos existentes y alternativos de comercialización y entrega de productos, así como los esquemas de financiamiento más adecuados para cumplir los objetivos.Lo anterior, con el propósito de que los hallazgos y recomendaciones puedan retroalimentar la gestión del programa, brindar información y alternativas útiles para la toma decisiones, y para mejorar la cobertura efectiva y llevar los apoyos a quienes más los necesitan. Para el año 2014 se propone una Evaluación de diseño. El ejercicio deberá analizar la justificación de la creación y diseño del programa, especificar su vinculación con la planeación sectorial y nacional, valorar la consistencia entre su diseño y la normatividad aplicable, así como identificar posibles complementariedades y/o coincidencias con otros programas federales. Esta evaluación deberá proveer información y análisis que retroalimente el diseño conceptual y operativo del programa, así como los resultados que se deben esperar del mismo. De forma inmediata, se pretende que sirva para valorar los cambios que se hayan hecho al programa del primer al segundo año de la gestión, y generar recomendaciones para refinarlos hacia el tercer año. 28 Posteriormente, para 2015 y 2016 se recomienda una Evaluación de impacto, para identificar los cambios en la situación de la población objetivo del programa que se reflejan a través de los indicadores de resultados, y que son propiamente atribuibles a su intervención. Conforme a los estándares en la materia, se deberán utilizar metodologías rigurosas y fuentes de información confiables con representatividad nacional; para ello, se propone la combinación de enfoques cuantitativos y cualitativos así como el levamiento de información en campo a través de diversos instrumentos, los cuales sedescriben a mayor detalle en la sección subsecuente. La evaluación de impacto propuesta busca estimar en qué medida el programa está alcanzando sus objetivos y qué condiciones y factores pueden afectan sus logros, de forma tal que el programa pueda consolidar elementos clave de diseño y operación, o en su caso cambiarlos, para mejorar su efectividad. Por sus características y complejidad se recomienda que la evaluación comprenda dos años—entre 18 y 24 meses, para ser más precisos—a efecto de poder realizar mediciones basales y de seguimiento. En el año 2017 se plantea realizar la Evaluación estratégica de desempeño de los programas sociales alimentarios y la Evaluación de procesos. La evaluación estratégica de desempeño se propone con el objetivo de evaluar de forma comparativa los logros e impactos del PAL, PASL, PAR y PDHO en la carencia de acceso a la alimentación, identificando los espacios de sinergia, complementariedad y duplicidades, a afecto de mejorar la articulación de estas iniciativas. Se deberá analizar los objetivos y pertinencia de los programas con el problema que buscan atender. Asimismo y considerando el Sistema de Evaluación de Desempeño (SED), evaluar los principales resultados que permitan emitir retos y recomendaciones de los programas. Respecto a la Evaluación de procesos, se pretende realizar un análisis sistemático de la operación del programa mediante trabajo de campo y de gabinete, con la finalidad de conocer cómo sus procesos—traducidos en sus Componentes, productos o entregables—conducen al logro de los objetivos y metas a nivel de Propósito. Asimismo, se busca detectar los problemas operativos que enfrenta el programa y las buenas prácticas que realiza, de manera que se puedan detectar áreas de oportunidad y emitir las recomendaciones correspondientes. A través de una serie de preguntas específicas que descomponen la operación y la aplicación de técnicas especializadas para el mapeo y análisis de procesos, se pretende valorar el funcionamiento y la organización del programa, permitiendo así conocer los factores que sustentan la implementación y hacer ejercicios comparativos para la medición y la mejora de su gestión en el tiempo. Finalmente, para el año 2018 se propone una Evaluación de consistencia y resultados. Este ejercicio plantea una concatenación lógica de objetivos para analizar los aspectos más importantes del programa, incluyendo la lógica y congruencia de su diseño, los instrumentos de planeación y de orientación hacia resultados, la estrategia de cobertura y los avances presentados, los principales procesos establecidos en las ROP y en la normatividad aplicable, los sistemas de información y sus mecanismos de rendición de cuentas, los instrumentos para medir el grado de satisfacción de los beneficiarios y sus resultados, así como los logros respecto a la atención del 29 problema para el que fue creado. El propósito de esta evaluación es contar con una visión integral y comprensiva de cómo ha sido, qué tan bien ha funcionado y cuáles han sido los logros del programa al cierre de la administración federal, a manera que la siguiente pueda tener una sólida base para tomar decisiones informadas. A continuación se presentan los detalles básicos de cada una de las evaluaciones propuestas, en el año y secuencia en que corresponden. 3.3.1 2013:Diagnóstico y propuestas de atención Objetivo: Fundamentar la permanencia y justificar las eventuales modificaciones sustantivas al programa, a partir de la identificación del problema que se busca resolver así como la caracterización y análisis detallado de los aspectos principales del mismo. Así también plantear posibles alternativas de solución y seleccionar las más apropiada, a efecto de mejorar el diseño, la operación y los resultados del programa. Aspectos a evaluar: • Identificación del problema • Caracterización del problema • Experiencias de atención a la problemática • Propuesta de diseño • Marco de actuación de la propuesta • Proyecciones financieras y metas para la solución propuesta • Previsiones para integración y operación de padrones Justificación técnica y/o empírica: Las deficiencias e inconsistencias importantes reportadas en el Diagnóstico 2010, particularmente en torno de: • • • • La identificación de la línea de bienestar mínimo la identificación, caracterización y magnitud del problema focal la definición y cuantificación de la población potencial y objetivo la definición de la cobertura y focalización Periodo de ejecución • 3-4 meses 30 3.3.2 2013:Específica de cobertura, comercialización y financiamiento Objetivo: Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, la cobertura efectiva de localidades y poblaciones, los modelos existentes y alternativos de comercialización y entrega de productos, así como los esquemas de financiamiento más adecuados para cumplir los objetivos. Lo anterior, con el propósito de que los hallazgos y recomendaciones puedan retroalimentar la gestión del programa, brindar información y alternativas útiles para la toma decisiones, y para mejorar la cobertura efectiva y llevar los apoyos a quienes más los necesitan. Aspectos a evaluar: • La cobertura efectiva, considerando tanto a las localidades potenciales y objetivos que no han sido atendidas, como aquellas que siendo atendidas no presentan el problema focal. • Los modelos existentes y alternativos para la comercialización y entrega de productos, y particularmente la capacidad para abastecer de bienes alimentos básicos a las localidades menores de 2,500 habitantes que requieren los apoyos. • La pertinencia y factibilidad de ampliar el subsidio a los bienes alimentarios que más consume la población en carencia alimentaria, así como a aquellos de alto contenido nutricional que pudieran apoyar a los grupos de población en riesgo nutricional. • Los esquemas de financiamiento del programa adecuados para cumplir con los objetivos, en una combinación sostenible de recursos fiscales y autogenerados. Justificación técnica y/o empírica: • Las inconsistencias en la cobertura a nivel de localidad (errores de focalización tipo I y II, exclusión e inclusión), que afectan negativamente el aprovechamiento pleno de los beneficios y el logro de los objetivos del programa. • Las implicaciones operativas y financieras de disminuir la subcobertura y la sobrecobertura. • La necesidad de diseñar una estrategia de salida de las localidades atendidas en las que ya no se presenta el problema focal, así como de contar una estrategia de expansión hacia localidades no atendidas que sufren desabasto y tienen una alta concentración de población en riesgo nutricional, carencia de acceso a alimentos e indígena. Periodo de ejecución. • 4 a 6 meses 31 3.3.3 2014:Evaluación de Diseño Objetivo: Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, el diseño del programa. Lo anterior, con el fin de que las recomendaciones puedan retroalimentar el diseño y mejorar la gestión del programa. Los objetivos específicos: • Analizar el diseño del programa. • Identificar y analizar su vinculación con la planeación sectorial y nacional. • Analizar la consistencia entre su diseño y la normatividad aplicable. • Identificar posibles complementariedades y/o coincidencias con otros programas. Aspectos a evaluar: • Características del programa • Contribución a los objetivos estratégicos; • Matriz de indicadores, • Población potencial y objetivo; • Vinculación con las ROP, y • Coincidencias, complementariedades y duplicidades con otros programas. Periodo de ejecución. • 3-4 meses 3.3.4 2015-2016: Evaluación de impacto Objetivo: • Se propone realizar levantamiento horizontal entre los programas alimentarios. El objetivo de la evaluación es identificar con metodologías rigurosas la contribución, atribuible a la ejecución del programa, en la reducción de la carencia por acceso a la alimentación de la población objetivo, así como otras variables asociadas (ahorro, consumo, alimentación y nutrición). • Levantar información para realizar una evaluación horizontal que permita medir la contribución de cada programa alimentario del Sector Desarrollo Social, y comparar los resultados entre ellos. • Aspectos a evaluar:Prevalencia de desnutrición en niños (baja talla para la edad), mujeres embarazadas y en lactancia y adultos mayores en localidades con presencia relevante del programa en comparación con localidades con poca presencia del programa. • Diferencia en los resultados de las pruebas estandarizadas de desarrollo cognitivo y lingüístico en los niños de familias beneficiarias, con respecto a la misma variable en los niños de familias no beneficiarias. 32 • • • • Diferencia en el consumo promedio de leche por persona de las familias beneficiarias con ingresos menores a la línea de bienestar, con respecto de la misma variable para las familias no beneficiarias. Diferencia en el puntaje Z de niños menores de 12 años de familias beneficiarias, con respecto de la misma variable para los niños de las familias no beneficiarias. Diferencia en la prevalencia de anemia de mujeres embarazadas o en lactancia de familias beneficiarias, con respecto a la misma variable de las mujeres de las familias no beneficiarias. Efectos sobre el consumo, gasto y ahorro en leche (hogares) Justificación técnica y/o empírica. • En más de 6 años no se han realizado evaluaciones de impacto rigurosas al programa, por lo que se desconoce en qué medida cumple con los objetivos establecidos. • El levantamiento de una sola encuesta para los programas alimentarios, permitiría medir la contribución marginal de cada programa en la reducción de la desnutrición, en lugar de que cada programa levante su propia encuesta. Periodo de ejecución: • 18-24 meses 3.3.5 2017: Evaluación estratégica de desempeño de los programas sociales alimentarios El objetivo es evaluar de forma comparativa los logros e impactos del PAL, PASL, PAR y PDHO en la carencia de acceso a la alimentación, identificando los espacios de sinergia, complementariedad y duplicidades, a afecto de mejorar la articulación de estas iniciativas Aspectos a evaluar: • La respuesta gubernamental para atender los principales problemas asociados a la carencia por acceso de alimentos de la población mexicana. • La política y programas federales con objetivos de alimentación o nutrición en sus beneficiarios. • El vínculo multifactorial entre la disponibilidad, acceso, consumo y aprovechamiento de los alimentos en ambientes sanos. • Los impactos marginales de cada programa en la reducción de la carencia de acceso a la alimentación, considerando variables de consumo, alimentación y nutrición. Justificación técnica y/o empírica: • Contar con elementos de análisis sobre los alcances y contribución de cada uno de los programas de corte alimentario en el logro de los objetivos de la política social, de alimentación y nutrición. 33 Periodo de ejecución: • 6 meses 3.3.6 2017: Evaluación de procesos Objetivo: Realizar un análisis sistemático, mediante trabajo de campo y de gabinete, sobre la operación del programa con la finalidad de conocer cómo se conducen al logro de la meta a nivel propósito, así como detectar los problemas operativos a los que se enfrenta y las buenas prácticas que se realizan, de manera que se puedan emitir recomendaciones que permitan mejorar su gestión. Aspectos a evaluar: • Operación del programa. • Identificación y clasificación de los procesos. • Análisis y medición de atributos de los procesos. • Análisis global de la operación del programa. Justificación técnica y/o empírica: • Evaluar si la operación del programa favorece el logro de la metas a nivel de Propósito, ya que, de existir un diseño adecuado, la correcta operación del programa permitiría el logro de las metas de cada Componente establecido en la matriz de indicadores del programa y, por lo tanto, el logro del Propósito. Periodo de ejecución: • 6 a 9 meses 3.3.7 2018: Evaluación de consistencia y resultados Objetivo: Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, la fortaleza del programa en cuanto a su diseño, planeación estratégica, cobertura y focalización, operación, percepción de la población objetivo y resultados. Lo anterior, con el fin de que las recomendaciones de este análisis puedan retroalimentar el diseño y la gestión del programa, para incidir positivamente en su desempeño. Aspectos a evaluar: • Diseño • Planeación Estratégica • Cobertura y Focalización • Operación • Percepción de la Población Objetivo 34 • Resultados. Justificación técnica y/o empírica: • Se considera pertinente analizar el programa de forma global y sistemática, al menos una vez durante cada administración, a efecto de valorar la consistencia y los resultados del mismo. Periodo de ejecución: • 6 meses 3.4 Análisis de viabilidad y pertinencia para las evaluaciones de impacto 3.4.1 Pertinencia de la evaluación En primer lugar, algunos de los efectos e impactos deseados del programa son observables sólo en el largo plazo, y únicamente algunos de ellos han sido cuantificados en evaluaciones previas. Además, las condiciones propias y de contexto de los hogares beneficiarios y sus miembros pueden cambiar a lo largo del tiempo; de hecho, se espera que pase por el progreso secular del país, sus regiones y las localidades, al margen del programa. Ello implica que algunos de los cambios puedan incidir sobre la significancia y magnitud de los efectos del programa sobre diversas variables de interés. Otra razón para impulsar nuevas evaluaciones de impacto radica en los cambios en la referencia para la población objetivo, que tan sólo en esta administración pasó de la pobreza extrema a la pobreza alimentaria a lalínea de bienestar mínimo, de acuerdo con las diversas metodologías aplicables para la medición de la pobreza. Aunque el programa siempre ha tenido su propio vector de referencia—el sistema de puntaje—es evidente que las condiciones de elegibilidad pueden tener efectos sobre la composición de los grupos beneficiarios y entonces sobre los eventuales efectos e impactos promedio a estimar. Por otro lado, los cambios en el resumen narrativo y los indicadores de la matriz de indicadores de resultados de 2007 a la fecha, pueden requerir estimaciones que no se hayan realizado anteriormente. Es decir, es posible que ante cambios en los niveles de Fin y Propósito, las evaluaciones de impacto previas no reflejen de forma precisa las nuevas variables de interés. Finalmente, a lo largo de los años se ha dejado de lado la estimación de los efectos e impactos del programa en relación con otras iniciativas federales y estatales para la formación de capacidades básicas en los hogares pobres. Esto representa un área de oportunidad muy relevante, tanto en el sentido de poder estimar los resultados de la actuación conjunta de los programas, como de comparar el costo-efectividad y las ventajas y desventajas de cada uno de ellos—o al menos de los principales—en ciertos nichos de población y variables de interés. 35 3.4.2 Aspectos a evaluar Por principio, se recomienda que los aspectos a evaluar de forma prioritaria sean aquellos que correspondan con los indicadores a nivel de Fin y Propósito de la matriz de indicadores, para cada uno de los componentes del programa. De esta forma, se alinea de forma más adecuada el sistema de monitoreo con el sistema de evaluación, dando consistencia y estabilidad a las mediciones de desempeño. Por otro lado, se puede tener información sobre el impacto diferenciado que cada componente aporta al Fin del programa y con ello tomar decisiones de política pública adecuadas dirigidas a mejorar los resultados deseados. En el caso del PASL, se recomienda que las evaluaciones de efectos e impactos se lleven a cabo para los principales tipos de beneficiariosen los que se pueden medir los cambios esperados con procedimientos de bajo costo. En este caso, se trata de las niñas y niños de 6 meses a 12 años de edad, las mujeres en periodo de gestación o lactancia, y los adultos de 60 y más años, para los aspectos asociados a la nutrición, y de los hogares, para lo asociado a aspectos económicos. La medición se debe hacer con una combinación adecuada de métodos y fuentes de información, y se sugiere considerar algunos de los siguientes aspectos, que no son exhaustivos sino sólo indicativos: • • • • • Desarrollo cognitivo (niños menores de 5 años) Aprendizaje, con pruebas estandarizadas (niños en edad escolar) Puntaje Z2 de crecimiento (niños menores de 5 años, en diferentes rangos de edad) Prevalencia de anemia (niños de hasta 12 años, mujeres y gestación o lactancia, y adultos mayores) Efectos sobre el consumo, gasto y ahorro en leche (hogares) Existen diversas pruebas, variables y construcciones metodológicas que se pueden utilizar para medir los indicadores antes sugeridos. Como ejemplo de buenas prácticas y como referencias específicas para valorar las diversas alternativas para medir efectos e impactos sobre consumo, alimentación y nutrición, se sugiere revisar las siguientes evaluaciones: a) Evaluación del Modelo Integral de Apoyo a la Nutrición y el Neurodesarrollo PALOportunidades 2011. INCMNSZ. 2 Las mediciones antropométricas se usan para evaluar el estado nutricional de individuos y grupos de población, y sirven como referencia evaluar el impacto de programas de nutrición y ayuda alimentaria. Las mediciones antropométricas que comúnmente se utilizan en este tipo de programas son índices referidas a la talla, el peso y la edad, particularmente la talla para la edad (T/E), peso para la edad (P/E), peso para la talla (P/T) y el índice de masa corporal para la edad (IMC/E). Cada índice se registra como un puntaje Z— referido en desviaciones estándar—que describe en qué medida y en qué dirección se desvía la medición antropométrica de un individuo del promedio de su sexo establecido por la OMS en los Patrones de Crecimiento Infantil de 2006. El puntaje Z de un individuo se pueden utilizar para clasificar su grado de desnutrición y también se puede calcular una media de puntaje Z para determinar el estado nutricional de un grupo de población. Con base en lo anterior, se recomienda que durante la etapa de diseño de la evaluación del programa se decida cuáles de la cuatro índice se utilizarán, o si aplicará el conjunto completo. Como mínimo, recomienda usar el índice de talla para la edad, que es una referencia muy común de desnutrición y resulta muy fácil de medir en campo. 36 b) Análisis del impacto de la fortificación de la leche Liconsa con hierro, zinc y otros micronutrimentos sobre el rendimiento escolar de la población de beneficiarios del Programa de Abasto Social de Leche a cargo de LICONSA 2009. INSP. c) Estudio de evaluación de la calidad y el impacto de la harina de maíz enriquecida y fortificada marca Sedesol-Diconsa 2008. INCMNSZ. 3.4.3 Metodologías y fuentes de información Para evaluar un programa con el alcance del PASL, es necesario combinar métodos, técnicas y fuentes de información diversas. Independientemente de las aproximaciones particulares que se tomen—esto es, cuantitativas y cualitativas, encuestas y entrevistas, levantamientos propios y datos censales, etc.—la evaluación deberá partir de un diseño de investigación robusto y adecuado para las variables de interés y los grupos de aplicación, que preferentemente hayan sido probadas en estudios similares. La estrategia metodológica propuesta para la evaluación de impacto considera tres elementos clave: la mezcla de métodos cualitativos y cuantitativos, un enfoque cuasi-experimental a lo largo del estudio, y la utilización de estudios de caso. Las características y relevancia de estos elementos de diseño se desarrollan a continuación. Etapas de una evaluación de impacto Las mejores prácticas en materia de evaluaciones de impacto (Véase Baker 2000) indican que los pasos para realizar este tipo de proyectos se pueden agrupar en dos rubros: la preparación de la evaluación y su implementación. A continuación se presentan los aspectos de cada rubro: Preparación de la evaluación: 1. 2. 3. 4. 5. 6. Tomar la decisión sobre la realización del evaluación Definir los objetivos de la evaluación Examinar la disponibilidad de datos Diseñar la evaluación Formar el equipo de evaluación Levantar información de campo (en caso de ser necesario) a. Diseñar y seleccionar la muestra b. Elaborar instrumentos para recopilar datos c. Capacitar al personal de trabajo en campo d. Elaborar pruebas piloto e. Recopilar la información f. Administrar datos 37 Implementación de la evaluación: 7. Recopilar datos (ex-post) a la implementación con una periodicidad alineada a las variables de análisis 8. Analizar los datos 9. Redactar el reporte de resultados y analizarlos con las autoridades y otros interesados 10. Incorporar los resultados en el diseño del evaluación Cuantitativo y cualitativo Debido a la cantidad, diversidad y complejidad de los aspectos a estudiar del programa, es necesario establecer una estrategia metodológica compuesta, con procedimientos de acopio de información y técnicas analíticas tanto cuantitativas como cualitativas adecuadas para cada uno de estos aspectos. El propósito es asegurar que se obtengan y examinen apropiadamente todos los datos requeridos, para lograr resultados válidos, generar conclusiones sólidas y proponer recomendaciones útiles. Así, el diseño se debe ubicar dentro las evaluaciones de métodos mixtos (mixed-methodsevaluation), vertiente que consideramos más rica y adecuada para evaluar al PASL.3 Este tipo de investigación evaluativa permite integrar no sólo aquellos datos y observaciones cuantitativas comúnmente utilizadas en la evaluación de programas y proyectos sociales para medir fenómenos relevantes “objetivos” y “regulares”, estimando asimismo su variabilidad y grado de generalización, sino también para otros datos y observaciones cualitativas que reflejan percepciones subjetivas y formas de interacción de los actores, que permiten entender mejor y describir en profundidad dichos fenómenos.4 En la evaluación del PASL, los análisis a partir de datos y técnicas tanto cualitativas como cuantitativas se deben diseñar con rigor lógico y metodológico buscando maximizar su validez para hacer inferencias descriptivas y causales en torno de los fenómenos, variables y condiciones que se busca apreciar y entender. La vertiente cuantitativa resulta más adecuada para observaciones relativamente abundantes o con “números grandes”, que normalmente se derivan de censos o encuestas. Por otro lado, la vertiente cualitativa se utiliza para observaciones relativamente escasas o con “números pequeños”, con datos obtenidos a partir de grupos de enfoque, entrevistas y observación en sitio, entre otras técnicas. Estas vertientes se encuentran en los extremos opuestos del compromiso—en el sentido de trade-off—que cualquier investigación con 3 Para un mayor desarrollo sobre las características de las evaluaciones de métodos mixtos, véase:Frechtling, J. (2002) The 2002 UserFriendlyHandbookfor Project EvaluationPreparedunderContractEn el caso mexicano, entre los ejemplos más relevantes de este acercamiento metodológico son las evaluaciones recientes del Programa de Desarrollo Humano Oportunidades, que combinan diversas metodologías y técnicas tanto cuantitativas como cualitativas. 4 Para un mayor desarrollo de sobre las características básicas, utilización y complementación de las metodologías cuantitativas y cualitativas, véase:Córtes, F., 2000. ‘Algunos aspectos de la controversia entre investigación cualitativa einvestigación cuantitativa’, Argumentos: estudios críticos de la sociedad, no. 36, Agosto; y King, G., Keohane, R. y Verba, S., 1994. Designing Social Inquiry. Scientific Inference in Qualitative Research, Princeton University Press, Princeton. 38 tiempo y recursos limitados se ve obligada a hacer en cuanto a amplitud y profundidad de las observaciones. Se recomienda que la vertiente cuantitativa se oriente principalmente hacia la medición y valoración de las intervenciones y sus efectos, mientras que la cualitativa se utilice para describir los contextos en que dichas intervenciones y efectos ocurren, así como para entender los significados que los diversos actores involucrados les otorgan. Sin pretender simplificar excesivamente sus diferencias, es evidente que la evaluación necesita contar con ambas perspectivas para cumplir con su fin de ser útil para la toma de decisiones y la mejora del programa. Se pretende que las metodologías cuantitativas y cualitativas no sólo se complementen funcionalmente hablando—en el sentido de que lo que no se hiciera o lograra con unas se consiguiera con las otras—sino que además se integraran—en el sentido de que lo que se logre o consiga con unas sirva para informar, extender y refinar lo obtenido a través de las otras. Dicha complementación e integración se debe hacer de manera formal y explícita tanto en los estudios de caso como en los modelos estadísticos. Enfoque cuasi-experimental Con el enfoque cuasi-experimental no sólo se estiman y aprecian los valores de las variables de interés asociados a la intervención del programa, sino también de la comparación con los valores que se hubieran dado en ausencia de la misma—esto es, el escenario contrafactual. La intención es identificar y estimar mejor los cambios y las diferencias que se pueden atribuir propiamente a la intervención del programa, y no confundirlos con aquellos que se pueden derivar de otros factores internos o externos a la problemáticas social, y que son ajenos al programa. Si bien los enfoques cuasi-experimentales y los contrafactuales más en general son comúnmente utilizados para estimaciones de impacto con base en técnicas cuantitativas y bases de datos grandes, en términos metodológicos son igualmente aplicables a los análisis con base en técnicas cualitativas, que normalmente emplean datos obtenidos a partir de grupos de enfoque, entrevistas y observación en sitio. Esto es porque la lógica inferencial del diseño es la que proporciona su validez interna, y no el uso de una técnica de recolección y tratamiento de datos en particular; así, dicha lógica simplemente debe ser explicada y formalizada de manera clara y precisa. En cuanto a la vertiente cuantitativa, se recomienda evaluar el impacto del programa en la nutrición de los niños, las mujeres embarazadas y en lactancia y los adultos mayores, no con un modelo clínico con consumo en condiciones controladas, sino con uno que capture los beneficios tal como las familias los obtienen y aprovechan en condiciones normales—esto es, una evaluación centrada en el programa y no en la leche fortificada como tal. El modelo sería de doble diferencia, con grupos de tratamiento y de comparación; levantamientos basales y de seguimiento a través de encuestas propias con representatividad nacional; y estratos metropolitanos, urbanos y rurales, leche líquida y en polvo, e ingresos por debajo de la línea de bienestar y la de bienestar mínimo. 39 Dada la naturaleza del programa y los criterios de elegibilidad para incorporar a los beneficiarios de acuerdo a los grupos definidos en las ROP, en la construcción de escenarios contrafactuales se recomienda el uso de métodos de aparejamiento, tales como el del vecino más cercano, que se basa en la inclusión sobre un radio establecido en la puntuación por propensión, o técnicas de núcleos como el método Kernel, que en ambos casos pueden generar comparaciones pertinentes. En lo que toca a los estudios de caso, que implican sustancial trabajo cualitativo, estos pueden diseñarse con un enfoque comparativo—incluyendo casos de tratamiento y casos de comparación—procurando que la lógica y procedimientos de selección de los casos replique en lo posible lo que se haría en la vertiente cuantitativa de la evaluación. Estudios de caso Los estudios de caso aplican a efecto de obtener una visión más comprensiva y detallada del impacto del programa, así como de las condiciones que afectan su desempeño. Así, se sugiere que la unidad de análisis básica sean los hogares, buscando captar entonces cómo es que el enfoque de intervención—venta de leche a precio por debajo del mercado—así como del componente— leche fortificada con micronutrientes—se convierten en consumos, efectos e impactos, y qué factores—culturales, económicos, familiares, etc.—inciden sobre ellos. La cuestión no es evidente ni irrelevante, puesto que los precios y las cualidades de los productos alimentarios se pueden interpretar y asimilar de diversas maneras, y entonces pueden influenciar de distintas maneras las conductas económicas y las redistribuciones al seno de la familia. Adicionalmente, los estudios de caso y las técnicas cualitativas en general, pueden arrojar luz sobre la forma y medida en que algunos aspectos críticos para el programa—como un eventual aumento de precio o la ampliación de la cobertura hacia las zonas rurales—pueden o influir sobre sus efectos e impactos esperados. Los hogares a estudiar se pueden seleccionar considerando una variabilidad de condiciones relevantes, tales como las regiones, el tamaño de las localidades, el perfil de ingreso y la estructura de las familias, entre otros. Respecto de las herramientas a utilizar, se puedenconsiderar los grupos de enfoque, las entrevistas semi-estructuradas y profundas, así como la observación en sitio. En todos los estudios se deben utilizar las mismas herramientas para recolección y análisis de datos, a efecto de asegurar la mayor comparabilidad y aprovechamiento de la información posible, esto con algunas variaciones según lo ameriten las condiciones particulares y de acuerdo a la metodología sugerida. El enfoque de los estudios puede ser etnográfico, explicativo, comparativo y contrafactual, para poder hacer inferencias descriptivas y causales relacionadas con los efectos e impactos del programa. 3.4.4 Viabilidad técnica y financiera La viabilidad técnica radica en la capacidad de las instituciones—en este caso, Liconsa y Sedesol— paragenerar información y procesarla adecuadamente con propósitos evaluativos. En este sentido, la experiencia en evaluación de programas sociales en México y en otros países, hacen patente 40 que se puede alcanzar este objetivo, desde el punto de vista estrictamente técnico. Existen en el país una variedad de instituciones educativas y de investigación así como empresas consultoras especializadas que pueden llevar a cabo este tipo de trabajos. Además, hay ejemplos de buenas prácticas para el levantamiento y procesamiento de información cuantitativa y cualitativa para la evaluación de programas, buena parte de ellas en la propia Sedesol. De igual forma, se han aplicado exitosamente modelos de evaluación robustos e indicadores apropiados para medir estas mismas variables de interés u otras similares. Es importante insistir que cualquier evaluación de impacto se beneficia si con anterioridad se verifican, actualizan, complementan y sistematizan las bases de datos disponibles. En el caso del PASL, se sugiere revisar y mejorar la información disponible sobre los padrones de beneficiarios, la identificación y cuantificación población objetivo así como las localidades atendidas y no atendidas, a efecto de contar con los insumos necesarios para conformar los grupos de tratamiento y comparación, antes de realizar la evaluación de impacto. Sobre la viabilidad financiera del ejercicio propuesto, cabe mencionar que el monto de recursos públicos que se destina anualmente al programa y lo que ya se ha gastado en los últimos años, no solamente justifica sino que además permite realizar una evaluación rigurosa para medir sus resultados. Este tipo de evaluaciones son especialmente valiosas en la medida que permiten saber si el programa está efectivamente cumpliendo con sus objetivos y contribuyendo a resolver el problema focal que justifica su propia existencia. Además, permiten identificar fortalezas y debilidades que brindan información útil para modificar el diseño, la cobertura y la operación del programa, a manera de incrementar sus logros. En el caso del PASL así como en el de la mayoría de las iniciativas sociales federales, el costo relativo de las evaluaciones de impacto—aun de aquellas que pueden implicar levantamientos de información razonablemente amplios—suele ser muy pequeño en comparación con el presupuesto global de los programas. Así pues, para el programa el costo de una evaluación como la que se propone podría serbajo en comparación con el costo derivado de las deficiencias de diseño, cobertura, focalización y operación que suelen tener las iniciativas sociales en México y en otros países, respecto de las cuales no hay razón lógica para que el PASL esté exento. Finalmente, también existe un costo intrínseco en no conocer los resultados del programa, pues los tomadores de decisiones no tienen una forma verificable, objetiva y transparente de saber si es conveniente ampliar la cobertura, incrementar el monto de los apoyos, o invertir más en alguna vertiente y recortar otra, entre otras decisiones con implicaciones financieras importantes, cuyos eventuales costos directos y de oportunidad seguramente exceden por mucho los de realizar una evaluación de impacto rigurosa.De tal forma, la evaluación de impacto propuesta se puede considerar ex ante como técnica y financieramente viable, y resulta por demás conveniente. En todo caso lo correcto es buscar diseños apropiados y asegurar recursos suficientes para el ejercicio cumpla cabalmente su propósito. En complemento a lo anterior, cabe mencionar que el PASL tuvo un presupuesto en 2012 cercano a los 10 mil millones de pesos, considerando ingresos propios y asignaciones federales. La provisión presupuestal así como la importancia del objetivo general del programa, crean 41 lanecesidad y justifican la conveniencia de conocer enquémedida estos recursos públicos tienen efectos en las condiciones que dieron origen al programa. Como ya fue mencionado, aunque las evaluaciones de impacto pueden demandar recursos importantes, en ningún caso son comparables con los recursos que se podrían consumir por operar un programa que no presenta efectos y puede ser sujeto de un rediseño para estar alineado con la planeación de la política social. Por el contrario, estos recursos destinados a elaborar evaluaciones de impacto pueden dar indicios para fortalecer dicha política. Como una estimación preliminar, el equipo metaevaluador considera que el rango de costo para una evaluación de impacto del PASL podría ir de 9 a 12millones de pesos que, comparados con el presupuesto de los dos ejercicios fiscales que comprendería dicha evaluación, representa aproximadamente 0.045% a 0.060% del total. 3.5 Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos elementos que, a juicio del metaevaluador, son relevantes, en términos de su importancia e implicaciones para el desempeño del programa, así como vigentes, en el sentido que la situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma esquemática se presenta en el Anexo 4. Tema de evaluación Diseño Aspecto identificado Referencia Recomendación Fortalezas y oportunidades El Programa cuenta con un diagnóstico que reconoce y ECRmuestra la gravedad del 2011/2012problema de desnutrición que PASL-UIMbusca revertir, y documenta su pp.61 impacto en el desarrollo físico y cognitivo de los niños. El Programa demuestra, con evidencias de estudios nacionales e internacionales, que la leche fortificada es eficaz para reducir la desnutrición, especialmente en la población beneficiaria con mayor pobreza. RECOMENDACIÓN DEL METAEVALUADOR Extender la cobertura del ECR-2007Programa y el subsidio en el PASL-BK-pp.9 precio de la leche Liconsa y la y 113; ECRharina Mi Masa en las tiendas 2011/2012Diconsahacia la población que PASL-UIMsufre los mayores niveles de pp.61 desnutrición, particularmente en localidades de alta y muy alta marginación, indígenas,y en 42 pobreza multidimensional extrema, y salir gradualmente de las localidades actualmente atendidas que no presentan marginación media y baja. Cabe señalar que las poblaciones antes señaladas pueden estar siendo atendidas por el Programa Oportunidades. Sin embargo, como se sugiere en la ECR-20112012 (pp. 61), sería conveniente permitir que el PASL atienda a los beneficiarios de Oportunidades, ya que ambos programas pueden ser complementarios, en el sentido de que Oportunidades proporcionaría una transferencia monetaria que podría ser utilizada para comprar la leche fortificada del PASL. El PASL ha implementado y dado seguimiento a las recomendaciones de las evaluaciones externas para mejorar su desempeño. En su mayor parte, las acciones realizadas por el Programa, a partir de los ASM,han alcanzado los resultados esperados: la elaboración y Planeaciónestr presentación a los operadores atégica de documentos de planeación estratégica; mejora de la focalización y reducción del error de inclusión; reducción del tiempo de respuesta a los solicitantes del apoyo; mayor presencia del Programa en comunidades rurales, a través de tiendas Diconsa, y eliminación de duplicidades con Oportunidades y el PAL. ECR-2007PASL-BKpp.113; ECR2011/2012PASL-UIMpp.62 43 Cobertura y focalización Operación Los indicadores de gestión y resultados permiten dar seguimiento a los procesos y medir los avances respecto de las metas anuales. La información que recolecta el PASLpara monitorear su desempeño es oportuna, dado que se depura cada mes; está disponible para consulta; es confiable, ya que esta validada por cada área responsable; está sistematizada en medios informáticos, y es pertinente, ya que permite medir los indicadores de Actividades, Componentes y Propósito. El PASL cuenta con herramientas informáticas eficientes y de vanguardia para la selección, incorporación y baja de beneficiarios, comoel sistema georeferenciado de lecherías,el sistema de puntaje con modelos estadísticos robustos para valorar la elegibilidad de los solicitantes, y el sistema de información, administración y actualizacióndel padrón de beneficiarios. El Programa tiene sus procesos clave estandarizados, sistematizados y documentados, lo cual contribuye a lograr una operación eficaz, eficiente y oportuna. El PASL cuenta con un programa de control de calidad y laboratorios certificados que garantizan el cumplimiento de los ECR-2007PASL-BKpp.113; ECR2011/2012PASL-UIM-pp62 ECR-2007PASL-BKpp.115-116; ECR2011/2012PASL-UIMpp.62 ECR2011/2012PASL-UIMpp.63 ECR-2007PASL-BKpp.119-120 44 estándares de fortificación y calidad de la leche producida. El programa tiene una importante capacidad instalada para la producción y distribución de leche líquida y en polvo, con cobertura nacional. Existe información sistematizada y actualizada que permite conocer quiénes reciben los apoyos del Programa (padrón de beneficiarios). Los beneficiarios encuestados por las evaluaciones externas anteriores manifiestan un alto Percepción de grado de satisfacción respecto los de la calidad y el precio de la Beneficiarios leche fortificada, así como sobre los requisitos y la atención del Programa. La evaluación del INSP que hizo seguimiento de niños beneficiarios y no beneficiarios de 2003 a 2008 documenta impactos positivos del consumo de leche fortificada sobre el desarrollo intelectual, el crecimiento de Resultados los niños y la prevención y control de la anemia. Los resultados señalan que el capital humano ganado no deja duda de que la relación costo/beneficio de la leche fortificada Liconsa es muy alta. La evaluación del ITESM-CCMde 2006 estimó impactos en el Propósito del Programa. En comparación con las familias que no son beneficiarias de LICONSA, se encontró que los EED-2008PASL-INSPpp.22 ECR-2007PASL-BKpp.111-112 ECR-2007PASL-BKpp.120; EED2008-PASLINSP-pp.22 AIFLL-2008PASL-INSPpp.69 ECR2011/2012PASL-UIMpp.64 45 hogares beneficiarios consumieron 2.33 litros de leche a la semana, y generaron un ahorro anual por diferencial de precios con la leche comercial de 2,228 pesos. La fortificación de la leche Liconsa mostró su efectividad para el desarrollo mental y futuro desempeño de los niños, así como en los efectos que tiene su consumo en las Evaluación de EI-2008-PASLedades críticas de 12-24 impacto INSP-pp.63 meses, sobre la adquisición de habilidades y competencias que comienzan a ser evidentes durante los inicios de la etapa escolar. A cinco años de la aplicación del Programa, los niños que consumieron la leche fortificada tuvieron una menor prevalencia de peso bajo y EI-2008-PASLtalla baja (desmedro), su talla INSP-pp.64 alcanzada fue, en promedio, 2 cm mayor que la de los niños que no la han consumido. En conclusión, se puede afirmar que el consumo de leche fortificada ayuda a mejorar el desarrollo intelectual, apoya el EI-2008-PASLcrecimiento de los niños, y INSP-pp.70 previene y controla la anemia. El capital humano ganado no deja duda de que la relación costo/beneficio es muy alta. Debilidades y amenazas 46 La definición de la población objetivo no se concentra en los grupos en que la evidencia empírica ha demostrado que la leche fortificada tiene mayor impacto. El Programa no cuenta con evidencia de que su tipo de intervención es más eficaz que otras alternativas para disminuir la probabilidad de desnutrición en la población en condiciones de pobreza patrimonial. ECR2011/2012PASL-UIMpp.61 ECR2011/2012PASL-UIMpp.61 Si se desea un enfoque centrado en los grupos con mayor impacto por el consumo de la leche fortificada, se sugiere definir a la población objetivo como niños y niñas de entre 0 y 5 años, y mujeres embarazadas y en periodo de lactancia residentes de hogares en condiciones de pobreza patrimonial. Analizar alternativas para reducir la probabilidad de desnutrición. 1) Transformar al PASL en un programa sin déficit financiero, con acceso limitado sólo por la ubicación y horarios de puntos de venta,2) promover con subsidios e impuestos el consumo de alimentos nutritivos,3) otorgar transferencias para adquirir leche fortificada en un sector privado competitivo, y4) brindar información nutricional adecuada y fortalecer los programas de combate a la pobreza y de desarrollo económico. NOTA DEL META EVALUADOR Ninguna de las recomendaciones del evaluador, arriba citadas, tienen que ver con lo señalado como debilidad y/o amenaza, más bien son alternativas para mejorar la eficiencia del Programa. Asimismo, consideramos que sí se cuenta con evidencia de que su intervención con leche fortificada disminuye la desnutrición.Otra problemática son las vías a través de las cuales se hace llegar el apoyo a la población. 47 El logro del Propósito, en los términos de su indicador, no aporta al cumplimiento de ninguna de las metas del programa sectorial. En particular, no contribuye a la meta del Objetivo 1, “Reducir a 23% la prevalencia de desnutrición crónica infantil (niños menores de 5 años) de la población en condiciones de pobreza extrema”, porque sus ROPexcluyen a la población cubierta por el Programa Desarrollo Humano Oportunidades, el cual atiende a la población en extrema pobreza. El Propósito establecido en la MIR, “los hogares beneficiarios en pobreza patrimonial acceden al consumo de leche fortificada, de calidad, a bajo precio”, no especifica la población objetivo del Programa en términos de los grupos vulnerables a la desnutrición, ni la acota a los grupos donde la leche fortificada puede ser más benéfica. ECR2011/2012PASL-UIMpp.61 ECR2011/2012PASL-UIMpp.61 En la metodología del Marco Lógico con la que se construye la matriz de Indicadores, los supuestos son riesgos o amenazas externas al ECR-2007programa, que tienen una PASL-BKprobabilidad razonable de pp.112-113 ocurrir y que no dependen de la gerencia del mismo. En la Matriz de Indicadores del PASLse consideran dos supuestos críticos: Incorporar, en el nuevo Programa Sectorial, metas que correspondan al Propósito del PASL. Permitir que el PASL atienda a los beneficiarios de Oportunidades, dado que ambos programas pueden ser complementarios, en el sentido de que Oportunidades proporcionaría una transferencia monetaria que podría ser utilizada para comprar la leche del PASL. El evaluador sugirió que el Propósito del PASL fuera: “Los niños menores de cinco años y las mujeres embarazadas y en periodo de lactancia que viven en hogares en condición de pobreza patrimonial tienen baja probabilidad de desnutrición”. NOTA DEL META EVALUADOR Aplicar las definiciones señaladas en las reflexiones del metaevaluador punto 3.6 Se recomienda prever recursos financieros para enfrentar la contingencia de incrementos de los precios de compra de la leche, así como de la pérdida de competitividad del peso frente a las monedas de los países proveedores, que impactan en los costos de producción y afectan la sustentabilidad financiera del Programa,en cuanto se requiera mantener 48 -Las variaciones del precio internacional de la leche y el tipo de cambio. -Garantizar la operación continua del Programa depende de las negociaciones con el Sindicato Nacional de Trabajadores de la Industria Láctea, Alimenticia, Similares y Conexos de la República Mexicana. Planeación Estratégica La existencia de diferentes líneas de pobreza entre los programas alimentarios, como Oportunidades y Apoyo Alimentario, permite la coexistencia de programas con objetivos similares que también entregan suplementos con leche y micro nutrimentos en una misma localidad. EED-2010PASLECESSHIMpp.15 Los indicadores correspondientes al objetivo relacionado con el Fin del Programa Estratégico 2011 “cumplimiento de la producción de leche fortificada” y “porcentaje del cumplimiento del contenido de proteínas en la leche fortificada Liconsa” no corresponden al Fin establecido en la MIR “prevalencia de desnutrición ECR2011/2012PASL-UIMpp.62 precios de venta por debajo del costo. Priorizar el precio de compra de la leche al origen (nacional y/o internacional) y a las cuotas de adquisición del producto. Se recomienda que en las negociaciones de Liconsa con el Sindicato, se tomen en consideración, tanto las condiciones salariales, como las condiciones para el desempeño de los trabajadores sindicalizados. Asimismo, capacitar y establecer mecanismos de control y seguimiento al desempeño de los promotores sociales. Se sugiere que el programa use la misma línea de bienestar y el mismo sistema de puntajes para la focalización usados por Oportunidades y por Apoyo Alimentario. Así también, analizar la conveniencia de realizar un diagnóstico global que evalúe la pertinencia de los diferentes programas alimentarios y de transferencias de ingreso, así como la poblaciónobjetivo. Reformular los indicadores a nivel de Fin de los documentos de planeación para hacerlos congruentes con los establecidos en la MIR. 49 en niños menores de cinco años” ni pueden considerarse indicadores a este nivel. ECR2011/2012El Programa no posee PASL-UIMplaneación estratégica a largo pp.62, EEDplazo. 2008-PASLINSP-pp.23 El PASL no capta información sobre el estado nutricional de sus beneficiarios, lo que dificulta conocer la contribución del Programa a la disminución de la prevalencia de desnutrición en niños menores de cinco años. Cobertura y Focalización El programa no cuenta con una estrategia de cobertura de mediano y largo plazo. El Programa cuenta con herramientas de focalización; no obstante, las evaluaciones externas anteriores muestran errores de inclusión. Elaborar un documento de planeación estratégica que incluya acciones para el mediano y largo plazo, considerando las metas establecidas en la MIRpara el Propósito y el Fin. Recolectar información sobre la situación nutricional de los beneficiarios del Programa. NOTA DEL META EVALUADOR Ante la imposibilidad de dar “seguimiento” a los beneficiarios, es necesario continuar con la ECR-2011medición de impacto. Se sugiere 2012-PASLhacer mediciones periódicas, UIM-pp.62 pero parte del mismo programa, con el fin de que estén perfectamente focalizadas,para no estar a expensas de los resultados de la Encuesta Nacional de Salud y Nutrición, ENSANUT. El PASL no cuenta con una estrategia de cobertura a mediano y largo plazo, la cual debe establecerse en el marco de ECR-2007una planeación estratégica PASL-BKsectorial que distribuya pp.60 competencias y ECRresponsabilidades entre los 2011/2012programas dirigidos a la PASL-UIMreducción de la desnutrición. pp.62 Para ello, se requiere volver operativos los objetivos y metas del Programa Sectorial de Desarrollo Social ECR-2007Se recomienda que, en PASL-BKcoordinación con la Secretaría de pp.116, EED- Desarrollo Social, el INEGI y el 2008-PASLInstituto Nacional de Salud INSP-pp.23 Pública, se identifiquen con 50 El Programa no cuenta con ECR-2007elementos para focalizar con PASL-BKcriterios nutricionales. pp.117 mayor precisión los errores de inclusión. Evaluar y cuantificar en campo el tamaño y las causasdel error de inclusión, entre las que se encuentran las siguientes: Los hogares se incorporaron con otros criterios de selección. Los hogares cambiaron su situación socioeconómica durante su permanencia en el Programa. Se falseó información para ingresar al Programa. A partir de los resultados del estudio, implementar acciones a corto y mediano plazo para corregir los errores de inclusión identificados y cuantificados en el dicho estudio. Para ello, establecer un programa de trabajo con metas y plazos específicos que considere, entre otras acciones: -Aplicar el estudio socioeconómico a los hogares que tienen mayor antigüedad en el padrón. -Aplicar el estudio socioeconómico de manera aleatoria a los hogares beneficiarios. -Realizar visitas a una muestra de hogares beneficiarios para verificar los datos del “Registro de Información” y dar de baja del Padrón del PASL a los beneficiarios que no cumplen con los criterios de elegibilidad. Se recomienda realizar un estudio sobre la viabilidad de medir peso y talla de los niños y niñas menores de 13 años que se incorporen al Padrón de 51 El programa opera primordialmente en áreas EED-2008urbanas, por lo que tiene una PASL-INSPmenor cobertura en pp.23 localidades rurales del sureste del país. Operación La operación del PASLrequiere que limiten la ampliación de su cobertura en zonas rurales ECR-2007con condiciones de acceso e PASL-BKinfraestructura, con relación a pp.120 la instalación de nuevas lecherías. No existe un análisis que indique que la reducción del error de inclusión con la implementación de mecanismos de verificación adicionales del procedimiento de solicitud, registro y trámite de solicitudes sería menos costosa y efectiva que otras alternativas. No se ha valorado la opción de permitir a toda la población el acceso al Programa, Beneficiaros del PASL con el propósito de incorporar criterios nutricionales en la focalización del Programa. Dicho estudio deberá: -Estimar el costo y el tiempo necesarios para implementar los cambios que requiera el Programa para medir peso y talla. -Proponer un ejercicio piloto, en una muestra de niños (as) beneficiarios menores de 13 años. Revisión del padrón para aumentar la cobertura en estados con mayores prevalencias de desnutrición infantil, como Chiapas, Oaxaca, Guerrero y Yucatán. Se recomienda definir, en primer término, si le compete al PASLatender las localidades rurales en las que no se cuenta con las condiciones requeridas para la apertura de lecherías; en segundo término, si le corresponde atenderlas, deberá ampliar la coordinación con otros programas para lograr dicho propósito. ECR2011/2012PASL-UIMpp.63 Analizar la opción de un sistema de desincentivos para los hogares que no son población objetivo, con mecanismos de autoselección como el monto del subsidio, la ubicación de los puntos de venta y los horarios de atención. ECR2011/2012PASL-UIM- Se recomienda valorar, con un análisis costo-beneficio, la alternativa de eliminar los 52 estableciendo desincentivos pp.63 para la población no objetivo. No es posible comparar la evolución del grado de satisfacción de los beneficiarios, dado que, de un Percepción de ECR-2011año a otro, no se mantienen los 2012-PASLlas mismas metodologías e Beneficiarios UIM-pp.63 instrumentos de captación de la información sobre la percepción de los beneficiarios. Resultados Distintos instrumentos, evaluaciones externas, encuestas nacionales ENIGH ECR-2007yENSANUT muestran errores PASL-BKde inclusión; sin embargo, su pp.122 magnitud no ha sido cuantificada. Aunque se cuenta con la línea de base para 2006, todavía no se ha reportado la medición del avance en el indicador de Fin “prevalencia de desnutrición, en niños menores de 5 años (talla para la edad)”.La información para su cálculo estará disponible en 2012. En el período 2002-2006, la cobertura en los menores de 13 años disminuyó de 27 a 23% entre los hogares objetivo, (ITESM-CCM, 2006), aunque no se especifica la evolución en los niños procesos de solicitud de apoyos, selección de beneficiarios y administración del padrón, y complementarestableciendo un precio de la leche que no implique un déficit para Liconsa. NOTA DE LA EVALUACIÓN Y META EVALUADOR Asegurar que las futuras encuestas de satisfacción sean comparables con la desarrollada por la Universidad Iberoamericana en 2010. El evaluador considera que la magnitud del error de inclusión no ha sido rigurosamente establecida. Se recomienda que, en coordinación con la Secretaría de Desarrollo Social, el INEGIy el Instituto Nacional de Salud Pública, se identifiquen con mayor precisión los errores de inclusión. ECR2011/2012PASL-UIMpp.64 Realizar una evaluación de impacto en 2012 y asegurar que se estime el impacto del Liconsa en el indicador de Fin. ECR2011/2012PASL-UIMpp.64 Implementar acciones para aumentar la cobertura entre los niños menores de 13 años y, en particular, entre los menores de cinco años. Además, se sugiere estimar anualmente datos sobre cobertura de manera más 53 Impacto menores de cinco años, que es la población donde se han documentado los mayores beneficios. Además, no se cuenta con estimaciones más recientes sobre la evolución de la cobertura por grupos. La falta de hierro en la dieta hace más proclives a los niños a la anemia, lo que está asociado con mayor prevalencia de infecciones agudas y menor capacidad para el trabajo físico entre otros. El desarrollo intelectual y cognitivo de los niños se encontraría seriamente dañado, y no existe una solución de futuro para ellos. desagregada. Realizar intervenciones para la prevención, control y tratamiento de la anemia por EI-2008-PASL- deficiencia de hierro en los niños INSP-pp.69 menores de dos años. En edades más tardías sus secuelas son irreversibles. EI-2008-PASL- Debe realizarse una intervención INSP—pp.69 a temprana edad de los niños. Diferentes expertos sugieren que el consumo de leche fortificada puede producir obesidad, para ello se sugiere la realización de un estudio que descarte o EI-2008-PASLcorrobore que debido a que el INSP-pp.66 programa de Liconsa mejora su disponibilidad a nivel de los hogares, se asocia con un incremento en las tasas de sobrepeso y obesidad. BK: Beta Korosi Consultoría ECESSHIM: Centro de Estudios Económicos y Sociales en Salud, Hospital Infantil de México Federico Gómez ECR: Evaluación de consistencia y resultados EED: Evaluación específica de desempeño EI: Evaluación de impacto INSP: Instituto Nacional de Salud Pública UIM: Universidad Intercultural del Estado de México 54 3.6 Análisis de la contribución de los programas alimentarios a la reducción de la carencia de acceso a la alimentación En este apartado se analiza si los bienes y servicios otorgados por los programas a cargo de las dependencias y entidades del Sector de Desarrollo Social que tienen componentes alimentarios (PDHO, PAL, PAR y PASL), contribuyen a reducir la carencia en el acceso a la alimentación, tomando como referencia los elementos del indicador considerado en la metodología para la medición de la pobreza en México.5 3.6.1 Aspectos conceptuales y de diseño programático La carencia por acceso a la alimentación se entiende como “la existencia de limitaciones significativas en el ejercicio del derecho a disfrutar del acceso físico y económico a una alimentación adecuada y a los medios para obtenerla” (CONEVAL, 2011). De esta manera, la carencia se encuentra asociada a los conceptos de estabilidad, suficiencia y variedad de los alimentos; entonces, se entiende asociada a algún grado de inseguridad alimentaria. La inseguridad alimentaria es el concepto opuesto al de seguridad alimentaria, es decir, la situación en la cual todas las personas tienen en todo momento acceso físico y económico a suficientes alimentos inocuos y nutritivos para satisfacer sus necesidades alimenticias y sus preferencias en cuanto a los alimentos, a fin de llevar una vida activa y sana” (FAO, 2009).6Así, desde una perspectiva conceptual, se considera en situación de carencia por acceso a la alimentación a los hogares que presentan un grado de inseguridad alimentaria moderado o severo. Una vez que se tiene claridad conceptual en torno a la carencia de acceso a la alimentación, la metodología de Coneval se aboca al problema de la medición, para lo cual considera específicamente de las experiencias de hambre en los hogares. Esta aproximación se compone de una escala a partir de diversas preguntas aplicadas en los hogares, por medio de la cual se capta la percepción tanto de preocupación como de problemas con la cantidad o calidad de la dieta en el hogar durante un periodo de referencia. El constructo teórico detrás de las preguntas de la escala supone que un choque negativo—como la pérdida de ingreso—produce preocupación en los integrantes de hogar, seguida de una reducción en la calidad de la dieta, una disminución de contenido calórico en los alimentos de los adultos y luego en niños, hasta llegar al hambre, definida como dejar de comer un día en el periodo de referencia de la escala. Formalmente, el diseño de los programas sociales alimentarios plantea incidir sobre el estado nutricional a través de la mejora del acceso físico o económico a alimentos de los hogares pobres, ya sea a través de apoyos monetarios, en especie o en el precio. La desnutrición7 no es sinónimo 5 Véase: Consejo Nacional de Evaluación de la Política de Desarrollo Social. Metodología para la medición multidimensional de la pobreza en México, México DF. CONEVAL, 2009. 6La inseguridad alimentaria es resultado de una disponibilidad limitada de los hogares o de los individuos a los alimentos, ya sea por un acceso insuficiente o por un uso inadecuado de los mismos. El acceso se refiere a la incapacidad de un hogar y de sus miembros para disponer de suficientes alimentos a través de la compra, la producción propia, el intercambio o la transferencia de terceros (por lo general, ayudas alimentarias o de ingreso). El uso se refiere a la preparación y el consumo adecuado de los alimentos, así como a la capacidad de almacenamiento apropiado de los mismos (Swindale y Bilinsky, 2006; FANTA, 2003). 7La desnutrición ha sido definida como un estado patológico, clasificado en distintos grados de severidad, quemuestra numerosas manifestaciones clínicas y tiene su causa principal en una mala alimentación que, a suvez, provoca la deficiencia de diversos componentes del 55 de carencia por acceso a la alimentación—en los términos de la mala alimentación que, a su vez, provoca la deficiencia de diversos componentes del complejo nutricio en el organismo— frecuentemente es consecuencia de encontrarse en tal situación. En términos de medición, los programas sociales alimentarios usan indicadores relacionados con la desnutrición a nivel Fin o de Propósito de la MIR, basados principalmente en el cálculo de las prevalencias de talla baja, peso bajo o anemia para grupo determinados, principalmente en niños menores de 5 años y mujeres embarazadas y en lactancia. Algunos programas utilizan levantamientos propios como fuente de información para estimar los indicadores, mientras que otros los construyen a partir de la ENSANUT, aunque con algunas limitaciones en términos de muestreo estadístico. Cabe resaltar que, con la información disponible, resulta muy difícil hacer una medición precisa de la posible contribución de los programas a disminuir la carencia por acceso a la alimentación, al menos en los términos en que la mide el Coneval. Esto es porque los programas no recogen datos sobre las experiencias de hambre de los hogares de manera regular ni a través de las evaluaciones, pero también porque la información que sí recoge la ENIGHno necesariamente tiene representatividad estadística como para poder hacer las mediciones de referencia. 3.6.2 Potencial de contribución de cada programa Derivado del análisis conceptual y de la medición de la carencia por acceso a la alimentación, se han identificado cuatro formas básicas en las que los programas pueden contribuir a la disminución de la carencia por acceso a la alimentación: a) mediante transferencia monetaria directa a los hogares, que elevaría su ingreso disponible y derivaría en un incremento en el consumo y gasto en alimentos así como mejoras en la calidad y variedad de los mismos; b) a través de la provisión directa de productos alimentarios básicos de manera gratuita, lo que en principio implicaría un aumento en su consumo; c) mediante un subsidio al precio de los bienes de consumo básico, esperando un aumento de la cantidad demandada al disminuir los costos y cambiar la estructura de precios relativos de los productos básicos; y d) a través de la información, difusión y capacitación en hábitos alimenticios, que derivaría en mejores decisiones y comportamientos de consumo que, a cualquier nivel de ingreso, incrementaría la satisfacción de las necesidades alimenticias. complejo nutricio en el organismo. Esta enfermedadtiene repercusión sobre la constitución físico-química de los tejidos, reduce la capacidad defensiva frente alas agresiones ambientales, disminuye el rendimiento en el trabajo, y acorta la vida (véase CONEVAL, 2010). Para medir los efectos de los programas alimentarios y de nutrición se pueden utilizas diversas referencias, siendo las más comunes las antropométricas— para ver desviaciones en términos de talla y peso—así como las de hemoglobina—para detectar anemia. 56 Así, desde una perspectiva lógica-causal, se puede esperar que los programas alimentarios tengan un efecto positivo sobre el consumo de alimentos y en consecuencia, una disminución en la carencia de acceso a los alimentos. Estos programas parten de supuesto que los bajos ingresos y el insuficiente acceso y disponibilidad de alimentos son factores que inciden sobre la inseguridad alimentaria, y por lo tanto se convierten en determinantes de la carencia. Los bajos ingresos de los hogares se traducen en un menor poder de compra y, por tanto, en menores posibilidades de satisfacer sus requerimientos de alimentos y otras necesidades básicas. Por otro lado, cuando no hay acceso físico o disponibilidad de alimentos, los hogares ven limitada su capacidad de satisfacer sus necesidades alimenticias, independientemente de su nivel de ingreso. A continuación se presenta brevemente un análisis de los efectos principales que se espera tengan los programas alimentarios sobre la carencia de acceso a la alimentación, en consideración tanto de las principales características de los programas como de la conceptualización y forma de medición de la carencia. 3.6.3 Programa de Desarrollo Humano Oportunidades y Programa de Apoyo Alimentario En el caso del PDHO y del PAL, las transferencias monetarias en principio elevan el ingreso disponible y con ello la demanda y el consumo de alimentos, disminuyendo la carencia. Lo anterior supone que, a cualquier nivel de consumo—incluso al nivel autoconsumo absoluto—existe un ingreso mínimo imputable para la sobrevivencia de las familias, de forma tal que las transferencias en efectivo que efectúan los programas influyen directamente en el consumo de alimentos. Al incrementar y estabilizar el consumo, se espera que las experiencias de hambre disminuyan y ellos posibilite cruzar el umbral de la carencia por acceso a los alimentos. La medida en la cual los hogares logren cruzar dicho umbral gracias al apoyo de los programas –esto es, el impacto—es un problema empírico, que depende no sólo del monto de los apoyos promedio de los programas sino también de las condiciones socioeconómicas de los hogares que atiende cada programa. En general, se puede esperar que el PDHO tenga un efecto relevante en el gasto y consumo de alimentos de las familias en pobreza extrema, gracias a la suma de los apoyos monetarios que otorga—que para 2012 suele estar en un rango entre 1,560 y 2,520 pesos por mes por familia, dependiendo del número y nivel escolar de los becarios registrados. Sin embargo, estos efectos no se traducen directamente en una reducción de la carencia, puesto que son mediados por la mejora en la calidad y diversidad de los alimentos y no sólo por el incremento en la cantidad de los mismos—siendo este último el que tendría mayores impactos sobre las experiencias de hambre, que es lo que mide la carencia En cuanto al PAL, los argumentos anteriores aplican de igual forma, pero con dos diferencias básicas que actúan en sentido opuesto. La primera es que el monto promedio de apoyo es sustancialmente menor que el del PDHO, variando entre 510 y 720 pesos por familia por mes dependiendo del número de niños registrados, por lo que los efectos del programa sobre el gasto en alimentos serían en principio menores. La segunda es que, por sus condiciones estructurales asociadas precisamente a no contar con acceso a los servicios de salud o educación, las familias del PAL suelen tener ingresos promedio sustancialmente inferiores a los del PDHO; por lo tanto, en 57 principio estas familias presentarían la carencia en mayor grado, y el efecto del programa sobre la misma tendería a ser mayor que el del PDHO. Adicionalmente, se puede esperar que el PDHO tenga un efecto positivo complementario, aunque seguramente de menor nivel que el asociado al ingreso, a través de la información, difusión y capacitación en hábitos alimenticios que se realiza en los servicios de salud y las visitas preventivas. Estas actividades podrían mejorar las decisiones y comportamientos de consumo de los hogares pobres, e incrementaría la satisfacción de las necesidades alimenticias independientemente o en complemento de lo que se logre a través del ingreso. 3.6.4 Programa de Abasto Social de Leche El potencial del PASL para contribuir a la disminución de la carencia por acceso a la alimentación es prácticamente nulo. En principio, el proveer leche fortificada a menor precio que el de mercado, reduce el gasto en leche y libera recursos para ser utilizados en otros bienes. Sin embargo, considerando que la leche no es una parte fundamental del consumo y el gasto de la población objetivo—las familias con ingresos por debajo de la línea de bienestar—y que la población efectivamente atendida—en su mayoría, en localidades urbanas y por encima de la línea de bienestar mínimo—no presenta la carencia, el programa no debe tener impacto alguno sobre la misma. No obstante, el programa sí tiene un potencial importante para disminuir la desnutrición, y desde una perspectiva más amplia sobre la seguridad alimentaria y una medición más incluyente, podría considerarse alguna posible contribución para disminuir la carencia. En este sentido, el PASL podría potenciar su contribución al ampliar su cobertura en las zonas rurales donde se concentre la población por debajo de la línea de bienestar mínimo, con mayores niveles de desnutrición y de la carencia de alimentos. 3.6.5 Programa de Abasto Rural Si bien el PAR tiene un potencial de contribuir a la disminución de la carencia, debido a que busca llevar productos a las comunidades con problemas de abasto y reducir el costo de la canasta básica alimentaria, su impacto dependerá en buena medida de la cobertura y focalización de las tiendas Diconsa así como de los diferenciales de precio en la canasta básica y sus efectos sobre el consumo. En cuanto a la cobertura y focalización, un número importante de tiendas Diconsa se encuentra en localidades con grado de marginación media o baja—más del 45%--con escasa prevalencia en carencia por acceso a alimentos, mientras que subsiste una proporción importante de localidades objetivo—al menos 22%—que presentan un grado alto de desabasto y que no son atendidas por el programa. En cuanto al margen de ahorro en la canasta básica, en los años recientes ha fluctuado entre 15% y 21%; sin embargo, no se ha evaluado el efecto en el consumo que se deriva de dicho ahorro, tanto de forma directa a través de las compras en las tiendas como de forma indirecta a través del efecto sobre los precios en los mercados locales. De tal forma, si bien el programa tiene 58 potencial para contribuir a la disminución de la carencia alimentaria, no queda claro en qué medida realmente lo hace. Para que el PAR pudiera tener un mayor impacto sobre la carencia por acceso a la alimentación sería necesario mejorar la cobertura y focalización hacia las localidades rurales con niveles altos de desbasto y de la carencia. Convendría también analizar la conveniencia de ampliar el subsidio en los bienes alimentarios que pesan más en la canasta básica y que reflejen los patrones de consumo local. Asimismo, sería provechoso desarrollar e incorporar formas alternativas de distribución y comercialización para poder llegar más lejos, tanto a las localidades objetivo no cubiertas como a otras de tamaño menor a 200 habitantes. Con todo, cabe recordar un aspecto esencial: que el PAR vende sus productos y que Diconsa busca en lo posible recuperar costos para dar viabilidad financiera al programa, lo cual si bien es entendible, limita el impacto del programa en la carencia. Así, es probable que, para la población con mayores niveles de carencia alimentaria y por lo tanto en la pobreza más severa, el apoyo del PAR sea útil pero no resulte suficiente. 3.6.6 Conclusiones Del análisis anterior se puede concluir que, considerando los enfoque conceptuales y de cálculo asociados a la metodología para la medición de la pobreza en México, el PDHO y el PAL son los programas que tienen mayor potencial para contribuir a la disminución de la carencia por acceso a la alimentación, el PAR puede tener un efecto relevante pero limitado, y el PASL no tiene efecto directo, sino solo a través de la nutrición. Sin embargo, esto es lo que se espera de los programas considerando su diseño y operación actual, mismos que pueden modificarse si se quisiera aumentar dicha contribución. En ese caso, el mayor potencial estaría seguramente en el PAL, por el tipo de población que atiende, y el cambio más importante consistiría en incrementar los montos de los apoyos. En una línea similar, el segundo cambio relevante seguramente sería a través del PAR, focalizándolo más hacia las localidades donde se concentra la carencia, buscando disminuir los precios de algunos de los productos básicos que más se consumen en dichas localidades, y procurando formas alternativas de distribución y comercialización para poder llegar más lejos. En cuanto al PDHO y el PASL, no se considera necesario ni conveniente modificarlos, ya que cada uno cumple razonablemente su función, uno de forma directa y otro de forma indirecta. Finalmente, se recomienda a Sedesol valorar la pertinencia de medir la contribución del PDHO, el PAL y el PAR a la disminución de la carencia, utilizando para ello las evaluaciones de impacto que se sugieren en la presente metaevaluación. Como parte de este ejercicio, se recomienda evaluar el impacto tanto de forma individual para cada programa, como de forma conjunta, en los casos en que confluyan dos o tres programas Para ello, se sugiere usar una aproximación ligada a la de Coneval, a partir de las experiencias de hambre de los hogares, pero explorar también otras posibles alternativas que sean consistentes con el concepto de seguridad alimentaria, que está detrás de la carencia. 59 3.7 Reflexiones y recomendaciones complementarias del metaevaluador En esta sección se desarrollan una serie de reflexiones y recomendaciones complementarias del equipo metaevaluador sobre la situación actual del programa, que si bien construyen sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegan a resultados distintos al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas reflexiones y recomendaciones se enfocan principalmente en aspectos asociados al diseño así como a la cobertura y focalización del programa, y son responsabilidad exclusiva del metaevaluador. 3.7.1 Sobre el problema focal y las poblaciones potencial y objetivo Problema focal Por principio, las definiciones del problema focal y de las poblaciones potencial y objetivo de los programas sociales deben hacerse conforme a lo establecido en los Lineamientos generales para la elaboración de diagnósticos de cuyos resultados se obtienen propuestas de atención de Programas de Desarrollo Social, así como en los Lineamientos y criterios generales para la definición, identificación y medición de la pobreza de CONEVAL. Asimismo, la literatura y las buenas prácticas en la materia, detallan las formas en que se pueden desarrollar dichas definiciones (como ejemplo, véase Aldunate y Córdoba 20118. Sin embargo, un análisis riguroso de los diversos elementos de diseño del programa señala cuestiones que, en opinión del equipo metaevaluador, no están resueltas adecuadamente y pueden incidir de forma significativa sobre su efectividad. De inicio, el problema focal así como la población potencial y objetivo no están correctamente identificados y claramente definidos, pues subsisten algunas ambigüedades e inconsistencias importantes que se reflejan en las Reglas de Operación 2012, en el Diagnóstico del PASL 2010 y en la Nota sobre población potencial y población objetivo del PASL 2011.Al revisar las definiciones actuales del problema focal y las poblaciones potencial y objetivo con base en la normatividad y los criterios antes citados, el equipo metaevaluadorencontró que no están correctamente identificados y claramente definidos, pues subsisten algunas ambigüedades e inconsistencias importantes. Conforme al árbol de problemas que aparece en el Diagnóstico, el problema focal del PASL se define como: Problema focal actual: La población en pobreza patrimonial presenta insuficientes niveles de nutrición. 8 ALDUNATE, Eduardo y Julio Córdoba, (2011), “Formulación de programas con la metodología de marco lógico”,Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile. 60 Con base en la idea de que el problema focal debe describir correctamente la situación que justifica la existencia del programa, la situación-problema es ambigua, al menos tal como está especificada, pues no queda claro qué se debe entender por “insuficientes niveles de nutrición” y cómo distinguirlos en todo caso de los niveles “suficientes”, o en su caso de las situaciones de “desnutrición” o “riesgo nutricional”, que son conceptos más específicos y comúnmente aceptados. Cabe mencionar que el diagnóstico hace una elaboración amplia de la situación de la desnutrición en México, de las enfermedades asociadas y de su relación con la pobreza, lo cual hace que el problema esté correctamente analizado y descrito, particularmente en lo que las relaciones lógicas; no obstante, su especificación en el enunciado que identifica el problema focal no es clara, por lo ya mencionado. Al analizar las distintas alternativas para especificar el problema que el programa busca revertir, surge como opción del concepto de “riesgo nutricional”. Este se refiere al conjunto de condiciones que inciden sobre la probabilidad de que una persona esté desnutrida, en contraste con la desnutrición como tal, que se registra como incidencia efectiva del padecimiento. Frecuentemente, los riesgos nutricionales se presentan en medidas de rango, que por definición incluyen a las personas que efectivamente están desnutridas (P igual a 1) así como aquellas cuyas condiciones hacen que tengan una probabilidad moderada o alta de tenerlo (P igual o mayor que un cierto umbral predefinido). Así, las intervenciones para atender este riesgo se consideran como de “soporte nutricional” y no propia o únicamente para disminuir la “desnutrición”. Como alternativa, en vez del “riesgo nutricional” se puede usar el concepto de “desnutrición”, aunque estrictamente hablando considera que el primero es más adecuado que el segundo para el PASL, entre otras cosas porque amplía el alcance del programa. Así, el equipo metaevaluador recomienda redefinir el problema focal, mediante la sustitución del concepto de “insuficientes niveles de nutrición” por otro más adecuado y preciso, centrado en el riesgo nutricional. El riesgo nutricional y las líneas de bienestar y bienestar mínimo En la misma línea, la población potencial es aquella parte de la población que es afectada por el problema, y que por lo tanto requiere de los servicios o bienes que proveerá el programa. Población potencial actual: Hogares con ingreso per cápita inferior al valor de la línea de bienestar económico, y que no son beneficiarios de los programas de Desarrollo Humano Oportunidades o de Apoyo Alimentario, y que cuentan con integrantes que pertenecen a alguno de los siguientes grupos: niños y niñas entre 6 meses y 12 años, mujeres de 13 a 15 años, mujeres embarazadas y en período de lactancia, mujeres de 45 a 59 años, adultos de 60 años o mayores, y personas con discapacidad y enfermos crónicos. En este sentido, sería incorrecto considerar que toda la población bajo la línea de bienestar—o antes, en pobreza patrimonial—presenta insuficientes niveles de nutrición—o alternativamente, de riesgo nutricional o desnutrición—aunque sea cierto que al menos una parte de esta población sí sufre el problema. La razón es que, conforme a los resultados de diversos estudios en la materia, 61 las variables asociadas a los distintos déficits nutricionales dejan de correlacionarse con las condiciones económicas de los hogares más allá de un cierto umbral de ingreso. En particular, los resultados de la ENSANUT 2006 y 2012 así como una amplia serie de estudios del INSP, el INCMNSZ y el HIMFG sugieren que los déficits nutricionales, si bien se presentan a todo lo largo de la escala de ingreso, se concentran fundamentalmente en las familias con mayores niveles de pobreza, las localidades rurales menores a 2,500 habitantes y las comunidades indígenas, entre los grupos más relevantes. En los niveles de ingreso medio y alto así como en la mayoría de los contextos urbanos, los déficits nutricionalesno surgen por limitaciones en el acceso a los alimentos, sino fundamentalmente por hábitos de consumo inadecuados, y en algunos casos por enfermedades y trastornos asociados a la alimentación—como la bulimia y la anorexia, entre otras. En cambio, en los niveles de ingresos bajos y muy bajos así como en buena parte de los contextos rurales, si bien no están exentos de los mismos problemas, las restricciones presupuestales de las familias y las menores opciones de abasto empiezan a incidir con mayor fuerza en las decisiones de consumo de alimentos, en términos de cantidad, variedad y calidad. De tal forma, en los niveles más bajos de la escala de ingreso, las combinaciones disponibles pueden limitar el acceso adecuado a los alimentos, y con ello generar mayores déficits nutricionales. Por lo anterior, el equipo metaevaluador considera que el grupo de población en la que el PASL tendría mayores efectos e impactos, es elde los hogares con ingresos menores a la línea de bienestar mínimo—que asemeja a la condición de pobreza extrema—en vez de la línea de bienestar—que tiene como referente a la condición de pobreza. Esta consideración es consistente además con los resultados de otros programas alimentarios y nutricionales en México y en otros países, como los que ya se han discutido anteriormente.El ajuste a la baja en la línea de referencia permitiría dirigir los apoyos del programa hacia la población que concentra el problema focal, pero que históricamente ha atendido escasamente, por su alta concentración de lecherías y puntos de venta en las zonas urbanas y en la Zona Metropolitana de la Ciudad de México. Sin embargo, el equipo metaevaluador también considera que, con el diseño actual del programa y la forma actual de operar de Liconsa, no es conveniente bajar la referencia de línea de bienestar a la de bienestar mínimo, el menos en el corto plazo. Esto se debe fundamentalmente a las implicaciones que dicho ajuste tendría en la autosuficiencia de Liconsa, cuyos ingresos dependen en buena medida de la venta de leche líquida a hogares en localidades urbanas, la mayoría de los cuales tiene ingresos por arriba de la línea de bienestar mínimo, aunque como grupo poblacional no concentra el problema del riesgo nutricional. Asimismo, el ajuste implicaría cerrar un número considerable de lecherías en las zonas urbanas, y especialmente en la Zona Metropolitana de la Ciudad de México—muchas de ellas con décadas operando—acción que difícilmente se puede hacer en el corto plazo, independientemente de la condición nutricional de sus beneficiarios. En consideración de lo anterior, el equipo metaevaluador recomienda a Liconsa y SEDESOL llevar a cabo un evaluación de cobertura, comercialización y financiamiento, que analice la cobertura efectiva de localidades y poblaciones, los modelos existentes y alternativos de comercialización y entrega de productos, así como los esquemas de financiamiento más adecuados para llevar los 62 apoyos a quienes más los necesitan. Se espera que sus resultados y recomendaciones brinden información y alternativas útiles para la toma decisiones, a efecto de mejorar el logro de los objetivos del programa. La mutua exclusión del PASL con respecto de Oportunidades y el PAL En lo que toca a la población objetivo, esta se plantea como el subconjunto de la población potencial que un programa público diseñado ex profeso podría buscar atender en el corto y mediano plazos, considerando las limitaciones financieras e institucionales existentes. En las ROP 2012, se define de la siguiente manera: Población objetivo actual: Personas pertenecientes a hogares cuyo ingreso está por debajo la línea de bienestar, de acuerdo a los criterios emitidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), disponibles en http://www.coneval.gob.mx/cmsconeval/rw/pages/medicion/Pobreza_2010/Lineas%20de %20bienestar.es.do, que no cuentan con apoyo de los Programas de Desarrollo Humano Oportunidades y el de Apoyo Alimentario, y que pertenecen a cualquiera de los siguientes grupos: niños y niñas de 6 meses a 12 años de edad, mujeres adolescentes de 13 a 15 años, mujeres en período de gestación o lactancia, mujeres de 45 a 59 años, enfermos crónicos y personas con discapacidad mayores de 12 años, adultos de 60 y más años. En lo que toca a la condición específica de las personas y no propiamente del ingreso de los hogares—lo cual ya se discutió arriba—seconsidera que la selección actual de características es en general adecuada. Sin embargo, los que no se considera correcto es la mutua exclusión entre el PASL con respecto del Programa Oportunidades y el de Apoyo Alimentario. El argumento de la exclusión se basa en la premisa de que, dado que los tres programas tienen componentes alimentarios o nutricionales, y que otorgan transferencias de ingreso—en el caso del PASL por la vía del precio de la leche—existiría duplicidad de apoyos si un mismo individuo o familia recibiera accediera a más de uno de los programas. El equipo metaevaluador considera que la mutua exclusión es inadecuada y el argumento de las duplicidades es incorrecto, por las siguientes razones. La primera es que Oportunidades y el PAL atienden a los hogares en condición de mayor pobreza, con ingresos por debajo de la línea de bienestar mínimo y con importantes déficits en la formación de capacidades básicas; este es precisamente el segmento que concentra los déficits y riesgos nutricionales—como ya se explicó anteriormente—y en el cual la leche fortificada Liconsa puede tener mayores efectos e impactos positivos.La segunda razón es que los apoyos alimentarios y nutricionales que entrega el PASL son distintos de los que entregan Oportunidades y el PAL, y también en su mayoría a grupos de beneficiarios individuales distintos, como se puede apreciar a continuación: • El PASL entrega leche fortificada con micronutrientes a precio menor al del mercado, siendo que el diferencial de precio no está planteado como un apoyo económico en sí 63 mismo sino como en incentivo omecanismo para que las familias compren la leche Liconsa, incrementando su consumo de leche y accediendo a los micronutrientes de forma regular. • En contraste, los apoyos alimentarios de Oportunidades y el PASL consisten en transferencias de efectivo, que se van al consumo general de las familias y cuyo impacto en la nutrición tiende a ser menor y más disperso que el que se ha documentado para la leche fortificada. • En lo que toca específicamente a Oportunidades, este programa entrega además suplementos nutricionales para mujeres embarazadas y en lactancia así como para los niños menores de dos años—excepto que hayansido diagnosticados con desnutrición, en cuyo caso el apoyo se puede extender hasta los cinco años. Asimismo, el PAL entrega suplementos casi a las mismas poblaciones que Oportunidades, pero además considera sobres de leche fortificada a los niños de entre 24 y 59 meses. En estos casos efectivamente podría haber una duplicidad, ya que en los efectos esperados de la leche fortificada y los suplementos, si bien no son idénticos, son al menos parecidos, por lo que la mutua exclusión en estos grupos de beneficiarios en específico podría aplicar. De tal forma, es claro que sólo existirían duplicidades de apoyos del PASL con respecto de Oportunidades y el PAL, en grupos de beneficiarios muy específicos, con los cuales efectivamente podría aplicar la mutua exclusión de beneficios. Sin embargo, las ROP de los tres programas actualmente son excluyentes entre sí, lo que deja a muchos hogares e individuos de Oportunidades y el PAL, que tienden a presentar el problema focal de desnutrición o riesgo nutricional, sin posibilidad de acceder a los beneficios de la leche fortificada de Liconsa. La mayor preocupación estaría prácticamenteen la población infantil del PAL y Oportunidades que no reciben suplementos alimenticios o sobres de leche fortificada por parte de estos programas. Por lo anterior, el equipo metaevaluador recomienda a Liconsa y a la SEDESOL que se elimine en las ROP del PASL la mutua exclusión de hogares con respecto del PAL y Oportunidades, o que alternativamente se limite solo a aquellos individuos que reciben suplementos alimenticios o leche fortificada de los dos últimos. En consecuencia, se recomienda redefinir la población objetivo del programa, eliminando o limitando la mutua exclusión conforme a la discusión precedente. 3.7.2 Sobre la cobertura y focalización El PASL históricamente se ha concentrado en las grandes zonas urbanas del centro del país, y dejado de lado al resto de las regiones y a las localidades rurales. A la fecha, no cuenta con una estrategia de cobertura documentada para atender a esta población objetivo no atendida. Más aún, la definición actual de las poblaciones potencial y objetivo, que toma como referencia la línea de bienestar establecida por CONEVAL, incluye una gran cantidad de hogares que NO presentan el 64 problema focal asociado a los “insuficientes niveles de nutrición”, pues conforme al propio Diagnóstico así como a las investigaciones en la materia, dicho problema se concentra en la población bajo la línea debienestar mínimo, y particularmente en las localidades rurales. La combinación de los problemas en la cobertura y en la focalización antes citados, generan errores de exclusión y de inclusión muy relevantes, que ponen en riesgo el logro de los objetivos del programa. En complemento de la evaluación de financiamiento, cobertura y focalización antes descrita, y considerando los hallazgos y recomendaciones específicas que de esta se deriven, el equipo evaluador recomiendaa Liconsa y SEDESOL establecer una estrategia de cobertura de mediano y largo plazo para el PASL, a partir de las redefinición de la población potencial y objetivo y en un marco de actuación que considere de forma explícita la existencia de otros programas alimentarios, evitando duplicidades y fomentando complementariedades y sinergias. Se sugiere que dicha estrategia considere nuevos enfoques de comercialización y financiamiento, que promueva la ampliación de la cobertura hacia las localidades rurales y las regiones no atendidas, y que valore la pertinencia y factibilidad del cierre o relocalización gradual de los puntos de atención (lecherías) cuya existencia ya no se justifica porque sus localidades de atención no presentan el problema focal. Los problemas de cobertura y focalización del PASL datan de muchos años, y se han documentado en diversas evaluaciones y estudios. En este sentido, la Evaluación de Resultados 2006 y la de Consistencia y Resultados 2007 recomendaron a Liconsa que, en coordinación con la Secretaría de Desarrollo Social y los responsables de los distintos programas de apoyo alimentario, definiera qué parte de la población que presenta déficits nutricionales debía ser atendida por el PASL, en el marco de las políticas, estrategias y prioridades hacia los hogares en condición de pobreza. Una vez definida la población potencial del PASL, se recomendó evaluar la factibilidad de ampliar su cobertura considerando su capacidad instalada no utilizada, su red de puntos de venta, la conveniencia de establecer una política de precios diferenciados y sus consecuencias en la demanda y requerimientos financieros. Estas recomendaciones siguen siendo vigentes, y es conveniente considerarlas nuevamente. Dadas las condiciones en las que actualmente opera Liconsa, se sugiere que la estrategia de cobertura de mediano y largo plazo, además de considerar nuevas poblaciones y coordinarse mejor con otros programas alimentarios, considere nuevos enfoques de comercialización y financiamiento para poder implementarla. Así, se considera conveniente valorar la pertinencia y factibilidad ajustar a la alza los precios de venta, establecer los precios diferenciados para regiones o localidades distintas, realizar los subsidios cruzados internos entre zonas urbanas y rurales, así como utilizar crecientemente los recursos fiscales asignados al programa para ampliar la cobertura en vez de utilizarlos para la compra de leche nacional. Cabe señalar que las recomendaciones antes realizadas respetan el diseño y la lógica interna actuales del programa, especificados en las ROP 2012, el Diagnóstico, la Nota y otros documentos oficiales. Por lo tanto, sólo se plantea dar mayor consistencia y actualizar las definiciones, conforme a la normatividad vigente y las mejores prácticas en la materia. 65 4. Reporte de monitoreo 4.1 Introducción En 2007, la Secretaría de Desarrollo Social elaboró la Matriz de Indicadores para Resultados de los programas federales a su cargo con la finalidad de mejorar su diseño y de cumplir con los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal9 que establecen que los programas federales deben contar con una MIR. Desde entonces, la MIR es usada por laSEDESOL y por otros actores, como la Secretaría de Hacienda y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP), la Auditoría Superior de la Federación (ASF), el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) e incluso el H. Congreso de la Unión, para dar seguimiento a los resultados alcanzados por los programas federales, lo que la convierte en el principal instrumento para monitorear el desempeño de dichos programas en el Gobierno Federal10. La MIR de los programas federales de la SEDESOL se ha ido modificando año con año principalmente con tres objetivos: 1) mejorar el diseño de los programas, 2) contar con mejores indicadores de resultados y de gestión para monitorear su desempeño, y 3) mejorar su alineación con las Reglas de Operación. Para ello, SEDESOLha tomado en consideración los comentarios y propuestas de mejora emitidos por actores como el CONEVAL, la SHCPy los evaluadores externos que han evaluado los programas. Este documento tiene como objetivo analizar la MIR 2012 del Programa de Abasto Social de Leche a cargo de Liconsa, S.A. de C.V. para generar propuestas de mejora para la elaboración de la MIR 2013, especialmente de los niveles de Fin y Propósito, poniendo especial atención en los indicadores de resultados. Para lo anterior, en la primera parte se hace un análisis de los cambios que se han implementado a la MIR de 2007 a 2012, para ello se identifican los comentarios que diversos actores han emitido a la MIR para el mismo periodo. Posteriormente, se valora el resumen narrativo de la MIR 2012 analizando su correspondencia con las ROP de ese año y se realizan propuestas de mejora. Por 9 Diario Oficial de la Federación. 30 de marzo de 2007. La Ley General de Desarrollo Social establece en el Art. 77 que el CONEVAL antes de aprobar los indicadores de resultados, gestión y servicios de los programas sociales, los someterá a la consideración de la SHCP Y a la Cámara de Diputados por conducto de la ASF, para que emitan las recomendaciones que en su caso estime pertinentes, para esta aprobación, se toman los indicadores de la MIR. Asimismo, los Lineamientos para la revisión, actualización, calendarización y seguimiento de la Matriz de Indicadores para los programas presupuestarios 2012 establecen en el numeral 13 que la SHCP, la SFP y el CONEVAL, en el ámbito de sus respectivas competencias y considerando las disposiciones aplicables, deberán emitir las recomendaciones a las MIR y sus indicadores que consideran convenientes. También, estos Lineamientos establecen como uno de sus objetivos específicos registrar los avances en la consecución de las metas de los indicadores de los programas presupuestarios durante el ejercicio fiscal 2012 para dar cumplimiento a los informes sobre la Situación Económica, las Finanzas Públicas y la Deuda Pública (informe trimestral a cargo de la SHCP enviado al Congreso de la Unión), de conformidad con el artículo 107 de la Ley de Presupuesto y Responsabilidad Hacendaria. 10 66 último, se valoran los indicadores de Fin y de Propósito de la MIR 2012, y se emiten propuestas de mejora. 4.2 Análisis histórico de la Matriz de Indicadores para Resultados 2007-2012 En este apartado se hace un análisis de la evolución de la Matriz de Indicadores de Resultados (MIR) del programa durante el período 2007-2012. Se identifican los principales cambios en los resúmenes narrativos y en los indicadores asociados a los mismos, que surgieron como respuesta a las observaciones y recomendaciones de instancias como la Auditoría Superior de la Federación (ASF), la Secretaría de Hacienda y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP), el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) y los evaluadores externos del programa. La secuencia de cambio se presenta en los niveles de Fin, Propósito y algunos casos de Componentes, para todos los años comprendidos en el período. Al final de la sección se presenta una propuesta para mejorar los resúmenes narrativos y los indicadores para la MIR del año 2013. Un esquema del análisis histórico de la MIR y de las propuestas de mejora se presenta en el Anexo 5. 4.2.1 Principales cambios de la Matriz de Indicadores 2007-2012 A continuación se hace un resumen de los principales cambios de la MIRdel PASLde 2007 a 2012, enfocándose en el resumen narrativo de los niveles de Fin, Propósito y Componentes y en los indicadores de Fin y de Propósito. Los cambios se presentan primero del resumen narrativo y posteriormente de los indicadores para cada año. 4.2.2 Análisis 2007-2008 Resumen narrativo De 2007 a 2008, el Fin se mantuvo sin modificaciones. El objetivo planteado por el programa se refería a la contribución a mejorar los niveles de nutrición para el desarrollo de capacidades en la población en condiciones de pobreza. Dicho objetivo es específico y claro. Para este periodo, a nivel de Propósito, no hubo modificaciones. El planteamiento del objetivo era correcto y se refería a “Los hogares beneficiarios acceden al consumo de leche fortificada, de calidad a bajo costo en apoyo a su economía”. En 2008, dada la claridad de los objetivos de Fin y de Propósito, se pudo determinar que el logro del Propósito contribuyó al logro del Fin, y tenían una vinculación directa. Por último, a nivel de Componentes, en 2008 se mantuvo el Componente que el programa tenía en 2007; sin embargo, se agregó un Componente que se refiere a la producción de leche fortificada y de calidad. Para 2008, los Componentes en su conjunto fueron los suficientes pero no los necesarios, ya que hacían falta incorporar otros apoyos que el programa otorgaba a sus beneficiarios. 67 Resumen narrativo 2007 Contribuir a mejorar los niveles de nutrición para el desarrollo de Fin capacidades en la población en condiciones de pobreza. Los hogares beneficiarios acceden al consumo de leche fortificada y de Propósito calidad, a bajo costo en apoyo a su economía. Distribución garantizada de leche fortificada y de calidad, a un precio menor al del mercado, para la Componentes población beneficiaria del programa. --- 2008 Contribuir a mejorar los niveles de nutrición para el desarrollo de capacidades en la población en condiciones de pobreza. Los hogares beneficiarios acceden al consumo de leche fortificada y de calidad, a bajo costo en apoyo a su economía. Distribución garantizada de leche fortificada y de calidad, a un precio menor al del mercado, para la población beneficiaria del programa. Producción de leche fortificada y de calidad. Indicadores De 2007 a 2008, a nivel de Fin, se mantuvieron los dos indicadores que medían la prevalencia de desnutrición en niños. Los dos indicadores medían lo mismo, y con uno de ellos bastaba para medir la variable “prevalencia de desnutrición”. Aunque se hicieron acotaciones a los dos indicadores, prevaleció la situación de medir lo mismo en dos indicadores, por lo que debería eliminarse alguno de los dos. A nivel de Propósito, de 2007 a 2008, permanecieron los tres indicadores. El programa midió en sus indicadores de Propósito el margen de ahorro de las familias beneficiarias, el consumo promedio de mililitros de leche y el porcentaje de hogares beneficiarios. Este último indicador es una medición de la cobertura del programa, por lo que no mide resultados y se debe eliminar, ya que este tipo de indicadores son más adecuados en los Componentes. Indicadores Fin 2007 Prevalencia de desnutrición, en niños menores de 5 años, con relación a la línea base de 2006. Prevalencia de desnutrición de los niños beneficiarios, participantes en la 1ª. Evaluación de Impacto, con relación al mismo grupo de población no beneficiaria. 2008 Prevalencia de desnutrición de los niños beneficiarios, evaluados. Prevalencia de desnutrición, en niños menores de 5 años, con relación a la línea base de 2006. 68 El margen de ahorro de las familias El margen de ahorro de las familias beneficiarias del programa. beneficiarias del programa. Propósito 4.2.3 El consumo promedio de mililitros por El consumo promedio de mililitros por día de los beneficiarios Liconsa vs la día de los beneficiarios Liconsa vs la recomendación de la OMS. recomendación de la OMS. Porcentaje de hogares beneficiarios Hogares beneficiarios del PASL con del PASL con relación a los hogares relación a la población objetivo. objetivo. Análisis 2008-2009 Resumen narrativo De 2008 a 2009, el Fin y el Propósito tuvieron acotaciones importantes. Por un lado, en el Fin se hacía referencia a contribuir al desarrollo de capacidades básicas, mejorando los niveles de nutrición de la población en condiciones de pobreza patrimonial, en lugar de contribuir a mejorar los niveles de nutrición para el desarrollo de capacidades en la población en condiciones de pobreza; es decir, el objetivo al que estaba relacionado (la nutrición). En 2009, se colocó como el medio para contribuir al desarrollo de capacidades básicas, lo cual, es más general, pero no necesariamente más adecuado. A nivel de Propósito, únicamente se acotó a la población objetivo, al colocar a “los hogares beneficiarios en pobreza patrimonial”, por ser más adecuado, ya que de esta forma la población objetivo es más específica. Para 2009, dado que el Fin se generalizó colocando un término un tanto ambiguo (capacidades básicas), no es posible determinar que el logro del Propósito contribuye al logro del Fin. Además de que no se tenía claridad sobre lo que éste representaba puesto que no se estableció en la MIR ni en las ROPde ese año una definición para “capacidad básica”. De acuerdo con la Metodología de Marco Lógico (MML), a nivel de Fin, debe establecerse el objetivo a cuyo logro contribuye el programa de manera más directa y significativa. A nivel de Componentes, se eliminó uno de los que el programa tenía referente a la distribución de leche fortificada y de calidad y se incorporó uno similar; esta situación hizo que los dos Componentes hicieran referencia al mismo entregable (leche fortificada), lo cual no es adecuado. Los Componentes en su conjunto no son los suficientes y necesarios ya que se duplican, son muy similares o hacen referencia al mismo producto que se entrega a los beneficiarios, o bien, únicamente se coloca el adjetivo “distribuida de manera oportuna”. Resumen narrativo Fin Propósito 2009 Contribuir al desarrollo de capacidades básicas mejorando los niveles de nutrición de la población en condiciones de pobreza patrimonial. Los hogares beneficiarios en pobreza patrimonial acceden al consumo de leche fortificada y de calidad, a bajo precio. 69 Leche fortificada y de calidad producida. Componentes Leche a un precio menor al del mercado, distribuida de manera oportuna a la población beneficiaria del programa. Indicadores De 2008 a 2009, a nivel de Fin se mantiene el indicador que mide la prevalencia de desnutrición en niños. Este indicador es adecuado, por lo que fue apropiado eliminar el otro, que hacía referencia al mismo tema. A nivel de Propósito, de 2008 a 2009, se mantuvo a los indicadores de margen de ahorro de las familias beneficiarias y de cobertura. El indicador de cobertura no es adecuado para el Propósito; es mejor su ubicación en Componentes. Además, se incorporaron cinco indicadores que no aportaban mayor información que la de los otros dos, es decir, el consumo de leche y la cobertura del programa por lo que no debieron haberse agregado. Por lo anterior, en 2009, en general, los indicadores de Fin y de Propósito no se consideran adecuados para medir los resultados del programa; a nivel de Propósito los indicadores de Número de hogares beneficiarios, beneficiarios del programa, número de litros distribuidos y su promedio, son indicadores cuya ubicación se encuentra mejor a nivel de Componentes, ya que no cuentan con una relación directa con el objetivo de Propósito. Indicadores Fin 2009 Prevalencia de desnutrición de los niños beneficiarios, evaluados. El margen de ahorro de las familias beneficiarias del programa. Porcentaje de cobertura de los hogares objetivo. Propósito Número de hogares beneficiarios. Número de beneficiarios del Programa. Número de litros de leche distribuidos. Promedio de litros distribuidos por beneficiario al mes (Factor de Retiro). 4.2.4 Análisis 2009-2010 Resumen narrativo De 2009 a 2010, el Fin del programa se mantuvo sin cambios al hacer referencia a su contribución al desarrollo de capacidades básicas mejorando los niveles de nutrición de la población en condiciones de pobreza patrimonial; sin embargo, el objetivo al que estaba relacionado (la nutrición), en 2009 se colocó como el medio para contribuir al desarrollo de capacidades básicas, lo cual, es más general y no necesariamente más adecuado. 70 A nivel de Propósito, en 2010, se mantuvo como en 2009, con la población objetivo acotada a “los hogares beneficiarios en pobreza patrimonial” por ser más adecuado, ya que de esta forma, la población objetivo es específica. En 2010, se eliminó uno de los Componentes que en 2009 eran muy similares, por lo que el ajuste fue adecuado para la estructura del resumen narrativo. Para 2010, dado que el Fin continuó con un término un tanto ambiguo (capacidades básicas), no es posible determinar que el logro del Propósito contribuye al logro del Fin. Resumen narrativo Fin Propósito 2010 Contribuir al desarrollo de capacidades básicas mejorando los niveles de nutrición de la población en condiciones de pobreza patrimonial. Los hogares beneficiarios en pobreza patrimonial acceden al consumo de leche fortificada y de calidad, a bajo precio. Componentes Leche fortificada y de calidad producida. Indicadores De 2009 a 2010, a nivel de Fin, se modifica el indicador que mide la prevalencia de desnutrición en niños. Este indicador es adecuado, ya que mide una dimensión del objetivo. El otro indicador (Prevalencia de desnutrición de los niños beneficiarios, evaluados) fue eliminado de forma adecuada, ya que no aportaba mayor información adicional. En 2010, se eliminaron los indicadores que se habían agregado en 2009 y que no eran adecuados, ya que no aportaban información adicional a la de los demás indicadores. Con esta eliminación de indicadores, a nivel de Propósito en 2010, el programa mide sus resultados a través de “Margen de ahorro de las familias beneficiarias del programa” y “Porcentaje de cobertura de los hogares objetivo”. Indicadores Fin 2010 Prevalencia de desnutrición en niños menores de 5 años, con relación a la línea base de 2006. El margen de ahorro de las familias beneficiarias del programa. Propósito Porcentaje de cobertura de los hogares objetivo. 4.2.5 Análisis 2010-2011 Resumen narrativo De 2010 a 2011, el Fin del programa se mantuvo sin cambios al hacer referencia a su contribución al desarrollo de capacidades básicas mejorando los niveles de nutrición de la población en 71 condiciones de pobreza patrimonial; sin embargo, el objetivo al que estaba relacionado (la nutrición), en 2009, se colocó como el medio para contribuir al desarrollo de capacidades básicas, lo cual, es más general, pero no necesariamente más adecuado. A nivel de Propósito en 2011, se mantuvo como en 2010 con la población objetivo acotada a “los hogares beneficiarios en pobreza patrimonial”, por ser más adecuado, ya que de esta forma la población objetivo es específica. En 2011, se mantuvo el mismo Componente que en 2010, el cual representa el producto que el programa entrega a sus beneficiarios. Para 2011,el Fin se modifico a “Contribuir a promover el acceso a una alimentación que reúna los requisitos mínimos nutricionales de la población en condiciones de pobreza patrimonial”, lo cual es más preciso y concreto, considerándose más acorde en la lógica con el propósito del programa. Resumen narrativo Fin Propósito 2011 Contribuir a promover el acceso a una alimentación que reúna los requisitos mínimos nutricionales de la población en condiciones de pobreza patrimonial. Los hogares beneficiarios en pobreza patrimonial acceden al consumo de leche fortificada y de calidad, a bajo precio. Componentes Leche fortificada y de calidad producida. Indicadores De 2010 a 2011, a nivel de Fin, se mantiene el indicador que mide la prevalencia de desnutrición en niños. Este indicador es adecuado ya que mide una dimensión del objetivo. Únicamente se eliminó la referencia “en relación a la línea base de 2006”, pero no modificó la estructura básica del indicador. En 2011, se mantuvieron los indicadores de 2010, con los que el programa mide sus resultados a través del “Margen de ahorro de las familias beneficiarias del programa” y “Porcentaje de cobertura de los hogares objetivo”. Indicadores Fin 2011 Prevalencia de desnutrición en niños menores de 5 años (talla para la edad). Margen de ahorro de las familias beneficiarias del programa. Propósito Porcentaje de cobertura de los hogares objetivo. 72 4.2.6 Análisis 2011-2012 Resumen narrativo A nivel de Fin no hay cambio.A nivel de Propósito en 2012, se mantuvo como en 2011 con la población objetivo acotada a “los hogares beneficiarios en pobreza patrimonial”, por ser más adecuado, ya que de esta forma la población objetivo es específica. En 2012 se mantuvo el mismo Componente que en 2011 y representa el producto que el programa entrega a sus beneficiarios. Con la modificación en el Fin, se determina que la lógica causal del programa fue mejorada y se puede decir que el logro del Propósito contribuye al logro del Fin. Para 2012, dado que el Fin continuó con un término un tanto ambiguo (capacidades básicas), no es posible determinar que el logro del Propósito contribuye al logro del Fin. Resumen narrativo Fin Propósito 2012 Contribuir a promover el acceso a una alimentación que reúna los requisitos mínimos nutricionales de la población en condiciones de pobreza patrimonial. Los hogares beneficiarios en pobreza patrimonial acceden al consumo de leche fortificada y de calidad, a bajo precio. Componentes Leche fortificada y de calidad producida. Indicadores De 2011 a 2012, a nivel de Fin, se mantiene el indicador que mide la prevalencia de desnutrición en niños, el cual es adecuado para medir una de las posibles dimensiones del objetivo. En 2012, se mantuvieron los indicadores de 2011, con los que el programa mide sus resultados a través del “Margen de ahorro de las familias beneficiarias del programa” y “Porcentaje de cobertura de los hogares objetivo”. Indicadores Fin 2012 Prevalencia de desnutrición en niños menores de 5 años (talla para la edad). Margen de ahorro de las familias beneficiarias del programa. Propósito Porcentaje de cobertura de los hogares objetivo. 4.3 Principales comentarios a la Matriz de Indicadores 2007-2012 En esta sección se hace un resumen de los principales comentarios emitidos a la MIR del PASL de 2007 a 2012 por evaluadores externos, los cuales fueron rescatados de la documentación proporcionada para esta Meta evaluación11. Los comentarios se presentan primero del Fin, 11 Para el PASL se revisaron los siguientes documentos proporcionados al Meta-evaluador: 73 posteriormente del Propósito, después de los Componentes y finalmente se presentan los comentarios que se identificaron como generales. Los resultados aquí presentados reflejan lo encontrado en la citada evaluación en el momento en que se llevó a cabo y no necesariamente siguen vigentes o reflejan la opinión del Meta-evaluador. Cuando se establece que “No se cuenta con comentarios”, significa que no se identificaron comentarios realizados por los actores mencionados en los documentos revisados. 4.3.1 Fin A continuación se describirán los principales comentarios de las diversas evaluaciones a nivel Fin de la MIR de 2007 a 2012. Principales comentarios MIR 2007 – Fin Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • No se cuenta con comentarios para los indicadores. Principales comentarios MIR 2008 - Fin Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • No se cuenta con comentarios para los indicadores. Principales comentarios MIR 2009 - Fin Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • No se cuenta con comentarios para los indicadores. Principales comentarios MIR 2010 - Fin Resumen narrativo • Se recomienda definir el concepto “promover el acceso a una alimentación"; aunque el contexto permite tener una idea general de esta definición, es recomendable precisarla. Indicadores • No se cuenta con comentarios para los indicadores. Principales comentarios MIR 2011 - Fin Resumen narrativo • No se cuenta con comentarios a la MIR. • • • • Evaluación de Consistencia y Resultados 2007 del Programa de Abasto Social de Leche Comentarios a la MIR emitidos por el CONEVAL Auditoría al Desempeño ASF Histórico de Aspectos Susceptibles de Mejora 74 Indicadores • No se cuenta con comentarios para los indicadores. Principales comentarios MIR 2012 -Fin Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • No se cuenta con comentarios para los indicadores. 4.3.2 Propósito A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel Propósito de la MIR de 2007 a 2012. Principales comentarios MIR 2007 - Propósito Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • No se cuenta con comentarios para los indicadores. Principales comentarios MIR 2008- Propósito Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • No se cuenta con comentarios para los indicadores. Principales comentarios MIR 2009- Propósito Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • No se cuenta con comentarios para los indicadores. Principales comentarios MIR 2010- Propósito Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • No se cuenta con comentarios para los indicadores. Principales comentarios MIR 2011- Propósito Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • No se cuenta con comentarios para los indicadores. 75 Principales comentarios MIR 2012- Propósito Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • No se cuenta con comentarios para los indicadores. 4.3.3 Componentes A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel Componentes de la MIR de 2007 a 2012. Principales comentarios MIR 2007 - Componentes Resumen narrativo • No se cuenta con comentarios a la MIR. Principales comentarios MIR 2008- Componentes Resumen narrativo • No se cuenta con comentarios a la MIR. Principales comentarios MIR 2009- Componentes Resumen narrativo • No se cuenta con comentarios a la MIR. Principales comentarios MIR 2010- Componentes Resumen narrativo • No se cuenta con comentarios a la MIR. Principales comentarios MIR 2011- Componentes Resumen narrativo • No se cuenta con comentarios a la MIR. Principales comentarios MIR 2012- Componentes Resumen narrativo • No se cuenta con comentarios a la MIR. 4.4 Comentarios generales En esta sección se hace un recuento de los comentarios generales en el resumen narrativo e indicadores que han hecho a la MIR de 2007 a 2012 del PASL, para ello se identifican los comentarios de las diversas evaluaciones para cada periodo. Principales comentarios MIR 2007 Resumen narrativo 76 • No se cuenta con comentarios a la MIR. Indicadores • No se cuenta con comentarios para los indicadores. Principales comentarios MIR 2008 Resumen narrativo • En los Aspectos Susceptibles de Mejora, Mecanismo 2008, el programa se comprometió a “Elaborar un programa estratégico a mediano y largo plazo en el que se definan las líneas de acción, apoyadas en la metodología de la MML”12. Por ello, el programa elaboró dicho Programa estratégico de mediano y largo plazo, cumpliendo de esta forma con el compromiso establecido. • En los Aspectos Susceptibles de Mejora, Mecanismo 2008, el programa se comprometió a elaborar la Matriz de Marco Lógico 2009 con base en las recomendaciones, por lo que se consideraron las recomendaciones y se elaboró la Matriz de Indicadores 2009. En los Aspectos Susceptibles de Mejora, Mecanismo 2008, el programa se comprometió a vincular las Reglas de Operación y la Matriz de Marco Lógico para fortalecer la gestión orientada a resultados, por lo que el programa, tomando en cuenta los Lineamientos para la Vinculación, homogeneizó la estructura de las Reglas de Operación 2009 y las vinculó con las matrices de indicadores de resultados de los programas. Indicadores • No se cuenta con comentarios para los indicadores. • Principales comentarios MIR 2009 Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • Se recomienda que LICONSA realice las acciones necesarias, a fin de que los indicadores incluidos en la Matriz de Indicadores para Resultados se construyan con base en lo establecido en la normativa del Sistema de Evaluación del Desempeño. Principales comentarios MIR 2010 Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • Se recomienda que LICONSA, S.A. de C.V. realice las acciones necesarias, a fin de que los indicadores incluidos en la Matriz de Indicadores para Resultados del Programa de Abasto Social de Leche establezcan un referente que determine si el logro de las metas es suficiente para cumplir con los objetivos del programa. 12 Evaluación de Consistencia y Resultados 2007 del Programa de Abasto Social de Leche. 77 Principales comentarios MIR 2011 Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • Se recomienda revisar la Matriz de Indicadores de Resultados y de manera específica el indicador a nivel de Fin. Principales comentarios MIR 2012 Resumen narrativo • No se cuenta con comentarios a la MIR. Indicadores • No se cuenta con comentarios para los indicadores. 4.5 Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012 En esta sección el Meta-evaluador hace un análisis de la MIR 2012 y de su correspondencia con las ROP de ese año para los niveles de Fin, Propósito y Componentes. También, se presentan las propuestas de mejora para la MIR 2013 del resumen narrativo y de los indicadores de Fin y de Propósito. 4.5.1 Análisis de la MIR 2012 y vínculo con las Reglas de Operación Fin El Fin del programa se ha ido detallando y las modificaciones que ha tenido han sido para la mayor precisión de este objetivo. Desde 2007, el programa expresaba el objetivo relacionándolo con “capacidades básicas”, el cual, aunque definido, determinaba un concepto ambiguo; sin embargo, para la MIR 2012, la expresión del objetivo se modifico hacia la contribución a promover el acceso a una alimentación que reúna los requisitos mínimos nutricionales, siendo más preciso y concreto. Propósito • El Propósito del programa se ha ido detallando, al igual que el Fin. Es necesario que se especifique si el resultado que el programa quiere es el mejoramiento de la nutrición de sus beneficiarios. Componentes • El apoyo descrito en las Reglas de Operación está definido como “abasto comunitario”, el cual difiere del especificado como Componente en la MIR. No obstante que las características descritas en las Reglas de Operación apuntan al Componente, se recomienda que sea definido tal y como se encuentra en la MIR (Leche fortificada y de calidad). 78 4.5.2 Propuesta de mejoras para MIR 2013 A continuación se emiten algunas propuestas de mejora a nivel Fin y Propósito para la MIR 2013. Fin Contribuir al desarrollo de las capacidades básicas en educación y salud de las personas con ingresos menores a la línea de bienestar, a través de la disminución de su riesgo nutricional. Propósito Las personas con ingresos por debajo de la línea de bienestar disminuyen su riesgo nutricional. 4.6 Análisis de los indicadores de Fin y de Propósito 4.6.1 Indicadores de la MIR 2012 En esta sección se valoran los indicadores de Fin y Propósito de la MIR 2012. Fin • El indicador es poco relevante, supone que la variación en la desnutrición en niños (baja talla para la edad) es imputable en su totalidad a los efectos del programa en la población. Propósito • Aunque el número de indicadores ha sido relativamente estable, el indicador "Hogares beneficiarios del PASL respecto de los Hogares objetivo de conformidad con el Reporte de Cifras de la Pobreza en México del CONEVAL." es un indicador de cobertura, el cual puede proporcionar mejor información a nivel de componente, ya que en Propósito se deben medir los resultados del programa. 4.6.2 Propuesta de mejoras para indicadores MIR A continuación se emiten algunas propuestas de mejora a los indicadores de nivel Fin y Propósito para la MIR 2013. Fin Para medir el impacto del programa a nivel de Fin, se sugiere sustituir el indicador actual por los siguientes: • Diferencia en los resultados de las pruebas estandarizadas de desarrollo cognitivo y lingüístico en los niños de familias beneficiarias, con respecto a la misma variable en los niños de familias no beneficiarias. La fórmula de cálculo de los indicadores se propone en los siguientes términos: 79 , , Donde: DDCL: Diferencia de promedios en los resultados de las pruebas de desarrollo cognitivo y lingüístico DCL: Promedio simple de los resultados las pruebas de desarrollo cognitivo y lingüístico. T: Tratamiento C: Comparación t+1:Periodo actual (con exposición al programa) • Diferencia en la incidencia de enfermedades gastrointestinales en niños menores de 5 años de las familias beneficiarias, con respecto a la misma variable de los niños de las familias no beneficiarias. La fórmula de cálculo de los indicadores se propone en los siguientes términos: , , Donde: DEGI: Diferencia de promedios de los resultados de la incidencia de enfermedades gastrointestinales en niños menores de 5 años de las familias beneficiarias, con respecto a la misma variable de los niños de las familias no beneficiarias. EGI: Promedio simple de los resultados de incidencia de enfermedades gastrointestinales. T: Tratamiento C: Comparación t+1:Periodo actual (con exposición al programa) Propósito • El indicador de “Margen de ahorro por litro de leche de las familias beneficiarias del programa”, si bien se refiere a un beneficio, no refleja el efecto del programa sobre la desnutrición o el riesgo nutricional de las familias. Se sugiere eliminarlo o enviarlo al nivel de Componentes, en tanto que refleja una cualidad del bien o servicio entregado por el programa, ya sea en forma de ahorro o de diferencial de precio. Para este indicador, se podría tomar en cuenta a partir de la información de gasto, precio y cantidad reportada en la ENIGH. • Se recomienda enviar el indicador "Porcentaje de cobertura de los hogares objetivo" a nivel de Componentes, por referirse a la cobertura. • Como opciones de indicadores en este nivel, se pueden tomar en cuenta los siguientes: 80 a) Diferencia en el consumo promedio de leche por persona de las familias beneficiarias con ingresos menores a la línea de bienestar, con respecto de la misma variable para las familias no beneficiarias. ∑ , , ∑ , , Donde: DDCPL: Doble diferencia en el consumo promedio de leche por persona de las familias beneficiarias con ingresos menores a la línea de bienestar, con respecto de la misma variable para las familias no beneficiarias. CPL: Consumo promedio de leche por persona T: Tratamiento C: Comparación i: Observación del grupo de tratamiento j: Observación del grupo de control t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de comparación b) Diferencia en el puntaje Z de crecimiento de variables seleccionadas de niños menores de 12 años entre familias beneficiarias y no beneficiarias ∑ , , ∑ , , Donde: DDPZ: Doble diferencia en el valor de puntaje Z entre familias beneficiarias y no beneficiarias T: Tratamiento C: Comparación i: Individuo del grupo de tratamiento j: Individuo del grupo de control t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de comparación 81 c) Diferencia en la prevalencia de anemia en mujeres embarazadas o en lactancia de familias beneficiarias, con respecto a la misma variable de las mujeres de las familias no beneficiarias. ∑ , , ∑ , , Donde: DDPAMEL: Doble diferencia en el valor de la prevalencia de anemia en mujeres embarazadas y en lactancia PAMEL: Prevalencia de anemia en mujeres embarazadas y en lactancia T: Tratamiento C: Comparación i: Individuo del grupo de tratamiento j: Individuo del grupo de control t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de comparación 82 5. Conclusiones Como se puede apreciar a lo largo del presente trabajo, en periodo de 2007 a 2012 se realizaron un total de seis evaluaciones externas al programa, en las cuales se analizaron diversos aspectos específicos asociados a su diseño, operación y resultados. Los hallazgos de estas evaluaciones sirvieron para identificar un conjunto de fortalezas, oportunidades, debilidades y amenazas, así como para proponer recomendaciones; a su vez, estos elementos derivaron en aspectos susceptibles de mejora, a los cuales se le dio seguimiento a través de los mecanismos establecidos. La revisión permitió constatar que el programa implementó acciones que resolvieron algunos de los problemas identificados e implicaron diversas mejoras. Con todo, en opinión del equipo metaevaluador y a la fecha de realización este ejercicio, subsisten diversas deficiencias y áreas de oportunidad identificadas en las evaluaciones anteriores que la SEDESOL y los responsables del programa deben considerar y retomar, para mejorar su desempeño. Aquellas que se consideraron relevantes y vigentes aparecen en el análisis FODA global, que incluye también las recomendaciones de los evaluadores originales y, en algunos casos, notas y recomendaciones propias del equipo metaevaluador cuando se consideró pertinente hacerlo. Asimismo, en el desarrollo del ejercicio se analizaron evaluaciones hechas a otros programas considerados como similares al PASL ya fuera en función de sus objetivos, poblaciones atendidas o componentes particulares. El análisis derivó en diversos elementos relevantes, incluyendo la confirmación de que, con un diseño y condiciones adecuadas, programas como el PASL pueden efectivamente lograr resultados en cuanto a fortalecer los niveles nutricionales de los niños que viven por debajo de la línea de bienestar. Estas evaluaciones sirvieron también para identificar indicadores, metodologías y fuentes de información que pueden ser útiles para evaluar el desempeño del programa. En cuanto a la agenda de evaluación 2013-2018, se propuso una secuencia lógica y ordenada de las evaluaciones a realizar al programa, considerando una justificación técnica y empírica sobre la importancia que cada ejercicio podría tener. Se propuso primero elaborar un estudio de Diagnóstico y propuestas de atención, luego una Evaluación de diseño, posteriormente una Evaluación de impacto, después una Evaluación de procesos, y finalmente una Evaluación de consistencia y resultados. Esta secuencia buscó brindar una base sólida de datos, análisis y estrategia para anclar el diseño, la operación y los resultados del programa durante la siguiente administración federal, de forma tal que cada año se puedan informar los cambios y refinamientos en diversos aspectos relevantes. Dada la importancia de corroborar en los hechos los cambios que el PASL puede generar para revertir el problema que le dio origen, la metaevaluación incorporó una propuesta más detallada para una evaluación de impacto. En ella, se describieron la metodología y las fuentes de información necesarias para llevar a cabo la evaluación, conforme a los estándares y mejores prácticas en la materia, a la naturaleza de las variables específicas a medir así como a las características específicas del programa. La propuesta se acompañó de un análisis de pertinencia y 83 de viabilidad técnica y financiera, que justifica la necesidad de realizar este tipo evaluación al programa. Como un elemento de valor agregado que complementa los análisis previos, se desarrollaron una serie de reflexiones y recomendaciones sobre la situación actual del PASL, que si bien construyen sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegaron a conclusiones distintas al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas reflexiones y recomendaciones son responsabilidad exclusiva del metaevaluador, y se enfocaron principalmente en aspectos asociados al diseño del programa. Por su importancia, se enfatizó y se elaboró ampliamente sobre la identificación y especificación del problema focal así como sobre la definición de las poblaciones potencial y objetivo. Las reflexiones y recomendaciones de esta sección respetaron los elementos básicos del diseño y la lógica interna actuales del programa; por lo tanto, sólo se propuso mejorar la consistencia de dichos elementos básicos del programa, a efecto de mejorar su desempeño. Un análisis más amplio de la adecuación del diseño, operación y resultados del programa queda fuera del alcance de esta metaevaluación, y sería en su caso objeto de otro estudio. Finalmente, también a lo largo de estos años distintas instancias normativas, fiscalizadoras y evaluadoras hicieron una serie de observaciones y recomendaciones para mejorar las matrices de indicadores de resultados del PASL, tanto en sus resúmenes narrativos como en los indicadores para monitoreo. Cabe señalar que, en opinión del equipo metaevaluador, algunas de estas observaciones y recomendaciones no necesariamente fueron adecuadas ni eran consistentes entre sí; por otro lado, a pesar de los cambios que sí se implementaron, en algunos casos subsisten deficiencias y áreas de oportunidad. Por ello, y considerando la historia de los cambios en la MIR y lo que falta por hacer, el equipo metaevaluador recomendó algunas mejoras y refinamientos en los resúmenes narrativos y los indicadores del programa en los niveles de Fin y Propósito, respetando el diseño básico actual y los resultados que se esperan del mismo. 84 6. Bibliografía 6.1 Documentos sobre el programa Beta Korosi Consultoría (2007). Evaluación de Consistencia y Resultados del Programa de Abasto Social de Leche, a cargo de Liconsa, S.A de C.V.(ECR07-BK) Bernardo Hernández Prado (2009). Evaluación Específica de Desempeño 2008-2009. (EED08/09) Evelyne Eugenia Rodríguez Ortega (2010). Evaluación Específica de Desempeño 2009-2010. (EED09/10) Evelyne Eugenia Rodríguez Ortega (2010). Evaluación Específica de Desempeño 2010-2011. (EED10/11) Consejo Nacional de Evaluación de la Política de Desarrollo Social (2008-2012). Informes de Sesiones de la Mesa Técnica de Revisión de Indicadores: Programa de Abasto Social de Leche a cargo de Liconsa, S.A. de C.V. Instituto Nacional de Salud Pública (2009). Análisis del impacto de la fortificación de la leche Liconsa con hierro, zinc y otros micronutrimentos sobre el rendimiento escolar de la población de beneficiarios del Programa de Abasto Social de Leche a cargo de LICONSA. Centro de Investigación en Nutrición y Salud (EI09-INSP) ---------------- (2006). Proyecto de Seguimiento de Efectividad de la Fortificación de la leche Liconsa con hierro, zinc y otros micronutrimentos sobre la prevalencia de anemia, la deficiencia de micronutrimentos y el desarrollo neuroconductual de la población de beneficiarios del programa de Abasto Social de Leche LICONSA. Centro de Investigación en Nutrición y Salud. (EI06-INSP) ---------------- (2004). Impacto de la leche fortificada Liconsa en el estado de nutrición de los niños beneficiarios del Programa de Abasto Social. Centro de Investigación en Nutrición y Salud (EI04INSP) Liconsa, S.A. de C.V. (2007-2012). Matriz de Indicadores de Resultados del Programa de Abasto Social de Leche. --------------- (2008-2012). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa de Abasto Social de Leche. --------------- (2007-2011). Auditorías al Programa de Abasto Social de Leche. Secretaría de Desarrollo Social. (2007-2012). Reglas de Operación del Programa de Abasto Social de Leche. --------------- (2008-2012). Aspectos Susceptibles de Mejora Derivados de Informes y Evaluaciones Externas a los Programas Presupuestarios: Posición Institucional sobre el Programa de Abasto Social de Leche a cargo de Liconsa S.A. de C.V. --------------- (2008-2011). Seguimiento a Aspectos Susceptibles de Mejora Derivados de Informes y Evaluaciones Externas a los Programas Presupuestarios: Documento de Trabajo del Programa de Abasto Social de Leche a cargo de Liconsa, S.A. de C.V. 85 --------------- (2011). Nota sobre Población Potencial y Población Objetivo del Programa de Abasto Social de Leche a cargo de Liconsa S.A. de C.V. --------------- (2010). Diagnostico sobre la Población en Condiciones de Pobreza Vulnerable a los Efectos de la Desnutrición. Secretaría de Hacienda y Crédito Público (2012). Aspectos Susceptibles de Mejora Derivados de Informes y Evaluaciones Externas a los Programas Presupuestarios: Seguimiento Histórico del Programa de Abasto Social de Leche a cargo de Liconsa, de C.V. Universidad Intercultural del Estado de México (2012). Evaluación de Consistencia y Resultados 2011-2012 del Programa de Abasto de Abasto Social de Leche cargo de Liconsa, S.A. de C.V. (ECR11/12) 6.2 Documentos de otros programas similares Cancho, Cesar, Rafael Novela, (2004) “Programas de transferencia de alimentos: Análisis empírico de la efectividad del programa de Vaso de Leche” Powell, Christine,A, Susan P. Walker, Susan M Chang and Grantham,Sally, (1998) “Nutrition and education: a randomized trial of the effects of breakfast in rural primary school children”. The American Journal Society for Clinical Nutrition. No.68. USA 6.3 Documentos normativos y programáticos Consejo Nacional de Evaluación de la Política de Desarrollo Social (2010). Diagnóstico de Matrices de Indicadores para Resultados 2010. Principales Hallazgos. -------------- (2008). Informe de Evaluación de la Política de Desarrollo Social en México. -------------- (2007). Modelo de TDR de la Evaluación de Consistencia y Resultados 2007, Anexo 02, Nota Técnica con los Principales Conceptos de la Matriz de Indicadores. Secretaría de Hacienda y Crédito Público, Secretaría de la Función Pública y Consejo Nacional de Evaluación de la Política de Desarrollo Social (2007). Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal. Secretaría de Hacienda y Crédito Público y Consejo Nacional de Evaluación de la Política de Desarrollo Social (2010) Guía para la Construcción de la Matriz de Indicadores para Resultados. ------------- (2010). Guía para el Diseño de Indicadores Estratégicos. Secretaría de Hacienda y Crédito Público (2008). Oficio Circular 307-a.-1593, Lineamientos Generales para el Proceso de Programación y Presupuestación para el Ejercicio Fiscal 2008, Anexo Dos: Metodología para la Elaboración de la Matriz de Indicadores de los Programas Presupuestarios de la APF. Unidad de Política y Control Presupuestario. 86 --------------- (2007). Circular 307-A-0221. Lineamientos para la Actualización de la Matriz de Indicadores de los Programas Presupuestarios y la Elaboración de los Calendarios de Metas de los Indicadores del Presupuesto de Egresos de la Federación para el Ejercicio Fiscal 2008. Unidad de Política y Control Presupuestario. 6.4 Documentos teóricos y metodológicos ALDUNATE, Eduardo, (2004), “Metodología del Marco Lógico”. Boletín del Instituto, 15, Latinoamericano y del Caribe de Planificación Económica y Social (ILPES). Santiago de Chile. ALDUNATE, Eduardo y Julio Córdoba, (2011), “Formulación de programas con la metodología de marco lógico”,Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile. BONNEFOY, Juan Cristóbal y Marianela Armijo, (2005), “Indicadores de desempeño en el sector público”.Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile. Cortés, Fernando. (2002) “Algunos aspectos de la controversia entre la investigación cualitativa e investigación cuantitativa”. El Colegio de México, Mimeo. CAMACHO, Hugo y otros,(2001),El enfoque del Marco Lógico: 10 casos prácticos. Cuaderno para la identificación y diseño de proyectos de desarrollo, Madrid, Fundación Cideal. Comisión Económica para América Latina, (2001), “El uso de los indicadores socioeconómicos en la formulación y evaluación de proyectos sociales: aplicación metodológica”. Serie Manuales, 15, ILPES-CEPAL, Santiago de Chile. --------------- (2004), “Uso de los indicadores socioeconómicos en la evaluación de impacto de proyectos y programas de lucha contra la pobreza”. Serie Manuales, XX, ILPES-CEPAL, La Paz, Bolivia. DÍAZ, Luis Fernando, (2001), “La metaevaluación y su método”, Revista de Ciencias Sociales, Vol. IIIII, Número 92-93, pp. 171-192, Universidad de Costa Rica. Frechtling, J. (2002) The 2002 User Friendly Handbook for Project Evaluation Prepared under Contract GLASS, G.V., McGraw, B., and Smith, M. L., (1981),Meta-analysis in social research. Beverly Hills: Sage Publications. MARTIN, Paula H. (1982),Meta-Analysis, Meta-Evaluation and Secondary Analysis. Washington, DC: ERIC Clearinghouse. SCRIVEN, Michael, (1991),Evaluation Thesaurus.Newbury Park: SAGE Publications. 87 7. Anexos Anexo 1 “Síntesis de Evaluaciones 2007-2012”. Anexo 2 “Síntesis de Evaluaciones de programas similares internacionales”. Anexo 3. “Agenda de evaluación” Anexo 4. “FODA” Anexo 5. “Análisis histórico y propuestas de mejora de la MIR” 88