Evaluación Externa del Programa de Apoyo Alimentario a cargo de DICONSA S.A. de C.V. EJERCICIO FISCAL 2006 Institución Evaluadora: Centro de Investigación y Docencia Económicas A.C. Diseño INDICE 1. DISEÑO ............................................................................................................................. 3 1.1. INTRODUCCIÓN ...................................................................................................... 3 1.2. DEFINICIÓN DEL PROBLEMA ................................................................................. 3 1.2.1. Identificación y Diagnóstico de la situación inicial............................................ 4 1.2.2. Enfoque de Género ............................................................................................. 7 1.3. ANÁLISIS DE LA MATRIZ DE MARCO LÓGICO .................................................... 12 1.3.1. Lógica horizontal de la MML........................................................................... 16 1.3.2. Lógica vertical de la MML............................................................................... 27 1.4. ANÁLISIS DE LOS CAMBIOS EN LAS REGLAS DE OPERACIÓN ............................. 29 1.5. CONCLUSIONES Y RECOMENDACIONES .............................................................. 33 2 1. DISEÑO 1.1. Introducción Este capítulo se refiere a la evaluación del diseño del Programa de Apoyo Alimentario (PAL) para el ejercicio fiscal 2006, considerando tres ejes principales: primero, el análisis de la definición del problema social que atiende el Programa, incluyendo una sección sobre el enfoque de género adoptado en el Programa; segundo, un examen de la Matriz de Marco Lógico (MML), instrumento formulado en el año 2006 por los funcionarios del Programa, y cuya finalidad es presentar de forma sistemática y lógica los objetivos del Programa y sus relaciones de causalidad. Tercero, el estudio de los cambios en las Reglas de Operación del PAL. La metodología empleada en este capítulo consistió en una revisión documental de los principales instrumentos normativos y descriptivos del Programa, incluyendo la MML. Estos documentos son contrastados con una serie de criterios explícitos que permiten ubicar las principales características y cambios en el diseño del Programa, de manera específica en sus Reglas de Operación. 1.2. Definición del Problema El Programa de Apoyo Alimentario (PAL) surge formalmente a principios de 2004 como una acción del gobierno federal para mejorar las condiciones de alimentación y nutrición de hogares en situación de pobreza en localidades en las que no se cuenta con otros programas alimentarios del gobierno federal. El apoyo consiste en un paquete alimentario o en una transferencia mensual en efectivo por hogar. El Programa surge a partir de la ubicación de 3 una necesidad imperante en el país, la falta de alimentación y nutrición adecuadas para un sector de la población que enfrenta dos problemas sociales importantes, identificados por el gobierno federal como marginación y pobreza1. A continuación se discuten dos cuestiones, importantes para el Programa la primera tiene que ver con la identificación del problema a atender y el diagnóstico en la situación inicial, y la segunda, con el enfoque de género en el Programa. 1.2.1. Identificación y Diagnóstico de la situación inicial A lo largo de la etapa de diseño del Programa, que va de principios de 2003 a febrero de 2004, se pueden ubicar características específicas de la población que se busca atender, tanto en términos de las localidades donde habitan como de los hogares que se busca beneficiar. Así, las siguientes características, de localidades u hogares, son señaladas en uno o varios de los documentos de diseño (discursos, acuerdos administrativos, manuales y Reglas de Operación), como condiciones para recibir el apoyo del Programa: ¾ Localidades que no reciban beneficios de otros programas alimentarios (con excepción del Programa de Abasto Rural) ¾ Localidades registradas y georreferenciadas en catálogo de integración territorial del INEGI ¾ Localidades de hasta 2,500 habitantes ¾ Localidades con condición de alta y muy alta marginación ¾ Localidades con condición de marginación media con alta concentración de pobreza ¾ Hogares en situación de pobreza 1 Universidad Iberoamericana, Estudio de Evaluación Externa del Programa de Apoyo Alimentario, 2006, mimeo. 4 Dadas estas características es evidente que la preocupación a atender recae en la población que enfrenta las condiciones más adversas tanto en ingresos como en infraestructura social básica y que por diferentes circunstancias no logra tener apoyos de programas alimentarios del gobierno federal. Sin embargo, es importante anotar que esta identificación del problema no contó con un diagnóstico completo sobre la problemática. A continuación se anotan dos aspectos relevantes que están hasta ahora ausentes o incompletos en la definición del problema: a) Dimensión, es decir, el número total de hogares en condiciones de pobreza en las localidades con las características señaladas arriba. A pesar de que el número inicial señalado por la Presidencia fue de 820 mil hogares2, no existe en documentos oficiales del Programa una metodología explícita para su cálculo o las proyecciones del cambio en el número total de hogares por atender. Además no parece existir una idea de temporalidad del Programa, y tampoco la duración para los hogares beneficiarios está definida en términos del cambio en las características socioeconómicas de los hogares o de logros alcanzados por el mismo. Más aún, no se plantearon explícitamente proyecciones sobre el tamaño de la población que será incorporada a otros programas, tales como OPORTUNIDADES o LICONSA y que modifica en magnitud la población objetivo para el PAL. b) Las capacidades de las organizaciones involucradas en la instrumentación del PAL. Si bien, es DICONSA, por su amplia red de distribución en zonas rurales la que es la base para la instrumentación del PAL, no esta explícito 2 UIA, op. cit., p.91 5 de qué forma el Programa se acopla al Programa de Abasto Rural, tanto en estructura como en operación. Además, el Programa establece en sus reglas de operación la existencia de acciones complementarias con otras entidades del gobierno federal, así como con otros niveles de gobierno. Sin embargo, nunca se hacen explícitos las formas de esta interacción y la capacidad de los estados o municipios para responder a las acciones planteadas. Las Reglas de Operación (ROP) del Programa de Apoyo Alimentario 2006 establecen sólo criterios generales de la definición del problema al establecer que para ser beneficiario (numeral 3.3), es necesario habitar en localidades de hasta 2,500 habitantes con grado de marginación alto y muy alto (excepcionalmente de marginación media), y que no reciban la ayuda de programas alimentarios federales (con excepción del Programa de Abasto Rural de DICONSA). Los potenciales beneficiarios deben encontrarse en situación de pobreza, de acuerdo con los criterios establecidos por la SEDESOL, pero sin especificar qué tipo de pobreza. En términos generales el Programa puede ser considerado como congruente con la política social de la administración federal en tanto que establece en su normatividad básica criterios de selección y focalización y busca incrementar capacidades básicas de la población con las mayores carencias, en particular busca aliviar los problemas de nutrición de los hogares que se encuentran en situación de pobreza, lo cual es congruente con el Plan Nacional de Desarrollo 2001-2006, el Programa Nacional de Desarrollo Social 2001-2006 y la Estrategia Contigo . Sin embargo, es necesario señalar que una completa definición del problema necesita de un diagnóstico que considere tanto la dimensión de la población a 6 atender como la estrategia de avance del Programa y su interacción con otros instrumentos, programas, instancias y niveles de gobierno. En el último trimestre de 2006 se elaboró el “libro blanco” del Programa de Apoyo Alimentario3 cuyo objetivo es facilitar el acceso a la información relevante derivada de la ejecución del Programa. En dicho documento se encuentra una descripción detallada sobre las acciones emprendidas en torno al Programa en un periodo que va desde octubre de 2003 a agosto de 2006, en específico de su planeación, ejecución, seguimiento y evaluación. Este instrumento informativo es relevante para la rendición de cuentas y para el análisis sobre la viabilidad y continuidad de las acciones en la transición sexenal. La elaboración de libros blancos en la Administración Pública Federal es un ejercicio de constancia documental de las acciones realizadas durante una administración, pero no un ejercicio de prospectiva y diagnóstico. La difusión de un documento que contenga de manera explícita la situación del problema y que sea explícito en la definición, dimensión y estrategia de solución al problema sería de gran ayuda para darle viabilidad y apoyo. Otro aspecto importante en el diseño de un programa alimentario es su enfoque de género. Esto se aborda en la siguiente sección. 1.2.2. Enfoque de Género De acuerdo con el Programa de Análisis Socioeconómico y de Género de la FAO4 este tipo de análisis consiste en la identificación de las responsabilidades, necesidades y prioridades de diferentes grupos de la población; se toman en consideración variables como edad, 3 Disponible en www.diconsa.gob.mx\libro_blanco2006.pdf 4 FAO, Pasaporte para integrar una perspectiva de género en los Programas de Emergencia Preguntas analíticas clave para el diseño de intervenciones humanitarias sensibles a los aspectos de género, s.a., 7 ingreso, religión, etnia y ubicación geográfica para observar los roles y relaciones entre hombres y mujeres con el propósito de entender mejor su situación. El enfoque de género en política pública (gender oriented policy) ha sido definido como: “tomar en cuenta las diferencias entre los sexos en la generación del desarrollo y analizar en cada sociedad, las causas y los mecanismos institucionales y culturales que estructuran la desigualdad entre los sexos, así como elaborar políticas con estrategias para corregir los desequilibrios existentes”5. De acuerdo con este principio, la perspectiva de género en políticas públicas se traduciría en introducir la cuestión de la equidad entre los sexos no sólo en los métodos de análisis y de diagnóstico de la realidad social, que sirven de base para la elección y formulación, sino también en los procedimientos de evaluación, reprogramación y desempeño global de las mismas. Y lo que es más importante, en los mecanismos institucionales, formales e informales, que regulan la asignación de oportunidades y la distribución de cargas sociales entre los sexos, tanto en lo que toca a las estrategias y programas de política económica como a las políticas sociales6. En el caso del diseño del PAL el enfoque de género se identifica con el numeral 3.5.2 “Obligaciones” de las Reglas de Operación 2006 en donde se establece que la madre del hogar tendrá preferencia en su elegibilidad como titular del apoyo y que en el caso de que ésta no exista se designará a la persona que tenga a su cargo el cuidado de los niños. Esta preferencia considera tareas tradicionalmente asignadas al sexo femenino, donde se considera que las mujeres son las más adecuadas para administrar los recursos del hogar. 5 OCDE. Guidelines for Gender Equality and Women’s Empowerment in Development Cooperation, 1998. Inchaustegui Romero, Teresa, La institucionalización del enfoque de género en las políticas públicas. Apuntes en torno a sus alcances y restricciones. La ventana, núm. 10, 1999. 6 8 Existe evidencia que sustenta los beneficios de otorgar los apoyos alimentarios a las mujeres jefas de hogar porque se ha demostrado que es más factible que los recursos lleguen a todos los miembros que si el beneficiario es el hombre y por lo tanto sea más eficiente el apoyo otorgado. De acuerdo con algunas evaluaciones de Programas de Transferencias Directas (TDC), focalizar los apoyos a las mujeres ha sido positivo ya que se traduce en una mejor utilización de los recursos al conocer mejor las necesidades de los integrantes en el hogar y porque los hombres destinan una mayor parte de los recursos al consumo individual7. Adicionalmente, en un contexto de feminización de la pobreza8, el otorgar apoyos a este sector incrementa la posibilidad de superar esa condición al disminuir las diferencias derivadas de los roles designados al interior del hogar por sexo y fomentar la igualdad de oportunidades, ya que a través de las pláticas de higiene y salud aumentan sus conocimientos y están más organizadas. De acuerdo con la evaluación cualitativa del CIESAS para 2005, “en general, el PAL contribuye al empoderamiento femenino, aunque ello ocurra de modo limitado…Como se sabe, se pueden fortalecer las capacidades de las mujeres proporcionándoles mayor escolaridad, más información, y fortaleciendo también su posición social, dotándolas de más crédito, recursos, capacidades para hacer huertas, autonomía para resolver asuntos económicos, etcétera”.9 A pesar de que existe evidencia de un efecto positivo al favorecer el destino de los recursos a las mujeres, el enfoque de género en el diseño del PAL debe considerar otras dimensiones 7 Ver por ejemplo, la evaluación de PROGRESA para 1999 en http://evaloportunidades.insp.mx/441c7c1a3d30adf64e0e724174a9d527/impacto/1999/1999_libro_evaluacion .pdf 8 El Instituto Nacional de las Mujeres estima que el 60% de las personas que viven en pobreza extrema son mujeres. 9 CIESAS, Evaluación Cualitativa del Programa de Apoyo Alimentario. Informe Final 2005. p. 37. 9 de género, hasta ahora ausentes, ya que este tipo de enfoque indicaría que debe terminarse con esa diferenciación de actividades basada en las características atribuidas a cada sexo y así propiciar la participación cotidiana de hombres y mujeres en las actividades del espacio doméstico para transformar la posición de la mujer con respecto al hombre y no perpetuarla en el rol de administradora del hogar. Más aún, el enfoque de género implicaría una revisión más detallada de la participación de las mujeres en los procesos decisorios del Programa, como por ejemplo su actividad en los comités comunitarios para el seguimiento del Programa o para las labores de contraloría social. En la Tabla 1-1 que se presenta al final del párrafo, se han sintetizado algunas de las interrogantes cuya respuesta, de acuerdo con este organismo internacional, es clave para el diseño y la operación de las intervenciones de corte alimentario sensibles a los aspectos de género. Sería recomendable que la elaboración de los documentos normativos del PAL, incluyendo sus Reglas de Operación, Manuales, Lineamientos y la Matriz de Marco Lógico consideraran instrumentos como esta guía para la incorporación del enfoque de género en el diseño del Programa. Este ejercicio podría reportar beneficios en el sentido de proporcionar a los diseñadores de la política mayor información para la elaboración de propuestas de política o de rediseño de programas que contemplen el entorno de roles de género prevalecientes y los obstáculos y dificultades en la asignación de responsabilidades que propone un programa. 10 Tabla 1-1 Guía para un análisis de género en programas sociales General ¾ ¿Cuáles son las capacidades existentes y disponibles en la comunidad? ¿Las tienen las mujeres, los hombres, los niños? ¾ ¿Cuáles son los diferentes problemas identificados por los varios grupos socioeconómicos? ¿Por las mujeres? ¿Por los hombres? ¾ ¿Se traducen los aspectos de género solamente en actividades orientadas de manera específica o también se utiliza una perspectiva de género en las distintas etapas de las principales iniciativas? ¾ ¿Se puede garantizar que las mujeres no serán excluidas, marginadas y reemplazadas por los programas? ¾ ¿Están los hombres y las mujeres igualmente comprometidos en las instancias de formulación de políticas y en la determinación de objetivos y calendarios de actividades? ¾ ¿Están las organizaciones de hombres y mujeres representadas en un equipo especial y en los comités comunitarios locales? ¿Los miembros de los comités locales están regularmente en contacto con las comunidades locales para conocer sus problemas? ¾ ¿Cuáles de las actividades propuestas irán a beneficiar directamente a las mujeres? ¿A los hombres? ¾ ¿Promueve el proyecto cambios que comportan nuevas responsabilidades familiares para hombres y mujeres debido a los cambios en los roles de género (ámbito doméstico y toma de decisiones)? ¾ ¿Se han reconocido los roles de las mujeres y los hombres en relación al cuidado de las familias y personas a cargo? ¾ ¿El grado de vulnerabilidad puede estar influenciado por los aspectos de género? ¾ ¿Qué criterios de selección más equilibrados, en términos del género, deberían ser utilizados? ¿De qué manera la identificación de beneficiarios podría ser más transparente y equitativa? ¾ ¿Quién debería encargarse de la identificación de los beneficiarios a nivel del hogar? ¿Los beneficiarios? ¿Las autoridades de la comunidad? ¿Las ONGs contrapartes? ¿Los funcionarios del Ministerio? ¿El personal del proyecto? ¿Las estructuras comunitarias? ¿Cuál es el rol de las mujeres miembros del comité responsable del registro y distribución? ¾ ¿Quiénes (hombres, mujeres, ricos/pobres, minorías, castas y grupos étnicos) saben como registrarse? ¿Qué grupos tienen menores posibilidades de registrarse por motivos geográficos, culturales o de seguridad? ¿Se pueden registrar las mujeres jefas de hogar y los inválidos? ¿Cómo debería organizarse el registro de los beneficiarios y la distribución del paquete de ayuda? ¾ ¿Están reconocidos los hogares dirigidos por mujeres? ¾ ¿De qué manera pueden ser utilizados los conocimientos locales de las mujeres y los hombres? ¾ ¿Pueden los habitantes de la comunidad de ambos sexos (ej. los miembros del comité) participar en talleres de capacitación de más de un día de duración fuera de la comunidad? Programas Alimentarios ¾ ¿Cuáles son los hábitos alimentarios de cada grupo socioeconómico? ¿Cuáles son las condiciones de acceso a los alimentos para los hombres y las mujeres? ¾ ¿Cuáles son los tabús alimentarios que afectan a las mujeres? ¾ ¿De qué manera se reparten los alimentos dentro de los hogares/grupos? ¿Qué ha cambiado? ¿Cuál es el déficit calórico, desglosado por género, en la población afectada? ¾ ¿En qué medida los productos básicos propuestos son aceptables para los beneficiarios, en función de sus 11 necesidades desglosadas por género? ¾ ¿Cuáles son los programas y servicios disponibles en relación a la seguridad alimentaria? ¿Están dirigidos especialmente a las mujeres? ¾ ¿Tienen las mujeres acceso igualitario y efectivo a los programas alimentarios y agrícolas y a los servicios de extensión? ¿Qué medidas de apoyo u otras organizaciones complementarias separadas son necesarias? ¾ ¿Son necesarias medidas específicas para aumentar la participación de las mujeres en los programas alimentarios y agrícolas? 1.3.Análisis de la Matriz de Marco Lógico La metodología de la Matriz del Marco Lógico (MML) ha cobrado auge por su utilización en organismos financieros internacionales y surge de la necesidad de evitar problemas frecuentemente detectados en el diseño, operación y evaluación de proyectos. La existencia de múltiples objetivos en un proyecto y/o de diversas actividades no necesariamente alineadas a la consecución de éstos es un hecho común. El éxito de un proyecto está íntimamente relacionado con la claridad en la definición de responsabilidades de todos los involucrados así como con la existencia de mecanismos factibles y transparentes de seguimiento y control de las actividades llevadas a cabo por los responsables. Esto conlleva a la existencia de una base objetiva y consensuada para comparar los resultados esperados con los realmente logrados por el proyecto y la metodología de la MML es una herramienta útil para alcanzar estos objetivos. La MML permite presentar en forma resumida y estructurada información básica y esencial del proyecto evitando ambigüedades en la definición de actividades y considerando la participación de todos los involucrados. Así, en un solo cuadro se resume la información más importante para la gerencia del proyecto, permitiendo focalizar su atención y los recursos con los que se cuenta, asegurando una buena conceptualización y diseño de las 12 iniciativas de inversión. Al mismo tiempo, sienta las bases para la ejecución del proyecto, la evaluación de sus resultados y la medición de su impacto en la problemática atendida. Con base en el boletín número 15 del Instituto Latinoamericano y del Caribe de Planificación Económica y Social (CEPAL) emitido el 30 de octubre de 2004, se describe la MML como una tabla de cuatro filas por cuatro columnas. Su estructura básica se muestra en la Tabla 1-2. 13 Tabla 1-2 Estructura de la Matriz de Marco lógico Resumen narrativo Fin Objetivo superior a cuyo logro el proyecto contribuirá de manera significativa. Dicho objetivo corresponderá a la solución de un problema de desarrollo que se ha detectado y que ha sido considerado el problema principal para la localidad, la región, el sector, la institución o la comunidad que representan la población objetivo del proyecto. Por lo general, la contribución del proyecto al logro del Fin no se materializará tan pronto concluya la ejecución, sino que se requerirá su operación durante cierto tiempo Propósito Es el resultado esperado una vez finalizado el proyecto. Por ser un resultado hipotético, que depende de la utilización de los recursos del proyecto, su logro está más allá del control del equipo responsable de la ejecución. Cada proyecto debe tener un propósito único. Se acostumbra expresar el propósito como una situación alcanzada (redactado en tiempo pasado). Componentes Indicadores Medios de verificación Supuestos Métricas que definen metas específicas que posibilitan estimar en qué medida se cumplen los objetivos en cuatro dimensiones: calidad, cantidad, cronograma y costos. Es recomendable utilizar el menor número de indicadores que permitan evaluar bien el logro de cada objetivo. Un buen indicador debe ser objetivo, ser medible objetivamente, relevante, específico, práctico y económico, debe estar asociado a un plazo y tener una meta a alcanzar. Se registran las fuentes de información que se utilizarán para obtener los datos necesarios para calcular los indicadores así como la frecuencia con que se recopilará la información. Los medios de verificación pueden incluir estadísticas elaboradas interna o externamente al proyecto, material publicado con información útil para verificar el logro de los objetivos del proyecto, inspección visual por parte de algún especialista, el resultado de encuestas, informes de auditoria o registros contables. En caso de que haya más de una fuente, se deberá especificar cual se utilizará de preferencia. Se identifican los riesgos que comprometan el logro de un objetivo de nivel superior aún cuando se haya logrado el del nivel inferior. Estos riesgos se expresan como supuestos que tienen que cumplirse para lograr el nivel siguiente en la jerarquía de objetivos. Los supuestos obligan a quienes formulan el proyecto a explicitar los riesgos y a quienes lo ejecutan a estar pendientes de ellos Son los productos o servicios que debe producir el proyecto. Se deben listar todos los componentes necesarios para lograr el Propósito del Proyecto. Se acostumbra definir los Componentes como resultados logrados, es decir, como obras concluidas Actividades Son las tareas que el equipo del proyecto tienen que llevar a cabo para producir cada Componente. Se enlistan en orden cronológico, agrupadas por Componente. Es conveniente asignarles un número o código estructurado que permita identificar con facilidad a qué Componente corresponde cada actividad. Es importante no incluir actividades prescindibles, es preferible quedarse con pocas actividades macro necesarias para cada Componente en lugar de listar actividades detalladas. 14 Para el análisis de la congruencia de la Matriz de Marco Lógico en su lógica vertical y horizontal se utilizó la MML proporcionada por DICONSA (ver anexo del capítulo) para este estudio y se evaluaron los aspectos detallados en la Tabla 1-3 10. Tabla 1-3 Aspectos a Evaluar en la Matriz de Marco Lógico Aspectos generales Realidad Claridad Suficiencia Fin Propósito Componente Actividad Supuestos Medios de verificación Indicadores Recursos y Presupuesto 10 La lógica vertical y horizontal entre las Actividades, los Componentes, el Propósito y el Fin es realista en su totalidad Está claramente expresado el elemento Es concreto y verificable Los elementos, junto sus supuestos a cada nivel describen las condiciones necesarias y suficientes para lograr el elemento inmediato superior Aspectos particulares a evaluar Están claramente identificados y señalados los beneficiarios directos relacionados con el Fin Su logro implica una mejora permanente y significativa en la calidad de vida de los beneficiarios Existe un solo Propósito en el Proyecto La relación causal entre el Propósito y el Fin es lógica y no omite pasos importantes Los Componentes están descritos como resultados alcanzados Los Componentes son los necesarios para el logro del Propósito del proyecto Los Componentes incluyen solamente aquellos sobre los que tiene responsabilidad directa la gerencia del proyecto Las actividades incluyen todas las acciones necesarias para producir cada componente Las Actividades se describen como tareas que implican costos La relación entre las Actividades y el presupuesto es realista Están previstas las actividades referidas al seguimiento y a la evaluación Se incluyen acciones que deban llevarse a cabo antes de comenzar las Actividades Los supuestos corresponden al nivel en el que fueron ubicados Son relevantes para el cumplimiento de los elementos del proyecto Es alta su probabilidad de ocurrencia Se identifican claramente las fuentes que pueden consultarse Son fiables, estarán actualizadas y son fácilmente disponibles Indican la frecuencia de recopilación de la información Los indicadores son claros Se pueden medir de manera objetiva Son relevantes para el logro del componente Miden efectivamente lo que pretenden medir Son de fácil obtención El proceso para obtenerlos es económico Están especificados los periodos de cálculo necesarios para cada indicador Se incluye el nombre del indicador Se incluye una descripción de la forma en la que se calculará cada indicador Se incluye el valor inicial y el esperado de cada indicador Los recursos son suficientes y necesarios para desarrollar las actividades Los recursos están suficientemente precisados Para realizar el análisis de las lógicas vertical y horizontal se utilizó la metodología propuesta en la Evaluación Externa 2004-2005. Los recursos son los apropiados en el marco del proyecto Los recursos están disponibles de manera que pueden ser provistos en tiempo y forma Existe una clara correspondencia entre los recursos y las Actividades Se identifican claramente en el presupuesto el destino y cuantía de los recursos Existe una partida que contemple los imprevistos Están garantizados los recursos que se contemplan en el presupuesto El presupuesto es razonable en su totalidad y en cada una de sus partidas, en relación con las actividades, los componentes, el propósito y el fin Fuente: Elaboración propia con base en UIA, Evaluación Externa 2004-2006 (primer semestre) El cumplimiento de la metodología descrita en el Marco Lógico debe facilitar la conceptualización, planeación y monitoreo de un programa determinado, por lo que representa una herramienta valiosa para su operación. Para que esta sea efectiva se debe cumplir con ciertos lineamientos generales que permitan el adecuado funcionamiento del instrumento, los cuales se describen como la lógica horizontal y vertical de la MML. La lógica horizontal de la MML permite medir el progreso del proyecto en el cumplimiento de sus objetivos, para lo cual, la descripción de cada elemento de la Matriz debe ser clara y concisa, los indicadores adecuados para cada nivel, claros, objetivos, medibles y debe existir la información para calcularlos. Por otro lado, en la lógica vertical de la Matriz debe existir congruencia entre cada uno de los elementos de la columna que describe los objetivos, los cuales deben permitir, junto con el cumplimiento de los Supuestos realizados para cada uno de ellos, el logro del Componente inmediato superior. 1.3.1. Lógica horizontal de la MML En general se puede decir que la MML del PAL representa un avance en la refinación de objetivos, actividades, tareas e indicadores del Programa. Sin embargo, se observan ciertas inconsistencias, las cuales derivan de la ausencia de un diagnóstico completo de las 16 necesidades que dieron origen al Programa y de los efectos posibles de la instrumentación de un programa alimentario en especie. En primer lugar, se observa que el Fin está identificado y que su logro impactaría positivamente las condiciones de vida de los receptores del apoyo pero no se especifica de manera clara si los beneficiarios directos son hogares o localidades. Segundo, el Propósito no se encuentra expresado como un resultado alcanzado además de que no es único, lo cual genera confusión. Tercero, la descripción de los Componentes no se encuentra expresada como un resultado alcanzado, pero si incluye aquellas actividades sobre las que se tiene injerencia directa. Cuarto, sólo algunas de las Actividades se expresan en acciones concretas que impliquen costos, se incluyen algunas que no son relevantes para el Componente al que corresponden y no se incluyen Actividades de evaluación. Por otro lado, los Indicadores son un elemento esencial de la MML por que permiten medir el logro de los objetivos planteados, en respuesta a las necesidades del proyecto. Además deben ser sencillos y fáciles de calcular. Los Indicadores incluidos en la MML del Programa presentan en general deficiencias comunes tales como no hacer explícita la periodicidad de cálculo o el valor actual y esperado de cada uno de ellos además de que no se hace explícita la necesidad de calcular cada uno de estos para hombres y mujeres y observar si existen diferencias o equidad por género. A nivel de Fin y Propósito los indicadores generan la impresión de haber sido concebidos sin una congruencia analítica ni con relación a la lógica horizontal de la MML (ver observaciones particulares más adelante). Sin duda, lo anterior dificulta la medición de los indicadores y por tanto la evaluación misma del Programa. Un ejemplo es el hecho que en el indicador de Fin no se observe congruencia entre la descripción y la fórmula, por lo que convendría modificar la 17 forma de calcularlo de manera que refleje la reducción de la pobreza en las zonas atendidas en comparación con la reducción en las no atendidas; adicionalmente, debe excluirse de la descripción el programa OPORTUNIDADES, ya que se encuentra fuera de la competencia de la gerencia del proyecto. Sin embargo, se observa, a la luz de las evaluaciones de carácter cuantitativo que se han realizado, que los problemas anteriormente anotados son en parte entendidos ya que las evaluaciones del INSP y la de la UIA tratan en la medida de los posible precisar la variable específica a evaluar y lo hacen con la mayor rigurosidad posible aunque no es el caso de los trabajos del INCMNSZ, los cuales presentan algunas deficiencias. A nivel de Propósito, se incluyen algunos Indicadores que no miden el cumplimiento de los elementos que lo conforman ya que cada uno de estos se incorpora como un componente más adelante, por lo que valdría la pena replantearlos; adicionalmente, deben hacerse explícitos conceptos como prevalencia o inseguridad alimentaria. En el capítulo sobre la dimensión de Resultados de esta evaluación se comentará con más detalle lo referente a los Indicadores en el nivel de Fin y Propósito. Respecto a los Componentes, se incluyen algunos Indicadores que son irrelevantes para este nivel (1.7, 1.8 y 1.9) y existen muchos que corresponden a los distintos elementos incluidos en el Propósito, lo que dificulta su monitoreo, por lo que se considera pertinente su reducción. Por último, los indicadores de las Actividades deben reflejar los costos de cada una de éstas, situación que no ocurre en ningún caso. Otro de los aspectos a examinarse es el de los medios de verificación. Se observa que la identificación de las fuentes es clara, sin embargo, existen algunos aspectos que deben considerarse, tales como su disponibilidad o costo; adicionalmente, no se especifica en 18 ningún caso la frecuencia de la recopilación de la información. Asimismo, no existe una congruencia en el tipo de información que se observa. Por un lado tenemos fuente de información como es en el caso del indicador de Fin pero por el otro tenemos reportes de instituciones académicas o simplemente la aseveración de que se van a realizar evaluaciones externas. A nivel de Fin, no se especifica la fuente para obtener los datos sobre pobreza, la cual representa el objeto de su medición; sobre la información proveniente del INEGI, la disponibilidad de la ENIGH es hasta ahora bianual, lo cual dificulta el monitoreo de este indicador para intervalos más cortos, además de que no se especifican los productos adicionales que se consultarán de esta fuente. En cuanto al nivel de Propósito, la mayor parte de las fuentes que se mencionan son externas y pueden resultar costosas, por lo que podrían incluirse medios de verificación internos. En el caso de los Componentes, no se especifica en que consiste el Sistema de alerta rápida o la Encuesta de calidad y transparencia además de que en el caso de la verificación de apoyos, existen otras fuentes que pueden facilitar la información como los reportes internos sobre cumplimiento de metas. Para las Actividades, no se cumple con lo descrito por la metodología ya que no se incluyen los costos en que incurre cada una de ellas. Por lo que respecta a la inclusión de la perspectiva de género en la MML, se observa que no existe una referencia explícita en ningún elemento de la matriz que permita identificar si se promueve la equidad, si existen condiciones diferenciadas para la atención por parte del Programa o si los resultados esperados varían de acuerdo al género de los beneficiarios, situación que se considera debe recuperarse en la definición y cálculo de indicadores. 19 A continuación se anotan algunas observaciones particulares para los indicadores, el propósito de este apartado es responder a la pregunta de sí existen indicadores adecuados para medir el desempeño del Programa. 20 Observaciones particulares NOMBRE DEL INDICADOR FIN FÓRMULA 1.1 Disminución porcentual del número de hogares en pobreza alimentaria en zonas rurales apoyados por el Programa respecto a zonas no apoyadas (por el PAL y Oportunidades) Número de hogares en pobreza alimentaria en zonas rurales con apoyo del PAL/Número de hogares en pobreza alimentaria en zonas rurales sin PAL X100. MEDIOS DE VERIFICACIÓN Datos de INEGI y ENIGH OBSERVACIONES En la práctica, el PAL considera a la “pobreza de capacidades” como la variable a observar y no la “pobreza alimentaria” como lo señala el indicador. La fórmula puede modificarse para expresar de mejor forma el indicador. En específico, la fórmula actual no está expresada un sentido de cambio o de impacto. Si estimáramos el indicador con la fórmula tal como está el número que obtendríamos estaría más cerca de darnos una idea de la cobertura del PAL que de su impacto. No se especifica que base de datos del INEGI. Ponen en un mismo nivel al INEGI y a la ENIGH. Tampoco se menciona la fuente específica para obtener los datos de pobreza. La ENIGH de manera regular se realiza cada dos años por lo que se debiera especificar la periodicidad de la medición del indicador. Asimismo, si se van a realizar encuestas específicas para el Programa debiera anotarse cada cuánto se van a realizar. La evaluación de la UIA hizo una estimación que muestra que el Programa ha permitido que aproximadamente 3% de sus beneficiarios superen el umbral de pobreza alimentaria mientras que 1.3% superaron la línea de pobreza de capacidades y 1.1% superó la línea de pobreza de patrimonio. Es importante mencionar que el impacto socioeconómico del Programa también debe ser medido desde una perspectiva de largo plazo e incluyendo los efectos indirectos del Programa tales como, los resultados escolares que aseguran una superación más permanente de la pobreza. PROPÓSITO 0.1 Disminución porcentual de niños menores de 5 años con bajo peso para la edad en localidades de integralidad después de 12 meses en el Programa. 0.2 Disminución porcentual de niños menores de 5 años con baja talla para la edad en localidades de integralidad después de 12 meses de permanencia en el Programa. Prevalencia de bajo peso para la edad en niños menores de 5 años en localidades de Integralidad con al menos 12 meses en el Programa, en la primera medición – Prevalencia de bajo peso para la edad en los mismos niños menores de 5 años en localidades de Integralidad con al menos 12 meses en el Programa, en la medición actual/Número de niños menores de 5 años con al menos 12 meses en el Programa en localidades de integralidad incluidos en la primera medición X 100 Prevalencia de baja talla para la edad en niños menores de 5 años en localidades de Integralidad con al menos 12 meses en el Programa, en la primera medición – Prevalencia de bajo talla para la edad en los mismos niños menores de 5 años en localidades de Integralidad con al menos 12 meses en el Programa, en la medición actual/Número de niños Reporte del Estado de Nutrición de los niños menores de 5 años del INCMNSZ (Convenio de concertación). La fórmula está mal planteada. Lo correcto es: medición actualprimera medición/primera medición y no primera mediciónmedición actual. El concepto “medición inicial” puede generar ambigüedad ya que en una segunda o tercera evaluación no queda claro si el cambio debe realizarse con respecto a la medición inicial (antes de iniciarse el Programa o a la última realizada). Además de lo anterior, se debe de anotar que el cambio en el indicador debe deberse al Programa y no a posibles variables observables o no observables que pudieran haber cambiado. El medio de verificación de este indicador no es congruente con los otros. En la medida de lo posible debería de anotarse las fuentes de información pública si éstas existen o si no la necesidad de generar información para su medición. Al igual que en el indicador anterior, la periodicidad pudiera indicarse. Esta quizá debiera establecerse de acuerdo al costo de generar al información y al tiempo necesario para su obtención. Reporte del Estado de Nutrición de los niños menores de 5 años del INCMNSZ (Convenio de concertación). La fórmula está mal planteada. Lo correcto es: medición actualprimera medición/primera medición y no primera mediciónmedición actual. El concepto “medición inicial” puede generar ambigüedad ya que en una segunda o tercera evaluación no queda claro si el cambio debe realizarse con respecto a la medición inicial (antes de iniciarse el Programa o a la última realizada). Además de lo anterior, se debe de anotar que el cambio en el indicador debe deberse al Programa y no a posibles variables observables o no observables que pudieran haber cambiado. El medio de verificación de este indicador no es congruente con los otros. En la medida de lo posible debería de anotarse las fuentes de 22 menores de 5 años con al menos 12 meses en el Programa en localidades de integralidad incluidos en la primera medición X 100 0.3 Disminución porcentual de niños menores de 5 años con bajo peso para la talla en localidades de integralidad después de 12 meses en el Programa. 0.4 Porcentaje de hogares con inseguridad alimentaria Prevalencia de bajo peso para la talla en niños menores de 5 años en localidades de Integralidad con al menos 12 meses en el Programa, en la primera medición – Prevalencia de bajo peso para la talla en los mismos niños menores de 5 años en localidades de Integralidad con al menos 12 meses en el Programa, en la medición actual/Número de niños menores de 5 años con al menos 12 meses en el Programa en localidades de integralidad incluidos en la primera medición X 100 Número de hogares beneficiarios que reportan inseguridad alimentaria/total de hogares beneficiarios X100 información pública si éstas existen o si no la necesidad de generar información para su medición. Al igual que en el indicador anterior, la periodicidad pudiera indicarse. Esta quizá debiera establecerse de acuerdo al costo de generar al información y al tiempo necesario para su obtención. Reporte del Estado de Nutrición de los niños menores de 5 años del INCMNSZ (Convenio de concertación). La fórmula está mal planteada. Lo correcto es: medición actualprimera medición/primera medición y no primera mediciónmedición actual. El concepto “medición inicial” puede generar ambigüedad ya que en una segunda o tercera evaluación no queda claro si el cambio debe realizarse con respecto a la medición inicial (antes de iniciarse el Programa o a la última realizada). Además de lo anterior, se debe de anotar que el cambio en el indicador debe deberse al Programa y no a posibles variables observables o no observables que pudieran haber cambiado. El medio de verificación de este indicador no es congruente con los otros. En la medida de lo posible debería de anotarse las fuentes de información pública si éstas existen o si no la necesidad de generar información para su medición. Al igual que en el indicador anterior, la periodicidad pudiera indicarse. Esta quizá debiera establecerse de acuerdo al costo de generar al información y al tiempo necesario para su obtención Evaluación externa Por cuestiones de claridad, el indicador tendría que especificar que se refiere al porcentaje de hogares beneficiarios con inseguridad alimentaria. También sería necesario, como lo indica el séptimo informe, especificar lo que se entiende por inseguridad alimentaria. El indicador no refleja ningún propósito. Además, suponiendo que el propósito sea disminuir la inseguridad alimentaria, la fórmula debería modificarse para expresar de mejor forma esta idea. En específico, en la fórmula actual no se expresa un sentido de cambio 23 o de impacto del Programa. El medio de verificación de este indicador no es congruente. En la medida de lo posible debería de anotarse las fuentes de información pública si éstas existen o si no la necesidad de generar información para su medición. Sería importante especificar la periodicidad en el cálculo de este indicador. 0.5 Satisfacción de beneficiarios 0.6 Nivel de Ejercicio Presupuestal No de beneficiarios que manifiestan satisfacción con el Programa/Total de beneficiarios encuestados X 100 Presupuesto ejercido/ presupuesto programado X 100 COMPONENTES 1.1 Porcentaje de los apoyos entregados en especie respecto a los programados Número de Apoyos entregados en especie / No. De Apoyos programados en especie X 100 1.2 Porcentaje de apoyos entregados en efectivo respecto a los programados Encuesta de Calidad y Transparencia Evaluación externa Este indicador no está relacionado con el rubro de resultados si no más bien con la sección que se refiere a la satisfacción de los beneficiarios. Comprobación de gastos ejercidos Presupuesto anual PAL Este indicador no corresponde al Propósito descrito en la Matriz y es igual al identificado como 1.9. Este cálculo corresponde al avance de la meta financiera y para 2004 fue de 91.6%, para 2005, 98.1% y para 2006, 97.9%. Padrón de Beneficiarios firmado por la recepción de Apoyos Alimentarios. Base de Datos de Beneficiarios. Número de apoyos entregados en efectivo / No. De Apoyos programados en efectivo X 100 Para poder medir de forma regular este indicador y los cambios que surjan del mismo se requiere plantear explícitamente la periodicidad de las Encuestas de Calidad y Transparencia. La información disponible en manos del evaluador no permite distinguir los apoyos programados por modalidad, pero si los entregados: 2004 2005 2006 Paquetes 2’148,993 1’979,350 1’754,965 Efectivo 41,869 123,079 104,595 Ver 1.1 24 1.4 Número de Familias Beneficiadas por el PAL Número de Familias Beneficiarias del PAL Padrón de Beneficiarios. Cédulas de Identificación Social. Datos INEGI, CONAPO. Presupuesto ejercido Padrón de Beneficiarios firmado por la recepción de Apoyos. 1.6Costo promedio de operación por entrega de apoyo. Costo total de la operación / No. De Apoyos entregados 1.8 Margen de ahorro por consumo de Paquete Alimentario Precio de los productos a nivel local- Costo del Paquete PAL 1.9 Ejercicio Presupuestal Apoyos Entregados Presupuesto ejercido/ presupuesto programado X 100 2.5 Costo promedio de la capacitación por facilitador comunitario capacitado. Costo total de las capacitaciones / número de facilitadores capacitados comunitarios Sondeo de precios Comprobación de Apoyos Entregados Presupuesto anual de Apoyos PAL Reporte de avances de presupuesto de capacitación y Sistema de alerta rápida (semáforo) 25 Ya que no se especifica la periodicidad del cálculo de este indicador, este puede variar de acuerdo al periodo de corte; si consideramos el cierre para cada año, en 2004 se atendieron 253,744 familias, en 2005 fueron 184,272 y en 2006, 157,062. Dado que en este componente se incluyen los apoyos en especie y en efectivo, se recomienda diferenciar el indicador para cada modalidad de apoyo, lo que supondría desglosar y clasificar la información contable pertinente para poder tener un cálculo preciso sobre el costo promedio. El costo promedio por apoyo entregado (considerando ambas modalidades) fue de 181.1 pesos para 2004, 179.7 para 2005 y 179 para 2006. Se considera que realizar un sondeo de precios a nivel local supone un alto costo, por lo que valdría la pena especificar lo que se entiende por “local”. Se calculó esta diferencia tomando en consideración los precios promedio de los productos contenidos en el paquete alimentario a precios corrientes observados en el DF para el cálculo de 2005 y 2006, en 2005 la diferencia entre el precio de mercado y el costo promedio fue de 86.5 pesos (Precio de mercado: 234.2- Precio promedio PAL: 147.7) y para 2006 fue de 94.6 pesos (Precio promedio de mercado: 259.5-Precio promedio PAL: 164.9). Mismo que en 0.6 De acuerdo con el documento Desglose de costos del PAL, el ejercicio correspondiente a la cuenta 219 (Capacitación) del Capítulo 3000 fue de $4’505,853 para 2005 y $3’296,295 para 2006; para 2004 no se cuenta con esta información. 2.6 Ejercicio Presupuestal Capacitación Presupuesto ejercido/ presupuesto programado X 100 Comprobación de Gastos de Capacitación Presupuesto anual de Capacitación PAL 26 El evaluador no cuenta con la información correspondiente desglosada por cuenta para el presupuesto programado. 1.3.2. Lógica vertical de la MML De acuerdo con la metodología utilizada, se observa que existe una congruencia general entre los distintos componentes de la Matriz de manera que permitan alcanzar el Fin propuesto y mantener sus efectos en el mediano plazo, sin embargo, existen algunas deficiencias. A continuación se describe el análisis realizado partiendo de la congruencia escalonada entre los componentes de la matriz, es decir, Actividades, Componente, Propósito y Fin. En el caso de las Actividades correspondientes al Componente 1, se incluyen acciones que no impactan en su logro, como en el caso de la identificación de costos o las referentes al padrón (que podrían agruparse en una sola actividad), mientras que se incluye la realización de la distribución cuando ésta no es una actividad que realice el PAL (pero que si le corresponde garantizarla); adicionalmente, la no definición del Componente como un logro alcanzado no permite establecer claramente si las Actividades descritas contribuyen directamente a su cumplimiento (situación que se observa en los tres Componentes). Para las Actividades del Componente 2, no es clara su pertinencia para el logro del Componente y no se explicita lo que se entiende por acompañamiento o acciones comunitarias. Por último, en el caso de las Actividades del Componente 3 se incluyen acciones cuya relación con su logro no es clara, tales como la identificación de menores de cinco años o el nivel de escolaridad. Por lo que respecta a los Supuestos realizados a nivel de Actividades, estos son claros y si existe una relación entre su cumplimiento y el logro de los Componentes. 27 En el caso de los Componentes existe una relación congruente entre éstos y el logro del Propósito, aunque existen problemas en la concepción de los Supuestos. Para el caso del Componente 1, se incluye el aumento del precio del paquete como un supuesto para lograr el Propósito, sin embargo, la normatividad del Programa no incluye algún aspecto relacionado con la actualización del precio del paquete por lo que no representa un supuesto sino un hecho conocido, en todo caso, podría describirse como la existencia de recursos suficientes para cumplir su objetivo; adicionalmente, se incluye la no modificación sustancial del padrón de beneficiarios y podría cambiarse la redacción para hacer explícito que los movimientos que representan un supuesto son los que determina SEDESOL sobre la incorporación o exclusión de localidades atendidas por OPORTUNIDADES, ya que el Programa tiene el control de este instrumento en el resto de las variables. En el caso del Componente 2 se incorporan Supuestos sobre la asistencia a las pláticas por parte de los beneficiarios y los facilitadores, cuando en realidad son obligaciones. Para el Componente 3, no es claro el supuesto sobre el interés de los gobiernos estatales. En lo referente al Propósito, éste no es único como lo marca la metodología del Marco Lógico pero sus componentes son congruentes con el cumplimiento del Fin. La relación del Propósito con los Supuestos a este nivel si determina el logro del Fin, sin embargo, no es claro el significado de “condiciones socioeconómicas estables” o a quién hace referencia y se restringe el supuesto del consumo de los productos del paquete a los niños, cuando el Programa atiende a toda la población sin distinción de edad y en el Fin no se incluye esta distinción. 28 1.4. Análisis de los Cambios en las Reglas de Operación En esta sección se revisará en qué medida el Programa ha modificado sus Reglas de Operación (ROP) considerando las recomendaciones de evaluaciones anteriores y la posible repercusión de estos cambios en la operación del Programa. El fundamento legal de las ROP del Programa de Apoyo Alimentario se encuentra en el Decreto de Presupuesto de Egresos de la Federación (PEF) el cual establece que (para el Ejercicio Fiscal 2005, publicado el 20 de diciembre de 2004) “con el objeto de asegurar la aplicación eficiente, eficaz, oportuna, equitativa y transparente de los recursos públicos, los programas que deberán sujetarse a Reglas de Operación son aquellos señalados en el Anexo 14 de este Decreto”. Dicho anexo incluye, en el grupo correspondiente a programas de la Secretaría de Desarrollo Social, al Programa de Apoyo Alimentario. El mismo Decreto indica que “Las dependencias, las entidades a través de sus respectivas coordinadoras sectoriales, y las entidades no coordinadas sectorialmente, serán responsables de emitir las Reglas de Operación o, en su caso, las modificaciones a aquellas que continúen vigentes, previa autorización de la Secretaría (de Hacienda y Crédito Público) y dictamen de la Comisión Federal de Mejora Regulatoria”. En este sentido, corresponde a la Secretaría de Desarrollo Social la publicación de las ROP correspondientes al Programa de Apoyo Alimentario a cargo de DICONSA, S.A. de C.V., así como las modificaciones a que haya lugar, puesto que DICONSA es una entidad coordinada por la SEDESOL. Es importante aclarar que las ROP del Programa para el Ejercicio Fiscal 2005, no fueron publicadas, por lo que las Reglas de 2004 fueron vigentes tanto para 2004 como para 2005, tal como se establece en el Artículo Décimo Cuarto Transitorio del PEF 2005. 29 El 17 de febrero de 2006 se publicó en el Diario Oficial de la Federación el Acuerdo por el que se modifican las Reglas de Operación del Programa de Apoyo Alimentario a cargo de DICONSA, S.A. de C.V., para el ejercicio fiscal 2006. Así, las ROP analizadas aquí son las de 2004 publicadas el 13 de febrero de 2004 y las de 2006 publicadas el 17 de febrero de 2006, en el Diario Oficial de la Federación. Para analizar si las ROP estaban orientadas a la consecución del objetivo fundamental del PAL, así como determinar su claridad y la congruencia interna, el Estudio de Evaluación Externa 2004-2006 (primer semestre) (UIA, 2006) elaboró diagramas ubicando los principales procesos, tanto de planeación como de implementación y evaluación, y una matriz de consistencia de textos, tanto en sintaxis, como en lógica de procesos y orientación a consecución de objetivos. Para el presente estudio se han utilizado estos instrumentos para evaluar los cambios realizados en las ROP, relacionando la etapa del Programa de acuerdo a las reglas de operación (Diseño, Elaboración del Padrón, Operación, Auditoría, Seguimiento y contraloría social, y finalmente Evaluación Interna y Externa) con las observaciones y recomendaciones, para señalar los cambios realizados en las ROP 2006. 30 Tabla 1-4 Análisis de Cambios realizados en las ROP Etapa Diseño (Incluye los objetivos, definición de población objetivo y creación y actualización del padrón) Operación Auditoria y Seguimiento Contraloría Social Evaluación Interna y Externa Principales Observaciones y Recomendaciones RO2004 Evaluación Externa Cambios Realizados en las ROP 2006 1. Precisar el tipo de pobreza, de acuerdo con los umbrales establecidos por SEDESOL y el CTMP. 1. NO 2. Existe ambigüedad en la unidad básica de focalización, entre las localidades y los hogares. 2. SI 3. Falta de claridad en el diseño del proceso de selección de localidades y hogares. 3. SI 4. Falta de criterios para la recepción de uno (paquete alimentario) u otro (efectivo) tipo de apoyo. 4. SI 5. Falta especificar los tipos de apoyos complementarios. 5. PARCIAL 6. Falta de especificidad de las condiciones para el cumplimiento de la condicionalidad. 6. NO 1. Falta de claridad en el proceso de incorporación al padrón. 1. SI 2. Falta de precisión en el proceso de entrega del apoyo PAL en tiempos y lugares. 2. SI 1. No existen observaciones de relevancia. 1. Falta de claridad en cuanto a los miembros que integran la Contraloría Social y sus funciones. 1. Falta de claridad en los mecanismos de operación de talleres participativos para la evaluación interna. 2. Necesario dar precisión y corrección de indicadores. NA 1. NO 1. SI 2. SI Fuente: Elaboración propia con base en el Estudio de Evaluación Externa 2004-2006 (primer semestre). 31 Tal como lo muestra la tabla Tabla 1-4 la Evaluación Externa previa señaló que si bien las Reglas de Operación para 2004 contenían elementos marcados por las disposiciones normativas a las que se encontraba sujeto el Programa, algunos de estos elementos no estaban explicados de forma clara y congruente. A pesar de esfuerzos realizados por DICONSA y documentados en el mencionado estudio para publicar modificaciones en 2005, la nueva publicación no fue posible sino hasta febrero de 2006. Dentro de los señalamientos más importantes se encuentra que ni las ROP para 2004, ni las de 2006 indican claramente el mecanismo de corresponsabilidad. Existe confusión sobre las responsabilidades que los beneficiarios tienen que cumplir y sobre el procedimiento de verificación del cumplimiento de dichas responsabilidades. Es importante hacer notar que este proceso de verificación puede ser complicado y costoso para DICONSA, pero que se debería buscar mecanismos para llevar a cabo este proceso. El análisis realizado para 2004 arrojó como uno de lo resultados la alta proporción en la ausencia de referencias sobre los tiempos en que se deben llevar a cabo las diferentes actividades, tal es el caso de las acciones relacionadas con la entrega de apoyos complementarios que constituyen el condicionamiento de la entrega del paquete alimentario. Esta deficiencia no fue subsanada en las ROP de 2006. En este sentido vale la pena mencionar la dificultad en el establecimiento de calendarios tanto para la entrega de los apoyos alimentarios como de apoyos complementarios, debido a las condiciones geográficas o climatológicas (ubicación, inaccesibilidad de caminos etc.), o a demoras en las liberaciones presupuestales. Sin embargo, sería conveniente evaluar el establecimiento de calendarios con periodos de tiempo amplios. 32 En las ROP de 2004 se establecía que el proceso de selección de los hogares beneficiarios, era llevado a cabo por SEDESOL en un inicio y, aparentemente, por DICONSA posteriormente. Este problema se solucionó con las ROP 2006 ya que se define a DICONSA como primera instancia de contacto para solicitar incorporaciones al Programa. 1.5. Conclusiones y Recomendaciones El Programa de Apoyo Alimentario ha sido congruente con la política social de la administración federal al implantar en su normatividad básica criterios de selección y focalización; y además porque busca incrementar capacidades básicas de la población al establecer no sólo la ayuda directa (en especie o en efectivo) para mejorar las condiciones de nutrición de hogares pobres sino además estableciendo una vinculación con instrumentos de capacitación. Sin embargo, es necesario señalar que no se ha difundido un diagnóstico completo del problema que considere tanto la dimensión de la población a atender como la estrategia de avance del Programa y su interacción con otros instrumentos, programas, instancias y niveles de gobierno. En relación con el enfoque de género, se puede observar en los estudios realizados que existe evidencia de un efecto positivo al favorecer el destino de los recursos a las mujeres, el diseño del PAL. Sin embargo, el empoderamiento de la mujer con este recurso es limitado ya que deben considerarse otras dimensiones, hasta ahora ausentes. Una visión más completa del enfoque de género indica que debe terminarse con esa diferenciación de actividades basada en las características atribuidas a cada sexo y así propiciar la participación cotidiana de hombres y mujeres en las actividades del espacio doméstico para transformar la posición de la mujer con respecto al hombre y no perpetuarla en el rol de 33 administradora del hogar. El enfoque de género debe consistir en una revisión más detallada de la participación de las mujeres en los procesos decisorios del Programa. En general se observa que la Matriz de Marco Lógico elaborada para el PAL cumple con las especificaciones generales que exige esta herramienta, sin embargo es necesario señalar que deben realizarse adecuaciones. Se recomienda definir claramente un único Propósito, también debe considerarse limitar el número de Indicadores, que sean consistentes y realmente significativos para cada elemento. También debe considerarse la utilización de fuentes de información que brinden datos oportunos, consistentes y a bajo costo, y por último, será necesario que las Actividades sean replanteadas en términos de costos de manera que permita a la MML ser un instrumento completo para la administración del Programa. La evaluación del diseño del Programa, con base en los cambios realizados a las Reglas de Operación 2004, muestra que existían elementos no definidos claramente. Esto significa que había contradicciones y debilidades que valía la pena resolver. Los aspectos más relevantes son los vinculados con la población objetivo y la integración del padrón, así como con lo relacionado con la corresponsabilidad y la ausencia de indicaciones claras de tiempos y lugares para desarrollar actividades claves del proceso. En el análisis de las Reglas publicadas en 2006 se encontró que las deficiencias en relación con la integración y actualización del padrón fueron superadas, teniéndose ahora mucho más claridad en las responsabilidades de DICONSA y de SEDESOL. La problemática expuesta para 2004 en relación con la población objetivo fue superada parcialmente, al definir que se trata de hogares en localidades de alta y muy alta marginación. Con todo, queda pendiente la clarificación sobre si se va a considerar algún umbral o tipo de pobreza específico, como se 34 verá en el siguiente capítulo esto es un factor importante para la determinación de la población objetivo y por tanto de sus resultados sobre los alcances del Programa en su cobertura y focalización. Los cambios en las ROP pueden tener efectos sobre los resultados del Programa; y debido a que se resolvieron huecos o incongruencias conceptuales se esperaría que estos cambios redundaran positivamente en una mayor coherencia y eficacia del Programa. Sin embargo, el presente trabajo no puede confirmar el efecto positivo del cambio en las ROP y esta interrogante deberá ser abordada en próximas evaluaciones que tengan la oportunidad de realizar trabajo de campo. El trabajo de campo que consista en la observación de la operación del Programa y en entrevistas con operadores y beneficiarios es indispensable para saber si el cambio en la normatividad se ve reflejado en la ejecución y el desempeño del PAL. 35 | Anexo 1-1 Matriz de Marco Lógico del Programa de Apoyo Alimentario RESUMEN NARRATIVO FIN Contribuir a la superación de la pobreza alimentaria en zonas rurales. PROPÓSITO 0. Mejorar las condiciones de alimentación y nutrición de los hogares que viven en situación de pobreza alimentaria incrementando la ingesta diaria a través del apoyo alimentario en efectivo o especie; aumentando el nivel nutricional y mejorando los hábitos de alimentación e higiene mediante la capacitación a los beneficiarios; y la promoviendo la complementariedad en diversos apoyos con otros programas estatales. INDICADORES NOMBRE FORMULA MEDIOS DE VERIFICACIÓN 1.1 Disminución porcentual del número hogares en pobreza alimentaria en zonas rurales apoyados por el Programa respecto a zonas no apoyadas (por el PAL y Oportunidades) Número de hogares en pobreza alimentaria en zonas rurales con apoyo del PAL/Número de hogares en pobreza alimentaria en zonas rurales sin PAL X100 0.1 Disminución porcentual de niños menores de 5 años con bajo peso para la edad en localidades de integralidad después de 12 meses en el Programa (En cumplimiento con la NOM031-SSAZ1999, para la atención a la salud del niño) Prevalencia de bajo peso para la edad en niños menores de 5 años en localidades de Integralidad con al menos 12 meses en el Programa, en la primera medición - Prevalencia de bajo peso para la edad en los mismos niños menores de 5 años en localidades de Integralidad con al menos 12 meses en el Programa, en la medición actual / Número de niños menores de 5 años con al 36 Datos de INEGI y ENIGH Reporte del Estado de Nutrición de los niños menores de 5 años del INCMNSZ (Convenio de Concertación) SUPUESTOS Continuidad de programas Federales y Estatales en combate a la pobreza alimentaria. Los beneficiario s transmiten conocimient os a nuevas generacione s para cambiar los hábitos de alimentació n e higiene • Las condiciones socioeconó micas y climáticas permanecen estables. • Los niños beneficiario s consumen los productos del Paquete Alimentario . • Existe interés de los beneficiario s por mejorar su nivel nutricional. 0.2 Disminución porcentual de niños menores de 5 años con baja talla para la edad en localidades de integralidad después de 12 meses de permanencia en el Programa 0.3 Disminución porcentual de niños menores de cinco años con bajo peso para la talla en localidades de integralidad después de 12 meses en el Programa menos 12 meses en el Programa en localidades de integralidad incluidos en la primera medición X 100 Prevalencia de baja talla para la edad en niños menores de 5 años en localidades de Integralidad con al menos 12 meses en el Programa, en la primera medición - Prevalencia de baja talla para la edad en los mismos niños menores de 5 años en localidades de Integralidad con al menos 12 meses en el Programa en la medición actual / Número de niños menores de 5 años con al menos 12 meses en el Programa en localidades de Integralidad incluidos en la primera medición X 100 Prevalencia de bajo peso para la talla de niños menores de 5 años en localidades de Integralidad con al menos 12 meses en el Programa, en la primera medición - Prevalencia de niños menores de 37 Reporte del Estado de Nutrición de los niños menores de 5 años del INCMNSZ (Convenio de Concertación) Reporte del Estado de Nutrición de los niños menores de 5 años del INCMNSZ (Convenio de Concertación) 0.4 Porcentaje de hogares con inseguridad alimentaria. 0.5 Satisfacción de beneficiarios 0.6 Nivel de Ejercicio Presupuestal COMPONENTES 1. Apoyos en especie y efectivo. Los beneficiarios reciben apoyos mensuales en efectivo ($150.00 1.1 Porcentaje de los apoyos entregados en especie respecto a los programados 1.2 Porcentaje 5 años con bajo peso para la talla en localidades de Integralidad con al menos 12 meses en el Programa en la medición actual / Número de niños menores de 5 años medidos con al menos 12 meses en el Programa en localidades de integralidad incluidos en la primera medición X 100 Número de hogares beneficiarios que reportan inseguridad seguridad alimentaria / Total de hogares beneficiarios encuestados X 100 No de beneficiarios que manifiestan satisfacción con el Programa/ Total de beneficiarios encuestados X100 Presupuesto ejercido/ presupuesto programado X 100 Número de Apoyos entregados en especie / No. De Apoyos programados en especie X 100 Número de 38 Evaluación externa Encuesta de Calidad y Transparencia. Evaluación externa Comprobación de gastos ejercidos Presupuesto anual PAL Padrón de Beneficiarios firmado por la recepción de Apoyos Alimentarios. Base de Datos de • Las condiciones climáticas y de las vías de comunicaci ón permiten la entrega ciento cincuenta pesos) o en especie ( paquete alimentario que consta de: fríjol, arroz, harina de maíz, aceite, leche en polvo , pasta para sopa, carne seca, lenteja y atún) de apoyos entregados en efectivo respecto a los programados 1.3 Cumplimiento del aporte de energía y proteína del paquete alimentario de acuerdo a la NOM-169SSA1-1998. 1.4 Número de Familias Beneficiadas por el PAL. 1.5 Tasa de Cobertura de la población objetivo del Programa 1.6Costo promedio de operación por entrega de apoyo. 1.7 Grado de satisfacción de los beneficiarios de la calidad del paquete alimentario apoyos entregados en efectivo / No. De Apoyos programados en efectivo X 100 Aporte energético del paquete alimentarioaporte energético del límite inferior de la NOM-169SSA1-1998 Aporte de proteínas del paquete alimentarioaporte de proteínas del límite inferior de la NOM-169SSA1-1998 Número de Familias Beneficiarias del PAL Número de Hogares Atendidos / Número de Hogares de la Población Objetivo X 100 Costo total de la operación / No. De Apoyos entregados Número de beneficiarios que reportan satisfacción con la calidad del Paquete Alimentario/ total de beneficiarios de la encuesta X 100 39 Beneficiarios. Reporte del cálculo del aporte nutricional de los productos que constituyen el paquete alimentario (Convenio de Concertación INCMNSZ) Padrón de Beneficiarios. Cédulas de Identificación Social. Datos INEGI, CONAPO. Presupuesto ejercido Padrón de Beneficiarios firmado por la recepción de Apoyos. Evaluación externa. Encuesta de calidad y transparencia. de los paquetes. • Aumento al valo0r del paquete alimentario de modo que cubra la inflación. • Los beneficiario s hacen uso adecuado del paquete. • El padrón no se modifica sustancialm ente 1.8 Margen de ahorro por consumo de Paquete Alimentario 1.9 Ejercicio Presupuestal Apoyos Entregados Precio de los productos a nivel local- Costo del Paquete PAL Sondeo de precios Presupuesto ejercido/ presupuesto programado X 100 2. Capacitación a la población beneficiaria en temáticas de nutrición, salud e higiene. 2.1 Porcentaje de beneficiarios capacitados A través de oficinas centrales se da la capacitación a los facilitadores institucionales de los Estados de la República correspondientes; quienes a su vez capacitan a los facilitadores comunitarios que finalmente imparten la plática mensual a los beneficiarios en su localidad. 2.2 Porcentaje de facilitadores comunitarios que dan capacitación Número de beneficiarios capacitados / número de beneficiarios que recibieron el paquete X 100 Número de facilitadores comunitarios que impartieron plática / Número de facilitadores comunitarios que recibieron capacitación X 100 Número de beneficiarios que aprueban un test de conocimientos / número de test de conocimientos aplicados X 100 Comprobación de Apoyos Entregados Presupuesto anual de Apoyos PAL Sistema de alerta rápida (semáforo) Número de beneficiarios que consideran que las pláticas son útiles / número de beneficiarios encuestados capacitados X 100 Costo total de las capacitaciones / número de facilitadores 2.3 Porcentaje de Beneficiarios que aprueban un test de conocimientos en las vertientes del Programa (en cumplimiento con la NOM 043-SSA22005) 2.4 Porcentaje de beneficiarios que consideran que las pláticas son útiles 2.5 Costo promedio de la capacitación por facilitador 40 Sistema de alerta rápida (semáforo) Test de conocimientos de nutrición salud e higiene a beneficiarios del PAL aplicando una muestra de beneficiarios Encuesta de calidad y transparencia. Evaluación externa. Reporte de avances de presupuesto de capacitación y • Los beneficiario s aplican lo aprendido en las pláticas para modificar sus hábitos. • Los beneficiario s asisten a las pláticas • Los facilitadore s comunitario s imparten las pláticas de nutrición, salud e higiene. • Los facilitadore s comunitario s asisten su capacitació n. 3. Concertación Establecer mecanismos de coordinación institucional y vinculación de acciones buscando potenciar el impacto del Programa. comunitario capacitado. capacitados comunitarios 2.6 Ejercicio Presupuestal Capacitación Presupuesto ejercido/ presupuesto programado X 100 3.1 Número de convenios de Coordinación Firmados con respecto a los firmados el año anterior 3.2 Número de nuevas localidades del PAL con integralidad Número de convenios de Coordinación firmados/Número de convenios firmados el año anterior Número de nuevas localidades con Integralidad en el año Actividades 1 Apoyos en especie y efectivo Entrega por parte de proveedores 1.1 Contar con los productos en el plazo acordado con el proveedor. 1.2 Verificar en cada una de las Unidades Operativas la recepción de productos. 1.3 Realizar con prontitud y eficiencia el armado de los paquetes. 1.4 Realizar la distribución oportuna a cada uno de los almacenes rurales y a su vez a cada una de las comunidades. 1.5 Bajas de Beneficiarios del Padrón por no retirar el apoyo. Registro de los acuerdos de la reuniones de concertación y padrón de beneficiarios. Formato de recepción de mercancía que envían las Sucursales y Unidades Operativas a oficinas centrales (formato 13) Armado de paquetes Sistema de alerta rápida (semáforo) Comprobación de Gastos de Capacitación Presupuesto anual de Capacitación PAL Acuerdos de Coordinación Convenios firmados el año anterior Área de Operaciones de las Sucursales y Unidades Operativas. • Los gobiernos estatales tienen interés y cumplen con los acuerdos establecidos . • Los proveedores mantienen los precios y realizan la entrega de los productos de acuerdo a la programaci ón • DICONSA sigue operando el Programa Administración del Padrón de Beneficiarios 41 Padrón de Beneficiarios. Acta • El presupuesto asignado al 1.6 Bajas de Beneficiarios del Padrón por no acudir a pláticas. 1.7 Cambio del Titular por otro familiar. . 1.8 Identificar el costo de operación por la entrega de los Apoyos que hace cada una de las Unidades Operativas a los beneficiarios. 1.9 Identificar el costo de la Comisión pagada a los encargados de las Tiendas rurales, que se hagan cargo de la entrega de Apoyos. 2. Capacitación 2.1 Impartir talleres sobre alimentación y nutrición a facilitadores institucionales 2.2 Impartir talleres sobre alimentación y nutrición a facilitadores Circunstanciada elaborada por los Comités de Beneficiarios. Solicitudes por parte del PAL a la Dirección de Abasto. Informe de recepción de productos por parte de las Unidades Operativas. Reporte de las Unidades Operativas en la entrega de los Apoyos. Padrón de Beneficiarios firmado por la recepción de Apoyos Requerimiento de Comisión que hacen las Unidades Operativas para realizar el pago a encargados de tiendas rurales. Talleres Informe Mensual de Capacitación Talleres Informe Mensual de Capacitación Identificación del importe de los Apoyos entregados a cada uno de los hogares atendidos 42 Programa se mantiene o aumenta. Los beneficiarios asistan a las capacitaciones comunitarios 2.3 Impartir pláticas a beneficiarios 2.4 Acompañamiento Pláticas Visitas de seguimiento en localidades 2.5 Asistencia a Asambleas 2.6 Acciones Comunitarias 3. Concertación. 3.1 Establecer comunicación con los gerentes regionales de DICONSA S.A. DE C.V. y con los delegados de SEDESOL para identificar áreas para la posible colaboración con los gobiernos estatales. 3.2 Establecer comunicación con dependencias del gobierno federal, con las Secretarias de Desarrollo Social estatales y con otras dependencias de los gobiernos de los estados para: Cruzar padrones, identificar los programas que desarrollan y que pudieran aplicarse también a las localidades del PAL 3.3 Dar seguimiento a los acuerdos establecidos en las juntas de concertación Reporte de pláticas Evaluaciones de beneficiarios Guías de observación Copia de acta de Asamblea Archivo fotográfico. Análisis socioeconómico de localidades. Informe Análisis socioeconómico de localidades. Informe Cumplimiento de acuerdos Minutas de las reuniones 43 Los gobiernos estatales tengan voluntad política y recursos. 3.4 Dar seguimiento al cumplimiento de los convenios de coordinación. Cumplimiento de convenios. Convenios firmados 3.5 Identificar de manera permanente las localidades del padrón de beneficiarios del PAL que se incorporan al proceso de integralidad 3.6 Identificar los hogares beneficiarios con niños menores de cinco años para evaluar la posibilidad de realizar mediciones antropométricas. Listado de localidades Listado de localidades Niños menores de cinco años que mejoran su estado nutricional. Evaluaciones antropométricas 3.7 Identificar el nivel de escolaridad de los beneficiarios mayores de 18 años para evaluar la posibilidad de firmar convenios con el INEA para que tengan la oportunidad de concluir sus estudios. Disminución de mayores de 18 años con rezago educativo. Evaluaciones del INEA 44