CAPÍTULO 6 RESULTADOS 96. ¿El programa recolecta regularmente información veraz y oportuna sobre sus indicadores de Propósito y Fin? Respuesta: Sí. Por el tipo de indicadores de Propósito y Fin que contiene la Matriz de Marco Lógico del programa, la medición de éstos es anual y en una sola etapa. Es decir, se precisan los datos del cierre de ejercicio para calcularlos en una sola ocasión por año. La veracidad de la información de los indicadores es aceptable en tanto la información proviene de bases de datos levantadas por el programa y conocidas por esta evaluación. En los últimos días del mes de diciembre 2007 el programa había calculado los indicadores del ejercicio 2007 y compartieron los resultados con esta evaluación, mismos que se indican a continuación: INDICADOR RESULTADO UNIDAD DE MEDIDA 1.1 Porcentaje de municipios de la Estrategia 100x100 atendidos por el Programa respecto al total de municipios de la Estrategia 100x100. 44.66 Porcentaje 2.1 Porcentaje de proyectos que atienden localidades en municipios 100x100 respecto al total de proyectos del Programa. 55.86 Porcentaje 2.2 Inversión beneficiarias 15.68 Pesos / cápita per cápita en las localidades Fuente: Cálculo de indicadores de la MML al finalizar el año 2007, proporcionada por el programa el 20 de diciembre 2007. Los indicadores 1.1 y 2.1 tienen metas, sin embargo, están programadas para el año 2010, razón por la cual no se puede comparar el desempeño de estos indicadores respecto a la meta. 101 RESULTADOS 97. ¿El programa ha llevado a cabo evaluaciones externas con metodologías rigurosas que le permitan medir el impacto del programa en la población objetivo (evaluaciones que permitan medir los avances en términos de su Propósito y Fin)? Respuesta: No. La respuesta a esta pregunta tiene dos componentes. En primer término se constata que el programa Jóvenes por México sí ha llevado a cabo evaluaciones externas anteriores a esta. En 2002 por la Universidad Autónoma de Tlaxcala, en 2003 por el Colegio Nacional de Economistas y en 2006 por la Red para el Desarrollo Sostenible de México, A.C. Sin embargo, estas evaluaciones no han sido “rigurosas” en el sentido estricto de esta pregunta, es decir, no han medido el impacto en la población objetivo y no han contado con metodologías de grupo de control.62 Frente a esto es importante hacer algunas precisiones: 1) La evaluación externa 2003 tomó como referencia un grupo de población no beneficiada por el programa, pero con el objetivo de realizar un comparativo entre las percepciones de beneficiarios y no beneficiarios, más no midió impactos del programa; 2) La dificultad de Jóvenes por México en definir su población objetivo,63 ha impedido tener claridad sobre si los impactos deben medirse en los Prestadores de Servicio Social o en los habitantes de las comunidades donde se ejecutan los proyectos, razón que imposibilita una medición de impacto. 3) En 2002 y 2003 la población objetivo estaba definida como: grupos vulnerables, damnificados por desastres naturales y comunidades marginadas, lo cual hubiera hecho demasiado costosa una medición de impacto sobre las condiciones de vida de esta población, evaluación que podría no ser costo –eficiente para un programa de las dimensiones de Jóvenes por México. 62 Esta especificación es realizada en los “Criterios generales para dar respuesta a las preguntas de la Evaluación de Consistencia y Resultados y de Diseño 2007 de los Programas Federales”, de CONEVAL. 63 Problema detectado desde la evaluación externa 2002 en su Capítulo 1, pág. 28. 102 RESULTADOS 98. Con base en las evaluaciones externas, ¿cuáles han sido los principales impactos del programa?* Como se mencionó en la pregunta anterior, las evaluaciones externas no han realizado mediciones rigurosas de impacto del programa Jóvenes por México. Esta evaluación recogió las principales características metodológicas (ver pregunta 46) y los principales resultados encontrados en cada estudio. 2002: Por cada 100 pesos que invirtió el programa, 92 pesos se convirtieron en becas para PSS, la relación beneficio –costo del programa fue de 3.42, calculada por la cantidad de ahorro que se generó tanto para las comunidades donde se ejecutó el proyecto como para las entidades ejecutoras (valorando los PSS igual que un profesionista o técnico), el programa tuvo un cumplimiento favorable de metas físicas y financieras en ese año, la eficacia se mantuvo, mientras que la eficiencia aumentó y los prestadores de servicio social tuvieron una percepción favorable del programa. 2003: El área de estudio de los becarios coincide con su actividad en el servicio social, el programa de servicio social comunitario propicia el arraigo de los prestadores sociales en las microrregiones, no hay evidencia para afirmar que los ingresos por servicio social ayudan a la economía familiar del becario, el 86% de los no beneficiarios del programa manifestaron que los proyectos serían de mucha utilidad, la mayoría de los beneficiarios de los proyectos manifestó que su situación económica o el bienestar de su comunidad mejoró mucho con la realización de los proyectos, el 100% de los becarios están satisfechos con el programa pero no con el estímulo económico recibido, los proyectos más valorados son los grandes de infraestructura y el índice de eficiencia en general fue de 0.93. 2006: La lógica vertical y horizontal de la MML se validó, el 90% de los municipios atendidos por el programa fueron de alta y muy alta marginación y el 89% de la inversión llegó a estos municipios, las acciones de la Unidad Administrativa se apegaron en tiempo y forma a los lineamientos de las ROP, se entregaron apoyos a una proporción demasiado pequeña de la población objetivo, las mujeres aumentaron su participación relativa en 2006 pero no su participación total, la percepción de los operadores del programa fue, en general, catalogada de “buena” y “muy buena”. Fuente: elaboración propia con base en las evaluaciones externas citadas. 103 RESULTADOS 99. ¿El diseño y la operación del programa permiten realizar una evaluación de impacto rigurosa? Si no es así, explicar y proponer los ajustes necesarios para que sean compatibles. Respuesta: No. El diseño actual del programa presenta una dificultad en la definición de su población objetivo que no permite realizar una evaluación de impacto rigurosa. En la población objetivo de las Reglas de Operación64 se encuentran dos grupos distintos, uno denominado beneficiarios, que son los prestadores de servicio social y otro, los sujetos de atención, que son los habitantes de las comunidades donde se ejecutan proyectos. Como se ve, existen dos grupos poblacionales muy distintos dentro de una sola definición de población objetivo. Una evaluación de impacto tendría en frente una limitante para definir en qué grupo mide los resultados del programa y contra qué grupo los compara. Una segunda dificultad consiste en los distintos tratamientos del programa, especialmente porque en algunos de ellos, como los de ordenamiento urbano local, los beneficios son colectivos y difíciles de cuantificar. Finalmente, otro aspecto que obstaculizaría una medición rigurosa de impacto es el bajo presupuesto con el que opera Jóvenes por México. En proporción a los gastos del programa, una evaluación rigurosa de impacto podría no resultar costo – eficiente. Con base en los puntos anteriores esta evaluación propone: 1) Definir claramente la población objetivo, 2) Redefinir el tipo de proyectos que se apoyan con base en los objetivos del programa, 3) Asesorar y monitorear la cuantificación de la población atendida por cada proyecto y 4) Cuestionarse el costo- beneficio de cada tipo de evaluación. 64 Reglas de Operación 2007 del programa Jóvenes por México, numeral 3.2. 104 RESULTADOS 100. Con base en la información obtenida de los distintos instrumentos, ¿el programa ha demostrado adecuado progreso en alcanzar su Propósito y Fin? Especificar los principales resultados. Respuesta: No. El programa Jóvenes por México ha logrado efectos positivos en los prestadores de servicio social y en las poblaciones donde éstos han trabajado. Sin embargo, dificultades en la definición de sus resultados y en la especificación de sus indicadores no permiten demostrar que haya habido progreso. Así, esta pregunta debe contestarse de manera negativa, pero esto se debe más a un problema de diseño que de ejecución. Como se mencionó en el capítulo de Diseño de esta evaluación, el Fin del programa no cuenta con un indicador adecuado para medir su progreso, y el indicador disponible no mide si el programa contribuyó a la generación de oportunidades para los habitantes de las zonas donde se desarrollaron proyectos (ver respuestas 14 y 15). Respecto al Propósito, sí existe evidencia de que se ha cumplido tal como está redactado: “Proyectos de desarrollo social y humano desarrollados por Instituciones de Educación Técnica Media Superior a través de Jóvenes Prestadores de Servicio Social”. No obstante, esta evaluación ha señalado que esta redacción no está orientada a resultados y que sus indicadores no son adecuados (ver respuestas 3, 4, 14 y 15). Por ejemplo, en el 2007 se desarrollaron menos proyectos que en 2006 con el mismo presupuesto, por lo cual no se podría considerar que haya progresado el programa en el logro de ese propósito. Según los funcionarios de JXM esto se debe a que se privilegió la calidad sobre la cantidad, y esto puede ser cierto. Sin embargo esta apreciación es difícil de medir en cuanto el programa no tiene instrumentos adecuados para medir los impactos de los proyectos. 105