RESUMEN EJECUTIVO El Programa Jóvenes por México (JXM) proporciona incentivos en efectivo para que estudiantes de Instituciones de Educación Superior y Media Superior (IES) realicen su servicio social –que es obligatorio– en proyectos comunitarios que busquen mejorar las condiciones de vida de quienes viven en zonas de atención prioritaria para la SEDESOL. En ese sentido, JXM tiene un potencial importante para proveer recursos humanos con cierto nivel de calificación, para la ejecución de acciones coordinadas por IES que persigan una transformación entre la población vulnerable de este país. No obstante, el problema definido para el Programa Jóvenes por México está planteado como una “escasez” de proyectos y no como una situación negativa que se quiera revertir. Esto lleva implícita una propuesta de solución al verdadero problema, lo que no es aconsejable en términos metodológicos y ocasiona una dificultad que se arrastra a la matriz de indicadores. Esta dificultad consiste en que JXM tiene como componentes el apoyo a ciertas modalidades de proyecto y supone que el “desarrollo” de tales proyectos es suficiente para lograr una transformación favorable en la población objetivo. El Propósito del programa, por consiguiente, no está orientado a resultados sino a revertir esa “escasez de proyectos”, sin distinguir con suficiente claridad el impacto que se desea alcanzar de los medios que se proponen para hacerlo. Sumado a esto, el Fin redactado es demasiado ambicioso para las características del programa. Tal como está la redacción, es débil el enlace entre propósito y fin, y entre éstos y la solución del problema, razón por la cual no se valida la lógica vertical de la matriz de indicadores. Adicionalmente, la matriz de indicadores no expresa adecuadamente un efecto del programa que en otras fuentes aparece como importante: la participación de Instituciones de Educación Superior en el diseño y ejecución de acciones comunitarias, y el desarrollo del sentido de compromiso social entre jóvenes que están próximos a terminar su educación profesional. i RESUMEN EJECUTIVO Estos efectos son incorporados en la matriz de indicadores propuesta por el equipo evaluador, con lo cual el propósito y fin del programa se acercarían más al potencial del programa. Como consecuencia de la inadecuada definición de objetivos en los dos primeros niveles de la matriz, tampoco cuenta con indicadores adecuados para reflejar los resultados del programa y su impacto. Esto es suficiente para invalidar la lógica horizontal, a pesar de contar con buenos medios de verificación. Existen bastantes estudios sobre los beneficios del servicio social en México y dos evaluaciones previas sugieren que el programa tiene una alta rentabilidad social. Sin embargo, las investigaciones conocidas no abordan específicamente la pertinencia de las modalidades de proyecto que apoya JXM en el 2007, ni su utilidad para generar el impacto que pretende Jóvenes por México. Esto significa que no se ha encontrado evidencia de que tales modalidades sean las más apropiadas, aunque no implica que no lo sean. Sugiere solamente que futuros análisis sobre el servicio social comunitario deberán diseñarse para que aporten claridad respecto de las necesidades de la población objetivo del programa. Con base en eso, Jóvenes por México debería definir sus productos y sus objetivos, para precisar los resultados factibles de lograr con un programa de sus características. Este conocimiento debería traducirse en una mejor definición de los impactos de Jóvenes por México y en una mayor eficacia. El programa pasó por un cambio benéfico para la focalización, al concentrar esfuerzos en menos municipios. Adicionalmente, los funcionarios de Jóvenes por México han reconocido complementariedades importantes con otros programas de SEDESOL y se encuentran elaborando un nuevo diseño para el programa que dé prioridad a este aspecto. Con ello buscan capitalizar para otros programas de SEDESOL la coordinación de las Instituciones de Educación Superior y el esfuerzo de los jóvenes prestadores de servicio social en al marco de una atención integral en municipio específicos. ii RESUMEN EJECUTIVO Es posible que convenga hacer cambios al programa en tres sentidos: i) Establecer la posibilidad de apoyar a prestadores de servicio social que se incorporen por un semestre a proyectos comunitarios que ya estén en marcha y cuyo alcance y duración sea mayores a los actuales ii) Que tales proyectos no estén restringidos a las modalidades de proyecto que se han apoyado hasta el presente iii) Que los proyectos cuenten con indicadores de impacto relevantes y verificables. Abordando el tema de planeación, dentro de Jóvenes por México destaca la ausencia de planes estratégicos que orienten las nuevas decisiones que debiera tomar el programa, en caso de continuar en ejercicios futuros. Estos planes, debieran contener metas e indicadores de las estrategias que apoyaran el diseño del programa plasmado en la Matriz de Marco Lógico. Los indicadores de la MML son en su mayoría de cantidad y cronograma, sirven para medir el cumplimiento de objetivos dentro de JXM, pero faltan indicadores de calidad y eficiencia. En contraste, existen mecanismos adecuados para monitorear y dar seguimiento al desempeño del programa. Estos mecanismos son básicamente dos: 1) la aplicación de cuestionarios de seguimiento diseñados para los habitantes de las localidades donde se desarrollan los proyectos, los responsables de dichos proyectos y los Prestadores de Servicio Social, y 2) Las fichas de identificación de proyectos, de tipo cuantitativo y cualitativo. Estas fichas son completadas por las Instancias Ejecutoras con información como: beneficiarios totales, número de participantes, tipo de acciones, resultados y dificultades. iii RESUMEN EJECUTIVO El programa ha realizado 3 evaluaciones externas anteriores a esta: 2002, 2003 y 2006, las cuales han combinado trabajo de campo y trabajo de gabinete. De las recomendaciones de dichas evaluaciones han resultado 3 cambios al interior del programa: - Mejora de la focalización - Inclusión de la perspectiva de género en las reglas de operación - Mayor difusión del programa entre los prestadores de servicio social. Por otra parte, el programa tiene una definición y cuantificación adecuada de la población potencial, más no de su población objetivo. Esto se debe en gran parte a los problemas en el diseño, ya que las Reglas de Operación consideran dentro de población objetivo dos grupos distintos: los prestadores de servicio social y los habitantes de las comunidades donde se desarrollan proyectos, lo cual es incorrecto. Además las Instituciones de Educación Superior, como instancias ejecutoras del programa, presentan dificultades para cuantificar, incluso, la población atendida. Esta evaluación recomienda redefinir la población objetivo y en esa línea asesorar a las IES para su cuantificación previa al desarrollo del proyecto. Pese a que Jóvenes por México no tiene estrategias de cobertura, el avance de ésta ha sido adecuado en relación al presupuesto disponible. También ha sido adecuada la estrategia de focalización, una de las mayores fortalezas del programa y gracias a la cual JXM ha llegado a la población que desea atender. La mayoría de sus proyectos se han concentrado en municipios de bajo Índice de Desarrollo Humano y de alta marginación. Sin embargo, se recomienda focalizar no sólo geográficamente sino en las modalidades de proyectos a apoyar y definir aquellas modalidades de mayor impacto sobre el IDH. En cuanto a los procesos de selección de beneficiarios, esta evaluación constató que es un proceso estandarizado realizado a través de las “cédulas de evaluación de proyectos”, las cuales otorgan una calificación numérica a cada uno de los criterios de elegibilidad. Dichas cédulas recogen las prioridades establecidas en las reglas de operación, de tal manera que la selección de los beneficiarios se rige por la reglamentación establecida. Este proceso de selección es otra de las fortalezas de Jóvenes por México. iv RESUMEN EJECUTIVO El programa tiene información de todos sus solicitantes, aunque no está completamente sistematizada por la escasez de personal al interior del programa. En cambio, el programa sí cuenta con la sistematización de todos los proyectos apoyados y los reconocimientos otorgados. Por su parte, el proceso para recibir y procesar solicitudes también está estandarizado, al seguir un procedimiento sencillo de recepción en las delegaciones, que entregan a la Unidad Administrativa Responsable del Programa, en donde se evalúan los proyectos y se tramitan al Comité Técnico o al Jurado Calificador según vertiente. Este procedimiento cumple con las Reglas de Operación. De la misma manera, los tipos de apoyos y los montos entregados respetaron la normatividad que rige al programa. La normatividad establece además, la entrega de informes trimestrales de seguimiento por parte de las Instancias Ejecutoras, con el fin de realizar un monitoreo de obras y /o acciones. La evaluación encontró evidencia documental que respalda el cumplimiento de este y otros procesos señalados en las reglas de operación. Jóvenes por México ha implementado acciones de mejora en los procesos del programa. Son dos las principales acciones comprometidas: 1) Focalización a través de microrregiones, primero, y de la Estrategia 100 x 100 después, lo que limitó la dispersión de los recursos y agilizó la selección de proyectos. 2) Entrega de recursos directamente a las Instituciones de Educación Superior, que permitió acelerar el proceso de entrega de apoyos. El programa tiene una estructura apropiada de pocos operadores a nivel central e instancias que se reúnen esporádicamente, además cuentan con el apoyo de otras instancias de SEDESOL para la producción de sus componentes. Esta evaluación sugiere, con el fin de mejorar la eficacia del programa, dos aspectos importantes: 1) Redefinir las modalidades de los proyectos a apoyar con el fin de que Jóvenes por México pueda vincularse con otros programas de SEDESOL, tendientes a la superación de la pobreza, 2) Ajustar el proceso de seguimiento con un mecanismo que sustituya o complemente los informes de las IES con información recogida directamente por el programa u otras áreas de SEDESOL. En cuanto a eficiencia, la principal recomendación v RESUMEN EJECUTIVO se centró en un jurado calificador igual de eficiente pero menos oneroso en términos del costo-oportunidad de su tiempo. Presupuestalmente, JXM ejerció el 99% del monto asignado para el ejercicio 2007. Sin embargo, pese al buen comportamiento del programa en muchos aspectos operativos, como los enunciados en párrafos anteriores, no mostró avance en la producción de los componentes respecto a las cifras del año 2006. En cuanto a percepción de la población objetivo, el programa tiene mecanismos para medirla, basados en sondeos. Si bien estos mecanismos podrían mejorar la rigurosidad, se consideran apropiados para un programa del tamaño de Jóvenes por México. En general, es buena la percepción del programa que tiene su público objetivo, medida por las evaluaciones externas en 2002, 2003 y 2006. En cambio, la medición del impacto del programa ha sido mucho más difícil por aspectos de su diseño y operación. Esto se debe, en gran parte, a los vacíos de la lógica vertical de la Matriz de Marco Lógico, que no establece con claridad los impactos que debe arrojar el programa, ni para qué población se buscan dichos impactos. Además, no se cuenta aún con indicadores orientados a resultados, que ayuden a medir el logro de los objetivos de Jóvenes por México. Estos aspectos han limitado una evaluación de impacto rigurosa con metodologías de grupos de control. Las evaluaciones externas se han orientado a los procesos del programa y aunque evidencian un desempeño adecuado, no son suficientes para afirmar que Jóvenes por México ha logrado progreso en alcanzar el Fin y el Propósito para el cual está diseñado. vi