CAPÍTULO 1 DISEÑO CARACTERÍSTICAS DEL PROGRAMA La Secretaria de Desarrollo Social, con el fin de cumplir con sus objetivos de reducción de la pobreza y desigualdad social, busca promover a través del Programa Jóvenes por México (JXM) una participación activa de Instituciones de Educación Superior (IES), de jóvenes prestadores de servicio social y de docentes destacados en su labor social, para que contribuyan a generar oportunidades para los habitantes de zonas de muy alta y alta marginación y/o afectadas por desastres naturales. Esto se propicia a través del impulso de proyectos que fomenten el desarrollo social y humano, y arrojen resultados en el desarrollo económico de las localidades objetivo del programa. Entre los objetivos específicos del programa se encuentran generar sentimientos de pertenencia y responsabilidad social en los jóvenes mexicanos y aprovechar el conocimiento técnico y el recurso humano calificado en programas destinados a la población más marginada del país. El JXM otorga recursos a proyectos en las siguientes modalidades: planes de ordenamiento urbano local, identidad jurídica, proyectos productivos y desarrollo social y humano, que se ejecuten a través de acciones de servicio social comunitario y que estén focalizados en zonas de atención prioritaria. Este programa, que comenzó a operar en el año 2002, se rige en la actualidad por las reglas de operación que fueron modificadas para el ejercicio fiscal 2007 según acuerdo publicado en el Diario Oficial con fecha 28 de febrero de 2007. Según las reglas de operación del programa, éste tiene una cobertura amplia a todas las entidades federativas incluyendo el Distrito Federal, aunque “de manera específica en municipios ubicados en zonas de atención 3 CARÁCTERÍSTICAS DEL PROGRAMA prioritaria, preferentemente en las Microrregiones determinadas por la SEDESOL” (Numeral 3.1).1 El programa considera como beneficiarios directos a los jóvenes estudiantes prestadores de servicio social y a las instituciones de educación superior que presentan los proyectos. Por otro lado, las personas que habitan en las zonas donde se realizan los proyectos y son atendidas a través de ellos, se consideran, según las reglas de operación, como sujetos de atención del programa (Numeral 3.2). El presupuesto aprobado para el ejercicio fiscal 2007 del programa Jóvenes por México es un poco inferior a diecisiete millones de pesos, que provienen del Ramo Administrativo 20 Desarrollo Social, el cual especifica que su procedencia será exclusivamente para poblaciones de pobreza y marginación. Los apoyos a los proyectos de servicio social comunitario son de tipo monetario y se distribuyen según lineamientos de las reglas de operación. Por su parte, los beneficiarios de estos apoyos se comprometen a cumplir, en tiempo y forma, con los requisitos y obligaciones marcados por dicho reglamento. Así mismo, se comprometen a ser sujetos de seguimiento y evaluación al presentar informes periódicos de los avances físicos y financieros de los proyectos. En este aspecto, la regulación es clara en determinar: “En el caso que se detecten irregularidades en la aplicación de los recursos del programa, la Sedesol suspenderá la administración de recursos y, de comprobarse la irregularidad, la instancia ejecutora deberá reintegrar la totalidad de los apoyos recibidos.”2 Es de destacar que el Programa Jóvenes por México considera en las reglas de operación un apartado especial para el seguimiento y cumplimiento de metas, otro para las evaluaciones externas y otro para la transparencia. 1 2 Estas microrregiones se pueden encontrar en la dirección electrónica www.sedesol.gob.mx. Reglas de Operación para el programa Jóvenes por México, Diario Oficial, 28 de febrero 2007, numeral 4.2.1. 4 EVALUACIÓN DEL DISEÑO 1.2 Análisis de la contribución del programa a los objetivos estratégicos de la dependencia y/o entidad, así como a los objetivos nacionales 1. ¿El problema o necesidad prioritaria al que va dirigido el programa está correctamente identificado y claramente definido? Respuesta: No. El árbol de problemas proporcionado para esta evaluación tiene como problema central: “Escasez de diseño y ejecución de proyectos de Desarrollo Social y Humano desarrollados por capital humano capacitado, que permitan mejorar las condiciones de vida de las zonas en condiciones de pobreza”.3 Esta formulación no se considera correcta, debido a que no está expresada como “una situación negativa que debe ser revertida”, sino que el inicio con “escasez de…” revela una confusión entre el problema y la falta de una solución.4 Dicho problema señala: i) la escasez de proyectos y ii) lo que tales proyectos “permitirían” o lograrían. Debido a que se considera positivo lo que tales proyectos conseguirían, la ausencia de proyectos se identifica como algo negativo. Sería preferible expresar como problema prioritario directamente el aspecto indeseable que se desea modificar. A manera de ejemplo, podría quedar como: “Malas condiciones de vida de los habitantes de las zonas de atención prioritaria, a causa de que sus acciones no cuentan con las herramientas técnicas ni de información necesarias para romper el circulo de pobreza en el que se encuentran”. 3 4 Árbol de Problemas, Jóvenes por México. Ver ILPES, Boletín del Instituto No. 15, pg. 36. 5 DISEÑO 2. ¿Existe un diagnóstico actualizado y adecuado, elaborado por el programa, la dependencia o entidad, sobre la problemática detectada que sustente la razón de ser del programa? Respuesta: No. Si bien existe un Diagnóstico del Desarrollo Social elaborado por SEDESOL 5 y que orienta las acciones de la Secretaría, incluyendo a la unidad responsable del programa Jóvenes por México, se considera que es demasiado general para servir a los fines a los que se refiere esta pregunta. En entrevista realizada a funcionarios del Programa Jóvenes por México, manifestaron no contar con un diagnóstico específico que sustente la razón de ser del programa.6 Por su parte, las evaluaciones externas del programa que se tienen disponibles –2002, 2003 y 2006– incluyen análisis de procesos del programa, que de alguna manera constituyen diagnósticos de su operación, pero no contienen diagnósticos en la acepción de la palabra que utiliza esta pregunta: análisis sobre la situación del problema identificado, específico al ámbito en que se desenvuelve el programa y que sustente su razón de ser. Finalmente, si bien se reconoce la existencia de documentos que abordan el tema de servicio social y superación de pobreza, no constituyen un diagnóstico de utilidad para sustentar la razón de ser del programa. Además, tales documentos fueron elaborados por la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES) y otras fuentes (como se detallará en la respuesta 5), y no por SEDESOL, requisito planteado por la pregunta. Por estas razones la respuesta a esta pregunta es No. 5 Objetivos estratégicos de Desarrollo Social 2007 – 2012 consultados en: http://www.sedesol.gob.mx/archivos/0/File/Objetivos_politica_social.pdf 6 Ver anexo III. 6 DISEÑO 3. ¿El Fin y el Propósito del programa están claramente definidos? Respuesta: No. El Fin del programa es “Contribuir a la generación de oportunidades para la población vulnerable y/o en condiciones de pobreza que habita preferentemente en zonas de atención prioritaria con la participación de jóvenes estudiantes e instituciones de educación media superior y superior”.7 La definición es clara y metodológicamente correcta, ya que corresponde a un objetivo superior o de largo plazo con el cual se busca contribuir, sin esperar que el programa sea suficiente. Aún así, sería conveniente definir mejor qué ha de entenderse por “generar oportunidades” e incorporar una delimitación geográfica, con el fin de que la frase esté más acorde con la realidad del Programa. Por ejemplo: “Contribuir a la generación de oportunidades (…) para la población vulnerable y/o en condiciones de pobreza que habita las localidades donde se ejecutan los proyectos apoyados por el programa Jóvenes por México”. El propósito es “Proyectos de desarrollo social y humano desarrollados por instituciones de Educación Técnica Media Superior a través de jóvenes prestadores de servicio social.” Este propósito no está claramente definido, ya que no refleja el impacto o el resultado esperado con la realización del programa, sino que parece una reexpresión de sus productos. El propósito debería describir la transformación que se busca propiciar en la población atendida, considerando el desarrollo de los proyectos como un medio y no un propósito ni un fin. Es preciso redefinir el propósito en función de impacto y no de productos entregados. Esta falta de claridad es consecuencia directa de la imprecisión en la definición del problema. 7 Matriz de Marco Lógico 2007 del programa Jóvenes por México. 7 DISEÑO 4. ¿El Fin y el Propósito corresponden a la solución del problema? Respuesta: No. Como se mencionó en la pregunta anterior, el Fin tiene una correspondencia clara con el problema identificado, si bien podría mejorar en precisión. El programa no pretende ser la solución definitiva de un problema de pobreza, pero sí busca contribuir a su atención, aspecto que se considera correcto. El Propósito está centrado en solucionar la “escasez de proyectos”, 8 dando por sentado que esto tendrá resultados positivos en las condiciones de vida de los habitantes de las localidades donde se realizan. Sin embargo, desarrollar proyectos no corresponde necesariamente con la solución de algún problema. La falla en la definición del problema se traduce en un propósito que no está orientado a resultados. Sería preferible que el propósito estuviera orientado a la consecuencia de los proyectos: mejorar las condiciones de vida, sin esperar que sea suficiente con tener proyectos desarrollados. En correspondencia con la solución del problema, tomado del árbol de objetivos, el propósito podría estar expresado en líneas como “Jóvenes estudiantes aplican sus conocimientos en iniciativas propuestas por instituciones de educación superior que buscan la transformación de la realidad social de las comunidades en donde se desarrollan los proyectos del programa”. Es decir, como una situación alcanzada mediante el desarrollo de los proyectos –que serían los productos– y no como una acción realizada. 9 Además un propósito como este reflejaría uno de los resultados de JXM valorados en las ROP y en documentos del programa:10 que jóvenes e Instituciones de educación superior se involucren activamente en la solución de problemas de personas vulnerables. 8 Árbol de problemas de Jóvenes por México. Ver Aldunate, Eduardo, presentación citada. 10 Síntesis de la Pertinencia del Programa Jóvenes por México. Documento de trabajo de JXM. 9 8 DISEÑO 5. ¿El programa cuenta con evidencia de estudios o investigaciones nacionales y/o internacionales que muestren que el tipo de servicios o productos que brinda el programa es adecuado para la consecución del Propósito y Fin que persigue el programa? De no ser así, el evaluador deberá investigar y, de existir, presentar dicha evidencia. Respuesta: Sí. Funcionarios del programa mencionaron las publicaciones de la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES) como referencia bibliográfica que respalda la producción de los componentes del programa. Debido al tamaño del presupuesto del programa, existen limitaciones para realizar estudios propios, razón por la cual es válido considerar estas publicaciones para responder afirmativamente a la pregunta. Adicionalmente, existen las anteriores evaluaciones externas y un documento de trabajo del programa, fuentes que se consideraron para elaborar esta respuesta. Debido a la extensión de la bibliografía consultada, se presenta detallada y explicada en el Anexo XII. De las evaluaciones externas, una (del 2003) aborda la adecuación de los servicios del programa. Las publicaciones de ANUIES contienen un fundamento conceptual sólido sobre el servicio social y la relación jóvenes – desarrollo, o servicio social – comunidad. Estos estudios establecen una relación entre el servicio social –cuyo fomento constituye los componentes de JxM– y la contribución que puede hacer al desarrollo comunitario, concepto estrechamente relacionado con el fin del programa. Es válido considerar que estos estudios aportan una base conceptual importante y pertinente al programa JXM. Sin embargo, también es preciso reconocer que estas investigaciones no son específicas para el programa ni hacen referencia explícita al impacto del servicio social en el “desarrollo social y humano” o en la “generación de oportunidades” para zonas en condiciones de pobreza, que constituyen Propósito y Fin de Jóvenes por México. Por esta razón, no constituyen evidencia de los impactos que pueden lograr los proyectos que son apoyados por Jóvenes por México en el 2007. 9 DISEÑO 6. Con base en los objetivos estratégicos de la dependencia y/o entidad que coordina el programa, ¿a qué objetivo u objetivos estratégicos está vinculado o contribuye el programa?* Respuesta: Con base en el documento Objetivos Estratégicos de Desarrollo Social 20072012,11 se encuentra que existe una estrecha vinculación entre los objetivos de la dependencia que coordina el programa (en este caso SEDESOL) y el programa Jóvenes por México, como lo muestra la siguiente tabla de relación: OBJETIVO ESTRATÉGICO SEDESOL VINCULACIÓN CON EL PROGRAMA JXM Objetivo 1. Desarrollar las capacidades Con los proyectos que apoya, el programa intenta básicas de las personas en condición de romper el círculo de pobreza desarrollando las pobreza. capacidades de las personas en condición de pobreza para que éstas a su vez mejoren su entorno y sus condiciones de vida. Objetivo 2. Abatir el rezago que enfrentan los El programa busca generar la inclusión de grupos grupos sociales vulnerables a través de vulnerables a los programas de desarrollo social y estrategias de asistencia social que les ampliar el número de personas que acceden a la permitan desarrollar sus potencialidades con atención especializada. Además, los proyectos de independencia y plenitud. Identidad Jurídica brindan independencia y plenitud, al dar certidumbre jurídica e identidad a los habitantes. Objetivo 3. Disminuir las disparidades La focalización del programa permite atender a las regionales a través de un patrón territorial zonas más rezagadas del país (municipios en ordenado e infraestructura social que permita microregiones, o en la estrategia 100 x 100). Así la integración de las regiones marginadas a los mismo, los planes de ordenamiento urbano local procesos de desarrollo y detone las promueven un patrón territorial ordenado. potencialidades productivas. 11 http://www.sedesol.gob.mx/archivos/0/File/Objetivos_politica_social.pdf, consultado en octubre 2007. 10 DISEÑO 7. Con base en lo anterior, analizar y evaluar si existe una relación lógica del programa con los objetivos nacionales del Plan Nacional de Desarrollo.* Respuesta: Existe una relación lógica del programa con los objetivos nacionales del Plan Nacional de Desarrollo 2007 – 2012, específicamente con los Objetivos Nacionales 5 y 6 del mismo,12 los cuales persiguen una reducción de la pobreza extrema y la desigualdad social, así como la ampliación de las capacidades para que los ciudadanos mejoren su calidad de vida, bajo los principios de igualdad y justicia. En este sentido, el programa se enmarca dentro de los mismos objetivos de combate a la pobreza y la desigualdad, impulsando la realización de proyectos para promover y fomentar el desarrollo social a través de acciones de servicio social comunitario que mejoren las condiciones de vida de la población.13 Y dentro de la lógica de corresponsabilidad de diferentes actores para lograr el desarrollo social de México, pues involucra a Jóvenes e Instituciones académicas. De igual manera el Programa JXM se inscribe dentro del Eje Rector 3 del Plan Nacional de Desarrollo 2007 - 2012, que busca mejorar las condiciones de vida de los más pobres, proporcionando las oportunidades de desarrollo a quienes nacen sin ellas. A este objetivo, el programa aporta la generación de capacidades en las comunidades prioritarias donde se ejecutan los proyectos. 12 13 Plan Nacional de Desarrollo 2007–2012. Consultado el 31 de julio en: http://pnd.presidencia.gob.mx/ Reglas de Operación 2007 del programa Jóvenes por México. 11 DISEÑO 1.3 Evaluación y análisis de la matriz de indicadores 8. ¿Las Actividades del programa son suficientes y necesarias para producir cada uno de los Componentes? Respuesta: Sí. Las actividades del programa consideradas en la MML 2007, en conjunto con el cumplimiento de los objetivos de este nivel, son suficientes para la producción de los componentes. Es decir que la realización de este grupo de actividades asegura el logro de los productos. No falta ninguna actividad relevante que sea requerida para alcanzar alguno de componentes. Ninguna de las actividades es prescindible, por lo cual todas se consideran necesarias para la producción de los componentes. Además los supuestos de este nivel de objetivos son válidos y tienen las características indicadas por la metodología de marco lógico. 12 DISEÑO 9. ¿Los Componentes son necesarios y suficientes para el logro del Propósito? Respuesta: No. Los componentes (productos) en la Matriz de Marco Lógico 2007 del programa son: “Proyectos de Servicio Social Comunitario presentados por Instituciones Educativas y realizados por Jóvenes en las modalidades de diseño de Planes de Ordenamiento Urbano Local, Identidad Jurídica, Proyectos Productivos y de Desarrollo Social y Humano. Proyectos de Servicio Social Comunitario de Residencia presentados por Instituciones Educativas y realizados por Jóvenes Prestadores de Servicio Social que residieron en la localidad en la categoría de Desarrollo Social y Humano. Reconocimientos al Servicio Social Comunitario entregados a Jóvenes y Docentes por su aportación a las comunidades.” El propósito está expresado como “Proyectos de Desarrollo Social y Humano desarrollados por IES a través de Jóvenes PSS”.14 Si “proyectos desarrollados” es sinónimo de “proyectos realizados”, entonces cualquiera de los dos primeros componentes sería suficiente para lograr el propósito. Esto significa que se podría prescindir de los otros dos. Por otra parte, aún cambiando la redacción del propósito, no se ha encontrado evidencia de la contribución que pueden lograr las modalidades del componente uno. Adicionalmente, el supuesto de este nivel, “Las comunidades y sus habitantes participan y se involucran en la realización de los proyectos ejecutados”,15 si bien contribuye a superar el asistencialismo y eso es parte de lo que pretende la dependencia,16 no es necesario para el propósito, tal como está redactado. 14 MML de Jóvenes por México 2007. MML de Jóvenes por México 2007. 16 Intervención de la C. Secretaria de Desarrollo Social en el foro internacional sobre políticas públicas para el desarrollo de México. Consultado el 7 de agosto en: http://www.foropoliticaspublicas.org.mx/docs/Pobreza_BeatrizZavala_SEDESOL.pdf 15 13 DISEÑO 10. ¿Es claro y lógico que el logro del Propósito contribuye al logro del Fin? Respuesta: No. Debido a la dificultad ya comentada respecto de la redacción del Propósito en la Matriz de Marco Lógico 2007, no es claro que su logro contribuya a conseguir el fin: No existe una relación directa y comprobable que evidencie que el desarrollo de los proyectos asegure un impacto en la generación de oportunidades de la población atendida. Existe un vacío, que no se llena de manera satisfactoria en la matriz, entre el desarrollo de los proyectos apoyados por el programa y los resultados alcanzados por esos proyectos, resultados que no tienen una mención clara en el propósito, siendo que éstos serían los que contribuirían al logro del fin. El resultado que se espera con los proyectos es “mejorar las condiciones de vida de las zonas en condiciones de pobreza”, como se desprende del árbol de objetivos,17 pero eso no está suficientemente claro y evidente en la redacción del propósito. Se debe profundizar más en esa redacción y explicitar cuál es el resultado que deben entregar los proyectos desarrollados con apoyo del programa, de manera que quede establecida de una relación directa entre propósito y fin. 17 Árbol de Objetivos, Jóvenes por México. 14 DISEÑO 11. Considerando el análisis y la evaluación realizados en este punto, ¿la lógica vertical de la matriz de indicadores del programa es clara y se valida en su totalidad? Es decir, ¿la lógica interna del programa es clara? Respuesta: No. Para validar la lógica vertical de la matriz, deberíamos encontrar una relación de causalidad desde abajo hacia arriba entre los niveles de objetivos,18 en conjunto con los supuestos de cada fila, relación que no encontramos en este caso. En la matriz de marco lógico podemos apreciar lo siguiente: Las actividades son necesarias y suficientes para producir los componentes y los supuestos de este nivel tienen una alta probabilidad de cumplirse pues se refieren al cumplimiento de las reglas de operación y a la debida participación de todos los actores involucrados. Sin embargo, hay dos de tres componentes que no son necesarios para el logro del propósito. El supuesto de este nivel, fundamental para otras metas de SEDESOL, no es necesario para tener proyectos desarrollados y lograr el propósito. Finalmente, aún logrando el propósito y cumpliéndose los supuestos, lo que en este nivel tiene una alta probabilidad, no se ve con claridad la contribución al logro del fin, por la falta de definición de “generar oportunidades”. Es ahí donde se rompe la cadena de causalidad indispensable para validar la lógica vertical de la matriz y la lógica interna del programa. 18 ILPES, Boletín del Instituto No. 15. 15 DISEÑO 12. Si no es así, proponer los cambios que deberían hacerse en el diseño del programa y en su lógica interna. Estos cambios deberían reflejarse en la matriz de indicadores definitiva del programa.* Respuesta: Se sugieren lo siguientes cambios para la matriz: Adecuar el fin a un objetivo más modesto, a la vez de relacionarlo de manera explícita con otros programas sociales. El Propósito que se sugiere está más orientado a resultados e incorpora uno de los aspectos que parecen más importantes en documentos del programa: el efecto que puede ocasionar en los jóvenes prestadores de servicio social su participación en la búsqueda de mejoría para la población vulnerable del país. Cambia la redacción del tercer componente para enfatizar que son los incentivos que los reconocimientos generan entre prestadores de servicio social y docentes, para que su desempeño en el servicio social comunitario sea sobresaliente, los que contribuyen al logro del Propósito. No se sugieren cambios en las actividades. Estas propuestas, junto con las que surgen de preguntas posteriores, están incluidas en una matriz de indicadores como anexo VI de este informe. 16 DISEÑO 13. En términos de diseño, ¿existen indicadores para medir el desempeño del programa a nivel de Fin, Propósito, Componentes y Actividades e insumos? Respuesta: Sí. La matriz de marco lógico del programa JXM sí posee indicadores que miden su desempeño. Para cada nivel de objetivos existe al menos un indicador. Algunos de ellos son indicadores de eficacia como el indicador del Fin, otros de eficiencia como el que mide la inversión per capita en las localidades beneficiadas por el proyecto, existen indicadores de economía y la mayoría son de cantidad. Debe mencionarse que no existen indicadores de calidad. Por el costo que tendrían, tal vez no sean adecuados para un programa cuyo presupuesto es como el de Jóvenes por México. Sin embargo, conviene buscar la coordinación institucional que lleve a incorporar algunos reactivos relativos al programa JXM en un instrumento de recolección que ya exista y desarrolle otro programa. 17 DISEÑO 14. ¿Todos los indicadores son claros, relevantes, económicos, adecuados y monitoreables? Respuesta: No. El indicador para el Fin no se considera relevante, ya que no guarda relación con el resumen narrativo. El propósito tiene dos indicadores: uno relativo a la focalización de proyectos, otro sobre inversión per cápita que, si bien son pertinentes a Jóvenes por México, no están correctamente ubicados en este nivel ya que no se refieren a los resultados del programa. Los indicadores de los dos primeros componentes (numerados 3 y 4 en la matriz) están correctamente definidos y son claros y económicos. Sin embargo sirven para describir el tipo de proyectos que se realizan en el año (porcentaje de cada tipo en el total), más que para ponderar el logro de objetivos. Es decir, su relevancia está en duda, con la excepción de un indicador de eficacia (el 3.1). Los indicadores del tercer componente se consideran totalmente adecuados. Los indicadores de actividades están bien, en general. No obstante, sería preferible contar con más de un indicador en este nivel de la matriz, que midan diferentes aspectos del objetivo, como su eficiencia, eficacia y, en la medida de lo posible, calidad. Las fórmulas de cálculo para los indicadores 6.1, 7.1 y 8.1 aún deben ganar en cuanto a claridad. Destaca la ausencia de indicadores que estimen en qué medida se cumplen los objetivos en la dimensión de calidad. Sin embargo, estos ya no serían económicos en relación con el presupuesto de Jóvenes por México, por lo que la recomendación consiste en desarrollar una manera de estimar eso para Jóvenes por México, aprovechando consultas que realicen otras áreas de SEDESOL. 18 DISEÑO 15. De no ser el caso, la institución evaluadora, en coordinación con el programa, deberá proponer los indicadores faltantes y necesarios para cada ámbito de acción o las modificaciones a los indicadores existentes que sean necesarias.* Para el Fin, debe buscarse un indicador que refleje “oportunidades generadas” entre la población objetivo. Para el Propósito, es preciso definir la manera de expresar “condiciones de vida” en las localidades donde se desarrollan acciones del Programa. Como indicadores para los dos primeros componentes conviene reportar el número de proyectos realizados por tipo en el año y compararlo contra el número de proyectos del mismo tipo realizados en años anteriores. (Algo similar a los indicadores para el tercer componente.) Conviene nombrar los indicadores 6.1, 7.1 y 8.1como “Oportunidad en la publicación de reglas de operación” y calcularlos por el tiempo transcurrido entre el inicio del año fiscal y la última publicación que modifique las Reglas de Operación. De resultar costo-eficiente, agregar indicadores de calidad. Por ejemplo, para el propósito: Porcentaje de la población que calificó de “significativa” la aportación de los proyectos a su calidad de vida. O a nivel componente: Satisfacción con el proyecto desarrollado. Convendría al programa generar una alianza con otro que ya realice encuestas en las zonas donde JXM apoya proyectos. Las observaciones se incorporaron a la propuesta de matriz del anexo VI de este informe. 19 DISEÑO 16. ¿Los indicadores incluidos en la matriz de indicadores tienen identificada su línea de base y temporalidad en la medición? Respuesta: No. Todos los indicadores tienen incluida la temporalidad en la medición, señalada en la MML bajo la columna “Frecuencia”. Según funcionarios de Jóvenes por México, la línea base de los indicadores se calculará este año, debido a que en años anteriores el programa operaba de manera distinta. A este respecto, el equipo evaluador recibió 12 fichas técnicas, correspondientes a los indicadores de Fin, Propósito y Componentes y encontró que solamente la mitad posee línea base. No se tuvo acceso a fichas técnicas de los indicadores del nivel actividades. 20 DISEÑO 17. ¿El programa ha identificado los medios de verificación para obtener cada uno de los indicadores? Respuesta: Sí. Cada uno de los indicadores posee un medio de verificación. En su mayoría recurren a reportes del Sistema Integral de Información de Programas Sociales (SIIPSO), que son de fácil acceso. Otras fuentes de información son actas, informes y minutas, que son comprobables fácilmente como: - Informe general de Cuenta Pública - Minuta del Comité Técnico - Minuta de dictamen - Convenio para la ejecución del proyecto - Acta de entrega y recepción - Instrumento Jurídico Firmado - Reporte de visita de supervisión de las áreas encargadas por la SEDESOL - Informes Físicos financieros de las Instancias Ejecutoras - Oficio de solicitud de ministración. Desde el punto de vista del programa, todas son fuentes secundarias, de bajo costo de recolección. 21 DISEÑO 18. Para aquellos medios de verificación que corresponda (por ejemplo encuestas), ¿el programa ha identificado el tamaño de muestra óptimo necesario para la medición del indicador, especificando sus características estadísticas como el nivel de significancia y el error máximo de estimación? Respuesta: No aplica. Ninguno de los indicadores se calcula con base en muestras. 22 DISEÑO 19. ¿De qué manera el programa valida la veracidad de la información obtenida a través de los medios de verificación?* Respuesta: El programa se apoya en el principal sistema de información de SEDESOL, denominado Sistema Integral de Información de los Programas Sociales (SIIPSO), que según entrevista realizada a funcionarios de JXM,19 es considerado confiable. Además, complementan la información arrojada por los medios institucionales de verificación, con los informes de las instancias ejecutoras y el seguimiento físico de los proyectos. 19 Ver anexo III. 23 DISEÑO 20. ¿Se consideran válidos los supuestos del programa tal como figuran en la matriz de indicadores? Respuesta: Sí. Los supuestos que están dentro de la matriz de indicadores sí son validos en lo general según tres criterios:20 Su importancia Su carácter externo: Que estén fuera del ámbito del proyecto La probabilidad de ocurrencia: la posibilidad de que ocurra debe ser razonable. Sin embargo, se sugiere una modificación en el primer supuesto a nivel de Propósito, retirando la referencia a la conformidad con las Reglas de Operación, ya que este es un aspecto que es del ámbito interno de la implementación del programa. Asimismo, se debe reconsiderar el siguiente supuesto al nivel de componentes: “Las comunidades y sus habitantes participan y se involucran en la realización de los proyectos ejecutados”. Esto requiere una tarea de promoción difícil y relevante, decisiva para el éxito de uno de los objetivos de la política de desarrollo social, como es superar el asistencialismo 21 y avanzar hacia la generación de capacidades personales que rompan el círculo de pobreza. En este sentido, sería mejor considerar como parte de las actividades de JXM contar con un análisis más profundo de las necesidades de los habitantes y su disposición para participar e involucrarse en los proyectos que apoya. 20 ILPES - CEPAL, Boletín del Instituto No. 15. 21 Intervención de la C. Secretaria de Desarrollo Social en el foro internacional sobre políticas públicas para el desarrollo de México. Consultado el 7 de agosto en: http://www.foropoliticaspublicas.org.mx/docs/Pobreza_BeatrizZavala_SEDESOL.pdf 24 DISEÑO 21. Considerando el análisis y evaluación realizado en este punto, ¿la lógica horizontal de la matriz de indicadores se valida en su totalidad? Respuesta: No. Para validar la lógica horizontal es necesario encontrar para cada nivel de objetivos un indicador adecuado, relevante, objetivo, entre otras características; una frecuencia y unos medios de verificación que hagan posible la medición del indicador. Si bien existen indicadores para cada nivel de objetivos, los indicadores de Fin y Propósito no son relevantes para el resumen narrativo, razón suficiente para invalidar la lógica horizontal de la matriz, ya que los indicadores para las dos primeras filas de la matriz son fundamentales a la hora de evaluarla en conjunto. 25 DISEÑO 22. Si no es así, proponer los cambios que deberían hacerse a la lógica horizontal de la matriz de indicadores (indicadores, medios de verificación y supuestos).* Respuesta: Estos cambios han sido detallados en las respuestas a preguntas anteriores, concretamente las número 15 y 20. Los principales cambios sugeridos son: Generar indicadores relevantes para Fin y Propósito Agregar otros indicadores para los dos primeros componentes (Pregunta 15) Precisar los indicadores 6.1, 7.1, 8.1 y 8.4 Sustituir el supuesto “Las comunidades y sus habitantes participan y se involucran en la realización de los proyectos ejecutados” por actividades encaminadas a propiciar tal participación La propuesta de matriz que se incluye como anexo VI de este informe concentra todas estas recomendaciones. Sin embargo, debe admitirse que elaborar una matriz de indicadores completa queda fuera de los alcances de este trabajo, por lo que la propuesta se limita a señalar los espacios donde se requiere mayor análisis por parte de la unidad responsable del programa. 26 DISEÑO 1.4 Población potencial y objetivo 23. ¿La población que presenta el problema y/o necesidad (población potencial), así como la población objetivo están claramente definidas? Respuesta: Sí. Ambas poblaciones están claramente definidas. La población Potencial está constituida por las personas que se encuentran en situación de pobreza en el país y viven en municipios de alta y muy alta marginación, es decir la población que presenta el problema que el programa desea resolver. Las Reglas de Operación (numeral 3.2) contienen una definición clara de población objetivo: las personas que habitan en municipios y localidades ubicadas en las zonas de atención prioritaria, “preferentemente en las microrregiones”. Esta preferencia establece un subconjunto de la población potencial, lo que es acertado de acuerdo con la metodología de Marco Lógico, en la cual la población objetivo es “(…) aquella parte de la población afectada (es decir, de la población potencial) a la que el proyecto, una vez examinados los criterios y restricciones, está en condiciones reales de atender”.22 Conviene tomar en cuenta que el mismo apartado de las ROP menciona como población objetivo también a los jóvenes prestadores de servicio social comunitario y a las instituciones educativas que presentan los proyectos. Como se ve, este grupo no pertenece necesariamente a la población potencial. Estas personas no deberían considerarse beneficiarios del programa, sino sus co-ejecutores del programa, a los cuales se apoya para llevar al cabo acciones dirigidas al público objetivo. 22 ILPES-CEPAL. Metodología general de identificación, preparación y evaluación de proyectos de inversión pública. Manual No. 39. Agosto 2005. Consultado el 9-08-2007 en http://www.coneval.gob.mx/coneval/bibliografia.html 27 DISEÑO 24. ¿El programa ha cuantificado y caracterizado ambas poblaciones, según los atributos que considere pertinentes? Respuesta: No. La dependencia que coordina el programa posee información sobre la población que vive en municipios en condiciones de pobreza. Esta es la población potencial, pues es el grupo que presenta el problema identificado de acuerdo con el análisis de las ROP y la MML. La población objetivo, tal como es definida por las Reglas de Operación del programa JXM, también se encuentra cuantificada: aproximadamente 19.9 millones de personas que viven en zonas de alta y muy alta marginación,23 cuantificadas por el programa Microrregiones y casi 700 mil jóvenes en condiciones de prestar su servicio social anualmente.24 Sin embargo, esta cuantificación no es correcta, ya que no corresponde con aquel subconjunto de la población potencial que el programa podrá atender de acuerdo con sus capacidades institucionales. Es decir, no se dispone de estudios de demanda que se realicen antes de la operación del programa. Más bien, el programa opera con una lógica de selección de solicitudes que se presentan a convocatorias amplias, que abarcan la atención de toda la población potencial. La población atendida es cuantificada una vez terminados los proyectos, mediante información entregada por las IES. Esto constituye una cuantificación de beneficiarios, pero no de público objetivo. Respecto a la caracterización, no hay evidencia de que el programa conozca de su población objetivo más que descripciones genéricas del municipio en que se encuentra. Para una correcta cuantificación y caracterización del público objetivo es preciso definir el subconjunto de la población potencial a la cual se dirigirán las convocatorias, tomando en cuenta las restricciones institucionales y de presupuesto del programa Jóvenes por México. 23 24 www.microrregiones.gob.mx. Reglas de Operación 2007, numeral 1. Introducción. 28 DISEÑO 25. ¿Cuál es la justificación que sustenta que los beneficios que otorga el programa se dirijan específicamente a dicha población potencial y objetivo?* Respuesta: Existe una justificación legal, que es la que el equipo evaluador puede detectar desde el trabajo de gabinete que realiza. Bajo este punto, se puede sustentar que la población denominada “potencial”, en el Programa JXM, puede gozar de los beneficios del programa ya que las leyes del país establecen dar prioridad a los sectores que viven en condiciones de pobreza.25 Conjuntamente, los Objetivos Estratégicos de Desarrollo Social son claros en establecer que las acciones de la Secretaría deberán dirigirse a:26 desarrollar las capacidades básicas de las personas en condición de pobreza, abatir el rezago que enfrentan los grupos sociales vulnerables y disminuir las disparidades regionales. Por otra parte, que el programa consista en la entrega de apoyos económicos a jóvenes prestadores de servicio social e IES, se sustenta en el principio de solidaridad que rige la política de Desarrollo Social, que plantea: “Colaboración entre personas, grupos sociales y órdenes de gobierno, de manera corresponsable para el mejoramiento de la calidad de vida de la sociedad”.27 A su vez, “el servicio social, de acuerdo con la ley de profesiones, tiene un objetivo comunitario, que empata con el principio de solidaridad”28 y participación que debe fomentarse a través de los programas sociales. 25 Artículo 11, Numeral I de la Ley General de Desarrollo Social. Enero de 2004. http://www.sedesol.gob.mx/archivos/0/File/Objetivos_politica_social.pdf, consultado en octubre 2007. 27 Artículo 3, Numeral III de la Ley General de Desarrollo Social. Enero de 2004. 28 Reglas de Operación 2007, numeral 1. Introducción. 26 29 DISEÑO 26. ¿La justificación es la adecuada? Respuesta: Sí. Es adecuada en la medida en que la población potencial presenta el problema que da origen al programa: “Malas condiciones de vida de los habitantes de las zonas de atención prioritaria, a causa de que sus acciones no cuentan con las herramientas técnicas ni de información necesarias para romper el circulo de pobreza en el que se encuentran” (propuesta de la evaluación, con base en el árbol de problemas de JXM). Se justifica que la Secretaría de Desarrollo Social aporte recursos humanos con calificación para diseñar y emprender acciones efectivas que busquen abatir los rezagos económicos y sociales de las poblaciones vulnerables. No obstante, es conveniente revisar la manera en que el programa considera la función de los jóvenes que realizan su servicio social comunitario, así como el de las instituciones educación superior (IES). En las reglas de operación vigentes se les llama “Beneficiarios” y se les incluye como parte de la población objetivo (únicamente porque son ellas quienes reciben los recursos monetarios). De acuerdo con definiciones técnicas, la población objetivo debe ser una parte de la población que presenta el problema. Debido a que en el programa Jóvenes por México se identifica que el problema lo constituye la mala condición de vida de zonas con pobreza, está claro que ni las IES ni necesariamente los jóvenes prestadores de servicio social corresponderían al grupo objetivo. Lo anterior no invalida la justificación de que sean los PSS quienes reciban los recursos del programa, ya que constituyen un apoyo a su labor comunitaria, que incentiva la búsqueda de mejorías en las condiciones de vida de la población que atienden, además de generar externalidades positivas en materia de cohesión social y fortalecimiento de los valores como pluralismo, igualdad y solidaridad. Aún así, mencionar a los PSS como parte de la población objetivo genera confusión en los términos. 30 DISEÑO 27. ¿Los criterios y mecanismos que utiliza el programa para determinar las unidades de atención (regiones, municipios, localidades, hogares y/o individuos, en su caso) son los adecuados? (Señalar principales mecanismos). Respuesta: Sí. Los criterios utilizados sí se consideran adecuados, aunque se combinan varios. En las ROP se establece como criterio de focalización los municipios de microrregiones, criterio que es conveniente en la medida en que hace parte de una estrategia integral de focalización sustentada en índices de marginación, transparente, clara y compartida entre varias instancias de gobierno.29 En la MI30 se establece un criterio de focalización dirigido a atender los municipios de la estrategia 100 X 100, que intenta coordinar y articular todas las instancias de Gobierno para combatir su rezago. Debido a que los municipios para esta estrategia están contenidos dentro del programa microrregiones, esto significa un criterio de focalización más estrecho y específico que busca lograr un mayor impacto en los municipios atendidos.31 De hecho,32 el programa apoya al menos un proyecto en cada estado. Se sugiere elegir una regla de focalización y difundirla con claridad. El programa también destina recursos para proyectos en zonas de desastres naturales, criterio que también se valida porque presentan situaciones de emergencia humanitaria. El mecanismo que utiliza el programa para determinar unidades de atención consiste en la revisión del conjunto de solicitudes por parte de un Comité Técnico de Validación en el caso de sus dos primeros componentes y por un jurado calificador, en el caso del Reconocimiento Nacional al Servicio Social Comunitario, de acuerdo con las Reglas de Operación. 29 Ver http://www.microrregiones.gob.mx. Matriz de indicadores del programa Jóvenes por México, agosto de 2007. 31 Según entrevista realizada a la Dirección del programa, ver anexo III. 32 Según los criterios utilizados por el Comité técnico en la primera sesión ordinaria del 2007. 30 31 DISEÑO 28. ¿Existe información sistematizada y actualizada que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios), cuáles son las características socio-económicas de la población incluida en el padrón de beneficiarios y con qué frecuencia se levanta la información? Respuesta: Sí. El programa dispone de una base de datos, recopilada del Sistema Integral de Información de Programas Sociales (SIIPSO), que contiene los apoyos entregados por ejecutor, vertiente, tipo de proyecto, estado, municipio, localidad y región. 33 Esta información está completa y actualizada. Además, en la página web de SEDESOL se publican los resultados de las convocatorias, con el nombre de los prestadores de servicio social por cada una de las modalidades de apoyo. Si bien estas listas no contienen información socioeconómica de los prestadores de servicio social, ni el programa la posee, 34 ésta no se considera relevante para el Programa Jóvenes por México ya que son únicamente proveedores de servicios en localidades donde vive el público objetivo, que son los verdaderos beneficiarios (aspecto que debería precisarse en futuras reglas de operación, ver pregunta 26). El programa sí tiene, en cambio, información sobre las características socioeconómicas de las localidades donde se desarrollan los proyectos de servicio social apoyados, resumidas en un índice de marginación. Se considera impráctico e inconveniente llevar un padrón de todos los habitantes de estas localidades, ya que los beneficiarios del programa son solamente un subconjunto. Las IES sí deberían estimar el número de beneficiados directos y recoger las características de ellos. Ésta es una tarea pendiente para las instancias ejecutoras, ya que tienen deficiencias para realizar dichas estimaciones. 33 34 Archivos proporcionados al equipo evaluador, por funcionarios del programa. De acuerdo con entrevista, ver Anexo III. 32 DISEÑO 1.5 Análisis de la vinculación de las Reglas de Operación (ROP) o normatividad aplicable con los objetivos del programa 29. ¿El diseño del programa se encuentra correctamente expresado en sus ROP o normatividad correspondiente? Respuesta: Sí. Las Reglas de Operación 2007 del Programa Jóvenes por México expresan en gran medida el diseño del programa en tanto que identifica correctamente la lógica vertical que se busca. Además, las ROP son claras en cuanto a objetivos, lineamientos, seguimiento y evaluación, indicadores y transparencia. Por otra parte, se debe incluir en futuras reglas de operación el criterio de focalización referido a la estrategia 100 x 100, ya que actualmente sólo se hace referencia a los municipios de la estrategia microrregiones, (programa de SEDESOL) lo que constituye una estrategia de focalización mucho más amplia ya que consta de mil 340 municipios de alta y muy alta marginación, mientras que la estrategia 100 x 100 corresponde los municipios con más bajos índices de Desarrollo Humano. Debido a que estos últimos están contenidos dentro de microrregiones, la estrategia es más focalizada y por tanto más adecuada. 33 DISEÑO 30. ¿Existe congruencia entre las ROP o normatividad aplicable del programa y su lógica interna? Respuesta: Sí. Existe congruencia entre la matriz de indicadores (MI) y las reglas de operación (ROP): El Fin y el Propósito de la MI son congruentes con los objetivos del programa planteados en las Reglas de Operación. El objetivo general del programa es: “Impulsar la realización de proyectos que promuevan y fomenten el desarrollo social y humano a través de acciones de servicio social comunitario que mejore las condiciones de vida de la población” y algunos de sus objetivos específicos pueden resumirse como: “Realizar proyectos de beneficio comunitario o de desarrollo social y humano en las zonas de atención prioritaria (…), Promover la realización de planes de ordenamiento urbano local (…), Impulsar acciones que contribuyan a otorgar identidad y seguridad jurídica (…), Apoyar proyectos productivos (…), Promover y estimular la labor del servicio social comunitario (…)” Los Componentes especificados en la MI coinciden con las tres modalidades de apoyo mencionados por las Reglas de Operación en el numeral 3.4.1. Las Actividades contenidas en al MI se refieren a las acciones especificadas en las ROP. No obstante, debe decirse que el Propósito redactado en la matriz no refleja suficientemente otros de los objetivos expresados en las ROP, como son “Crear conciencia y responsabilidad social entre la población joven de México (…), Aprovechar los conocimientos de los jóvenes y de las IES para aumentar los recursos humanos en programas y acciones de Sedesol, enfocados a beneficiar a la población más marginada.” El propósito de la matriz muestra un programa limitado en relación con los impactos que pretenden los objetivos de las Reglas de Operación. 34 DISEÑO 1.6 Posibles coincidencias, complementariedades o duplicidades de acciones con otros programas federales 31. Como resultado de la evaluación de diseño del programa, ¿el diseño del programa es el adecuado para alcanzar el Propósito antes definido y para atender a la población objetivo? Respuesta: No. Conviene recordar que el propósito no está orientado a resultados y que la población objetivo de las ROP incluye a los PSS. En este contexto, una primera respuesta a esta pregunta sería afirmativa, aunque lo sería por tautología. Tal conclusión sería plana y de poca utilidad para la evaluación. En cambio, si el propósito se definiera en función de las modificaciones que se quieren alcanzar para un subconjunto de personas que viven en zonas de atención prioritaria, entonces el análisis es diferente y arroja que el diseño 2007 del programa es limitado para lograr impactos significativos, en esta población y en este sentido. Por diseño, el programa JXM tiene operación anual y en cada ejercicio las IES tienen 25 días hábiles para presentar proyectos;35 los montos máximos de apoyo son $250 mil para proyectos de residencia, cuya duración máxima es de seis meses, $200 mil para planes de ordenamiento urbano, $160 mil para proyectos productivos y $100 mil para proyectos de identidad jurídica o de desarrollo social y humano; debe destinarse 75% de los recursos al apoyo directo a jóvenes que no han concluido su carrera, con mil pesos al mes o $2 500 al mes para el servicio social de residencia.36 Es válido esperar que proyectos de estas características realicen una limitada atención a la población vulnerable o en condiciones de pobreza. Un programa con estos alcances tendría un impacto reducido en un propósito tan ambicioso como “mejorar el desarrollo social y humano de personas que viven en condiciones de pobreza”. 35 36 Reglas de Operación 2007, numerales 3.4.1, 3.4.2 y 4.1.1. Convocatorias Jóvenes por México 2007. 35 DISEÑO 32. ¿Con cuáles programas federales podría existir complementariedad y/o sinergia?* Respuesta: Para efectos de la pregunta, se entiende como complementariedad la aportación que un programa puede hacer a otro o viceversa, y como sinergia el trabajo conjunto de programas que genera un impacto mayor que cuando actúan por separado. En ese sentido, la búsqueda de sinergia es importante, ya que el programa Jóvenes por México debe reconocer sus dimensiones y enfocar sus esfuerzos hacia capitalizar el conocimiento de los prestadores de servicio social, el principal producto de JXM, en otros programas que sean más amplios y efectivos en cuanto a generar oportunidades para personas en condición de pobreza. Funcionarios del programa JXM han identificado los vínculos que podrían tenderse con los otros programas de la SEDESOL,37 mismos que generarían sinergia al capitalizar el conocimiento de los jóvenes PSS y de las IES, aprovechándolo en la atención a poblaciones vulnerables para lograr un mayor impacto. El programa Jóvenes por México podría complementar a cualquier programa de gobierno que atienda a la población vulnerable o a jóvenes, cuidando que estos acuerdos sean costo – eficientes. Tal ha sido el caso con el Instituto Mexicano de la Juventud, institución con la cual han desarrollado actividades conjuntas para sumar esfuerzos en su labor con jóvenes El avance más importante en materia de complementariedad se ha realizado con el programa de Estancias y Guarderías Infantiles de SEDESOL, en el cual ya se encuentran colaborando prestadores de servicio social.38 El Programa para el Desarrollo Local (Microrregiones) ha servido como complemento en la focalización de los proyectos que apoya Jóvenes por México. A partir de este año, JXM se ha complementado también con la estrategia intersectorial denominada 100 x 100.39 37 Síntesis de la Pertinencia del Programa Jóvenes por México, Anexo 5. Documento de trabajo de JXM. Dirección del programa Jóvenes por México, evaluación interna, documento citado, página 4. 39 Aspecto que se evidencia en la Matriz de Marco Lógico 2007. 38 36 DISEÑO 33. ¿Con cuáles programas federales podría existir duplicidad?* Respuesta: No se ha encontrado un programa federal, en ninguna dependencia, que utilice una estrategia similar de apoyos a prestadores de servicio social con el fin de atender a comunidades marginales. En general, los programas de SEDESOL buscan atender el mismo problema de pobreza y marginación que el programa JXM, pero lo hacen desde diferentes mecanismos y más que constituirse como duplicidades, son complementarios en el ánimo de canalizar los esfuerzos a fines similares. Existen becas otorgadas a servidores sociales que presten servicios comunitarios por parte de Asociaciones Civiles, mas no desde programas federales. También hay servicio social de residencia entre estudiantes de medicina, pero esto no se considera duplicación dada la distinta naturaleza de los estudios, los objetivos y la operación. 37 DISEÑO 34. ¿El programa cuenta con información en la que se hayan detectado dichas complementariedades y/o posibles duplicidades? Respuesta: Sí. En varios documentos del programa se reconoce la complementariedad de JXM con el programa de microrregiones, además de tener establecida una estrategia de vinculación con el programa de Guarderías y Estancias Infantiles de SEDESOL, cuyo objetivo general es: “Vincular la participación y capitalizar el potencial de los y las jóvenes e Instituciones Educativas de Educación Media Superior y Superior a través de la realización de su servicio social, en el desarrollo del Programa de Estancias Infantiles.”40 Un documento de trabajo del programa establece la complementariedad de JXM con cada uno de los otros programas que son responsabilidad de SEDESOL.41 Asimismo, la complementariedad con el Instituto Mexicano de la Juventud, que incentiva la participación social de los jóvenes, se ha evidenciado en la organización compartida del V Encuentro Nacional de Participación Social de Jóvenes, junto con el Gobierno del Estado de Morelos. Atendiendo la parte de la pregunta sobre las posibles duplicidades de JXM con otros programas, los funcionarios del programa42 tampoco han encontrado algún programa que realice acciones duplicadas con las de JXM. 40 Presentación entregada por funcionarios del programa Jóvenes por México. Síntesis de la Pertinencia del Programa Jóvenes por México, Anexo 5. Documento de trabajo de JXM. 42 Ver anexo III. 41 38