Evaluación de Consistencia y Resultados 2007, del Programa para el Desarrollo Local (Microrregiones) CAPÍTULO 6. EVALUACIÓN DE RESULTADOS PREGUNTA: 96. ¿El programa recolecta regularmente información veraz y oportuna sobre sus indicadores de Propósito y Fin? RESPUESTA: NO ANÁLISIS Y JUSTIFICACIÓN: Lo hace a través de los diferentes procedimientos, bases de datos y sistemas de información. En particular para los indicadores de Fin la información proporcionada por INEGI, CONAPO y CONEVAL son suficientes con un procesamiento adicional. En el caso de los indicadores de Propósito aplican las anteriores fuentes mencionadas, más el SIIPSO, Base de Datos del Programa, Base de Datos de DGS y SIBAB son los medios de recolección de información útil para este efecto. Sin embargo, se detecta que el Programa no cuenta con información oportuna del cálculo de sus indicadores, cuando menos a nivel de línea base, por tanto no existe un proceso regular para recolectar datos, monitorear, procesar y analizar la información, con una frecuencia adecuada más corta. REFERENCIA DOCUMENTAL: Matriz de Marco Lógico (Agosto de 2007) 107 Evaluación de Consistencia y Resultados 2007, del Programa para el Desarrollo Local (Microrregiones) PREGUNTA: 97. ¿El programa ha llevado a cabo evaluaciones externas con metodologías rigurosas que le permitan medir el impacto del programa en la población objetivo (evaluaciones que permitan medir los avances en términos de su Propósito y Fin)? RESPUESTA: NO ANÁLISIS Y JUSTIFICACIÓN: El Programa en no ha llevado evaluaciones para medir el impacto en relación a los avances de su Propósito y Fin en la población objetivo, con una metodología que haya considerado el contrafactual y un grupo de comparación. Donde el contrafactual se refiere al escenario simulado alternativo que habría ocurrido como situación si el Programa nunca se hubiera aplicado, el cual se verifica a través de grupos de control, que se comparan con grupos de tratamiento o intervenidos. La evaluación del Programa del 2002 generó recomendaciones relacionadas principalmente con la Estrategia de Microrregiones, según las cuales, los Programas se deberían articular a la estrategia considerada. En virtud de esto, se destaca que existe una evaluación de impacto de la Estrategia de Microrregiones que puede servir como referencia relacionada con este Programa. En las ROP 2005, tomó en cuenta recomendaciones para la mejora del diseño del Programa en la readecuación de la cobertura , pasando de las localidades de muy alta y alta marginación de las Microrregiones, generalmente dispersas, a las localidades CEC, como ejes detonadores de desarrollo con el fin de lograr mayores impactos y de evitar una dispersión de los recursos. REFERENCIA DOCUMENTAL: Evaluación Externa del PDL 2006, Universidad Autónoma de Chapingo. Evaluación Externa del PDL 2005, Servicios Profesionales para el Desarrollo Económico S.C. Evaluación Externa del PDL 2004, Servicios Profesionales para el Desarrollo Económico S.C. Evaluación Externa del PDL 2003, Universidad Nacional Autónoma de México. Evaluación Externa del PDL 2002, Red para el Desarrollo Sostenido de México, A.C. Evaluación de Impacto de la Estrategia de Microrregiones, 2006, ITESM. Versión final del Reporte de la aplicación de la Metodología de obtención del índice de satisfacción del beneficiario del Programa de Desarrollo Local, 2006, UIA, México. 108 Evaluación de Consistencia y Resultados 2007, del Programa para el Desarrollo Local (Microrregiones) PREGUNTA: 98. Con base en las evaluaciones externas, ¿cuáles han sido los principales impactos del programa?* RESPUESTA: * ANÁLISIS Y JUSTIFICACIÓN: El cambio realizado en la población objetivo del Programa, de las ROP 2002 y 2003 de las localidades de muy alta y alta marginación a las localidades CEC en las ROP 2005, ha permitido un mayor alcance en una determinada área territorial, al concentrar las acciones en los Centros Estratégicos Comunitarios, con mayores posibilidades de desarrollo y evitando la dispersión en el ejercicio de recursos, aunque esto aplica solo para los apoyos de tipo comunitario. De la evaluación externa 2003, uno de los elementos que han limitado al Programa ha sido la falta de planeación de mediano y largo plazo que garantice la sustentabilidad de los beneficiarios y del mismo Programa a pesar de que se pretende detonar procesos de desarrollo integrales, funciona como un conjunto de proyectos y acciones que cumplen metas específicas en muchos casos dispersas. En términos de los insumos necesarios para la ejecución de las acciones del Programa, se mostró un incremento en el presupuesto disponible por proyecto en las ROP 2002, 2003 y 2005, que ha servido para la realización de proyectos con necesidad de una mayor inversión. Dentro de las aportaciones de la evaluación al programa en el 2006, se destaca que el PDL no partió de un diagnóstico inicial en el cual se detallará la problemática que le dio origen, sino que se apoyó por el diagnóstico realizado por la EM que es el marco general del programa. A pesar de la identificación de ésta, es necesario que el PDL cuente con un diagnóstico propio con la finalidad de priorizar la participación del programa de acuerdo a las necesidades dentro de la cobertura. En general la evaluación de impacto de la Estrategia de Microrregiones de 2006, plantea que no se observan de manera clara los impactos sobre la reducción de marginación en los municipios, localidades y áreas de influencia, dentro o fuera de las Microrregiones. Lo cual, asociado al PDL, sugiere como se ha comentado hasta ahora, focalizar esfuerzos y recursos para mejorar el desempeño y poder observar de manera más clara los impactos. REFERENCIA DOCUMENTAL: Evaluaciones externas 2002 a 2006 Evaluación de Impacto de la Estrategia de Microrregiones, 2006, ITESM. 109 Evaluación de Consistencia y Resultados 2007, del Programa para el Desarrollo Local (Microrregiones) PREGUNTA: 99. ¿El diseño y la operación del programa permiten realizar una evaluación de impacto rigurosa? Si no es así, explicar y proponer los ajustes necesarios para que sean compatibles. RESPUESTA: NO ANÁLISIS Y JUSTIFICACIÓN: Mediante el diseño y operación actual del programa, a juicio del equipo evaluador no es útil aún realizar una evaluación de impacto rigurosa en función de los siguientes comentarios: Existe una diversidad de apoyos que proporciona el Programa, de diferente naturaleza, que en algunas ocasiones son trámites, en otras obras comunitarias y en otros casos obras de beneficio familiar. Los beneficiarios son de diferente dimensión, en ocasiones son individuos, en otros grupos y en otras comunidades. Los indicadores aún no están completamente definidos para poder medir de manera desagregada y objetiva el fin y propósito, sobre los conceptos de la marginación, el desarrollo local o mejoramiento de las condiciones de vida de los habitantes. No se levanta información de manera regular sobre los indicadores de desempeño, resultados o impacto del Programa. Identificar un grupo de contraste para servir de contrafactual sería relativamente sencillo, pues existen localidades fuera de las Microrregiones que están caracterizadas como de alta marginación. Lo que implica, que si se toman en consideración las recomendaciones sugeridas en el tema de Diseño, es concentrar o focalizar los esfuerzos y recursos del programa en apoyos de naturaleza similar, específicamente en infraestructura comunitaria social básica, de servicios y productiva, pues de esta forma la valoración de impacto tendría un enfoque homogéneo y orientado al concepto de Desarrollo Local. REFERENCIA DOCUMENTAL: Reglas de operación 2007, Matriz de Marco Lógico 2007 110 Evaluación de Consistencia y Resultados 2007, del Programa para el Desarrollo Local (Microrregiones) PREGUNTA: 100. Con base en la información obtenida de los distintos instrumentos, ¿el programa ha demostrado adecuado progreso en alcanzar su Propósito y Fin? Especificar los principales resultados. RESPUESTA: NO ANÁLISIS Y JUSTIFICACIÓN: No hay evidencia para poder responder esta pregunta, pues no existe una medición de todos los indicadores de fin, propósito, componente y actividad. Los indicadores expresados en la Matriz de Marco Lógico no tienen línea base definida, y no existen metas definidas de corto, mediano y largo plazo que sirvan como referencia de comparación, salvo las metas presupuestales por año. La respuesta de esta pregunta, podría asumirse en términos relativos de los siguientes factores: Reconocimiento explicito del problema concreto que busca resolver el PDL. Avance en las metas de los indicadores de resultados e impacto, asociadas al concepto de desarrollo local y/o marginación. Avance en la cobertura de población sobre la base de desarrollo, más que de cuantificación de atención con proyectos o apoyos. Presupuesto ejercido, con base a una distribución más que espacial, hacia los rubros de mayor impacto. Establecimiento de BB, como un medio de expresión de los avances cualitativos. Se sugiere unificar indicadores expresados en ROP y MML, y demás documentos oficiales, además de integrar un procedimiento y mecanismo de seguimiento con base en metas e indicadores que faciliten la toma de decisiones efectiva, y una valoración objetiva de progreso del Programa respecto del problema al que trata de dar respuesta institucional. REFERENCIA DOCUMENTAL: Formato de Avances en Indicadores de la Matriz de Marco Lógico 2007 Tabla de Presupuesto Asignado y Ejercido al 31 de Diciembre de 2007 111