Evaluación en Materia de Diseño Posición Institucional del Programa de Coinversión Social Con base en lo establecido en el numeral Vigésimo Segundo de los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal, el cual establece que un programa nuevo, o aquel que haya presentado un cambio sustancial en su diseño y/u operación, deberá llevar a cabo una evaluación de Diseño; razón por la cual el Instituto Nacional de Desarrollo Social (Indesol), llevó a cabo la contratación de la Evaluación en Materia de Diseño del Programa de Coinversión Social (PCS), con el seguimiento y coordinación de la Dirección General de Evaluación y Monitoreo de los Programas Sociales (DGEMPS), tomando como base los Términos de Referencia de la evaluación en mención emitidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social. El objetivo general de esta evaluación fue analizar el diseño del PCS con la finalidad de proveer información que retroalimente su diseño, gestión y resultados. En específico, esta evaluación buscó: Analizar la justificación de la creación y diseño del programa, Identificar y analizar su vinculación con la planeación sectorial y nacional, Identificar a sus poblaciones y mecanismos de atención, Analizar el funcionamiento y operación del padrón de beneficiarios y la entrega de apoyos, Analizar la consistencia entre su diseño y la normatividad aplicable Identificar el registro de operaciones presupuestales y rendición de cuentas, e Identificar posibles complementariedades y/o coincidencias con otros programas federales. En este sentido y en el contexto de una orientación de los programas sociales a la rendición de cuentas y el logro de resultados, la Unidad Responsable de la operación del PCS y la DGEMPS reconocen el esfuerzo de la Instancia Evaluadora, la Universidad Autónoma Metropolitana. Unidad Lerma (UAM-L) por valorar el diseño del PCS, con base en los elementos descritos en los Términos de Referencia; cuidando en todo momento el carácter externo de la evaluación. Bajo este contexto, se emite la siguiente posición institucional con respecto al Informe Final de la evaluación en comento: Aún cuando el programa cuenta con una justificación teórica documentada que sustenta el tipo de interacción llevado a cabo, se coincide con el equipo evaluador sobre en la necesidad de actualizar las referencias empleadas, con el objetivo de brindar una mayor evidencia de que las líneas de acción seguidas por el PCS son las más eficaces para atender el problema identificado. Respecto a la contribución del programa a las metas y estrategias sectoriales, específicamente, sobre la no suficiencia del logro del propósito del PCS para el cumplimiento de alguna(s) de la(s) meta(s) de alguno(s) de los objetivos del Programa Sectorial de Desarrollo Social, se coincide con el equipo evaluador en que es poco factible que el cumplimiento del propósito de un programa pueda ser suficiente para el cumplimiento total de un objetivo sectorial. Se considera importante señalar que la propuesta de valoración de los Términos de Referencia es de tal alcance, que un programa por sí mismo no podría aspirar a reunir dicha característica, aún cuando la contribución realizada sea significativa. 1 2 Con relación a las deficiencias identificadas en los modelos de proyección utilizados por el PCS, si bien se ha realizado un esfuerzo constante en la determinación de los métodos más apropiados para el cálculo de las metas de cobertura, se agradece al equipo evaluador las oportunidades de mejora identificadas así como su orientación sobre métodos de proyección robustos que aprovechen las series de datos de las que dispone el programa, tal como la consideración de la variable presupuestal. Sin embargo, aún cuando el PCS es consciente de que la inclusión de dicha variable en el método de proyección favorecería la obtención de cálculos más precisos, se considera que no es factible, debido a que no se tiene certeza del monto presupuestal que será asignado al programa en el futuro, por lo que la exactitud en la determinación de las metas de cobertura podrían ser imprecisas. Asimismo, ante la sugerencia de que dicho método de proyección también identifique las capacidades de procesamiento de información del IFI como variables dependientes del presupuesto, se considera que la medición de este indicador no representa un incremento en los gastos del PCS. El PCS reconoce la ausencia del resumen narrativo de la Matriz de Indicadores para Resultados (MIR) en el Anexo 12 de las Reglas de Operación 20151 (ROP), sin embargo, el programa tiene atendido este requerimiento de acuerdo a los Lineamientos para la vinculación de la Matriz de Indicadores para Resultados y las Reglas de Operación de los programas correspondientes2. Es posible identificar en el cuerpo de las ROP los resúmenes narrativos de los cuatro niveles de la MIR en las siguientes secciones: el Fin se encuentra ubicado en el objetivo general (numeral 2.1); el Propósito se localiza en el objetivo específico (numeral 2.2); los Componentes quedan especificados en los tipos y montos de los apoyos (numeral 3.5); y las Actividades son señaladas en la Mecánica Operativa (numeral 4). En referencia a la recomendación de argumentar con mayor precisión la definición de impacto social que presentan los documentos normativos del programa a fin de dar mayor claridad sobre este criterio a las Comisiones Dictaminadoras, durante el 2014 se realizaron un total de 66 sesiones de inducción a dictaminadores, con la presencia de 1041 asistentes. Entre los temas revisados en estas capacitaciones, se expuso con especial énfasis el relativo al impacto social del proyecto y su contribución para fortalecer la inclusión y cohesión social y el capital social de la población. Ante la presente recomendación, el PCS continuará ejecutando estas acciones así como la realización de diálogos constantes con los actores sociales para fortalecer esta herramienta que nos permite identificar los efectos que tiene un proyecto apoyado por el programa en los beneficiarios directos o indirectos, para lograr los objetivos ACUERDO por el que se emiten las Reglas de Operación del Programa de Coinversión Social, para el ejercicio fiscal 2015. Disponible en http://www.coneval.gob.mx/rw/resource/coneval/normateca/2338.pdf planteados en el marco de la política de desarrollo social incluyente basada en derechos. Ante la recomendación de incluir en algún informe aquellas actividades operativas del programa que por cuestiones normativas no son incluidas en la MIR (recepción de reportes finales, evaluación de los proyectos y seguimiento), el PCS sí cuenta con un mecanismo que permite registrar los avances de todo su proceso operativo, a través de los Informes Trimestrales de la Cuenta pública, los cuales son documentos públicos que pueden ser consultados a través de la página institucional. Por último, ante la debilidad identificada por parte del equipo evaluador como una externalidad positiva, que favorece la reducción de costos de transacción de algunas instancias gubernamentales y privadas, el PCS reconoce que si bien esta es una práctica que le permite potencializar el impacto de los recursos y fortalecer la cobertura de las acciones, efectivamente esto implica un riesgo en asumir costos de oportunidad elevados y eventualmente la disminución de la calidad de información. Ante ello, el PCS valorará la factibilidad de buscar mecanismos que aminoren dichos riesgos. Finalmente, se reitera el compromiso de valorar conjuntamente, entre las áreas técnicas de la Subsecretaría de Planeación, Evaluación y Desarrollo Regional y la Dirección General Adjunta de Promoción, Vinculación y Coinversión Social del Indesol, los hallazgos de la evaluación con la perspectiva de una agenda de trabajo en 2015 y 2016 que atienda las áreas de oportunidad detectadas, así como de mantener el compromiso de potenciar las fortalezas identificadas y contribuir al proceso de mejora continua del PCS.