1.- Metodología de evaluación Con el objetivo de evaluar sistemáticamente y adecuadamente los objetivos específicos. El proceso de evaluación se desarrollará a través de tres etapas fundamentales, que son: La supervisión del programa, la evaluación de los procesos y la medición de los impactos económicos y sociales. Diagram a 1. Metodología para la evaluación del Program a de Coinversión Social Super visión Procesos Impactos La supervisión a yuda a evaluar si el Programa de Coinversión Social, revisando lo implementado de acuerdo a lo planificado. Es decir, se evaluará la congruencia que guardan el programa con los objetivos planteados a nivel sectorial, estatal y nacional; particularmente deberá analizarse la congruencia de la reglas de operación en cada objetivo especifico de evaluación. Este ejercicio permitirá retroalimentar constantemente al programa sobre el estado en que se encuentra su implementación e identificar los cambios específicos a medida que estos se presentan en referencia a lo programado. De la misma manera, se verificará que los funcionarios y operadores tengan conocimiento sobre los objetivos, estrategias y metas que se propone el Programa. La evaluación de procesos se relaciona con la forma en que funciona el programa en sus distintas etapas y procesos de operación, y se centra en la evaluación de las externalidades positivas y/o negativas que se derivan de la cadena de acuerdos y acciones que resultan de seleccionar los proyectos y asignarles recursos económicos. En la medida en que?la forma en que se realizan los diferentes procesos tiene algún efecto sobre los alcances e impactos del Programa, sería de esperarse que los procesos fueran los adecuados, de acuerdo con la planeación y normatividad que se estableció en el Programa y se estableció en la supervisión. La evaluación del impacto tiene el objeto de determinar los efectos que se producen con las acciones que realiza el programa, evaluadas en los procesos. Este análisis se realizara tomando como línea basal los objetivos específicos a evaluar establecidos en los términos de en referencia. Considerando a los actores que intervienen en todo el proceso de implementación del programa. Esto permitirá examinar las externalidades no previstas, ya sean positivas o negativas. Considerando lo anterior a continuación se plantea la forma de cómo se evaluará de forma sistemática cada uno de los objetivos planteados en Términos de Referencia. Cada punto a desarrollar tendrá el siguiente esquema: Diagrama 2. Esquema M etodológico de Sistematización y Fuentes de información Sistematización Fuentes de Información Objetiv o(s) Términos de Referencia y Equipo evaluador Hipótesis Equipo evaluador Marco Metodológico: • Superv isión • Procesos • Impactos Reglas de Operación, Términos de Referencia, Ev aluaciones anteriores y Equipo ev aluador Productos Términos de Referencia y Equipo evaluador Alternativ as de Obj etivos de evaluación en caso de ser necesario Equipo evaluador y Evaluación evaluaciones anteriores Pertinencia y metodología para la comprobación de cada una de las hipótesis y obtención de indicadores, así como su relación con los objetivos de la evaluación. 2.- Del diseño La evaluación del diseño del programa incluirá cinco aspectos centrales: • Análisis de congruencia entre los objetivos y las acciones del Programa, frente a la estrategia y políticas de combate a la pobreza establecidas en el Plan Nacional de Desarrollo 2001-2006 y en el Programa de Desarrollo Social 2001-2006; • Análisis de complementariedad, o en su caso, de duplicidad de las acciones del Programa frente a otros programas sociales de combate a la pobreza que operan en el país; • Análisis de congruencia entre reglas de operación que regulan el Programa y las actividades realizadas por los operadores del mismo; • Estudio comparativo a nivel internacional con otros programas de combate a la pobreza basados en el desarrollo de infraestructura social básica y productiva a nivel regional y local. • Análisis de logros de las modificaciones a las reglas de operación de los últimos dos años. 2.1Objetivos • Se analizará la congruencia que guarda el diseño y operación del Programa Coinversión Social con los principios y líneas de acción establecidos por el Plan Nacional de Desarrollo 2001-2006, el Programa de Desarrollo Social 2001-2006, la Estrategia Nacional de Combate a la Pobreza (CONTIGO), con el objetivo de alinear las políticas, estrategias y acciones, para potencializar los esfuerzos y resultados. • En la medida en que se considera que el Programa de Coinversión Social es un programa para fomentar el desarrollo social integral de la población en situación de pobreza, exclusión, marginación, desigualdad por genero o vulnerabilidad social. Teniendo un carácter detonador de procesos en las vertientes: social, económica, fortalecimiento institucional, capacitación e investigación, por lo que los distintos programas que engloba la estrategia contigo tienen un carácter de complemento ante las líneas de acción establecidas en el programa de Coinversión Social, deberá realizarse un análisis de complementariedad, o en su caso, de duplicidad de las acciones del Programa frente a otros programas sociales de combate a la pobreza que son operados a nivel federal, estatal y municipal. Si se encuentra que las acciones son complementarias, deberán tomarse medidas para consolidar esa complementariedad y mejorar los resultados e impactos. De lo contrario, si no se percibe complementariedad, y además hay duplicidad de acciones, se deberán tomar medidas correctivas para el establecimiento de una política directiva que coordine las diferentes acciones de todos los programas, sean estos federales, estatales y/o municipales. • Se analizará el grado de cumplimiento de las reglas de operación y su congruencia con las actividades realizadas por los funcionarios y operadores del Programa, sobre todo, en aspectos como la alineación con los objetivos del Programa, la focalización de población objetivo y la transparencia en los apoyos otorgados, entre otros aspectos. • De manera adicional, se realizará un estudio comparativo a nivel internacional con programas de combate a la pobreza que operan con base en el desarrollo de infraestructura social básica y productiva a nivel regional y local. El objetivo de este estudio es identificar las debilidades y restricciones que enfrenta en su diseño y operación el programa de Desarrollo Local, así como detectar sus fortalezas y áreas de oportunidad. De aquí deberán surgir elementos para replantear una estructura de operación del Programa más eficiente que permita mejorar los impactos positivos sobre la población objetivo. Este apartado consistirá básicamente en investigación de gabinete, y el proceso será la revisión de los distintos programas internacionales de combate a la pobreza cuya naturaleza sea similar a la del Programa de Desarrollo Local. El resultado será un estudio comparativo que sistematicé las “mejores practicas” en términos de impactos sobre la población objetivo. • Análisis de pertinencia del programa de Coinversión Social con la Ley de Fomento a las Actividades de Organizaciones de la Sociedad Civil, en especifico con el perfil de los actores sociales que son los agentes últimos de gestión del programa. • Análisis de las modificaciones realizadas a las reglas de operación bajo un esquema de metas cumplidas. El objetivo de este ejercicio seria el establecer causa de modificación, objetivos de las modificaciones, metas establecidas para las modificaciones y cobertura de las metas establecidas, con el fin de evaluar establecer la consistencia entre modificaciones y logros esperados. 2.2 Hipótesis H1: El objetivo, la estrategia, las políticas y las acciones del Programa de Coinversión Social son congruentes con los lineamientos de la política de combate a la pobreza establecidos por el Plan de Desarrollo Social 2001-2006 y el Plan Nacional de Desarrollo 2001-2006. H2: Las acciones del Programa de Coinversión Social son complementadas con las acciones de otros programas de la Estrategia Contigo, dando como resultado mayores y mejores impactos sobre los beneficiarios. H3: Las reglas de operación que regulan el Programa son funcionales y posibilitan la ejecución de sus acciones, además de que los operadores y funcionarios del Programa se apegan estrictamente a la normatividad que estas establecen 2.3 Metodología Para evaluar el Diseño del Programa, será necesario recurrir tanto a la investigación de gabinete como a la de campo 2.3.1 La supervisión De acuerdo con sus reglas de operación el Programa de Coinversión Social éste forma parte de la estrategia de corresponsabilidad en la Política Social, por ello se deberá analizar la congruencia que guarda el diseño y operación del Programa Coinversión Social con los principios y líneas de acción establecidos por el Plan Nacional de Desarrollo 2001-2006, el Programa de Desarrollo Social 2001-2006, la Estrategia Nacional de Combate a la Pobreza (CONTIGO). Este análisis involucrará no sólo la revisión documental sobre el Programa y las políticas y estrategias de combate a la pobreza, sino que además requerirá que los evaluadores visiten y entrevisten a los funcionarios y operadores del Programa, para valorar el grado de conocimiento que los mismos poseen sobre estos lineamientos y políticas. En el mismo sentido, deberá evaluarse la existencia de complementariedad, o en su caso, de duplicidad de acciones del Programa frente a otros Programas que operan en el país 2.3.2 Los Procesos Se realizará un análisis de congruencia entre reglas de operación que regulan el Programa y las actividades realizadas por los funcionarios y operadores del mismo. De manera particular se revisarán la forma como se encuentra integrado el programa y cómo funcionan los distintos procesos en los que se incurre para seleccionar un proyecto y asignarle recursos, con el propósito de detectar cuellos de botella que podrían estar limitando los alcances de los impactos. A partir de la revisión de los distintos procesos del Programa, se deberán crear, si es necesario, mecanismos alternativos que hagan más eficiente su operación y funcionamiento, estos mecanismos pueden implicar la modificación de las mismas reglas de operación, y/o bien, la adecuación de las acciones a la normatividad establecida, en especifico la ley de Fomento a las Actividades de Organizaciones de la Sociedad Civil. 2.3.3 Los Impactos El análisis del impacto del diseño, consistirá en detectar externalidades positivas y/o negativas que son causadas por la forma en que opera y fue diseñado el Programa. Así mismo, se deberá valorar en qué medida la complementariedad del programa frente a las acciones de otros programas sociales, permite mejorar los impactos positivos sobre las localidades objetivo, o bien, en qué medida la duplicidad de acciones restringe la generación de esos impactos positivos. En cuanto al cumplimiento de las reglas de operación, es muy importante valorar en qué medida, el adecuado cumplimiento de la normatividad por parte de los funcionarios, operadores del Programa y los Agentes Responsables de la Ejecución de los Proyectos (AREP), se ve reflejado en mayores y mejores impactos sobre las beneficiarios, ya que sería de esperarse que la falta de cumplimiento de las reglas de operación sería un factor que favorecería al manejo poco transparente y discrecional del Programa. En lo que respecta al estudio comparativo a nivel internacional, se estarían tomando las “mejores practicas” de aquellos programas que mayores y mejores impactos generan sobre sus beneficiarios. 2.3.4 Productos • Un diagnóstico de Plantación Estratégica, para la alineación de las políticas, las estrategias y las acciones del Programa, • Diseño de una matriz de complementariedad • Construcción de una matriz de restricciones • Construcción de un proyecto de reestructuración • Reporte de comprobación de hipótesis 2.2 Operación Según los términos de referencia el apartado de operación tienen como propósito establecer un análisis de los procesos operativos, de la verificación del cumplimiento de metas físicas y financieras, así como un análisis de costos. 2.2.1Procesos Operativos 2.2.1.1Objetivo Se le dará seguimiento a cada proceso operativo conforme lo establecen las reglas de operación, identificando la información adecuada de cada proceso para detectar posibles restricciones y deficiencias en la operación. 2.2.1.2 Hipótesis: H1: La generación de información en cada proceso operativo cumple con la normatividad establecida en reglas de operación. H2: La operación actual del programa cumple con sus objetivos establecidos en reglas de operación. 2.2.1.3 Metodología 2.2.1.3.1 Supervisión El proceso operativo que establecen las reglas de operación para la conformación y realización se puede sistematizar de manera general de la siguiente forma: 1. Oferta de apoyos. El INDESOL emite las convocatorias correspondientes al ejercicio fiscal del año lectivo, bajo un criterio de oferta de apoyos etiquetados según lo establecido por reglas de operación en las vertientes de social, investigación. económica, fortalecimiento institucional, capacitación e 2. Demanda de Apoyos. La demanda es realizada por los actores sociales dentro de estos se considera a las organizaciones de la sociedad civil (OSC), a los gobiernos municipales y a las instituciones académicas de educación superior o de investigación que participan en este Programa presentando proyectos. Los cuales deberán presentar un proyecto que tenga como fin alguno de los siguientes objetivos: reducir la pobreza extrema; generar la igualdad de oportunidades para los grupos más pobres y vulnerables; reducir las desigualdades entre hombres y mujeres; apoyar el desarrollo de las capacidades de las personas en condición de pobreza; fortalecer el tejido social, fomentando la participación y el desarrollo comunitario; generar conocimientos con diferentes actores sociales que permitan mejorar las acciones públicas de política social, y aumentar el impacto de las inversiones de los tres órdenes de gobierno. 3. Clasificación de proyectos. Una vez que la demanda es ubicada se clasifican los proyectos bajo un criterio de priorización dando preferencia a proyectos que Involucren a municipios comprendidos en las micro regiones; presenten un mejor esquema de coinversión; que promuevan la equidad de género; tengan impacto en dos o más entidades federativas; se dirijan a comunidades o grupos con población indígena; se articulen o coordinen con uno o más programas gubernamentales dirigidos a la superación de la pobreza. 4. Oferta y demanda realizada. Una vez validados los proyectos la oferta y demanda se realizan a partir de la participación de los actores sociales mediante la aportación de recursos humanos, materiales y financieros en complemento a los recursos federales aportados por el Gobierno Federal a través del INDESOL para la ejecución de los proyectos convenidos. Además, el INDESOL podrá brindar servicios de formación, capacitación, asesoría e información a los actores sociales En referencia a lo anterior se establece el siguiente diagrama: Diagram a 3. Proceso de Implementación del Programa de Coinversión Social Acciones del INDESOL: Emisión de convocatoria, validación de proyectos, dictamen sobre los proyectos, ajuste de proyectos, su scripción del convenio, ministración de recursos federales, seguimiento y evaluación. Oferta de Apoyos por parte del Indesol Demanda de Apoyos por parte de actores sociales Acciones de Actores Sociales: contar con la documentación establecida en reglas de operación, presentar un proyecto en congruencia con los objetivos del programa de coinversión social, una vez que se les ha elegido para realizar su proyecto deberán cumplir todas las obligaciones establecidas en reglas de operación para los Agentes Responsables de la Ejecución de los Proyectos (AREP) Con base en el anterior esquema se desarrollará cada proceso establecido en las reglas de operación, en especifico, en el apartado de mecánica de operación. Ello permitirá disponer de un marco evaluador detallado sobre los procesos operativos, sus responsables e información que deberá generarse. 2.2.1.3.2 Procesos Una vez realizada la supervisión de los procesos operativos se tendrán identificadas cada uno de los procesos particulares sobre los cuales la operación del Programa se basa. El siguiente paso será constatar que cada uno de los procesos se lleve a acabo de forma adecuada y que se genere la información necesaria para sustentar la operación de cada proceso. La constatación de los procesos establecidos se realizara con sistemas de seguimiento y entrevistas a profundidad a responsables de la operación del programa a nivel central y una encuesta a los operadores del Programa (Delegación Estatal SEDESOL, Oficinas centrales de INDESOL) e instancias ejecutoras (Agentes responsables de la Ejecución de los Proyectos ). 2.2.1.3.3 Impacto Al termino de la aplicación de las herramientas de seguimiento se realizará la sistematización de la información recabada y en forma complementaria se construirá una Matriz de Fortalezas, Oportunidades, Debilidades y Amenazas (FODA) bajo cuatro tipos de estrategias, entendiendo una estrategia el conjunto de acciones que se implementa para alcanzar los objetivos, dichas estrategias son: Fortalezas y Oportunidades (FO), Debilidades y Oportunidades (DO), Fortalezas y Amenazas (FA) y Debilidades y Amenazas (DA). • Las estrategias de tipo FO tienen como objetivo usar las fortalezas para aprovechar oportunidades. • Las estrategias tipo DO tienen como propósito la mejora de las debilidades, valiéndose de la oportunidades externas. • Las estrategias tipo FA se basan en la utilización de las fortalezas de la institución para evitar o reducir el impacto de las amenazas externas. • Las estrategias tipo DA tienen como objetivo derrotar las debilidades internas y eludir las amenazas. 2.2.1.3.4 Productos • Reporte de Supervisión • Reporte de Procesos • Herramientas de seguimiento • Análisis y sistematización de herramientas de seguimiento • Entrevistas a profundidad a gestores del programa • Sistematización de las entrevistas a profundidad de los gestores del programa • Matriz FODA • Reporte de comprobación de hipótesis 2.3 Financiera o de costos 2.3.1 Costo Efectividad (primera parte) 2.3.1.1 Objetivo Verificar el cumplimiento de las metas físicas y financieras de 2004 a nivel estatal y nacional. 2.3.1.2 Hipótesis H1: Las metas físicas y financieras se cumplen en un 100%. H2: Las metas físicas se concluyen de acuerdo a lo programado (cierre del 2004). 2.3.1.3 Supervisión La asignación del gasto durante el ejercicio fiscal pasa por dos primero de ellos es procesos: el el gasto comprometido, que se refiere a montos comprometidos para realizar acciones. El segundo proceso, es el gasto ejercido, es decir, el que realmente ya se desembolso. El estudio de estos dos rubros de gasto sería necesario para supervisar adecuadamente el cumplimiento o incumplimiento de las metas financieras. Ahora bien, en lo que se refiere a metas físicas se tendría que establecer junto con la dirección de evaluación, los períodos de tiempo en que finaliza una obra, en este caso, para obras de agua, luz y CCA, ya que los rastrazos en obras la mayoría de las veces son a causa de la tardanza en la entrega de recursos monetarios. 2. 3.1.4 Procesos Una vez analizados y sistematizados los gastos comprometidos y ejercidos del 2004, se estará en condiciones de realizar un ejercicio de cumplimiento de metas financieras. En lo que se refiere al cumplimiento de metas físicas, el tabulador de tiempo de término de una obra a partir de la entrega de recursos, que será elaborado conjuntamente por el equipo evaluador y la INDESOL. 2. 3.1.5 Impactos Una vez realizado el proceso de sistematización de la información de cumplimiento financiero y la aplicación de herramientas sobre el cumplimiento físico, se podrá establecer un sistema preventivo de semáforos por municipio y acción, de las visitas en campo. El sistema se regirá por tres colores: VERDE, AMARILLO y ROJO. • El color VERDE significará que la meta comprometida si se está cumpliendo, y por consiguiente al programa o política se le deberá dar continuidad, y/o bien, reforzarlo. • El color AMARILLO significará que la meta comprometida tiene problemas para cumplirse, y por lo tanto se deberán adoptar medidas correctivas, tendientes a reorientar las acciones para mejorar sus impactos y resultados, y poder lograr el color VERDE. • El color ROJO significará que la meta comprometida no se está cumpliendo, y por lo tanto, se deberán adoptar medidas correctivas, tendientes a reorientar las acciones para mejorar sus impactos y resultados, de no ser posible se deberá adoptar otra política o programa. . 2. 3.1. 6 Productos • Reporte de supervisión • Reporte de procesos • Tabulador de cumplimiento de metas físicas • Sistema preventivo de semáforos • Reporte de comprobación de hipótesis. 2.3.2Costo- Efectividad (segunda parte) 2.3.2.1 Objetivo . • Análisis de la estructura de costos directos e indirectos, expresados en costo total anual y costo por unidad. 2.3.3 Metodología 2.3.3.1 Supervisión Para realizar un análisis de costos lo más certero posible se tendrá que establecer junto con la SEDESOL, una ruta crítica la cual considere todas las áreas de la SEDESOL que están involucradas en la ejecución de los recursos del programa. Para ello, se tendrán que considerar las áreas que participan directamente e indirectamente por ejemplo área directa: departamento de gestión del programa en oficinas centrales de SEDESOL. Área indirecta: dirección de información y seguimiento de la SEDESOL. Posteriormente se realizara una ponderación de horas hombre destinadas al programa y se relacionará con el costo de hora hombre, según nivel de funcionarios. También se requerirá un costo aproximado de capital de trabajo que utilizan los funcionarios. 2.3.3.2 Procesos A partir de determinar la ruta critica de costos y obtener los datos necesarios, se podrá disponer de un análisis de los costos financieros en que incurre el programa para llevar y hacer llegar un peso a los beneficiarios. El estudio de costos se basará en un sistema de costeo por absorción, separando los costos en constantes y variables dado que ello permite un mejor entendimiento de las fuentes de costos. Las cuatro fuentes de costos que se considerarán son: • Gestión central del programa • Administración del programa • Dispersión del programa • Finanzas del programa Una vez determinado el costo total en el cual incurrió la SEDESOL en llevar un peso a los beneficiarios, se procederá a realizar un cuadro de resultados económicos, determinando así la relación de costos respecto al presupuesto. El estudio de costos finaliza con la determinación de un punto de equilibrio. En conocimiento de los costos totales (constantes + variables) y presupuesto del programa. Se construye el diagrama de equilibrio, el cual nos dirá la relación costo-presupuesto, obteniendo así el margen entre estas variables. . Gráfica 2. Relación Costo –Presupuesto $ Costos Variables Costos Constantes 25% Punto de equilibr io Costos – Pr esupuesto 100% Operación del programa Coinversión Social Presupuesto 2.3.3.3 Impactos Una vez realizado el proceso de costos en relación con el presupuesto se podrán obtener: • Costo por área • Costo por cada peso de gasto desembolsado • Productividad • Costos Directos e Indirectos 2.3.3.4 Productos • Matriz de origen de costo • Matriz de destino de gasto • Análisis de sensitividad (elasticidad gasto – costo) Costo Beneficio Objetivo Comparación de los costos unitarios con los beneficios generados por el programa a un beneficiario promedio. Hipótesis H1: Los costos unitarios son menores a los beneficios generados Metodología Debido a que el programa cuenta con diferentes vertientes de acción los beneficios son diferenciados y algunos de mediano y largo plazo a. Cada acción tiene un impacto diferenciado sobre la población ya que no todas las acciones necesariamente afectarán directamente al total de la población. b. Por lo tanto, se tendrá un esquema de atención diferenciado, es decir, hay una relación entre el tipo de acción y el número de beneficiarios, la cual deriva en una cobertura segmentada de las acciones del Programa en la población de las localidades beneficiadas. En razón de lo anterior, se pueden definir tres tipos de beneficio de la población según tipo de acción, tal y como se presenta en el siguiente: Tipos de cobertura en la población según acción Cobertura Baja Cobertura Media Cobertura Alta Acciones del Programa Población Especifica Toda la Población Población que se atiende Así pues, se tienen tres niveles de atención a la población: cobertura baja, media y alta. De esta manera, cuando se hace referencia a la población específica (Ver Cuadro1), se está mencionando solamente a la población que se beneficia de la acción. Por lo tanto, la relación entre las acciones del Programa y el tipo de cobertura a la cual pertenecen, se puede Ver siguiente Cuadro Tipología de cobertura según Vertiente Cobertura Baja Cobertura Media Cobertura Alta Investigación Económica Fortalecimiento Social Capacitación Institucional Población Especifica Toda la Población Población que se atiende Dentro de la cobertura baja, podemos encontrar a la investigación, pues son proyectos los cuales su fin es proponer no ejecutar, por lo tanto los beneficios no serán tan palpables y específicos En cobertura media, estas acciones tienen repercusiones directas, pero sobre una población en específico, en una visión de costos, los costos pueden ser mucho mayores a menor número de beneficiados. Por ultimo, encontramos a las acciones de cobertura alta, las cuales se consideran así debido a que tienen un beneficio general en la población, toda la comunidad puede ser beneficiaria por su implementación y los beneficios se incrementan. El anterior planteamiento deberá ser discutido con la INDESOL y la SEDESOL para llegar a un consenso de parámetros sobre los beneficios. 2.4. Evaluación de la Cobertura Objetivo Según los términos de referencia, la evaluación de la cobertura del PCS consistirá en evaluar los alcances que el Programa tiene sobre la población objetivo. Para ello se habrán de considerar el número de proyectos apoyados y las localidades beneficiadas, vía el análisis de su variación con respecto a los dos años anteriores por tipo de apoyo, a nivel nacional y por entidad federativa. El PCS tiene cobertura a nivel nacional, enfocándose a brindar apoyo a los proyectos que benefician directa o indirectamente a la población en situación de pobreza, vulnerabilidad, marginación, desigualdad de género o exclusión social. El PCS es operado por el INDESOL a nivel central y por las delegaciones federales de la SEDSOL a nivel estatal. Hipótesis H1. El Programa ha tenido una cobertura creciente en los últimos tres años. H1: La cobertura en obras realizadas y localidades beneficiadas ha sido eficiente. H2: La cobertura del Programa ha permitido disminuir la marginalidad Metodología Para cumplir con el objetivo planteado se propone llevar a cabo los siguientes pasos metodológicos. Supervisión Según reglas de operación el PCS impulsar la corresponsabilidad de los actores sociales para fomentar el desarrollo social integral de la población en situación de pobreza, exclusión, marginación, desigualdad por género o vulnerabilidad social por medio de la coinversión en proyectos Los recursos financieros del PCS vienen a complementar los recursos humanos, materiales o financieros aportados por los Actores Responsables de la Ejecución de los Proyectos (AREP). En esta perspectiva se deberá valorar que tanto el Programa ha llegado a las localidades que presentan las cuatro dimensiones socio-económicas sobre las cuales CONAPO elaboro el IMM: educación, vivienda, ingresos monetarios y distribución de la población, vía los proyectos apoyados. En 2003 se apoyaron 1,290 proyectos, de los cuales a nivel central INDESOL apoyo 709 y las delegaciones federales de SEDESOL apoyaron 581. Esto represento una erogación de 222.534 millones de pesos. Del total de proyectos 1,116 se asignaron a organizaciones de la sociedad civil, 159 a gobiernos municipales y 15 a instituciones académicas. Será necesario conocer la cantidad de beneficiarios directos e indirectos de estos proyectos. . Diagrama 4. Definición base de la cobertura del programa de Desarrollo Local por apoyo a partir de variables cen sales. VIVIENDA VIVIENDA •Viviendas particulares con •Viviendas particulares con piso de tierra piso de tierra •Viviendas particulares sin •Viviendas particulares sin drenaje, ni servicio sanitario drenaje, ni servicio sanitario •Viviendas particulares sin •Viviendas particulares sin energía eléctrica energía eléctrica •Viviendas particulares sin •Viviendas particulares sin agua entubada agua entubada IINGRESOS MONETARIOS IINGRESOS MONETARIOS •Población ocupada que •Población ocupada que percibe hasta dos salarios percibe hasta dos salarios mínimos mínimos EDUCACIÓN EDUCACIÓN • Analfabetismo • Analfabetismo •Población sin primaria •Población sin primaria completa completa DISTRIBUCIÓN DE LA POBLACIÓN DISTRIBUCIÓN DE LA POBLACIÓN ••Localidades con menos de de 5,000 5,000 •Localidades con menos de 5,000 habitantes habitantes habitantes 2.5 Procesos La evaluación de los procesos consistirá en analizar en qué forma se ve afectada la cobertura del programa por factores de implementación, es decir, en qué medida la buena o mala implementación del Programa está influyendo sobre el grado de cobertura del Programa. El desarrollo del Programa comprende las siguiente etapas operativas: Emisión y Dif usión de Convocatorias Ajuste de Proyectos Seguimiento y Evaluación Presentación y Recepción de Pro yectos Suscrip ción del convenio Valid ación d e Pro yectos Ministración d e Recursos Federales Dictaminación de Proyectos y Difusión de Resultados Ejercicio del Recurso Cierre Impacto El impacto de cobertura se cuantificara en una primera parte por el análisis del número de obras realizadas y las localidades beneficiadas, también se realizara un comparativo de estas variables con los dos años anteriores. La segunda parte del impacto en cobertura será medido en función del grado de avance contra la marginación, es decir, en qué medida se han disminuido las condiciones de marginación de la población. Por medio de una matriz de cobertura como se presenta a continuación: Matriz de Cobertura Dimensiones Socioeconómicas Según CONAPO Pro yectos apo yados por el programa que afectan directam ente a la variable cen sal Educación Viv ienda Ingresos monetarios Distribución de la población Beneficiarios directos Avance de Cobertura (Población beneficiada/pobl ación total marginada) Meta de 2003-2004 cobertura Toda la población sabe leer Toda la población tiene primaria terminada Todas las viv iendas tiene piso firme Todas las viv iendas tiene drenaj e y servicio de sanitario exclusiv o Todas las viv iendas tiene energía eléctrica Todas las viv iendas tiene agua entubada Toda la población ocupada recibe mas de 2 SM No hay localidades con menos de 5000 habitantes Productos de Cobertura: • Reporte de supervisión: • Reporte de Procesos • Análisis comparativo (2002-2004) de cobertura vía numero de obras realizadas y localidades beneficiadas • Matriz de Cobertura 2.6 Evaluación de la Focalización Objetivo El objetivo de evaluar la focalización consiste en determinar en qué medida los recursos monetarios y las acciones del Programa se han dirigido a las zonas mas marginadas del País, este análisis se hará por medio de una caracterización de los municipios a partir de los índices de marginación municipal elaborados por el Consejo Nacional de Población (CONAPO), para así establecer de qué manera se ha utilizado la inversión municipal asignada por el Programa en los diferentes apoyos que inciden directamente en las condiciones de vida de la población. Hipótesis H2. La focalización del Programa en términos de recursos monetarios esta dirigida a poyar proyectos en las zonas más marginadas del país. 1 H3. Los actores sociales de las localidades de mayor marginación del país son quienes demandan la mayor parte de los apoyos ofrecidos por el Programa. H4. Los recursos son aplicados y utilizados adecuadamente en zonas de alta y muy alta marginación. H5. Los apoyos seleccionados son los prioritarios para las localidades marginadas del país. Metodología Para realizar los objetivos establecidos se propone llevar a cabo los siguientes pasos metodológicos para poder cubrir de manera satisfactoria los objetivos. Supervisión 1 Se entiende por Actores Sociales, a las organizaciones de la sociedad civil (OSC), a las instituciones académicas de educación superior o investigación y gobiernos municipales que presentan proyectos para ser apoyados. Según reglas de operación el programa debe de apoyar a los proyectos de las zonas de mayor marginación en el país, de acuerdo con los criterios de marginación municipal establecidos por el CONAPO. Por consiguiente, se deberá analizar en qué medida el Programa, con este criterio de marginalidad, logra una adecuada focalización de sus apoyos Para ello se deberán analizar las siguientes variables a nivel nacional, estatal y municipal. Los criterios que se utilizan para focalizar los apoyos, la corresponsabilidad entre la demanda de apoyos y la oferta de acciones por parte del Programa, por tipo de proyecto y por vertiente, la factibilidad de la continuidad de los proyectos, y analizar la forma en que son presentadas las convocatorias como instrumento de focalización. El análisis de focalización a nivel municipal se realizara utilizando los índices de marginación de CONAPO (IMM), Procesos Una vez establecidos los parámetros de cobertura y focalización a partir del destino 2 de recursos monetarios por tipo de proyecto y vertiente de apoyo , se dispone de elementos suficientes para poder ubicar los procesos de gestión que determinan la focalización de los recursos y acciones. Teniendo una base que permita identificar tanto la inclusión como la exclusión de proyectos a ser apoyados en términos monetarios y de acciones, la evaluación de los procesos se hará con la ayuda de las cifras proporcionadas por la INDESOL en cuanto a recursos y acciones llevadas acabo en el periodo de 2002 a 2004. 2 El programa cuenta con las siguientes vertientes de apoyo: la social, la económica, el fortalecimiento institucional, la capacitación y la investigación. 2.6 Impacto Una vez que se tengan las correlaciones de los recursos monetarios asignados según el IML y las acciones realizadas, se obtendrán los indicadores suficientes para determinar si la focalización a sido la adecuada o no. El impacto se analizara por medio de las siguientes matrices que medirán la focalización de los recursos del programa a nivel municipal (y localidad) según grado de marginación; la distribución de los recursos y los proyectos y grado de marginación; y los recursos destinados por vertiente de apoyo, la población atendida y el gasto per cápita; así mismo, el grado de error en la focalización a través de un cuadro de errores de inclusión y exclusión Tabla 1. Focalización de los recursos del Programa a nivel municipal (y localidad) según grado de marginación Clasificación Municipal (por localid ad) de Marginación Número de Municipios (localidades) atendidos 2004 % de población en municipios Atendidos (localidades) 2004 Gasto ejer cido en municipio s (Localidades) atendido s (millones d e pesos 2002 2003 2004 2002-04 2002 $ $ $ % $ atendidos 2004 Muy alta Alta Media Baja y M uy baja Sin clasificación TO TAL FUENTE % % % Gasto per cáp ita (pesos) 2003 2004 Promedio Tabla 2. Distribu ción de los r ecur sos y los pro yectos y grado d e marginación (% ) Vertiente o tipo de apoyo Ni vel de marginación Recursos 2002 2003 2004 Acciones (proyec tos) Promedio 2002 2003 2004 Promedio Gasto por acción (proyec to) 2002 2003 2004 Promedio TO TAL Muy alta Alta Media Baja Muy baja Sin clasificación FUENTE Tabla 3. Distribu ción de los r ecur sos y la población y grado de margin ación (% ) Vertiente o tipo de apoyo Ni vel de marginación Recursos 2002 2003 2004 Acciones (proyec tos) Promedio 2002 2003 2004 Promedio Gasto por acción 2002 2003 2004 Promedio TOTAL Muy alta Alta Media Baja Muy baja Sin clasificación FUENTE Tabla 4. Errores de in clusión y exclusión Localidades Poblaci ón Error Tipo I Error Tipo II El impacto en la focalización se podrá medir por medio de una ponderación que se le de a la inversión ejercida ($), el número de apoyos (total de apoyos), así como la diversidad de los apoyos (en las zonas mas marginadas debe de existir una mayor variedad de apoyos) en cada nivel de marginación, en cada Estado y sus Municipios. Es decir, se evaluará en que medida los recursos y los apoyos han sido focalizados de manera prioritaria en las zonas más marginadas del País. Las calificaciones serán: Muy Buena (MB), Buena (B), Regular (R) y Mala (M). La manera de determinar cual será la calificación es por medio de la correlación que debe existir de que a mayor nivel de marginación, más inversión y, más número y diversidad de apoyos. Este análisis se presentara por medio de una matriz de focalización por Estado: Matriz de Focalización por Estado. Estado Nivel de Marginación Municipios por nivel de marginación Inversión Número de Diversidad de Calificación de Ejercida por Apo yos por Apo yos por Focaliz ación por nivel de nivel de nivel de nivel marginación ($) marginación marginación de margin ación Muy Alta Estado 1 Alta Media Baja y Mu y Baja TOTAL CALIFICACIÓN DEL EST ADO: FUENTE: Elaboraci ón propi a en base a los datos proporcionados por la Secretaria de Des arrollo Soci al. Productos: • Reporte de supervisión. • Reporte de Procesos. • Análisis comparativo (2002-2004) de focalización por medio de las acciones realizadas y el proceso de los recursos destinados para ejercer los diferentes ejercicios. • Matriz de Focalización de recursos entre los Municipios según su marginación 2002 – 2004. • Matriz de Focalización de los recursos en las Localidades según niveles de marginación 2002 – 2004. • Matriz de distribución de la Inversión 2002 – 2004 por vertiente de apoyo y Nivel de Marginación Municipal (%). • Matriz de distribución de las Acciones 2002 – 2004 por vertiente de apoyo y Nivel de Marginación Municipal (Número de acciones). • Matriz de distribución de la Inversión 2002 – 2004 por vertiente de apoyo y Nivel de Marginación de la Localidad (%). • Matriz de distribución de las Acciones 2002 – 2004 por vertiente de apoyo y Nivel de Marginación de la Localidad (Número de acciones). • Matriz de Focalización por estado y municipio. • Matriz de errores de inclusión y e xclusión Impacto y grado de satisfacción (Resultados). El objetivo de este apartado es evaluar si los proyectos apoyados están incidiendo favorablemente en beneficio de la población marginada, vulnerable, o en situación de desigualdad de género o exclusión social del país. Para ello se deberán analizar los beneficios por vertiente, tales como el ahorro, mejoras en la salud, en educación, en capacitación, gestión de recursos en la comunidad, fortalecimiento del tejido social, el arraigo de la población, generación de una cultura de confianza, fortalecimiento de la corresponsabilidad y de la organización de los operadores, entre otros. De igual forma se deberá evaluar la opinión que tienen los beneficiarios sobre los proyectos apoyados y cómo es que estos han impactado sobre sus condiciones de vida. Valorar que tanto conocen los AREP sobre la operación del Programa, y como es que perciben su funcionamiento. H1. Los objetivos generales y particulares del Programa se cumplen al cien por ciento H2. Los proyectos apoyados por el Programa han incidido favorablemente en las condiciones de vida de las comunidades marginadas H3. Los Agentes Responsables de la Ejecución de los Proyectos (AREP) están satisfechos con montos económicos y los tiempos de entrega de los apoyos que les han sido otorgados por el Programa. H4. La atención recibida por parte de los funcionarios y operadores del Programa es la adecuada para los AREP Metodología Para dar cumplimiento satisfactoriamente a los objetivos antes planteados, se seguirán los siguientes pasos. Supervisión Evaluar en los contenidos de las diferentes vertientes de apoyo del Programa su forma de operación, por medio de encuestas de opinión y entrevistas a profundidad a los AREP. Con el propósito de conocer la forma en que el Programa logra impactar las condiciones de vida de las comunidades marginadas. De manera particular, se deberá analizar la vinculación de los proyectos con programas o procesos más integrales de largo plazo, que tengan mayor cobertura territorial. Procesos Mediante las encuestas y entrevistas a profundidad, se evaluara la opinión que los AREP tienen sobre la forma en que operan los distintos procesos del Programa, que van desde la emisión y difusión de convocatorias, la presentación y recepción de proyectos, hasta la ministración de recursos y su seguimiento y evaluación. De igual forma se recogerá información sobre lo que los beneficiarios y los AREP piensan de la transparencia, el acceso a la información, la accesibilidad al propio PCS, la forma en que se lleva acabo su difusión, la cercanía de las oficinas para solicitar información y realizar trámites, entre otros aspectos. Impactos Se evaluará si los proyectos apoyados están incidiendo favorablemente en las condiciones de vida de la población marginada, vulnerable, o en situación e desigualdad de género o exclusión social del país. Para ello, se construirán indicadores de impacto por vertiente de apoyo, tales como el ahorro, mejoras en la salud, en educación, en capacitación, gestión de recursos en la comunidad, fortalecimiento del tejido social, el arraigo de la población, generación de una cultura de confianza, fortalecimiento de la corresponsabilidad y de la organización de los operadores, entre otros. Productos. • Reporte de Supervisión • Reporte de Procesos • Matriz de impactos y percepción por vertiente de apoyo • Matriz de cumplimiento de objetivos del Programa Reporte de comprobación de Hipótesis Equidad de género El objetivo de este apartado es evaluar en qué medida el Programa contribuye al bienestar, la equidad, la igualdad y la no discriminación de las mujeres. Esta tarea abarca tanto el análisis de las reglas de operación del Programa, como la evaluación en campo, de indicadores de impacto y de percepción sobre la equidad de género. H1. Las reglas de operación del Programa dan atención especial al apoyo de los proyectos que incorporan la perspectiva de género. H2. El Programa apoya proyectos que identifican la generación de procesos favorables a las necesidades específicas de las mujeres H3. Las mujeres beneficiadas tienen una buena percepción sobre la perspectiva de género del Programa H4. El Programa ha incidido favorablemente en las condiciones de vida de las mujeres beneficiadas Metodología Para dar cumplimiento satisfactoriamente a los objetivos antes planteados, se seguirán los siguientes pasos. Supervisión Se deberá identificar y determinar cómo las reglas de operación del Programa incorporan la perspectiva de género, y analizar si en esta normatividad están incorporadas las recomendaciones elaboradas por la Dirección de Seguimiento de Género y Equidad de INDESOL; se deberán identificar las diferencias en el diseño de las convocatorias específicas de género con el resto de las convocatorias. Así mismo, mediante las encuestas y entrevistas a profundidad, se deberá recoger información sobre la percepción que las beneficiarias sobre las reglas de operación y la atención que les da el Programa. Procesos A partir de los proyectos apoyados, se deberán identificar y analizar la generación de los procesos (p.ej. la capacitación, la atención, entre otros) que tienen que ver con las necesidades especificas de las mujeres. Es decir, analizar qué tanto los procesos están diseñados para responder a una demanda específica de género. Impactos Mediante el trabajo de campo se deberán evaluar los cambios en las condiciones de vida de las beneficiarias, como resultado de los proyectos apoyados. Así, también se deberá identificar la percepción que las beneficiarias tienen sobre las diferentes convocatorias, respecto a la pertinencia de los contenidos, los conocimientos y habilidades adquiridos, los cambios en los niveles de participación en los proyectos y las comunidades, así como los cambios en la toma de decisiones a nivel familiar. En este ejercicio se deberán identificar aquellos mecanismos que han sido exitosos para favorecer la equidad, la igualdad y la no discriminación de las mujeres. Productos. • Reporte de Supervisión • Reporte de Procesos Matriz de impactos y percepción sobre la equidad, la igualdad y la no discriminación de las mujeres. • Reporte sobre los mecanismos exitosos en la perspectiva de género • Reporte de comprobación de Hipótesis