Meta Evaluación 2011-2012 TERCER ENTREGABLE Informe Final Programa PRAH Coordinador General: Dr. Alfonso X. Iracheta Cenecorta Octubre de 2012 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Contenido Introducción ..................................................................................................................... 6 1. Descripción del Programa ........................................................................................... 7 1.1. Datos generales ................................................................................................ 7 1.2. Objetivos ........................................................................................................... 7 1.3. Problema focal .................................................................................................. 7 1.4. Población potencial y objetivo ........................................................................... 8 1.6. Evolución de la cobertura .................................................................................. 9 2. Objetivo de la evaluación .......................................................................................... 10 2.1. Objetivo general .............................................................................................. 10 2.2. Objetivos específicos: ..................................................................................... 10 2.2.1. En materia de evaluación: ........................................................................ 10 2.2.2. En materia de monitoreo: .......................................................................... 10 3. Evaluación ................................................................................................................. 11 3.1. Análisis de las evaluaciones realizadas durante el periodo 2011-2012 .......... 11 3.1.1. Principales hallazgos ................................................................................ 11 3.1.2. Análisis de fortalezas, oportunidades, debilidades y amenazas ............... 12 3.2.1. Principales resultados ............................................................................... 18 3.2.2. Valoración de los hallazgos respecto a PRAH ............................................ 22 3.3.Propuesta de agenda de evaluación para el mediano plazo. ........................... 24 3.4 Evaluación de Impacto ..................................................................................... 27 4. Monitoreo .................................................................................................................. 28 4.1. Análisis histórico de la MIR 2011-2012 ............................................................. 28 4.1.1. Cambios en el Nivel Fin ............................................................................ 28 4.1.2. Cambios en el Nivel Propósito .................................................................. 30 4.1.3. Cambios en el Nivel Componentes ........................................................... 31 4.1.4. Cambios en el Nivel Actividades ............................................................... 31 4.2. Valoración de la pertinencia y congruencia Resumen Narrativo de la MIR ...... 32 4.3. Valoración de los indicadores de la MIR .......................................................... 34 4.3.1. Cambios en los indicadores ...................................................................... 34 4.3.2. Validación de los indicadores vigentes de la 1 MIR ...................................... 36 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final 4.4. Aspectos Susceptibles de Mejora vinculados con el monitoreo de PRAH ........ 43 4.5. Recomendaciones .......................................................................................... 43 Conclusiones ................................................................................................................. 45 Bibliografía .................................................................................................................... 47 2 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Índice de tablas Tabla 1. Cambios en el resumen narrativo del MIR del PRAH, 20112012………………………………………………….……………………………………………29 Tabla 2. Análisis de sintaxis y valoración del resumen narrativo de la MIR del PRAH…...…………………………………………………………………………………………..32 Tabla 3. Variación en los indicadores del MIR, 20112012……..………………………………………………………….............................................35 Tabla 4. Propuesta de indicadores para el nivel Propósito de la mir………………………………….………………………………………………………………37 Tabla 5. Propuesta de indicadores para el nivel Componentes de la MIR…………………………………………………………………………………………………..38 Tabla 6. Propuesta de indicadores de calidad para el PRAH…………………………………39 Tabla 7. Propuesta de indicadores para modificar o incluir en el nivel Próposito de la MIR ………………………………………………………………………………………………………40 Tabla 8. Propuesta de indicadores para modificar o incluir en el nivel de Componentes de la MIR………………………………………………………………………………………………..41 Tabla 9. Propuesta de indicadores adicionales de calidad para el prah……………………43 3 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Anexos Anexo 1. Síntesis de Evaluaciones del Programa Prevención de Riesgos en los Asentamientos Humanos (PRAH) Anexo 2. Fichas técnicas de Evaluaciones de programas similares Anexo 2b. Fichas informativas de programas similares Anexo 3. Agenda de Evaluación Anexo 4. Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones Anexo 5.1. Histórico del Resumen Narrativo Anexo 5.2. Histórico de Indicadores 4 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Lista de acrónimos y siglas ASM CENAPRED CNA CONEVAL DP ED EED FODA IDD IDL IGR IVP ME-12 MIR ONU PRAH PREP ROP SDUOT SEDESOL SEMARNAT SFP SHCP TdR UROP Aspectos Susceptibles de Mejora Centro Nacional de Prevención de Desastres Comisión Nacional del Agua Consejo Nacional de Evaluación de la Política de Desarrollo Social Diganóstico del Programa Evaluación de Diseño Evaluación Específica de Desempeño Fortalezas, Oportunidades, Debilidades y Amenazas Índice de Déficit por Desastre Índice de Desastres Locales Índice de Gestión de Riesgo Índice de Vulnerabilidad Prevalente Meta-Evaluación 2012 Matriz de Indicadores para Resultados Organización de las Naciones Unidas Programa Prevención de Riesgos en los Asentamientos Humanos Programa de Rescate de Espacios Públicos Reglas de Operación Subsecretaría de Desarrollo Urbano y Ordenación del Territorio Secretaría de Desarrollo Social Secretaría del Medio Ambiente y Recursos Naturales Secretaría de la Función Pública Secretaría de Hacienda y Crédito Público Términos de Referencia Unidad Responsables de la Operación del Programa 5 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Introducción Este documento constituye el Informe Final de la Meta Evaluación 2011-2012 del Programa Prevención de Riesgos en los Asentamientos Humanos (PRAH). Su contenido responde a lo solicitado en los Términos de Referencia (TdR) establecidos por la Secretaría de Desarrollo Social (SEDESOL). El núcleo temático se encuentra en dos grandes capítulos: Evaluación y Monitoreo. El trabajo se desarrolló en gabinete considerando el informe de la Evaluación de Diseño 2011 (hasta ahora la única realizada al programa por su reciente creación), así como otros documentos relacionados con el programa en general y dicha evaluación en lo particular (Diagnóstico, Reglas de Operación, Matriz de Indicadores para Resultados y sus Fichas Técnicas, entre otros). Cabe señalar que esta evaluación se realizó en paralelo con la Meta Evaluación 20112012 de otros programas de intervención territorial (Hábitat y Rescate de Espacios Públicos), lo que permitió desarrollar un análisis de carácter transversal a nivel de la Subsecretaria de Desarrollo Urbano y Ordenamiento Territorial (SDUOT). es un Programa de reciente creación cuyos mecanismos de actuación aún están en proceso de maduración; sin embargo, se anticipa que su carácter preventivo le permitirá constituirse en un programa valioso para mitigar los daños de los desastres naturales. En tal sentido, es fundamental que este programa disponga del presupuesto necesario para atender toda su demanda de apoyos. PRAH Las recomendaciones propuestas en este trabajo se presentan directamente asociadas a las Oportunidades, Debilidades y/o Amenazas identificadas, así como a detalles técnicos observados en la Matriz de Indicadores para Resultados (MIR); sin embargo, es pertinente orientar la atención a las mismas en distintas escalas, tal como se indica en los siguientes párrafos. El eje de las propuestas para PRAH radica en la conveniencia de fortalecer los instrumentos de planificación del desarrollo urbano, para lo cual se aprecia conveniente que el programa gestione los apoyos que en este ámbito ofrecen otros programas de la SDUOT y que estos instrumentos constituyan un filtro para validar e incluso orientar los proyectos que impliquen la realización de obras. También se plantean alternativas para desarrollar sinergias con otras entidades. La agenda de evaluación propuesta prevé instrumentos para la validación de estas recomendaciones, las cuales están orientadas a fortalecer la consistencia conceptual, así como de efectividad y eficiencia en la operación, del conjunto de programas de la SDUOT. En lo que se refiere a indicadores, tanto por sus características como por insuficiencia de los mismos, se imposibilita la validación de la lógica horizontal de la MIR del PRAH, por lo que las recomendaciones están orientadas a impulsar el monitoreo de resultados y no sólo de procesos. Finalmente, el equipo meta evaluador considera pertiente señalar la conveniencia de aprovechar el proceso de preparación del Plan Nacional de Desarrollo 2013-2018, para que SEDESOL consolide la rectoría de las políticas federales de Desarrollo Urbano y Social. 6 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final 1. Descripción del Programa 1.1. Datos generales i. Nombre: Programa Prevención de Riesgos en los Asentamientos Humanos. ii. Siglas: PRAH. iii. Dependencia y/o entidad coordinadora: Secretaría de Desarrollo Social, Subsecretaría de Desarrollo Urbano y Ordenación del Territorio, Dirección General de Desarrollo Territorial. iv. Año de inicio de operación: 2011. 1.2. Objetivos1 i. Objetivo general: Contribuir al fortalecimiento de las capacidades de los municipios en materia de prevención de riesgos, a través de las obras y acciones que reduzcan la vulnerabilidad de la población ante el impacto de fenómenos naturales. ii. Objetivo específico: Reducir el riesgo de ocurrencia de desastres ante el impacto de fenómenos naturales. 1.3. Problema focal La necesidad de establecer mecanismos de intervención directa que coadyuven en la Gestión Integral de Riesgos, en sus fases preventivas, de mitigación, de sensibilización y educación, a fin de poder disminuir el impacto de los riesgos por fenómenos naturales en los municipios del país y en las delegaciones políticas del Distrito Federal.2 De forma más amplia y de acuerdo con las Reglas de Operación 2012 del Programa Prevención de Riesgos en los Asentamientos Humanos (ROP-12), el problema o necesidad que busca atender este Programa se conceptualiza como se menciona a continuación: Por las características geográficas que presenta el territorio nacional, éste se encuentra expuesto a la ocurrencia de fenómenos naturales, situación que provoca que más de 90 millones de habitantes en el país residan en zonas de riesgo, de los cuales cerca de 70% habita en zonas urbanas, el 9.5% en zonas semiurbanas y el restante 20.5% lo hace en zonas rurales3. Actualmente existe una desvinculación de la planeación territorial y las políticas para la prevención del riesgo, lo que ha propiciado la expansión de los 1 Reglas de Operación 2012 del PRAH. Numeral 3.5.1, pág. 4. Tomado del Anexo 1 de la Evaluación de Diseño 2011. Programa Prevención de Riesgos en los Asentamientos Humanos. Secretaría de Desarrollo Social. 3 Mansilla, E., 2009. “Diagnóstico Nacional de los Asentamientos Humanos ante el Riesgo de Desastres”. 2 7 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final asentamientos humanos hacia zonas no aptas. Lo anterior, aunado al aumento de fenómenos relacionados con el cambio climático, la problemática en el manejo de las cuencas hidrológicas, el deterioro ambiental, la marginación y la insuficiente cultura de prevención y mitigación, entre otros, conlleva a desastres cada vez más devastadores, tal como los que se han presentado en las últimas décadas. El Programa Prevención de Riesgos en los Asentamientos Humanos está dirigido a mitigar los efectos de los fenómenos perturbadores de origen natural, para aumentar la resiliencia en los gobiernos locales y la sociedad, a fin de evitar retrocesos en las estrategias para elevar la calidad de vida de la población y contribuir al cumplimiento de los objetivos institucionales para disminuir la pobreza. La importancia del programa radica en crear y mantener una vinculación directa entre la SEDESOL y las autoridades locales para concientizarlas sobre la necesidad de trabajar en la reducción de riesgos, a través de acciones y obras para desincentivar la ocupación de suelo en zonas de riesgo, promover la cultura de prevención de desastres, así como incrementar la inversión en reducción y mitigación de riesgos. 1.4. Población potencial y objetivo i. Población potencial: Los habitantes de todos los municipios del país4. ii. Población objetivo: Las personas que habitan en los municipios susceptibles al efecto destructivo de fenómenos hidrometeorológicos y geológicos.5 1.5. Apoyos6 i. Tipo de apoyo: Subsidios federales para la ejecución de obras y acciones, que deberán ser complementados con recursos aportados por los gobiernos locales. ii. Características de los apoyos: Los apoyos serán otorgados para la ejecución de obras y acciones según la siguiente clasificación: 1. Acciones para desincentivar la ocupación de suelo en zonas de riesgo: a. Elaboración de atlas de peligros o de riesgos donde se identificarán los peligros, los riegos y la vulnerabilidad derivada de los fenómenos naturales que afectan a los asentamientos humanos. b. Estudios que permitan conocer con mayor detalle algún fenómeno de interés, ya sea hidrometeorológico o geológico de una zona en particular o de todo el municipio con fines de prevención de riesgo. 4 La población potencial se deduce de las ROP-12 toda vez que la cobertura es a nivel nacional y ningún municipio está exento de riesgo. Cabe señalar que esta población no coincide con la señalada en el “Diagnóstico Nacional de los Asentamientos Humanos ante el Riesgo de Desastres“ (Mancilla, 2009). 5 ROP-12. 6 ROP-12. 8 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final c. Elaboración y/o actualización de reglamentos de construcción que promuevan la prevención de desastres a través de establecer la tipología y técnica constructiva de acuerdo con el peligro o riesgo de la zona. 2. Obras y acciones para la reducción y mitigación de riesgos: d. Obras de prevención y mitigación: Acciones cuyo propósito es contribuir a reducir la vulnerabilidad de los asentamientos humanos ubicados en zonas de riesgo ante amenazas naturales. e. Cursos, talleres y estrategias de difusión de educación y sensibilización para la prevención de desastres, dirigido a autoridades locales y a la población. 3. Acciones ecológicas con fines preventivos: f. Reforestación que permitirá evitar la erosión de las laderas y con ello su deslizamiento; lo anterior con fines de prevención de desastres y de contribuir al mejoramiento ambiental: construcción de terrazas naturales, barreras de árboles y aquellas acciones que contribuyan a este fin. 1.6. Evolución de la cobertura De acuerdo con la información de Sedesol al cierre de 2011, en su primer año de operación el programa atendió a 166 municipios de 29 entidades federativas7. 7 Sedesol (2012). Cuarto Informe Trimestral 2011, pág. 222 y 223. 9 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final 2. Objetivo de la evaluación 2.1. Objetivo general Analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2011-2012, así como identificar áreas de oportunidad en dichos temas que permitan al Programa Prevención de Riesgos en los Asentamientos Humanos obtener mejores resultados. 2.2. Objetivos específicos: 2.2.1. En materia de evaluación: • Analizar las evaluaciones realizadas durante el periodo 2011-2012, sintetizando para cada una de ellas los principales resultados y hallazgos, y en el caso de evaluaciones de resultados o de impacto, emitir una valoración técnica sobre las metodologías empleadas. • Revisar informes de evaluación de resultados o de impacto en el ámbito nacional o internacional de programas similares y realizar una síntesis de los principales resultados, así como valorar técnicamente la metodología empleada. • Establecer una agenda de evaluación del Programa Prevención de Riesgos en los Asentamientos Humanos para el periodo 2013-2018 con base en las necesidades de evaluación detectadas, justificando técnica y/o empíricamente la importancia de cada una de ellas. • Valorar la pertinencia de implementar una evaluación de impacto, y en su caso, establecer las etapas necesarias para realizar una evaluación de este tipo. 2.2.2. En materia de monitoreo: • Presentar un análisis histórico (2011-2012) de los principales cambios en la Matriz de Indicadores para Resultados, analizando las observaciones emitidas por los actores involucrados en su revisión y/o derivado de evaluaciones externas. • Con base en los bienes y servicios que entrega el Programa Prevención de Riesgos en los Asentamientos Humanos (descritos en el nivel de Componentes de la MIR y en los tipos de apoyo establecidos en las Reglas de Operación), valorar la pertinencia y congruencia del Resumen Narrativo de los niveles de Fin y Propósito de la MIR, en su caso proponer áreas de mejora. • Analizar los indicadores de los niveles de Fin y Propósito de la MIR, así como los niveles de Componente y Actividad, proponiendo las mejoras correspondientes en los mismos. 10 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final 3. Evaluación Las evaluaciones externas a los programas públicos son un instrumento previsto en la Ley Federal de Presupuesto y Responsabilidad Hacendaria (Art. 78) para los programas sujetos a reglas de operación. Su realización está determinada por el Programa Anual de Evaluación que emitan el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), la Secretaría de Hacienda y Crédito Público y la Secretaría de la Función Pública. 3.1. Análisis de las evaluaciones realizadas durante el periodo 2011-2012 El análisis que a continuación se presenta ha tomado como referencia a las Evaluaciones Externas del Programa PRAH realizadas en el periodo 2011-2012, por lo que todos los resultados y hallazgos citados, así como las recomendaciones que derivaron del ejercicio de evaluación de los años de estudio contemplados, han sido analizadas y procesados conforme a la normatividad establecida en el Mecanismo para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal. Por consiguiente, todas las opiniones y valoraciones realizadas con base en el análisis anterior son exclusiva responsabilidad del equipo evaluador de la meta evaluación 2011-2012. Para el Programa Prevención de Riesgos en los Asentamientos Humanos, por ser de reciente creación, sólo se ha realizado la Evaluación de Diseño 2011 (ED-11). En el Anexo 1 se presenta la ficha técnica con la síntesis de la misma. 3.1.1. Principales hallazgos De acuerdo con la ED-11, si bien el Programa identifica el problema o necesidad que busca atender, “se identificaron áreas de mejora para definir el problema de forma que se exprese de manera concreta y consistente entre los diferentes documentos, esté formulado como un hecho negativo o como una situación que puede ser revertida y defina el área de enfoque”8. En este sentido, se propuso que el problema fuera formulado como: “Municipios con alta vulnerabilidad física y económica del país están expuestos a riesgos ante la ocurrencia de fenómenos naturales.”9 La ED-11 también identificó “ambigüedades en cuanto a la definición y cuantificación de la población objetivo” 10 , pues si bien es cierto que todos los municipios del país están expuestos a la ocurrencia de un fenómeno natural perturbador, el programa debiera enfocarse en aquellos municipios que se identifiquen como de alta o muy alta prioridad. Para la delimitación de los niveles de prioridad se sugirió la definición de un índice de riesgo natural que considere tanto la vulnerabilidad económica como la vulnerabilidad física. Asimismo, la Evaluación reconoció que el Programa “se encuentra adecuadamente vinculado a los objetivos establecidos en los documentos de planeación sectorial, 8 Pág. 2, Resumen Ejecutivo. Ídem. 10 Ídem. 9 11 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final nacionales e internacionales” 11 . Igualmente, apreció que PRAH complementa otros esquemas federales para la Gestión Integral de Riesgos; como el Fondo para la Prevención de Desastres y con el Programa de Empleo Temporal, señalando la particularidad de que es el único programa federal que otorga apoyos a nivel municipal. En cuanto a su Matriz de Indicadores y Resultados, la ED-11 señaló que el indicador asociado al Fin del Programa resultaba difícil de cuantificar y que la lógica horizontal debía ser analizada para que los indicadores, los métodos de cálculo y la verificación fueran adecuados12. 3.1.2. Análisis de fortalezas, oportunidades, debilidades y amenazas a. Fortalezas La ED-11 identifica en la realización de los Atlas de Riesgos a Nivel Municipal la principal fortaleza del programa, pues asume que “permitirá a mediano y largo plazos, incidir sobre los planes municipales de Ordenamiento Territorial, promover reubicaciones de población asentada en zonas de riesgo además de servir de base para orientar recursos y gestionar acciones puntuales derivadas de los resultados de los Atlas.”13 [Fortaleza 1] Asimismo, la ED-11 reconoce que el programa “representa un importante mecanismo de gestión y aplicación de acciones concretas e inmediatas que permite a las entidades municipales, muchas veces con recursos limitados, realizar acciones de prevención y mitigación.”14 [Fortaleza 2] Por otro lado, el equipo meta evaluador aprecia que la implementación del PRAH da cuenta de las mejores prácticas que con otros programas ha logrado Sedesol. En particular es de destacar la existencia de un Diagnóstico que detalla la situación problemática que se busca atender. [Fortaleza 3] b. Oportunidades Se percibe que PRAH tiene oportunidades relevantes para mejorar su desempeño si incrementa su interacción con otras entidades [Oportunidad 1]15. En este sentido, la ED1116 indica: “Las acciones y servicios que ofrece el Programa se deben coordinar con otras acciones del Gobierno a fin de realizar un esfuerzo para que a nivel normativo, técnico y jurídico, la realización de Atlas de Peligros y Riesgos con un alto nivel 11 Ídem. Cabe señalar que en atención a este señalamiento, en las ROP-12 el Fin del programa se planteó como “contribuir al fortalecimiento de las capacidades de los municipios en materia de prevención de riesgos” en sustitución de “disminución de los efectos negativos ocasionados por los desastres”, modificándose también el indicador asociado. (véase sección 4.1.1. y 4.3.1) 13 Pág. 30. 14 Ídem. 15 Cabe señalar que ésta es una oportunidad similar a otras que se identificaron en la Meta Evaluación 20112012 del Programa Hábitat y del Programa de Rescate de Espacios Públicos, realizada por el mismo equipo meta evaluador. 16 Pág. 31. 12 12 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final científico, se establezca como obligatorio para los municipios del País, mismos que deberán integrarse a los Atlas Estatales y al Atlas Nacional de Riesgos, además de servir de base para los planes y programas de Ordenamiento Territorial y dar sustento a eventuales reubicaciones de poblaciones expuestas a un riesgo. Lo mismo puede decirse acerca de la realización y actualización de Reglamentos de Construcción. Todo ello permitirá reducir la vulnerabilidad de los asentamientos humanos ante la ocurrencia de un desastre natural”. Cabe en particular destacar la inexistencia un vínculo formal, al menos a nivel de ROP, del programa con el Centro Nacional de Prevención de Desastres (CENAPRED) o el Sistema Nacional de Protección Civil. Las ROP-12 sólo señalan que los municipios participantes en el Programa Municipio Seguro: Resistente a Desastres “podrán registrar las acciones realizadas con este Programa de Prevención, para los beneficios que pudieran otorgarles”17. Si bien el Diagnóstico Nacional de los Asentamientos Humanos ante el Riesgo de Desastres 2009 prevé que “las obras que propongan, sustenten y justifiquen la Comisión Nacional del Agua (CNA) y el CENAPRED, podrán ser apoyadas también hasta con el 80%”18, posibilidad que sí estuvo incluida en las ROP-1119; en las ROP-12 esta previsión no está incluida. En la interpretación del equipo meta evaluador respecto a las atribuciones del 20,21 CENAPRED , se considera viable posibilitar su participación formal en el programa a través de: Capacidad de iniciativa para proponer la realización de proyectos específicos a nivel de municipio a partir de su propia identificación de riesgos. Facultad para opinar sobre la capacidad técnica de los proveedores propuestos por las instancias ejecutoras para la elaboración o actualización de Estudios, Atlas de Riesgos y/o Peligros, y Reglamentos de Construcción.22 17 Pág. 7, numeral 3.6.4. Coordinación Institucional. SEDESOL (2010). Diagnóstico nacional de los asentamientos humanos ante el riesgo de desastres, pág. 79. 19 D.O.F. (31-XII-2010), sexta sección-vespertina, pág. 6. 20 Artículo 90 del Reglamento Interior de la Secretaría de Gobernación, publicado en el Diario Oficial de la Federación el día 30 de julio de 2002. En particular se aprecian pertinentes las siguientes atribuciones: I. Investigar los peligros, riesgos y daños provenientes de agentes perturbadores que puedan dar lugar a desastres, integrando y ampliando los conocimientos de tales acontecimientos, en coordinación con las dependencias y entidades responsables; VI. Asesorar y apoyar a los organismos e instituciones integrantes del Sistema Nacional de Protección Civil en los aspectos técnicos de la prevención de desastres, y X. Promover el desarrollo de programas de coordinación y colaboración en materia de prevención de desastres. 21 En el mismo sentido apuntan la siguiente disposición prevista en la nueva Ley General de Protección Civil: Art. 19, XXII. Supervisar, a través del CENAPRED, que se realice y se mantenga actualizado el atlas nacional de riesgos, así como los correspondientes a las entidades federativas, municipios y delegaciones. 22 Esta facultad tendría un carácter transitorio en tanto se implementa el reglamento de la Ley General de Protección Civil, en particular en relación con el artículo 11: Para que los particulares o dependencias públicas puedan ejercer la actividad de asesoría, capacitación, evaluación, elaboración de programas internos de protección civil, de continuidad de operaciones y estudios de vulnerabilidad y riesgos en materia 18 13 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Atribución para examinar los Atlas de Riesgo elaborados con financiamiento del programa y en su caso formular observaciones. Por otro lado, se considera que la coordinación del PRAH con los demás programas de SEDESOL debe tener como punto de partida el establecimiento de la elaboración o actualización de los Atlas de Riesgo como una prioridad de las intervenciones en materia de Desarrollo Urbano y Ordenamiento Territorial. La apreciación del párrafo anterior constituye un elemento a favor de consolidar en un solo proceso la admisión de solicitudes de apoyo de los programas de la SDUOT. El planteamiento de esta propuesta se detalla más adelante e igualmente está incorporado en la Meta-Evaluación 2012 (ME-12) de los programas Hábitat y PREP. La identificación del problema en el “Diagnóstico Nacional de los Asentamientos Humanos ante el Riesgo de Desastres”, también presentado como Diagnóstico del Programa ( DP), señala23: Parte importante del problema del riesgo en el país se asocia con: la inadecuada planeación en el ordenamiento del territorio y de las políticas para la reducción del riesgo, la deficiente aplicación de la normatividad tanto federal como estatal, la falta de medidas que induzcan a una localización más segura de los asentamientos humanos, el insuficiente manejo de las cuencas hidrográficas, el deterioro ambiental, la marginación, la escasa operación de sistemas de alerta temprana y la insuficiente cultura de prevención y mitigación, entre otros”. El equipo meta evaluador comparte este diagnóstico y considera que da sustento a la pertinencia de recomendar que el otorgamiento de apoyos por parte de los programas de SEDESOL en materia de Desarrollo Urbano y Ordenamiento Territorial sea validado e incuso orientado en función de los diagnósticos y proyectos previamente realizados en cada municipio. En este sentido, se propone conformar un “Expediente del Municipio” que sistematice la información de los estudios y proyectos realizados por todos los programas de SEDESOL (o al menos de la SDUOT) y se enriquezca gradualmente con datos de otras fuentes (INEGI, CONAPO y otras entidades del gobierno) para un mismo municipio, a efecto de que cada nueva propuesta pueda ser validada documentalmente en función de su consistencia con la información disponible en dicho expediente. Para perfeccionar esta idea es necesario revisar los procesos involucrados en la promoción, recepción y selección de proyectos, para lo cual se plantea la realización de una Evaluación de Procesos (véase sección 3.3)24. [Oportunidad 2] Considerando la conveniencia señalada previamente en el sentido de establecer la elaboración y actualización de los Atlas de Riesgo como una prioridad de las intervenciones en materia de Desarrollo Urbano y Ordenamiento Territorial, el equipo meta evaluador considera que por su enfoque territorial a nivel municipio, PRAH podría constituirse en el programa que agrupe todas las acciones en esta materia de regulación y monitoreo del Desarrollo Urbano. [Oportunidad 3] de protección civil, deberán contar con el registro expedido por la autoridad competente de protección civil, de acuerdo con los lineamientos establecidos en el Reglamento de esta Ley. 23 Pág. 4. 24 Estas propuestas también forman parte de la Meta Evaluación 2011-2012 de los Programas Hábitat y PREP. 14 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final En particular se percibe la posibilidad de generar sinergias al consolidar en PRAH los siguientes apoyos que actualmente otorga el Programa Hábitat25: Elaboración o actualización de planes y programas municipales de desarrollo urbano y de ordenamiento territorial26. Instalación y fortalecimiento de Observatorios Urbanos Locales y de Agencias de Desarrollo Urbano en las ciudades y zonas metropolitanas, así como el fortalecimiento de Institutos Municipales de Planeación27. Para la validación de esta propuesta se plantea la elaboración de una Evaluación Estratégica para los programas de la SDUOT (véase sección 3.3. Agenda de Evaluación). En circunstancia similar están las acciones del Programa Hábitat relacionadas con la prevención de riesgos naturales en sus polígonos de actuación. En la apreciación del Equipo meta evaluador sería conveniente consolidar en PRAH estos apoyos para fortalecer su ejecución con la especialidad del programa y vincularse directamente con los Atlas de Riesgos generados por PRAH: [Oportunidad 4] Ejecución de obras para la prevención o mitigación de riesgos que contribuyan a reducir la vulnerabilidad de los asentamientos humanos en los polígonos Hábitat28. Acciones de reforestación para contribuir al mejoramiento del entorno y a la prevención y mitigación de riesgos en los Polígonos Hábitat29. Limpieza y rescate de barrancas en los polígonos Hábitat30. De igual forma, se sugiere establecer mecanismos formales para que PRAH tome conocimiento de la ocurrencia de desastres naturales, en particular de aquellos en los que como consecuencia del mismo se detone la actuación de otros programas de Sedesol, para que la información que de los mismos se derive constituya en elemento para la planificación de nuevas acciones del programa. Finalmente, se percibe que las acciones de reforestación deben fortalecer su coordinación con programas especializados en reforestación. En particular se identificó al Programa ProÁrbol, a cargo de la SEMARNAT, cuyos apoyos permitirían otorgar pagos por servicios de conservación y restauración de suelos directamente a los propietarios de los terrenos que requieren ser intervenidos31, comúnmente ejidos o comunidades, con lo que además de mitigarse el riesgo, se fomenta la participación social e incluso nuevas fuentes de ingreso para la comunidad. [Oportunidad 5] Asimismo, considerando los mecanismos de coordinación que se pueden desarrollar con SEMARNAT y la afinidad de temas entre la conservación del ambiente y la prevención de desastres naturales, el equipo meta evaluador sugiere valorar la integración en PRAH (o 25 Esta propuesta también se plantea en la Meta Evaluación 2011-2012 de Hábitat. Reglas de Operación 2012 del Programa Hábitat, numeral 3.5.1, pág. 8. 27 Ibídem. 28 Pág. 7. 29 Ibíd. 30 Pág. 6. Cabe señalar que la limpieza de barrancas, además de mejorar el entorno, también disminuye los riesgos derivados de la acumulación de desechos ante fenómenos hidrometeorológicos (azolvamiento de embalses y/o sistemas de drenaje, formación de represas inestables, etc.) 31 Reglas de Operación del Programa ProÁrbol 2012. SEMARNAT. Art. 7, Categorías para el otorgamiento de apoyos, B) Conservación y restauración. 26 15 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final bien su traspaso a SEMARNAT) de las acciones en materia de educación ambiental que actualmente realizan otros programas de la SDUOT, tales como: Impulsar la conservación de recursos naturales y cuidado del medio ambiente para promover una cultura de respeto a la ecología (PREP32). Capacitación de la población en situación de pobreza, en materia de sustentabilidad y mejoramiento del entorno (Hábitat33). Para la validación de esta sugerencia, se plantea una Evaluación Estratégica con la participación de a otras entidades del gobierno federal (véase sección 3.3.). c. Debilidades De acuerdo con la ED-11, “se debe establecer un Nivel de Prioridad o de Atención para cada municipio, en función de un análisis actualizado que integre los resultados de los dos estudios realizados por la SEDESOL”34 para identificar con mayor precisión cuáles son los municipios con mayor exposición a riesgos ante la ocurrencia de fenómenos naturales, pues no hay coincidencia entre el “Diagnóstico Nacional de los Asentamientos Humanos ante el Riesgo de Desastres” (también presentado como Diagnóstico del Programa) y el “Estudio para la Elaboración del Índice de Riesgo de las Ciudades del Sistema Urbano Nacional con Mayor Recurrencia a Desastres” 35 que fue utilizado para definir los municipios con mayor nivel de riesgo en las ROP-1236. [Debilidad 1] Lo anterior muestra la necesidad de profundizar, con el apoyo de entidades externas expertas, en la definición de los criterios que utilizará el programa para la identificación de los niveles de riesgo de desastre natural a nivel municipal con los cuales en las ROP se prioriza la selección de proyectos. En su momento, será conveniente utilizar esta redefinición para actualizar el documento diagnóstico del programa. También en relación con la identificación de la población objetivo, la ED-11 recomendó que “más que población, el PRAH debe establecer ‘Áreas de Enfoque’, tomando como base a las ‘Entidades Municipales’, pues éstas, a través de los encargados de Protección Civil y de las Autoridades Municipales, son las encargadas de proponer y gestionar los proyectos” 37 . Entendida como propuesta de cambiar la unidad de medida para la población de “personas” a “municipios”, el equipo meta evaluador respalda la recomendación. Conforme a lo observado por el equipo meta evaluador en su análisis de los programas Hábitat y PREP, aunque no se trata de una debilidad propia del programa, se anticipa que la estructura prevista para las EED a las que se sujetará el programa será insuficiente para profundizar de forma regular en el análisis de su desempeño y resultados. [Debilidad 2]. 32 Reglas de Operación 2012 del Programa de Rescate de Espacios Públicos, pág. 5. Reglas de Operación 2012 del Programa Hábitat, Pág. 7. 34 Anexo 2. 35 Elaborado para Sedesol en 2009 por el Instituto de Ingeniería de la UNAM. 36 Por ejemplo, las ROP-12 no incluyen a Aguascalientes entre los municipios con riesgo global “Muy Alto” o “Alto”; sin embargo, en el Documento Diagnóstico este mismo municipio está clasificado dentro de un grupo de “atención especial, altamente prioritario” (pag. 73). 37 Anexo 2. 33 16 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Para subsanar esta deficiencia se recomienda impulsar que las futuras evaluaciones definidas por CONEVAL sean complementadas con él con el análisis de la evolución del programa en diferentes desagregados (geográficos, por modalidad, tipo de apoyo, etc.) y su correlación con fuentes externas de información. Así mismo, el equipo meta evaluador considera que el actual funcionamiento del Mecanismo para el seguimiento a los Aspectos Susceptibles de Mejora derivados de las evaluaciones a los programas de la administración pública federal (SHCP-CONEVAL-SFP, 2011) tiene el inconveniente de no incluir la participación directa de los evaluadores. En opinión del equipo meta evaluador, este hecho no permite validar a priori que las acciones que se definen en atención al ASM correspondan a la visión del evaluador. De lo anterior, a efecto de prevenir que las soluciones planteadas en los ASM deriven en motivo de controversia, se hace necesario que las recomendaciones de los evaluadores sean formuladas con mayor precisión en cuanto a su alcance para permitir su verificación puntual. También se sugiere valorar la constitución de un comité consultivo (integrado por los distintos evaluadores del programa) que retroalimente oportunamente la definición de ASM. d. Amenazas De acuerdo con la ED-11, “la asignación presupuestal al Programa resulta limitada para atender a un mayor número de municipios” 38 , lo que sugiere la existencia de una demanda de apoyos insatisfecha. De ser así, el programa en sí mismo está expuesto al riesgo de que se le relacione con los daños que potencialmente se deriven de la ocurrencia de desastres naturales, en el caso de que el municipio afectado haya presentado una solicitud de apoyo para prevenir el riesgo y ésta no se hubiera atendido. [Amenaza 1] Frente a esta posibilidad, el equipo meta evaluador recomienda dotar al PRAH de los mecanismos presupuestales necesarios para atender toda la demanda de apoyos para la prevención de riesgos. Por otro lado, la información consultada no aportó indicios sobre el conocimiento de las capacidades de gestión de los gobiernos locales (por ejemplo, la identificación de los municipios que disponen de Altas de Riesgo y/o Reglamentos de Construcción actualizados) y en contraste se encontraron menciones que sugieren lo contrario (por ejemplo, “la falta de rigor en la aplicación de la normatividad de la construcción es uno de los principales factores de la vulnerabilidad de los inmuebles, ya que existen muchos reglamentos de construcción obsoletos con antigüedad de hasta de 27 años” 39 ). [Amenaza 2] 40 . En opinión del equipo meta evaluador esto sugiere la posibilidad de mejorar los procesos del programa y/o la SDUOT para la supervisión de las instancias ejecutoras. Una alternativa en este sentido es establecer como filtro para el acceso a los programas de la SDUOT, particularmente en aquellos municipios con mayor nivel de riesgo, la verificación de la existencia de instrumentos de planeación urbana que incorporen medidas para la prevención de riesgos. 38 Pág. 31. Documento Diagnóstico, pág. 43. 40 Esta amenaza también se identificó en las Meta Evaluaciones de Hábitat y PREP, lo que indica la conveniencia de desarrollar soluciones transversales. 39 17 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final 3.2. Revisión de informes de evaluación de resultados o de impacto en el ámbito nacional o internacional de programas similares 3.2.1. Principales resultados Los siguientes programas o estudios fueron considerados para la elaboración de esta sección: a. Hazard Mitigation: Integrating Best Practices into Planning. Estados Unidos b. Control de Inundaciones, Desarrollo Urbano de la Ciudad de Babahoyo. Ecuador c. Programa Hábitat. México d. Información para la gestión de riesgo de desastre. Estudio de caso de cinco países: Chile, Colombia, Jamaica, México y Nicaragua, 2007 e. Indicadores de Riesgo de Desastre y Gestión del Riesgos f. Comisión para el Desarrollo Sostenible de las Naciones Unidas, Programa 21: Capítulo 7. Fomento de Desarrollo Sostenible de los Recursos Humanos Debe señalarse que solo los primeros 2 corresponden a estudios de resultados. Los restantes son estudios que si bien no muestran resultados de apoyos similares a los ofrecidos por PRAH, el equipo meta evaluador consideró pertinente presentar pues en sí mismos pueden constituir un referente adicional para el programa. El Anexo 2 contiene las fichas técnicas de los estudios revisados; en el Anexo 2B se presentan las fichas informativas de las demás fuentes consultadas. a. Hazard Mitigation: Integrating Best Practices into Planning. Estados Unidos41 A partir del estudio documental y de campo (mediante entrevistas a actores clave) de 6 programas de prevención de desastres en los Estados Unidos. En similitud con PRAH, estos programas han realizado (cada uno en su contexto), atlas de riesgo, actualización de reglamentos de construcción, obras de control de inundaciones y relocalización de asentamientos entre otros. El estudio identificó los elementos que permiten conformar buenas prácticas. Entre éstos señala: Los atlas de riesgo y otros instrumentos de mitigación de riesgo sólo adquieren fuerza legal al considerarse en los planes de desarrollo urbano, por lo que debe verificarse su inclusión. Incluir presupuestos para acciones de prevención dentro de programas e inversiones de mayor alcance permite asegurar la mitigación de riesgos en las mismas. Documentar condiciones actuales y predecir condiciones futuras permite elevar la conciencia de riesgos y las acciones que pueden realizarse para prevenirlos. Vincular los instrumentos de prevención de riesgos con planes y acciones de desarrollo económico para propiciar inversiones seguras. Promover la participación constante de liderazgos locales para impulsar la agenda de prevención de riesgos. 41 James C. Schwab, Editor (2010) Hazard Mitigation: Integrating Best Practices into Planning. American Planning Association. Panning Advisory Service. Report 560 18 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Desarrollar a nivel local una cultura de prevención de riesgos, y vii. Incentivar, a través de recursos federales y estatales adicionales, el desarrollo de instrumentos de prevención a nivel local. Asimismo, el estudio identifica aspectos que contravienen el propósito de prevenir riesgos, entre los cuales destaca: Diseñar e implementar nuevos proyectos de desarrollo urbano sin incluir medidas de prevención de riesgos. Aplicar medidas de prevención sólo a nuevos proyectos sin corregir riesgos en instalaciones existentes. No involucrar a los responsables del desarrollo urbano en la elaboración de los planes de mitigación pude provocar una deficiente valoración de alternativas de mitigación y su posterior implementación. La falta de participación de las comunidades dificulta la apropiación de los planes de mitigación y el sostenimiento de sus prioridades a largo plazo. En opinión del equipo meta evaluador, el estudio demuestra que la mitigación de riesgos no se limita a la elaboración de atlas y la realización de obras aisladas, sino que estas acciones deben reflejarse en los planes de desarrollo urbano e integrarse como parte de la actividad económica y social a nivel local. En este sentido, se considera que este estudio aporta indicios para sustentar la pertinencia de consolidar en PRAH los apoyos para la realización de otros instrumentos de planeación. b. Control de inundaciones, Desarrollo Urbano de la Ciudad de Babahoyo. Ecuador42 Este estudio reporta los resultados obtenidos en el marco de un proyecto integral de desarrollo urbano para el control de inundaciones. En similitud con los apoyos ofrecidos por PRAH, destacan las obras para el control de inundaciones. El estudio fue seleccionado de entre más de 200 experiencias de prevención de desastres en la región de Los Andes. Para su elaboración se sistematizó información de fuentes primarias y secundarias, así como testimonios de diversos actores del proyecto. Los resultados que ha generado esta intervención en la comunidad de Babahoyo han sido los siguientes: • Eficaz control de inundaciones mediante obras de control (muros, diques, • • • • • estaciones de bombeo). Anteriormente la ciudad permanecía inundada varios meses al año. Mejoramiento de las condiciones sanitarias de la población a partir de las mejoras a los servicios de agua y alcantarillado y el tratamiento a las aguas residuales. Disminución de las pérdidas económica producto de las inundaciones. Desarrollo institucional. Creación de la Empresa Municipal para la administración del control de inundaciones y los servicios de agua potable y alcantarillado. Mejoramiento de viviendas y urbanización de terrenos seguros Renovación de la autoestima de la población de Babahoyo. 42 Proyecto Apoyo a la Prevención de Desastres en la Comunidad Andina (2009) Control de Inundaciones: Desarrollo Urbano de la Ciudad de Babahoyo, Ecuador. Secretaría General de la Comunidad Andina. 19 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final En opinión del equipo meta evaluador, este estudio también muestra la conveniencia de integrar a las acciones de mitigación de riesgos como parte de proyectos más amplios que involucren la actividad económica y social a nivel local. En este sentido, se considera que este estudio refuerza la pertinencia de consolidar en PRAH los apoyos para la realización de otros instrumentos de planeación. c. Programa Hábitat. México Conforme al tipo de apoyos establecidos en las Reglas de Operación 2012 de este programa, se identifican los siguientes apoyos similares a otros ofrecidos por PRAH: Ejecución de obras para la prevención o mitigación de riesgos que contribuyan a reducir la vulnerabilidad de los asentamientos humanos en los Polígonos Hábitat. Acciones de reforestación para contribuir al mejoramiento del entorno y a la prevención y mitigación de riesgos en los Polígonos Hábitat. Aunque están limitados a los polígonos de actuación del programa, no existe impedimento para que también puedan ser realizados por PRAH. Para efectos del análisis de su similitud con el PRAH, sólo se consideró la Evaluación de Consistencia y Resultados 2011-2012 de Hábitat, pues las anteriores no corresponden con la vigencia de PRAH. Si bien esta Evaluación no incluyó al PRAH en su análisis, se encontró que en materia de prevención de riesgos naturales reportó que Hábitat puede tener complementariedad con el Fondo para la Prevención de Desastres Naturales (FOPREDEN), “si éste apoya el financiamiento de proyectos en la mismas zonas donde posteriormente se realizarán proyectos de infraestructura de Hábitat”43. Asimismo, respecto a las coincidencias que en general tiene con otros programas, señaló que “no existe una prohibición explícita en la normatividad de la SEDESOL ni un mecanismo en las ROP que regule cómo se debe actuar para aprovechar complementariedades y sinergias en áreas territoriales donde existan atribuciones concurrentes”44. d. Información para la gestión de riesgo de desastre. Estudio de caso de cinco países: Chile, Colombia, Jamaica, México y Nicaragua, 2007 El proyecto se fundamentó en el análisis de cinco casos de estudio que tienen como característica común estar expuestos a diferentes amenazas; por consecuencia se evaluó la situación de gestión del riesgo con base en la información de que disponen, y los resultados obtenidos fueron: Los sistemas de alerta a la población han mejorado, especialmente en lo que respecta a fenómenos hidrometeorológicos; no obstante, la información no está disponible y no es utilizada para la formulación de políticas y el diseño de instrumentos para contrarrestar la vulnerabilidad. 43 44 Hábitat. ECR-11-12. Pregunta 32, pág. 35. Ibid. Pregunta 13, pág. 19. 20 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Incipiente información para medir el impacto de las medidas de mitigación y de reducción de riesgos; a ello hay que agregar que a pesar de la existencia de normatividad en cuanto a zonificación urbana y ordenamiento territorial, no hay mecanismo para dar seguimiento a estas. Se manifiesta que la eficacia de los sistemas de gestión es resultado del nivel de desarrollo político y del vigor de aparato de gobierno más que de la estructura formal de aparato de gestión. Se ha dado cada vez mayores atribuciones en la gestión del riesgo a las instancias locales, pero ello no ha sido aparejado con el incremento de recursos financieros y humanos. e. Indicadores de Riesgo de Desastre y Gestión de Riesgos El sistema de indicadores que aquí se describe es un enfoque holístico de evaluación, que debido a su flexibilidad y posible compatibilidad con otros enfoques de evaluación específica, será con el tiempo cada vez más utilizado y aceptado como una de la mejores opciones para la representación de las situaciones de riesgo y gestión del mismo. De esta manera se contribuye a llenar un importante vacío de información para la toma de decisiones por parte de los organismos nacionales que tiene la función de atender y prevenir los desastres. El estudio en cuestión propone indicadores que faciliten la transparencia, que sean fáciles de evaluar de manera periódica y que sean comprensibles para los encargados de la generación de las políticas públicas en la materia. Para ello los indicadores se agrupan en cuatro grandes componentes, que son: a) Índice de Déficit por Desastre (IDD), b) índice de Desastres Locales (IDL), c) Índice de Vulnerabilidad Prevalente (IVP) y d) Índice de Gestión de Riesgo (IGR). De esta forma, el sistema de indicadores cubre diferentes perspectivas de la problemática de riesgos en cada país y tiene en cuenta aspecto relacionados con las condiciones del daño o pérdidas potenciales. f. Comisión para el Desarrollo Sostenible de las Naciones Unidas, Programa 21: Capítulo 7. Fomento de Desarrollo Sostenible de los Recursos Humanos El Programa 21 es un acuerdo de la Naciones Unidas (ONU) para promover el desarrollo sostenible. Se refiere a un plan detallado de acciones que deben ser ejecutadas a nivel mundial, nacional y local, por entidades de la ONU, los gobiernos de sus estados miembros y por grupos principales en todas las áreas en las que ocurren impactos humanos sobre el medio ambiente. Con respecto a la atención y prevención de desastres, el inciso F relacionado con la “Promoción de la planificación y gestión de los asentamientos humanos en las regiones propensas a los desastres” tiene contemplado tres tipos de actividades: Desarrollo de una cultura de seguridad. Actividades de planificación previa a los desastres. Reconstrucción y planificación de la rehabilitación posterior a los desastres. 21 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final 3.2.2. Valoración de los hallazgos respecto a PRAH 45 De la compaginación de estos estudios, se aprecia que el PRAH constituye un avance, al menos en cuanto a diseño, en la previsión de impulsar: Generación de información para identificar riesgos (Altas de Riesgos y otros estudios) de forma estandarizada (Bases para la elaboración de Atlas de Riesgos)46. Desarrollo de estrategias socioculturales (capacitación, educación y concientización pública) para desarrollar aptitudes preventivas, especialmente en la población asentada en áreas de riesgo47. Formulación de regulaciones a nivel local (reglamentos de construcción) y difusión de técnicas de construcción resistente a riesgos48. Procesos de reordenamiento territorial49. Sin embargo, también se identifican aspectos que no están previstos con claridad en PRAH; en este sentido se pueden señalar: La atención de riesgos asociados y/o derivados de la actividad industrial, incluyendo incentivos para reorientar la actividad económica hacia actividades de menor riesgo y el establecimiento de criterios para la ubicación, diseño y funcionamiento de actividades peligrosas50. Diagnóstico de la vulnerabilidad de infraestructura física e implementación de acciones de rehabilitación para reducir el riesgo de la infraestructura crítica (ej. hospitales, escuelas)51. La sistematización de información sobre daños que permita evaluar los resultados de las acciones de prevención52. Asimismo, en materia de coordinación interinstitucional, se percibe la posibilidad de profundizar en: Transversalización de los estudios de riesgo entre sectores y niveles de gobierno, incluyendo el establecimiento de mecanismos de interconectividad de la información en distintos ámbitos que evitan duplicidades e incompatibilidades53. 45 Esta valoración se incluye con el propósito de aportar indicios sobre posibles líneas de análisis para mejoras futuras al programa. Las sugerencias no forman parte de la agenda de evaluación propuesta para el mediano plazo. 46 Hazard Mitigation: Integrating Best Practices into Planning, Estados Unidos. 47 Ibídem. 48 Control de inundaciones, Desarrollo Urbano de la Ciudad de Babahoyo, Ecuador. 49 Ibídem. 50 Hazard Mitigation: Integrating Best Practices into Planning, Estados Unidos. 51 Indicadores de Riesgo de Desastre y Gestión de Riesgos. 52 Información para la Gestión del Riesgo de Desastres. Estudio de caso de cinco países. 53 En este sentido cabe destacar la disponibilidad de los Atlas (80 realizados en 2011 de acuerdo con cifras del programa) a través de la página de Internet de Sedesol. Asimismo, el programa indica que los Atlas de Riesgo se han puesto a disposición del Registro Único de Vivienda para que sean utilizados en la identificación de zonas aptas para el desarrollo de conjuntos habitacionales, y que también se están 22 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final La alineación del programa dentro del sistema de gestión de riesgo a nivel nacional (Sistema Nacional de Prevención de Desastres) para mejorar su coordinación con los sectores involucrados y establecer los mecanismos para la correcta aplicación y cumplimiento de las normas en la materia54. Planes de acción para la reconstrucción y rehabilitación física y las actividades sociales y económicas55. Finalmente, cabe señalar la existencia de diversos indicadores utilizados a nivel internacional para monitorear el desempeño de las acciones en materia de prevención de desastres56. Se recomienda al PRAH evaluar la pertinencia de su incorporación a mediano plazo. realizando las gestiones técnicas y administrativas para que igualmente sean puestos a disposición de CIMARES y CENAPRED. 54 Indicadores de Riesgo de Desastre y Gestión de Riesgos. 55 Hazard Mitigation: Integrating Best Practices into Planning, Estados Unidos. 56 Ver Ficha Técnica de “Indicadores de Riesgo de Desastre y Gestión de Riesgos” 23 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final 3.3. Propuesta de agenda de evaluación para el mediano plazo. A continuación se enumeran las evaluaciones que se considera necesario realizar en el mediano plazo. Junto con cada evaluación propuesta, se detallan los objetivos buscados así como el fundamento conforme a los hallazgos del análisis FODA. 1. En atención a los hallazgos que sugieren: la posibilidad de mejorar el desempeño del programa mediante su coordinación con otros programas [Oportunidad 1], la asociación del problema de riesgo en el país con la inadecuada planeación en el ordenamiento del territorio [Oportunidad 2], y la falta de conocimiento sobre las capacidades de gestión de los gobiernos municipales [Amenaza 2], se propone realizar una Evaluación de Procesos con los siguientes objetivos: Revisar los procesos de recepción y selección de propuestas, así como de seguimiento de los proyectos, para determinar la viabilidad de homologarlos e integrarlos a nivel SDUOT para de mejorar su eficiencia operativa. Validar la pertinencia y factibilidad de que el proceso de otorgamiento de apoyos por parte de los programas de la SDUOT incluya la verificación de que los proyectos son congruentes con los diagnósticos y proyectos previamente realizados en cada municipio. [Oportunidad 2] Validar la conveniencia de que los Atlas de Riesgo constituyan una prioridad de las intervenciones de los programas de la SDUOT a nivel de cada municipio. [Oportunidad 1] Se presume que la homologación de procesos propiciaría una mejora en la eficiencia operativa de los programas57, a la vez de facilitar la sistematización de la información de las intervenciones realizadas por los programas de la SDUOT en diferentes escalas territoriales. En el mediano plazo, estos procesos posibilitarían el desarrollo de una metodología para seleccionar proyectos conforme a un diagnóstico de necesidades a nivel local (municipio) en materia de desarrollo urbano y ordenamiento territorial, minimizando el riesgo de asignar recursos a obras no prioritarias. Asimismo, permitiría monitorear y diagnosticar las capacidades de gestión de las instancias ejecutoras [Amenaza 2]. Se recomienda realizar esta evaluación en el primer año de la administración 20132018. La duración estimada es de 9 meses. 2. Considerando los hallazgos que sustentan la posibilidad de: mejorar el desempeño del programa mediante su coordinación con otros programas [Oportunidad 1], fortalecer la gestión de los apoyos relacionados con la planeación y el monitoreo del desarrollo urbano y el ordenamiento territorial [Oportunidad 3], fortalecer la gestión de los apoyos relacionados con la prevención de desastres naturales [Oportunidad 4], y, desarrollar un enfoque social en los apoyos relacionados con la reforestación [Oportunidad 5], se recomienda la realización de una Evaluación Estratégica. 57 Es importante precisar que la homologación de procesos buscaría la simplificación administrativa (formatos, flujos de información etc.) en todos los aspectos comunes a los programas, pero no implica la pérdida de especialidad, pues ésta se mantendría a través de los requisitos específicos de cada programa. 24 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Esta Evaluación tendría como objetivo global analizar la integralidad con la que el gobierno federal contribuye, a través de sus programas, a “hacer ciudad”58. En una primera etapa, en el ámbito de la Subsecretaria de Desarrollo Urbano y Ordenamiento Territorial de SEDESOL, a partir del análisis de los tipos de apoyo ofrecidos por sus programas, y de las coincidencias y complementariedades entre ellos, la evaluación deberá determinar los ámbitos de actuación más convenientes para propiciar la efectividad y eficiencia en la implementación de las estrategias responsabilidad de esta subsecretaría. En relación con PRAH, las principales líneas de análisis propuestas para esta evaluación son: i. La conveniencia de integrar a PRAH los apoyos ofrecidos por Hábitat para la promoción y monitoreo del Desarrollo Urbano. [Oportunidad 3] ii. La pertinencia de consolidar en PRAH los apoyos ofrecidos por Hábitat relacionados con la prevención de desastres. [Oportunidad 4] Asimismo, la Evaluación tendría que determinar los ajustes correspondientes en los presupuestos de los programas. En este sentido, sería necesario que incluya un análisis de la distribución de las inversiones realizadas por tipos de apoyo. En una segunda etapa, se propone que la Evaluación Estratégica incorpore la participación de entidades externas con las que el programa debería interactuar regularmente, a efecto de formalizar los mecanismos de coordinación que permitan fortalecer la gestión de algunos tipos de apoyo. En particular se recomienda evaluar: i. Los mecanismos de colaboración que en su caso se tengan con el 59 CENAPRED para determinar las áreas de mejora y/o otras complementariedades. [Oportunidad 1] ii. La factibilidad de desarrollar sinergias con SEMARNAT en la gestión de los apoyos para reforestación. [Oportunidad 5] También sería conveniente la participación de las entidades del gobierno federal responsables de la política y el financiamiento a la vivienda (Comisión Nacional de Vivienda, Infonavit, Fovissste y Fonhapo), para impulsar el cumplimiento de los planes de desarrollo urbano. Esta evaluación se plantea para realizarse en el segundo año de la administración 2013-2018, una vez definido el Plan Nacional de Desarrollo de modo que este forme parte de sus insumos. La duración estimada es de 9 meses. 58 “Hacer ciudad” significa construir una ciudad compacta e intensa, mezclando gente, usos, densidades y tipologías edilicias diferentes. Con espacio público de alta calidad; plazas, calles y parques de cuidado diseño y mantenimiento. Con actividades comerciales y productivas compatibles con una vida sana. Con nuevas viviendas colectivas, cómodas, eficientes energéticamente, hechas con materiales sustentables y techos verdes. Con equipamientos culturales, educativos y sanitarios para todos. Con transporte público extendido, sostenible y diversificado. Cuidando los barrios, el ambiente y nuestro patrimonio. Integrando y urbanizando las villas y las periferias informes. Posibilitando con políticas activas el acceso a una vivienda digna y urbana. Una ciudad mejor, más solidaria, donde impere la ley y donde los distintos podamos convivir sin tener que recurrir a muros y seguridad privada. Donde cada uno encuentre su lugar y pueda construir su propio proyecto de felicidad. Fuente: Marcos, Martín (2007). Hacer ciudad es nuestro desafío. http://www.plataformaurbana.cl 59 La previsión contenida en las ROP-11 en el sentido de que se podría financiar “hasta el 80% del monto total presentado en la propuesta de obras de mitigación de riesgos, si las sustentan y justifican, la Comisión Nacional del Agua o el Centro Nacional de Prevención de Desastres” (pág. 6) denotan su existencia. 25 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final 3. Para resolver las limitaciones de las EED [Debilidad 2], se recomienda realizar con regularidad (cada dos años iniciando en 2014) una Evaluación Complementaria de Distribución de Apoyos. Esta evaluación tendría por objetivo monitorear la evolución en el tiempo de cada Tipo de Apoyo en términos de la inversión realizada, la población atendida y su distribución geográfica a nivel municipal y su correlación con fuentes externas de información, a efecto de identificar diferencias en la cobertura a nivel local. La duración estimada es de 4 meses. 4. Para obtener la información necesaria para la medición de los indicadores de calidad propuestos (Ver capítulo 4. Monitoreo), se propone la realización de una Evaluación Complementaria de Resultados con los siguientes objetivos: Validar que los Atlas de riesgo y/o peligros se apeguen a lo establecido por la normatividad oficial; Validar la hipótesis de que, efectivamente, los cursos y talleres financiados con recursos del PRAH están educando y sensibilizando adecuadamente a las autoridades locales para la prevención de desastres; Supervisar que las acciones ecológicas con fines preventivos se efectuaron correctamente permitiendo evitar la erosión de las laderas y con ello su deslizamiento 26 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final 3.4 Evaluación de Impacto De acuerdo con la normatividad mexicana vigente, la evaluación de impacto identifica con metodologías rigurosas el cambio en los indicadores a nivel de resultados atribuible a la ejecución de un programa federal. Un elemento importante en la evaluación de impacto es la construcción por medio de métodos estadísticos de un escenario contrafactual para el programa, es decir, construir una situación hipotética en la cual hubiesen estado los beneficiarios en caso de que el programa no se hubiese implementado. Mediante la comparación de la realidad con esta situación contrafactual, se intenta aislar la influencia de estos factores externos agregados que inciden en los resultados. A partir de esta construcción es factible evaluar si efectivamente existen relaciones de causa-efecto entre el programa y los resultados, procediendo a una cuantificación de los beneficios. Determinar la factibilidad de una evaluación de Impacto conlleva el análisis de las características de diseño y operación del programa, información disponible (tanto interna como externa al programa), las distintas metodologías que pudieran aplicarse, la disponibilidad de recursos financieros y la disposición de los operadores del programa para participar en ella. No todos los programas presentan las condiciones para llevar a cabo una evaluación de impacto; incluso, en opinión de esta Meta Evaluación, no todas los programas lo requieren. En el caso del Programa Prevención de Riesgos en los Asentamientos Humanos, con base en la información analizada, se valora que no existen las condiciones necesarias para llevar a cabo una evaluación de impacto. Los principales inconvenientes para su realización son: La naturaleza propia del programa, enfocada en obras y acciones de prevención y mitigación de riesgos ante fenómenos naturales, hace difícil la conformación de un grupo contrafractual, para cualquiera de sus vertientes. Más aún, buscar implementar un diseño experimental conlleva una fuerte limitante ética, pues realizar una selección aleatoria implica mantener una situación de exposición al riesgo en los proyectos no seleccionados. 27 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final 4. Monitoreo La Matriz de Indicadores para Resultados (MIR)60 es una herramienta que permite, entre otras cosas, monitorear si efectivamente se da una solución idónea al problema que origina la acción pública. Por ser un programa de reciente creación sólo ha operado con dos MIR: la utilizada para el ejercicio fiscal 2011 y la actual. Pese a ello, a fin de facilitar su análisis, se presenta la tabla 1 que incluye el resumen narrativo de los cuatro niveles (Fin, Propósito, Componentes y Actividades), indicando los cambios en cada ejercicio fiscal. 4.1. Análisis histórico de la MIR 2011-2012 4.1.1. Cambios en el Nivel Fin El resumen narrativo de la MIR consta de cuatro niveles de objetivos que corresponden a los distintos tramos de control del proceso; dentro del nivel Fin se indica el impacto, que será la contribución del PRAH en el mediano o largo plazos al logro de un objetivo del desarrollo nacional y a la consecución de objetivos del PND y/o sus programas. Hasta el momento, el Programa sólo ha sido sometido a la Evaluación de Diseño del Programa de Prevención de Riesgos en los Asentamientos Humanos (ED-11) elaborada por ERN Ingenieros Consultores, S.C., en 2011, que ha propiciado modificaciones dentro de la MIR del PRAH. La ED-11 considera que con los estudios de Mansilla61 y del Instituto de Ingeniería,62 el programa puede conocer la situación del problema que pretende atender, aunque no está contemplado un plazo para su actualización63, y cuenta con una justificación teórica o empírica documentada que sustenta el tipo de intervención que el programa lleva a cabo en la población objetivo, pues diversos estudios 64 han evidenciado la necesidad de realizar acciones de prevención y mitigación como una respuesta para aminorar el efecto de los desastres naturales tanto en la población como en la infraestructura civil. 60 Guía para el diseño de indicadores estratégicos, pág. 11. Elizabeth Mansilla en colaboración con Ignacio Rubio, Diagnóstico Nacional de los Asentamientos Humanos ante el riesgo de Desastres, elaborado para la Sedesol, 2009. 62 Eduardo Reinoso Angulo, Estudio para la Elaboración del Índice de Riesgo de las Ciudades del Sistema Urbano Nacional con Mayor Recurrencia a Desastres, elaborado para la Sedesol, Instituto de Ingeniería, 2009. 63 ED-2011, pág. 6-RN. 64 Citan a Masure, 1994; Oropeza, et al., 1998; Rodríguez-Velázquez, 1998; Uitto, 1998; Alcántara-Ayala, 2002; Mansilla, 2008; Rodríguez-Oreggia, et al., 2009. 61 28 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final 2012 Fin Contribuir a la disminución de los efectos negativos ocasionados por los desastres tanto en la población como en el territorio nacional. Contribuir al fortalecimiento de las capacidades de los municipios en materia de prevención de riesgos, a través de las obras y acciones que reduzcan la vulnerabilidad de la población ante el impacto de fenómenos naturales. Riesgo de ocurrencia de desastres ante el impacto de fenómenos naturales reducido, mediante acciones y obras de prevención y mitigación en los asentamiento humanos. Riesgo de ocurrencia de desastres ante el impacto de fenómenos naturales reducido, mediante acciones y obras de prevención y mitigación. 1. Acciones para desincentivar la ocupación de suelo en zonas de riesgo realizadas. 1. Acciones para desincentivar la ocupación de suelo en zonas de riesgo realizadas. 2. Obras y acciones para la reducción y mitigación de riesgos realizadas. 2. Obras y acciones para la reducción y mitigación de riesgos realizadas. 3. Acciones para la conservación de sistemas naturales realizadas. 3. Acciones ecológicas con fines preventivos. 1.1. Asignación de recursos a los ejecutores para la realización de los proyectos autorizados. 1.1. Recepción de proyectos, análisis y validación normativa y técnica, de acciones para desincentivar la ocupación del suelo en zonas de riesgo. 2.1. Supervisión y seguimiento de acciones. 1.2. Supervisión y seguimiento de acciones para desincentivar la ocupación del suelo en zonas de riesgo. 3.1. Seguimiento de avance en gabinete y campo. 2.1. Seguimiento de avance en gabinete y campo de obras para la reducción y mitigación de riesgos. Actividades Componentes 2011 Propósito Tabla 1. Cambios en el resumen narrativo de la MIR del PRAH, 2011-2012 Nivel 3.1. Verificación de proyectos ecológicos con fines preventivos. Nota: Se subrayan de color verde el texto que fue añadido, en rojo el que fue omitido, en naranja el que fue modificado. Fuente: Elaboración propia con base en las MIR del PRAH, 2011-2012. El impacto esperado por el programa dentro del resumen narrativo, a nivel Fin, era en 2011 la “disminución de los efectos” negativos ocasionados por los desastres. La ED-11 consideró que el nivel narrativo era “claro en su redacción y no presenta ambigüedades” aunque advirtió que: “El logro del programa PRAH no depende únicamente de los responsables del programa, pues intervienen, entre otros, los encargados de la gestión del riesgo en los municipios, quienes son responsables de aplicar los resultados de los estudios, […] de la misma manera, las empresas o instancias ejecutoras de los trabajos y estudios así como la comunidad, que debe cuidar y preservar las obras realizadas”.65 65 Op. cit., pág. 17. 29 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Entre sus recomendaciones sugirió una modificación 66 para que la redacción del Fin cumpla con la sintaxis sugerida por la normativa oficial67, proponiendo: “Contribuir al fortalecimiento de los municipios en materia de prevención de riegos para incidir en el mejoramiento del contexto territorial, a través de acciones que reduzcan el impacto de fenómenos naturales.” Sin embargo, la recomendación no fue retomada por el programa en la MIR 2012 ya que se modificó, además de la redacción, conceptos dentro del resumen narrativo. Eliminando el doble negativo se sustituyó la frase “disminución de los efectos negativos ocasionados por los desastres” por la redacción en positivo de “contribuir al fortalecimiento de las capacidades” y el término “desastres” fue remplazado por “fenómenos naturales”. Asimismo, se visualizó a los municipios como área de enfoque y se estableció que será “mediante obras y acciones” como el Programa espera contribuir para reducir la vulnerabilidad de la población ante el impacto de los fenómenos naturales. 4.1.2. Cambios en el Nivel Propósito En el nivel Propósito, donde debe expresarse el resultado directo a ser logrado en el área de enfoque como consecuencia de la utilización de los componentes, la ED-11 señaló que la población objetivo de la MIR del PRAH: “no se define específicamente, pues sólo se mencionan los asentamientos humanos, y este concepto no hace referencia a un sector específico. Sería deseable introducir como población objetivo o área de enfoque a los municipios que los responsables del Programa identifiquen como prioritarios, en función de los resultados de los estudios de Mansilla (2009) y del Instituto de Ingeniería (2009)”.68 Asimismo, también recomendó modificar la redacción del nivel para lograr que la sintaxis fuera adecuada, modificando el Propósito como: Municipios de Alta y Muy Alta Prioridad del país reducen su riesgo ante la ocurrencia de fenómenos naturales. En 2012, aunque forma parte de la nomenclatura del programa, el PRAH omitió el término “asentamientos humanos” del Propósito pero no siguió la recomendación de modificar la sintaxis del nivel. Fuera de esta omisión, el Propósito permaneció sin ninguna otra modificación. 66 Recomendó sustituirlo por ““Contribuir a la disminución de los efectos negativos ocasionados por los desastres naturales mediante acciones de prevención y mitigación de riesgos en los municipios del territorio nacional”. 67 Coneval – SHC, Guía para la Construcción de la Matriz de Indicadores para Resultados, 2010. 68 Aunque la evaluación señala que los resultados de ambos estudios no son consistentes. ED-011. pág. 16. 30 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final 4.1.3. Cambios en el Nivel Componentes En el nivel Componentes, que son los bienes y/o servicios que produce o entrega el programa para cumplir con su propósito, la ED-11 valora que los tres componentes cumplen con los criterios establecidos por el CONEVAL. Aunque la evaluación considera que el primer componente de la MIR contribuye a lograr el propósito del PRAH –al identificar los peligros y riesgos, reducir la vulnerabilidad de la población y servir de base para orientar planes de ordenamiento territorial–, advierte que establece un supuesto que es difícil de controlar por parte de la Unidad Responsable de la Operación del Programa (UROP): “Las autoridades locales instrumentan las acciones derivadas de los instrumentos de identificación de riesgo”. Esto es debido a que la aplicación de los resultados depende de las autoridades municipales y de la continuidad que se le dé a las acciones y estudios”.69 En el tercer componente la ED-11 recomendó ampliar sus alcances a fin de incidir de manera más amplia en la realización del propósito. En la MIR 2012, en este componente se sustituyó “acciones para la conservación de sistemas naturales” por “acciones ecológicas con fines preventivos”. Asimismo, todo hace suponer que, por descuido, se omitió la palabra “realizadas”, conjugación en verbo participio necesaria para una adecuada sintaxis del nivel, según lo establecen los lineamientos de la SHCP y Coneval. 4.1.4. Cambios en el Nivel Actividades Pese a que las Actividades fueron valoradas como claras en su redacción, ordenadas de manera cronológica, con sintaxis correcta y necesaria para contribuir al logro de los Componentes, la ED-11 señaló que el PRAH “requiere especificar actividades adicionales para garantizar un mejor cumplimiento de los objetivos a ese nivel”.70 Esta recomendación fue retomada por el programa parcialmente, ya que sólo la segunda actividad fue fraccionada en tres distintos procesos. En la primera actividad se dejó de considerar la simple asignación de recursos a los ejecutores para dividirlo en varios procesos; la segunda actividad cambio su númeración y se incorporó la especificación que era “para desincentivar la ocupación del suelo en zonas de riesgo”; mientras que a la tercera actividad, que monitorea el seguimiento de avance en gabinete y campo, se le incorporó en 2012 la descripción que era en “obras para la reducción y mitigación de riesgos” y se renumero, y también se incorporo como actividad la verificación de proyectos ecológicos con fines preventivos 69 70 Ibíd., pág. 15. Ibíd., pág. 14. 31 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final 4.2. Valoración de la pertinencia y congruencia Resumen Narrativo de la MIR A continuación se efectúa una valoración en términos de la pertinencia y congruencia del Resumen Narrativo de todos los niveles de la versión vigente de la MIR del PRAH. Para facilitar al lector la comprensión del análisis, se presenta la tabla 2, que incluye la sintaxis esperada, la valoración del equipo evaluador y los cuatro niveles desglosados de la MIR. Tabla 2. Análisis de sintaxis y valoración del resumen narrativo de la MIR del PRAH 2012 Fin El qué: contribuir a un objetivo superior Contribuir al fortalecimiento de las capacidades de los municipios en materia de prevención de riesgos, Propósito Sujeto: Población o área de enfoque Mediante / a través de El cómo: la solución del problema a través de las obras y acciones que reduzcan la vulnerabilidad de la población ante el impacto de fenómenos naturales Verbo en presente Complemento: resultado logrado Componentes Adecuado Valoración Inadecuado Riesgo de ocurrencia de desastres ante el impacto de fenómenos naturales reducido mediante acciones y obras de prevención y mitigación Verbo en participio pasado Productos terminados o servicios proporcionados No sé especifica la población o área de enfoque Valoración Acciones para desincentivar la ocupación de suelo en zonas de riesgo realizadas. realizadas. Inadecuado Obras y acciones para la reducción y mitigación de riesgos realizadas Debe incorporarse al tercer componente el verbo en participio pasado Complemento Valoración Acciones ecológicas con fines preventivos Sustantivo derivado de un verbo Actividades Valoración Recepción de proyectos, análisis y validación normativa y técnica, de acciones para desincentivar la ocupación del suelo en zonas de riesgo Asignación de recursos a los ejecutores para la realización de los proyectos autorizados Supervisión y seguimiento de acciones para desincentivar la ocupación del suelo en zonas de riesgo Verificación de proyectos ecológicos con fines preventivos Seguimiento de avance en gabinete y campo de obras para la reducción y mitigación de riesgos Insuficientes Adecuado en sintaxis pero se requieren actividades adicionales que garanticen la consecución de los componentes Fuente: Elaboración propia con base en la MIR del PRAH. El nivel Fin tiene una sintaxis correcta definiendo cómo espera contribuir al objetivo superior, en este caso, contribuir al fortalecimiento de las capacidades de los municipios en materia de prevención de riesgos, describiendo la solución del problema propuesto que es conseguir que las obras y acciones reduzcan la vulnerabilidad de la población ante el impacto de fenómenos naturales. Aunque la redacción del nivel resulta idónea, a fin de poder alinear al PRAH con la definición de medición de la pobreza se propone incorporar 32 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final que las acciones del programa están orientadas a incidir en el mejoramiento del contexto territorial.71 La redacción del Propósito es inadecuada ya que no cumple con los criterios establecidos por la normativa oficial72 al no delimitar la población o área de enfoque del programa, es necesario que este criterio se cumpla para tener una sintaxis correcta del resumen narrativo y poder validar la lógica vertical de la MIR. Se recomienda sustituir por: “Municipios susceptibles al efecto destructivo de fenómenos naturales reducen el impacto derivado de la ocurrencia de desastres naturales”.73 En el nivel de Componentes, ya que el programa no construye sino efectua el financiamiento de infraestructura para la reducción y mitigación de riesgos, se suguiere especificarlo en el resumen narrativo para brindar una idea más clara de la labor del PRAH al público general.74 En el segundo Componente se recomienda especificar “obras y acciones” y que se sustituya por “obras de estabilización, tratamiento, construcción y acciones para la reducción y mitigación de riesgos, realizadas“. La redacción del tercer componente no es correcta porque la metodológica de la MIR establece que la sintaxis debe terminar con un verbo en participio pasado, situación que sí ocurría en la MIR anterior del programa, por lo que se recomienda su reincorporación. Aunque la sintaxis de todas las actividades de la MIR es adecuada, se requieren incorporar actividades adicionales que reflejen las principales acciones emprendidas mediante las cuales se movilizan los insumos para generar los bienes y/o servicios que produce el PRAH. Su ausencia imposibilita validar la lógica vertical del resumen narrativo de la MIR del Programa. Se recomienda retomar la propuesta de la ED-11 sobre que todos los Componentes cuenten con las siguientes actividades que reflejan el proceso y la mecánica de operación del Programa (adaptadas para el sentido de cada Componente): Recepción y aprobación (los proyectos cumplen con la normatividad técnica y administrativa). Asignación de recursos (se establece el mecanismo para asignar los recursos y darles seguimiento). Seguimiento y supervisión (se verifica que las obras y acciones transcurran conforme a lo planeado). Conclusión y acta-entrega de resultados (se corrobora que los proyectos, obras y acciones se hayan finiquitado conforme a los objetivos planteados).75 71 La redacción del nivel quedaría como: Contribuir al fortalecimiento de los municipios en materia de prevención de riegos para incidir en el mejoramiento del contexto territorial, a través de acciones que reduzcan el impacto de fenómenos naturales. 72 Coneval – SHCP, ídem. 73 Puede omitirse “mediante acciones y obras de prevención y mitigación”, ya que esos son los componentes que están descritos en su respectivo nivel. 74 Sustituir “realizadas” por “financiadas”. 75 Ibíd., pág. 27. 33 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final En la primera actividad, respecto a la MIR anterior, se dejó de considerar la simple asignación de recursos a los ejecutores para dividirlo en varios procesos pero, erróneamente, de nuevo fueron englobados en una sola actividad sin indicadores que los monitoreasen. Aunque se fraccionó la segunda actividad, ésta no guarda congruencia para el cumplimiento del segundo Componente (el último proceso dividido pertenece no al segundo sino al tercer componente, ya que hace referencia a verificación de proyectos ecológicos). 4.3. Valoración de los indicadores de la MIR 4.3.1. Cambios en los indicadores En esta sección se efectúa la valoración, en términos de pertinencia y suficiencia, de los indicadores de los cuatro niveles para contribuir al objetivo del PRAH, de acuerdo con lo plasmado en la versión vigente de su MIR. En la tabla 3 se enumera el listado de indicadores que han aparecido en la MIR del programa durante sus dos años de operación. En la actualidad, a nivel Fin se emplea un solo indicador que monitorea el objetivo general del programa y que cumple con los criterios mínimos establecidos. El indicador del nivel Fin, que se empleó el ejercicio fiscal 2011, resultaba inadecuado porque se requerían grupos especializados en la evaluación de riesgos naturales para valorar la influencia en la disminución del índice de riesgo global con la intervención del tipo de apoyos que otorga el PRAH, lo cual dificultaba su monitoreo e implicaba un costo adicional para el programa. Los dos indicadores del nivel Propósito utilizados en 2011 fueron omitidos de la MIR del PRAH por su limitado valor estadístico. El P1, como señaló la ED-11, muestra “el número de proyectos realizados con respecto a los propuestos, lo cual indica qué tanto hubo demanda del servicio, pero no es relevante a este nivel de objetivos” y “no es adecuado para estimar el desempeño del objetivo a este nivel”.76 El P2, aunque fue valorado adecuadamente por la ED-11, por su limitado carácter descriptivo no resulta ni adecuado ni relevante para este nivel. Por ello, fue omitido y sustituido por un nuevo indicador (P3) que monitorea el porcentaje de municipios de alto y muy alto riesgo que cuentan con atlas actualizado en al menos tres años. Ya que no es el único tipo de apoyo efectuado en esta vertiente del PRAH, el equipo meta-evaluador recomienda también incorporar indicadores que supervisen los estudios y la elaboración y/o actualización de reglamentos de construcción financiados con recursos del programa.77 El indicador P4 está dirigido a cuantificar los municipios que realizan obras y acciones derivadas de un estudio de riesgos. Es necesario, además de identificar dónde se realizan las intervenciones, documentar en qué consistieron. Por ello, como se desarrollará en la siguiente sección, el equipo metaevaluador recomienda incorporar indicadores para monitorear los cursos, talleres y estrategias de difusión de educación y sensibilización para la prevención de desastres dirigidos a autoridades locales y la población que fueron realizados durante cada ejercicio fiscal. 76 77 Ibíd., pág. 19. Véase en la sección 4.3.2. Validación de los indicadores vigentes de la MIR, las Tabla 7 34 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Tabla 3. Variación en los indicadores de la MIR, 2011-2012 Nivel # 2 Validación 2011 2012 Inicia Omitido C 1 R E M A √ √ X √ X F1 Municipios de alto y muy alto riesgo que han disminuido su índice de riesgo global. F2 Porcentaje de municipios de alto y muy alto riesgo que fortalecen su capacidad de prevención y reducción de riesgos. P1 Porcentaje de obras y acciones de prevención de riesgos realizadas en municipios de alto y muy alto riesgo global. Inicia Omitido √ X √ √ X P2 Porcentaje de municipios de alto y muy alto riesgo global atendidos. Inicia Omitido √ X √ √ X P3 Porcentaje de municipios de alto y muy alto riesgo que cuentan con atlas actualizado en al menos tres años Inicia √ √ √ √ √ P4 Porcentaje de municipios que realizan obras y acciones derivadas de un estudio de riesgos Inicia √ √ √ √ √ CI Número de acciones realizadas para desincentivar la ocupación de suelo en zonas de riesgo Inicia Continua X ~ √ √ ~ C2 Número de obras y acciones para la reducción y mitigación de riesgos realizadas Inicia Continua X ~ √ √ ~ C3 Número de acciones realizadas para la conservación de sistemas naturales Inicia Continua X ~ √ √ ~ C4 Municipios prioritarios que llevan a cabo acciones de gestión integral de riesgo de desastre A1 Porcentaje de proyectos para desincentivar la ocupación de suelo en zonas de riesgo, en municipios de alto y muy alto riesgo, validados con respecto al total de municipios de alto y muy alto riesgo 2 A2 Fin Propósito Componentes Actividades 1 Año Indicador Inicia √ √ √ √ √ Inicia √ √ √ √ √ Inicia Modificado √ √ √ √ √ Porcentaje de proyectos para la conservación de sistemas naturales validados con respecto a los recibidos Inicia Omitido √ √ √ √ √ A3 Porcentaje de proyectos para la reducción y mitigación de riesgos validados con respecto a los recibidos Inicia Omitido √ √ √ √ √ A4 Porcentaje de presupuesto ejercido en obras y acciones para la reducción y mitigación de riesgos respecto al presupuesto total anual del PRAH destinado a obras y acciones para la reducción y mitigación de riesgos Inicia Omitido √ A5 Acciones de supervisión y seguimiento de proyectos, para desincentivar la ocupación de suelo en zonas de riesgo Inicia Modificado √ √ √ √ √ A6 Acciones de verificación de proyectos ecológicos con fines preventivos Inicia Modificado √ √ √ √ √ A7 Acciones de seguimiento de avance en gabinete y campo de obras para la reducción y mitigación de riesgos Inicia Modificado √ √ √ √ √ X √ √ √ C: Claro; R: Relevante; E: Económico; M: Monitoreable y A: Adecuado. Antes: Porcentaje de proyectos para desincentivar la ocupación de suelo en zonas de riesgo validados con respecto a los recibidos 3 Antes: Acciones de supervisión y seguimiento realizadas 4 Antes: Acciones de verificación de áreas reforestadas realizadas 5 Antes: Acciones de seguimiento de avance en gabinete y campo realizadas Fuente: Matriz de Indicadores de Resultados del Programa de rescate de espacios públicos 2008-2012 35 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final A nivel de componentes, el PRAH actualmente incorpora tres indicadores dentro de su MIR; en 2012 en el C4 se sustituyó “acciones realizadas para la conservación de sistemas naturales” por “acciones de gestión integral de riesgo de desastre”, además de identificar que esto se efectúa en “municipios prioritarios”. Dentro del recuento histórico, respecto al año anterior, se omitieron tres de las siete actividades de la MIR. Fueron omitidas las A2 y A3 referentes a la validación de proyectos, mientras que el A4 correctamente fue eliminado, ya que los lineamientos del CONEVAL y SHCP establecen no incluir indicadores de presupuesto. 4.3.2. Validación de los indicadores vigentes de la MIR En las tablas 4 y 5 se presentan las características (nombre, descripción y método de cálculo) de los indicadores vigentes de los niveles Fin, Propósito y Componentes de la MIR, así como su valoración con base en la metodología del marco lógico y los criterios para elección de indicadores C.R.E.M.A. Por su parte, la tabla 6, al ser del nivel de actividades, por sus sencillas características, sólo incluye la valoración. Los dos indicadores del nivel Propósito no resultan suficientes para la validación de la lógica vertical, ya que el tercer tipo de apoyo del PRAH, establecido en las reglas de operación del programa (RO), no está siendo reflejado en la MIR. Es necesario incorporar todas las vertientes de apoyos establecidos en la RO que han sido omitidas, dado que actualmente en la MIR del PRAH no es posible garantizar el monitoreo del impacto o hasta su propia consecución; por ello, el equipo metaevaluador recomienda incorporar indicadores que anualmente identifiquen:78 La cantidad de estudios hidrometeorológico o geológico financiados. Reglamentos de construcción79 que fueron elaborados y/o actualizados Cursos, talleres y estrategias de difusión de educación y sensibilización para la prevención de desastres dirigidos hacia autoridades locales y la población en general que fueron efectuados. Terrazas naturales construidas. Hectáreas reforestadas. Barreras de árboles construidas. Para dimensionar el alcance de las acciones,80 en el nivel de Propósito se recomienda adicionar a la MIR el porcentaje de municipios de alto y muy alto riesgo que efectuaron alguna vertiente de apoyo. Bajo la misma tesitura, el equipo metaevaluador recomienda incorporar indicadores en el nivel de Componentes que garanticen los bienes y servicios que produce el programa y, según las posibilidades presupuestarias, se establezcan metas de alcance en cada ejercicio fiscal.81 78 Véase la Tabla 7. Que promuevan la prevención de desastres a través de establecer la tipología y técnica constructiva de acuerdo con el peligro o riesgo de la zona. 80 Los indicadores pueden establecerse con una medición anual o de forma acumulativa en un periodo de tiempo establecido por el programa (ante el cambio de administración se podría aprovechar el momento histórico para establecer metas de alcance sexenal). 81 Véase la Tabla 8. 79 36 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Tabla 4. Validación de los indicadores vigentes del Fin y Propósito de la MIR Características Nivel Nombre Descripción Fin Porcentaje de municipios de alto (MA) y muy alto (MMA) riesgo que fortalecen su capacidad de prevención y reducción de riesgos. Claro Relevante √ √ Se establece sin ambigüedades lo que pretende medir. El método de cálculo es simple y no se presta a confusiones. Contribuye a mediano plazo al logro de un objetivo del desarrollo nacional El porcentaje de MA y MMA riesgo que fortalecen su capacidad de prevención y reducción de riesgos, en un periodo de dos años, a través de la realización de obras y acciones, de acuerdo a los criterios establecidos por el Programa. Económico Adecuado √ √ √ Sólo depende de datos recabados por la Dirección General Adjunta de Prevención y Atención a Desastres a través de la base de datos del SIIPSO y el listado de municipios con riesgo Tiene condiciones técnicas que le permiten ser monitoreado por el programa. Tiene una definición concreta y no presenta complicaciones para estimar el desempeño del programa. Nombre Descripción Porcentaje de MA y MMA riesgo que cuentan con atlas actualizado en al menos tres años Propósito Monitoreable Método de cálculo Número de MA y MMA riesgo que fortalecen su capacidad en prevención y reducción de riesgos/ Total de MA y MMA riesgo)*100 Se refiere aquellos municipios señalados en el Anexo IV de las Reglas de Operación (RO) de 2012, que cuentan con atlas actualizado, es decir, que su atlas no tenga una fecha de creación o actualización, anterior a tres años. Método de cálculo Número de MA y MMA riesgo que cuentan con atlas actualizado en al menos tres años/ Total de MA y MMA riesgo)*100 Claro Relevante Económico Monitoreable √ √ √ √ √ Se requiere la información disponible en la base de datos generada por la DGDT y la base de datos del SIIPSO. Tiene condiciones técnicas que le permiten ser monitoreado por el programa. El indicador es adecuado ya que tiene una definición concreta y no presenta complicaciones para estimar el desempeño del programa. Se establece sin ambigüedades lo que pretende medir. El método de cálculo es simple y no se presta a confusiones. Muestra el resultado directo a ser logrado en el área de enfoque por la operación del programa Nombre Descripción Porcentaje de municipios que realizan obras y acciones derivadas de un estudio de riesgos Porcentaje de municipios que han realizado obras y acciones de prevención y mitigación derivadas en un atlas de riesgos o de peligros, sin importar si son de alto y muy alto riesgo. Las obras y acciones, son las que se señalan en el cuadro 4, inciso b de las RO para 2012. Adecuado Método de cálculo (Municipios que realizaron obras y acciones de prevención y mitigación, derivadas de un estudio de riesgos/ Total de municipios que elaboraron estudios de riesgos en el año anterior)*100. Claro Relevante Económico Monitoreable √ √ √ √ √ Se requiere la información disponible en la base de datos generada por la DGDT y la base de datos del SIIPSO. Tiene condiciones técnicas que le permiten ser monitoreado por el programa. El indicador es adecuado ya que tiene una definición concreta y no presenta complicaciones para estimar el desempeño del programa. Se establece sin ambigüedades lo que pretende medir. El método de cálculo es simple y no se presta a confusiones. Muestra el resultado directo a ser logrado en el área de enfoque por la operación del programa Fuente: Elaboración propia con base en la MIR 2012 del PRAH. 37 Adecuado Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Tabla 5. Validación de los indicadores vigentes del nivel Componentes de la MIR Características Nivel Nombre Descripción Número de acciones realizadas para desincentivar la ocupación de suelo en zonas de riesgo Claro Relevante Económico ~ √ √ Sólo depende de datos recabados en la base de datos generada por la DGDT Tiene condiciones técnicas que le permiten ser monitoreado por el programa. Nombre Descripción Número de obras y acciones para la reducción y mitigación de riesgos realizadas Componentes Monitoreable Al ser tan general, no especifica cada uno de los bienes y servicios que entrega el PRAH para cumplir con el propósito. Funcionaría desagregado X Es ambiguo al no especificar cada uno de los distintos tipos de acciones que contempla el programa para este tipo de apoyo. La cantidad de acciones realizadas para desincentivar la ocupación de suelo en zonas de riesgo, que se señalan en el Cuadro 4, inciso a, de las RO para 2012 y que los municipios llevaran a cabo. Claro Se refiere al número de obras y acciones que son apoyadas por el PRAH, cuyo propósito es contribuir a reducir y mitigar el riesgo de desastre, ante el impacto de fenómenos naturales, que se señalan en el Cuadro 4, inciso b, de las RO de 2012. Relevante Económico Monitoreable X ~ √ √ Es ambiguo al no diferenciar entre obras de prevención y mitigación y la vertiente de cursos, talleres y estrategias de difusión Al ser tan general, no especifica cada uno de los bienes y servicios que entrega el PRAH para cumplir con el propósito. Funcionaría desagregado Sólo depende de datos recabados en la base de datos generada por la DGDT Tiene condiciones técnicas que le permiten ser monitoreado por el programa. Nombre Descripción Municipios prioritarios que llevan a cabo acciones de gestión integral de riesgo de desastre Muestra el porcentaje de municipios que han sido apoyados con proyectos de Gestión Integral de Riesgos de Desastre Adecuado ~ Por abarcar todas las acciones resulta abstracto para estimar el desempeño del programa. Funcionaría desagregado Método de cálculo Número de obras y acciones para la reducción y mitigación de riesgos realizadas Adecuado ~ Por abarcar obras y acciones resulta abstracto para estimar el desempeño del programa. Funcionaría desagregado Método de cálculo (Municipios prioritarios que llevan a cabo acciones de gestión integral de riesgo de desastre/municipios que firmaron acuerdo de coordinación)*100 Adecuado Claro Relevante Económico √ √ √ √ √ Se establece sin ambigüedades lo que pretende medir. El método de cálculo es simple y no se presta a confusiones. Muestra el resultado directo a ser logrado en el área de enfoque por la operación del programa Se requiere la información disponible en la base de datos del SIIPSO y del Programa Hábitat Tiene condiciones técnicas que le permiten ser monitoreado por el programa. El indicador es adecuado ya que tiene una definición concreta y no presenta complicaciones para estimar el desempeño del programa. Fuente: Elaboración propia con base en la MIR 2012 del PRAH. 38 Monitoreable Método de cálculo Número de acciones realizadas para desincentivar la ocupación de suelo en zonas de riesgo Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Tabla 6. Validación de los indicadores vigentes del nivel Actividades de la MIR Nivel Nombre Porcentaje de proyectos para desincentivar la ocupación de suelo en zonas de riesgo, en municipios de alto y muy alto riesgo, validados con respecto al total de municipios de alto y muy alto riesgo 2 Valoración Claro √ Se establece sin ambigüedades lo que pretende medir. El método de cálculo es simple y no se presta a confusiones. Actividades √ Acciones de supervisión y seguimiento de proyectos, para desincentivar la ocupación de suelo en zonas de riesgo Se establece sin ambigüedades lo que pretende medir. El método de cálculo es simple y no se presta a confusiones. √ Acciones de verificación de proyectos ecológicos con fines preventivos Se establece sin ambigüedades lo que pretende medir. El método de cálculo es simple y no se presta a confusiones. √ Acciones de seguimiento de avance en gabinete y campo de obras para la reducción y mitigación de riesgos Se establece sin ambigüedades lo que pretende medir. El método de cálculo es simple y no se presta a confusiones. Relevante Económico √ √ Muestra la acción emprendida mediante la cual se movilizan los insumos para generar los componentes del PRAH. √ Se requiere la información disponible en la base de datos generada por la DGDT √ Muestra la acción emprendida mediante la cual se movilizan los insumos para generar los componentes del PRAH. √ Se requiere la información disponible en la base de datos generada por la DGDT √ Muestra la acción emprendida mediante la cual se movilizan los insumos para generar los componentes del PRAH. √ Se requiere la información disponible en la base de datos generada por la DGDT √ Muestra la acción emprendida mediante la cual se movilizan los insumos para generar los componentes del PRAH. Fuente: Elaboración propia con base en la MIR 2012 del PRAH. 39 Se requiere la información disponible en el reporte de supervisión de la Dirección General Adjunta de Prevención y Atención a Desastres Naturales Monitoreable Adecuado √ √ Tiene condiciones técnicas que le permiten ser monitoreado por el programa. El indicador es adecuado ya que tiene una definición concreta y no presenta complicaciones para estimar la movilización de los insumos. √ √ Tiene condiciones técnicas que le permiten ser monitoreado por el programa. El indicador es adecuado ya que tiene una definición concreta y no presenta complicaciones para estimar la movilización de los insumos. √ √ Tiene condiciones técnicas que le permiten ser monitoreado por el programa. El indicador es adecuado ya que tiene una definición concreta y no presenta complicaciones para estimar la movilización de los insumos. √ √ Tiene condiciones técnicas que le permiten ser monitoreado por el programa. El indicador es adecuado ya que tiene una definición concreta y no presenta complicaciones para estimar la movilización de los insumos. Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Tabla 7. Propuesta de indicadores para modificar o incluir en el nivel de Propósito de la MIR Definición Método de cálculo Frecuencia de medición Porcentaje de municipios de alto y muy alto riesgo que han financiado estudios hidrometeorológicos o geológicos Establece qué porcentaje de municipios de alto y muy alto riesgo han elaborado estudios hidrometeorológicos o geológicos con recursos del PRAH ((Municipios de alto y muy alto riesgo con estudios hidrometeorológicos o geológicos) / (Total de municipios de alto y muy alto riesgo)) x 100 Anual Base de datos generada por la DGDT Porcentaje de municipios de alto y muy alto riesgo que han elaborado y/o actualizado reglamentos de construcción Determina qué porcentaje de municipios de alto y muy alto riesgo han elaborado y/o actualizado reglamentos de construcción con recursos del PRAH ((Municipios de alto y muy alto riesgo con reglamentos de construcción elaborados y/o actualizados) / (Total de municipios de alto y muy alto riesgo)) x 100 Anual Base de datos generada por la DGDT Porcentaje de municipios de alto y muy alto riesgo que han efectuado cursos, talleres y estrategias de difusión de educación y sensibilización impartidos Indica el porcentaje de municipios de alto y muy alto riesgo que efectuaron cursos, talleres y estrategias de difusión de educación y sensibilización para la prevención de desastres dirigidos a autoridades locales y la población ((Municipios de alto y muy alto riesgo que efectuaron cursos, talleres y estrategias de difusión de educación y sensibilización) / (Total de municipios de alto y muy alto riesgo)) x 100 Anual Base de datos generada por la DGDT Porcentaje de municipios de alto y muy alto riesgo que han construido terrazas naturales Señala el porcentaje de municipios de alto y muy alto riesgo que han construido terrazas naturales con recursos del PRAH ((Municipios de alto y muy alto riesgo que construyeron terrazas naturales) / (Total de municipios de alto y muy alto riesgo)) x 100 Anual Base de datos generada por la DGDT Porcentaje de municipios de alto y muy alto riesgo que han reforestado hectáreas Establece qué porcentaje de municipios de alto y muy alto riesgo han reforestado hectáreas anualmente con recursos del PRAH ((Municipios de alto y muy alto riesgo con hectáreas reforestadas) / (Total de municipios de alto y muy alto riesgo)) x 100 Anual Base de datos generada por la DGDT Porcentaje de municipios de alto y muy alto riesgo que han construido barreras de árboles Determina qué porcentaje de municipios de alto y muy alto riesgo han construido barreras de árboles con recursos del PRAH ((Municipios de alto y muy alto riesgo que han construido barreras de árboles) / (Total de municipios de alto y muy alto riesgo)) x 100 Anual Base de datos generada por la DGDT Porcentaje de población reubicada derivado de la elaboración de un atlas de riesgo Dimenciona como los atlas financiados con recursos del programa han ayudado a reubicar a la población en zonas de riesgo ((Población reubicada derivado de la elaboración de un atlas de riesgo/ Total de población atendida por el PRAH)) x 100 Anual Base de datos generada por la DGDT Nombre Nota: El sentido esperado de todos los indicadores propuestos es ascendente. Fuente: Elaboración propia con base en los tipos de apoyos establecidos en las ROP 2012 del PRAH. 40 Medios de verificación Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Tabla 8. Propuesta de indicadores para modificar o incluir en el nivel de Componentes de la MIR Definición Método de cálculo Frecuencia de medición Estudios hidrometeorológico o geológico financiados La cantidad de estudios hidrometeorológico o geológico que fueron financiados anualmente con recursos del PRAH ((Número de estudios hidrometeorológicos o geológicos financiados) / (Total de estudios hidrometeorológicos o geológicos aprobados)) x100 Semestral Base de datos generada por la DGDT Reglamentos de construcción elaborados y/o actualizados Los reglamentos de construcción que fueron elaborados y/o actualizados anualmente con recursos del PRAH ((Número de reglamentos de construcción elaborados y/o actualizados) / (Total de reglamentos de construcción aprobados)) x 100 Semestral Base de datos generada por la DGDT Cursos, talleres y estrategias de difusión de educación y sensibilización impartidos Los cursos, talleres y estrategias de difusión de educación y sensibilización para la prevención de desastres dirigidos a autoridades locales y la población que fueron efectuados anualmente ((Número de cursos, talleres y estrategias de difusión de educación y sensibilización efectuados) / (Total de cursos, talleres y estrategias de difusión de educación y sensibilización aprobados)) x 100 Semestral Base de datos generada por la DGDT Obras de construcción, ampliación de drenaje pluvial y sanitario construidas Supervisa el avance de la construcción, ampliación de drenaje pluvial y sanitario aprobados ((Número de obras de construcción, ampliación de drenaje pluvial y sanitario construidas) / (Total de obras de construcción, ampliación de drenaje pluvial y sanitario aprobadas)) x100 Semestral Base de datos generada por la DGDT Terrazas naturales construidas Las terrazas naturales construidas anualmente con recursos del PRAH ((Número de terrazas naturales construidas) / (Total de terrazas naturales aprobadas)) x100 Semestral Base de datos generada por la DGDT Hectáreas reforestadas Las hectáreas reforestadas anualmente con recursos del PRAH ((Número de hectáreas reforestadas) / (Total de hectáreas aprobadas)) x100 Semestral Base de datos generada por la DGDT Barreras de árboles construidas Las barreras de árboles construidas anualmente con recursos del PRAH ((Número de barreras de árboles construidas) / (Total de barreras de árboles aprobadas)) x100 Semestral Base de datos generada por la DGDT Nombre Nota: El sentido esperado de todos los indicadores propuestos es ascendente. Fuente: Elaboración propia con base en los tipos de apoyos establecidos en las ROP 2012 del PRAH . 41 Medios de verificación Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final A nivel de Componentes la conglomeración de acciones, en los distintos tipos de apoyos que comprende el programa, no sólo resulta confusa sino que imposibilita un adecuado monitoreo, por lo que el equipo metaevaluador recomienda desagregarlos en cada uno de los bienes y/o servicios proporcionados por el PRAH. Adicionalmente, en el indicador C1 se sugiere modificar “número” por “porcentaje”. Si bien en las actividades sólo deben incluirse las labores imprescindibles y más relevantes para la generación de los componentes, las actuales desarrolladas en la MIR resultan insuficientes, por lo que se recomienda incorporar actividades compartidas que estén ordenadas cronológicamente para cada componente, y evidencien cómo se movilizan los insumos para generar los bienes y/o servicios generados. Los indicadores de la MIR del PRAH tienen una dimensión de eficacia al monitorear el nivel de cumplimiento de los objetivos; sin embargo, como lo establece el lineamiento oficial, es necesario incorporar indicadores de calidad para evaluar atributos de los bienes o servicios producidos por el programa respecto a normas o referencias externas. Para ello, se tendrían que establecer indicadores cuyo medio de verificación serán evaluaciones externas con una temporalidad de medición de 2 a 3 años y, dado su costo económico, priorizando las vertientes a las que el programa destine mayor cantidad de recursos y/o tenga mayor incertidumbre de la calidad de los bienes o servicios producidos. Retomando los tres tipos de apoyos establecidos en las RO del PRAH, evaluadores externos podrían validar que la totalidad de los Atlas de riesgo y/o peligros se apegen a lo establecido por la normativad oficial; 82 validar la hipotesis que, efectivamente, los cursos y talleres financiados con recursos del PRAH están educando y sensibilizando adecuadamente a las autoridades locales para la prevención de desastres, y supervisar que las acciones ecológicas con fines preventivos se efectuaron correctamente permitiendo evitar la erosión de las laderas y con ello su deslizamiento. Lo anterior se puede englobar en una evaluación complementaria de resultados.83 Dadas las características de los actuales indicadores y la carencia de los mismos, no puede validarse la lógica horizontal de la MIR del PRAH, por lo que se incita a efectuar los cambios sugeridos por el equipo metaevaluador. 82 Bases para la Estandarización en la Elaboración de Atlas de Riesgos y Catálogo de Datos Geográficos para Representar el Riesgo 2012, Sedesol. Archivo PDF: http://www.sedesol2009.sedesol.gob.mx/archivos/802075/file/bases_para_la_elaboracion_atlas_riesgos.pdf 83 Véase la Tabla 9. 42 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Tabla 9. Propuesta de indicadores adicionales de calidad para el PRAH Nombre Método de cálculo Frecuencia Medios de de medición verificación Porcentaje de Atlas de riesgo y/o peligros validados ((Atlas de riesgo y/o peligros validados por comité de expertos) / (Total de Atlas de riesgo y/o peligros financiados por el programa) x 100 Dos años 1 Evaluación externa Porcentaje de autoridades locales que incrementaron sus conocimientos en prevención de desastres ((Autoridades locales seleccionadas en la muestra que incrementaron sus conocimientos en prevención de desastres) / (Total de autoridades locales seleccionadas en la muestra) x 100 Dos años Evaluación externa Porcentaje de acciones ecológicas con fines preventivos eficientes ((Acciones ecológicas seleccionadas en la muestra que evitan la erosión de las laderas) / (Total de acciones ecológicas seleccionadas en la muestra) x 100 Dos años Evaluación externa 1 La temporalidad debe ser establecida por el programa según la viabilidad de su financiamiento Fuente: Elaboración propia. 4.4. Aspectos Susceptibles de Mejora vinculados con el monitoreo de PRAH De las dos evaluaciones efectuadas al PRAH, sólo se ha determinado un aspecto susceptible de mejora (ASM) vinculado con el monitoreo del programa. La Evaluación de Diseño hizo la recomendación general de “analizar la MIR derivada de la revisión de los documentos normativos”; para solventarlo, aunque actualmente se registra un avance del cero por ciento por el periodo en que se efectúa, la DGEMPS se comprometió a desarrollar mejoras y registrarlas en la siguiente MIR. Aún no se publican documentos oficiales que corroboren estas modificaciones; sin embargo, el equipo evaluador ha tenido acceso a documentos de trabajo de la MIR para incorporar cambios en el siguiente ejercicio fiscal que comprueban que esta labor ha ido avanzando. 4.5. Recomendaciones La MIR del PRAH presenta deficiencias u omiciones que imposibilitan la validación tanto de su lógica horizontal como vertical. La redacción del Propósito es inadecuada ya que no cumple con los criterios establecidos por la normativa oficial al no delimitar la población o área de enfoque del programa; asimismo, la redacción del tercer componente no es correcta porque debe terminar con un verbo en participio pasado. Es necesario que estos criterios se cumplan para tener una sintaxis correcta del resumen narrativo. También es necesario incorporar actividades adicionales que reflejen las principales acciones emprendidas mediante las cuales se 43 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final movilizan los insumos para generar los bienes y/o servicios que produce el PRAH. Su ausencia imposibilita validar la lógica vertical del resumen narrativo de la MIR del Programa. Por ello, se reitera la recomendación de retomar la propuesta de la ED-11 sobre que todos los Componentes cuenten con las siguientes actividades que reflejan el proceso y la mecánica de operación del Programa (adaptadas para el sentido de cada Componente). Complementariamente, aunque la redacción del nivel Fin resulta idónea, a fin de poder alinear al PRAH con la definición de medición de la pobreza, se propone incorporar que las acciones del programa están orientadas a incidir en el mejoramiento del contexto territorial. En lo que respecta a los indicadores, es necesario incorporar todas las vertientes de apoyos establecidos en la RO que han sido omitidas en la MIR del PRAH, dado que no es posible garantizar el monitoreo del impacto o hasta su propia consecución; por ello, en el nivel de Propósito se propone determinar el porcentaje de municipios de alto y muy alto riesgo que efectuaron alguna vertiente de apoyo. Bajo la misma tesitura, se recomienda incorporar indicadores en el nivel de Componentes que garanticen los bienes y servicios que produce el programa y, según las posibilidades presupuestarias, se establezcan metas de alcance en cada ejercicio fiscal. Por último, se recomienda incorporar tres indicadores de calidad (véase tabla 6) con una temporaridad bianual cuya información sea recolectada mediante una evaluación complementaria de resultados. 44 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Conclusiones es un programa de reciente creación cuyos mecanismos de actuación aún están en proceso de maduración; sin embargo, se anticipa que su carácter preventivo le permitirá constituirse en un programa valioso para mitigar los daños de los desastres naturales, así como para orientar el desarrollo urbano y el ordenamiento territorial. La continuidad y fortalecimiento de los apoyos otorgados por el programa son indispensables como parte de una estrategia nacional de desarrollo. PRAH La Evaluación de Diseño 2011, única realizada hasta ahora al PRAH por su reciente creación, da cuenta del aprendizaje que con otros programas ha logrdo Sedesol. En particular es de destacar la existencia de un Diagnóstico que detalla la situación problemática que se busca atender, aun y cuando se detectan algunas ambiguedades en la identificación de los municipios con mayor exposición a riesgos. En adición a los hallazgos de la evaluación, el análisis de los documentos relacionados con el programa (reglas de operación, diagnóstico, plan estratégico, normatividad, etc.) y la Meta Evaluación 2011-2012 de otros programas de intervención territorial (PREP y Hábitat) permitió identificar aspectos suceptibles de mejora, tanto al interior del programa como en su interacción con otras entidades. Para el equipo meta evaluador es fundamental resaltar, en el contexto de cambio de administración en el gobierno federal, las oportunidades de mejorar el desempeño del programa mediante su coordinación con otros programas; fortalecer la gestión de los apoyos relacionados con la planeación y el monitoreo del desarrollo urbano y el ordenamiento territorial; fortalecer la gestión de los apoyos relacionados con la prevención de desastres naturales; y, desarrollar un enfoque social en los apoyos relacionados con la reforestación. En este sentido, la principal propuesta radica en la realización de una Evaluación Estratégica que determine, a partir del análisis de los tipos de apoyo ofrecidos por diferentes programas, los ámbitos de responsabilidad y los mecanismos de coordinación más convenientes para mejorar la efectividad y eficiencia de los programas e instituciones que inciden en el desarrollo urbano. Destacan en particular las sinergias que se pueden establecer con el CENAPRED y con la SEMARNAT. Exclusivamente en el ámbito de la SDUOT, se considera viable y conveniente robustecer a PRAH para asegurar que los Atlas de Riesgos encuentren continuidad en otros instrumentos de planeación territorial; en particular se recomienda incorporar al programa los apoyos para la elaboración o actualización de planes de desarrollo urbano que actualmente ofrece Hábitat. En sentido similar, se propone que las obras para la prevención de desastres naturales en los Polígonos Hábitat tambien se incorporen a PRAH, de modo que se vean beneficiados de la especialidad del programa. Otro eje de propuestas se asocia también con la posibilidad de mejorar el desempeño del programa mediante su coordinación con otros programas; la oportunidad de prevenir riesgos mediante la adecuada planeación en el ordenamiento del territorio; y la falta de conocimiento sobre las capacidades de gestión de los gobiernos municipales. El equipo meta evaluador considera que la información de los proyectos ejecutados en cada municipio debe ser utilizada para valorar la realización de nuevas obras, por lo que recomienda el desarrollo del “Expediente de Municipio” como herramienta para orientar la elaboración de propuestas y la selección de proyectos. También aprecia la posibilidad de 45 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final mejorar la eficiencia y efectividad del programa mediante la integración de procesos con otros programas. Para la validación de estas propuestas se plantea la realización de una Evaluación de Procesos simultanea para el conjunto de los programas de la SDUOT que dictamine el alcance más conveniente en la homologación de los procesos de selección y supervisión. Para subsanar la insuficiencia que en opinión del equipo evaluador tiene la Evaluación Específica de Desempeño para profundizar en el desempeño del programa, se propone la realización periódica de una Evaluación Complementaria de Distribución de Apoyos, para monitorear la evolución en el tiempo de cada Tipo de Apoyo en términos de su costo, población atendida y distribución geográfica, a efecto de identificar diferencias en los grados de cobertura a nivel local. Se sugiere asimismo desarrollar una Evaluación Complementaria de Resultados que permita validar instrumentos clave en el funcionamiento del Programa, tales como los Atlas de riesgo, así como la eficacia de las acciones ecológicas emprendidas y de los cursos y talleres dirigidos a autoridades locales. Por otra parte, la revisión de programas similares en el ámbito internacional, permitió reafirmar la pertinencia del tipo de apoyos ofrecidos por el programa para la prevención de desastres. Asi mismo, aportó elementos sobre otros mecanismos de actuación que el programa podrá valorar en el futuro. En cuanto la MIR del PRAH, se aprecia que presenta deficiencias u omiciones que imposibilitan la validación tanto de su lógica horizontal como vertical. La redacción del Propósito es inadecuada ya que no cumple con los criterios establecidos por la normativa oficial al no delimitar la población o área de enfoque del programa. También es necesario incorporar actividades adicionales que reflejen las principales acciones emprendidas mediante las cuales se movilizan los insumos para generar los bienes y/o servicios que produce el PRAH. En lo que respecta a los indicadores, es necesario incorporar todas las vertientes de apoyos establecidos en la RO que han sido omitidas en la MIR del PRAH, dado que no es posible garantizar el monitoreo del impacto o hasta su propia consecución; por ello, en el nivel de Propósito se propone determinar el porcentaje de municipios de alto y muy alto riesgo que efectuaron alguna vertiente de apoyo. Bajo la misma tesitura, se recomienda incorporar indicadores en el nivel de Componentes que garanticen los bienes y servicios que produce el programa y, según las posibilidades presupuestarias, se establezcan metas de alcance en cada ejercicio fiscal. También, se recomienda incorporar tres indicadores de calidad con una temporaridad bianual cuya información sea recolectada mediante la Evaluación Complementaria de Resultados antes referida. Finalmente, el equipo meta evaluador agradece a los funcionarios de DGDT y de la DGEMPS el apoyo brindado para la realización de esta Meta-Evaluación 2011-2012. 46 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final Bibliografía Evaluaciones Ingenieros Consultores, S.C. (2011). Evaluación de Diseño del Programa Prevención de Riesgos en los Asentamientos Humanos 2011. ERN Diagnósticos (2010). Diagnóstico nacional de los asentamientos humanos ante el riesgo de desastres. SEDESOL Otros documentos BID. Departamento de Desarrollo Sostenible. División de Medio Ambiente (2005). Indicadores de Riesgo de Desastre y de Gestión de Riesgos. Comunidad Andina-Secretaría General de la Comunidad Andina (2009). Control de inundaciones: Desarrollo urbano de la Ciudad de Babahoyo. Serie: Experiencias significativas de desarrollo local frente a los riesgos de desastres. Proyecto Apoyo a la Prevención de Desastres en la Comunidad Andina-PREDECAN. D.O.F. (2010). Acuerdo por el que se establecen las Reglas de Operación del Fondo para la Prevención de Desastres Naturales. Mansilla, Elizabeth, et al. (2009). Diagnóstico Nacional de los Asentamientos Humanos ante el riesgo de Desastres. Elaborado para la Sedesol. Reinoso Angulo, Eduardo (2009). Estudio para la Elaboración del Índice de Riesgo de las Ciudades del Sistema Urbano Nacional con Mayor Recurrencia a Desastres. Elaborado para la Sedesol, Instituto de Ingeniería. (2012). Programa 21: Capítulo 7. Fomento del Desarrollo Sostenible de los Recursos Humanos. ONU ONU-BID-CEPAL (2007). Información para le Gestión del Riesgo de Desastres. Estudios de caso de cinco países. Secretaría General de la Comunidad Andina (2009) Control de Inundaciones. Desarrollo Urbano de la Ciudad de Babahoyo, Ecuador. Serie: Experiencias Significativas de Desarrollo Local Frente a los Riesgos de Desastres. SEDESOL. Ecos del Desarrollo Urbano (2009). Criterios para la Incorporación de las Zonas de Riesgos a los Programas de Desarrollo Urbano. ______ (2010). La Ciudad y los Desastres. 47 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final ______. Ecos del Desarrollo Urbano (2011). Propuesta para Mitigar Riesgos en Mazatlán, Sinaloa, con Estrategias Socioculturales. SEDESOL. Subsecretaría de Prospectiva, Planeación y Evaluación. Dirección General de Geoestadística y Padrones de Beneficiarios (2012). Lineamientos Normativos para la Integración del Padrón único de Beneficiarios de la SEDESOL. SEGOB. Dirección General de Protección Civil (2010). Programa Municipio Seguro: Resistente a Desastres. U.S. Government-Departament of Homeland Security-Federal Emergency Management Agency (2010). Hazard Mitigation: Integrating Best Practices into Planning. Reglas de operación D.O.F. (31 de diciembre de 2010). ACUERDO por el que se emiten las Reglas de Operación del Programa Prevención de Riesgos en los Asentamientos Humanos, para el Ejercicio fiscal 2011. ______ (27 de diciembre de 2011). Acuerdo por el que se emiten las Reglas de Operación del Programa Prevención de Riesgos en los Asentamientos Humanos, para el ejercicio fiscal 2012. Normatividad Cámara de Diputados del H. Congreso de la Unión. Secretaría General. Secretaría de Servicios Parlamentarios. Dirección General de Servicios de Documentación, Información y Análisis. Ley Federal de Presupuesto y Responsabilidad Hacendaria (Última reforma D.O.F., 9 de abril de 2012). (2007). Anexo 02. Nota Técnica con los principales conceptos de la Matriz de Indicadores. CONEVAL CONEVAL-SHCP (2008). Lineamientos para la Vinculación de la Matriz de Indicadores de los Programas Correspondientes. D.O.F. (30 de marzo de 2007). Lineamientos generales para la evaluación de los Programas Federales de la Administración Pública Federal. ______ (1 de junio de 2012). Ley General de Desarrollo Social. ______ (6 de junio de 2012). Ley General de Protección Civil. ______ (30 de julio de 2012). Reglamento Interior de la Secretaría de Gobernación. SEDESOL (2011). Reglas de Operación 2012, para el Programa Hábitat. SEMARNAT (2012). Reglas de Operación del Programa ProÁrbol. 48 Programa Prevención de Riesgos en los Asentamientos Humanos Meta Evaluación 2011-2012 Informe Final SHCP-CONEVAL (2008). Anexo 2. Metodología para la Elaboración de la Matriz de Indicadores de los Programas Presupuestarios de la Administración Pública Federal. SHCP-CONEVAL (2010). Guía para el Diseño de Indicadores Estratégicos. ______ (2010). Mecanismos para el Seguimiento a los Aspectos Susceptibles de Mejora Derivados de Informes y Evaluaciones a los Programas Federales de las Administración Pública Federal. SHCP-SFP-CONEVAL (2011). Mecanismo para el Seguimiento a los Aspectos Susceptibles de Mejora Derivados de Informes y Evaluaciones Externas a los Programas Presupuestarios de la Adminsitración Pública Federal 2011. ______ (2010a). Guía para la Construcción de la Matriz de Indicadores para Resultados. ______ (2010b). Mecanismos para el Seguimiento a los Aspectos Susceptibles de Mejora Derivados de Informes y Evaluaciones a los Programas Federales de las Administración Pública Federal. ______ (2011). Mecanismos para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal. SHCP. Subsecretaría de Egresos. Unidad de Política y Control Presupuestario (2012). Lineamientos para revisión, actualización, calendarización y seguimiento de la Matriz de Indicadores para Resultados de los programas presupuestarios 2012. Programas anuales de evaluación SHCP-SFP-CONEVAL (2010). Programa Anual de Evaluación para el Ejercicio Fiscal 2011 de los Programas Federales de la Administración Pública Federal. ______ (2011). Programa Anual de Evaluación para el Ejercicio Fiscal 2012 de los Programas Federales de la Administración Pública Federal. 49