OEI CAJA2.eps 26/2/08 09:31:48 C M Y CM MY CY CMY K Coordina cooperación ciudad de madrid 12671 Colombia (FF) 3/3/08 13:29 Página 1 12671 Colombia (FF) 3/3/08 13:29 Página 2 12671 Colombia (FF) 3/3/08 13:29 Página 3 Programa de Evaluaciones 2006-2007 Informes de evaluación de intervenciones de la Cooperación Municipal Madrileña Coordina 12671 Colombia (FF) 3/3/08 13:29 Página 4 © Ayuntamiento de Madrid, 2007 Área de Gobierno de Familia y Servicios Sociales Dirección General de Inmigración y Cooperación al Desarrollo C/ José Ortega y Gasset, 100 28006 Madrid - España Tels.: (+34) 91 588 32 94 / 91 588 32 76 Fax: (+34) 91 480 10 85 dgic@munimadrid.es www.munimadrid.es COORDINACIÓN DEL PROGRAMA DE EVALUACIONES 2006-2007 Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI) C/ Bravo Murillo, 38 28015 Madrid – España Tel.: (+34) 91 594 43 82 Fax: (+34) 91 594 32 86 oei@oei.es www.oei.es EQUIPO TÉCNICO Ayuntamiento de Madrid: Víctor Martínez González e Ignacio Valero Nogueira OEI: Ernesto Robles Fernández EQUIPO DE EVALUACIÓN Ayuntamiento de Madrid: Carmen Olabarría González, Manuel Ramírez Dorrego, María del Carmen Ramos y Cristina Vivanco Calderón OEI: Francisco Rey Marcos, Héctor Sainz Ollero, José Luis Sánchez Plaza y Juan Manuel Toledano Nieto Edición a cargo de CYAN, Proyectos y Producciones Editoriales, S.A. ISBN: 978-84-7666-189-5 Depósito legal: 12671 Colombia (FF) 3/3/08 13:29 Página 5 Índice Prólogo .................................................................................................................................. PROGRAMA DE EVALUACIONES La cooperación para el desarrollo del Ayuntamiento de Madrid ........................ Justificación de la puesta en marcha de un Programa de Evaluaciones.................................................................................................................. Características del Programa de Evaluaciones ............................................................ Metodología y contenidos de las evaluaciones realizadas .................................... Los proyectos seleccionados................................................................................................ Conclusiones y recomendaciones generales sobre el Programa de Evaluaciones.................................................................................................................. Conclusiones y recomendaciones generales sobre los proyectos evaluados .............................................................................................................................. INFORMES 7 11 13 15 17 21 25 29 DE EVALUACIÓN Informe de evaluación. Colombia ........................................................ 41 1. Proyecto de formación y autoempleo para mujeres ceramistas en Tocancipá (fases I y II), y Proyecto de formación y autoempleo en cocina, mesa y bar para mujeres de Sopó........................................................ 43 Informes de evaluación. Ecuador.......................................................... 95 1. Proyecto de apoyo a la salud materno-infantil: construcción y equipamiento de una Maternidad comunitaria en la parroquia de Juan Montalvo (fases I y II) .................................................................................... 97 Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:29 Página 6 2. Proyecto sobre educación, salud, espacios saludables y participación ciudadana en cuatro parroquias rurales del noroeste de Pichincha .......... 123 3. Proyecto de atención primaria de salud en el cantón de Pangua, provincia de Cotopaxi (fases I y II) ............................................................................ Anexo: Enfoque Sector Salud........................................................................................ 149 176 4. Proyecto sobre manejo de granjas agroecológicas altoandinas de la provincia de Cotopaxi .......................................................................................... 181 Informes de evaluación. Marruecos...................................................... 201 1. Proyecto de mejora de la situación educativa de los menores de la comunidad rural de Rouadi .............................................................................. 203 2. Proyecto de desarrollo socioeducativo de la comuna rural de Izemouren con enfoque de género y protección medioambiental ................................................................................................................ 221 Informes de evaluación. Perú................................................................ 239 1. Programa integral de apoyo a las familias asentadas en las ladrilleras de Huachipa (fases II y III) .......................................................... 241 2. Programa de capacitación Escuela Mayor de Gestión Municipal .............................................................................................................................. 271 Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:29 Página 7 Prólogo El Ayuntamiento de Madrid, de acuerdo a su Plan General de Cooperación, se ha propuesto realizar, a través de la Dirección General de Inmigración y Cooperación al Desarrollo, un Programa Anual de Evaluaciones que busca promover un proceso de aprendizaje compartido según la experiencia de la cooperación madrileña en los países prioritarios, permitiendo así extraer lecciones e identificar buenas prácticas que contribuyan a mejorar la calidad, eficacia e impacto de las intervenciones de desarrollo y acción humanitaria que se dirigen hacia las regiones más desfavorecidas en las que se ha concentrado históricamente la ayuda municipal. El informe del CAD de 2002 sobre la Cooperación española, tras hacer un reconocimiento expreso del esfuerzo de cooperación desarrollado por el Ayuntamiento de Madrid desde 1995, planteaba como recomendación incluir la “evaluación de resultados en el sistema de control”, que hasta la fecha se reducía a las visitas a los proyectos y al control financiero. De tal modo, que dentro de los objetivos del Plan General de Cooperación 2005-2008 del Ayuntamiento de Madrid hacia la mejora de la calidad de la ayuda, junto al fomento de evaluaciones entre las ONG se incorporó entonces la Evaluación de proyectos y actuaciones, realizadas mediante misiones evaluadoras mixtas en las que participa el personal técnico del Área de Cooperación. Este libro que nos complace presentar es el resultado del primer ciclo de trabajo, desarrollado durante los años 2006 y 2007, y con él se buscan compartir los principales hallazgos que se desprenden de cada caso estudiado, como información abierta a todos los ciudadanos y animados a que sus resultados puedan ser útiles a todos los actores de la cooperación, en procura de una mejor orientación y diseño de sus futuras actuaciones. Madrid, enero de 2008 Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:29 Página 8 12671 Colombia (FF) 3/3/08 13:29 Página 9 PROGRAMA DE EVALUACIONES 12671 Colombia (FF) 3/3/08 13:29 Página 10 12671 Colombia (FF) 3/3/08 13:29 Página 11 La cooperación para el desarrollo del Ayuntamiento de Madrid Desde 1995 el Ayuntamiento de Madrid puso en marcha el Programa Municipal de Cooperación con Países en Desarrollo, aunque con anterioridad se habían venido realizando acciones puntuales en esta materia, a través, fundamentalmente, de hermanamientos con otras ciudades. En febrero de 1995 se aprobaron las primeras “Bases reguladoras de la convocatoria pública para la concesión de ayudas para la realización de proyectos de cooperación al desarrollo” que constituyen el marco de actuación del programa municipal. Desde ese momento el Ayuntamiento de Madrid ha destinado el 0,7% de su presupuesto anual al Programa de Cooperación al Desarrollo, encomendando su gestión al área de Servicios Sociales. Las acciones apoyadas se dividen en cuatro subprogramas: 1. 2. 3. 4. Subvenciones a proyectos de desarrollo a través de ONGD. Apoyo e intervenciones ante desastres y ayuda humanitaria. Educación para el desarrollo y sensibilización social. Subvenciones a proyectos de codesarrollo. Entre 1995 y 2007 se han ejecutado, en el primero de los subprogramas, más de 1.000 proyectos, con un presupuesto total superior a los 150 millones de euros. La mayor parte de los recursos disponibles se han dirigido hacia América Latina (78% del total), seguida a bastante distancia por África (con un 13%). En el caso de la ayuda humanitaria, entre 1995 y 2007 se destinaron algo más de 13 millones de euros, a través de más de 100 intervenciones. También, se han llevado a cabo 71 actuaciones dentro del subprograma de Educación para el Desarrollo, por un monto global de 3,5 millones de euros. Por último, en 2004 se aprobó la primera convocatoria pública de subvenciones a proyectos de codesarrollo con lo cual se abrió una línea de trabajo que vincula a las comunidades inmigrantes establecidas en la ciudad de Madrid, con el desarrollo de sus países de origen. Cooperación Ciudad de Madrid 12671 Colombia (FF) 12 3/3/08 13:29 Página 12 Programa de Evaluaciones 2006-2007 Desde el punto de vista de la ordenación de las acciones de cooperación llevadas a cabo desde el Ayuntamiento de Madrid, un salto significativo ha sido la aprobación en el año 2005 del Plan General de Cooperación que establece un marco cuatrienal, con prioridades geográficas y sectoriales definidas que permiten establecer una orientación estratégica a las iniciativas apoyadas a partir de ese momento. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:29 Página 13 Justificación de la puesta en marcha de un Programa de Evaluaciones En el Plan General de Cooperación del Ayuntamiento de Madrid para el periodo 2005-2008 se indica que: “Dentro de los objetivos de este plan hacia la mejora de la calidad de la ayuda, junto a la publicación de la memoria anual y al fomento de evaluaciones entre los agentes de la cooperación con la introducción de incentivos concretos, se incorporará la evaluación de proyectos y actuaciones recogidos en el presente plan y la participación en misiones evaluadoras del personal del departamento de Cooperación. Se trata de evaluaciones fundamentalmente ex post centradas en la detección de los cambios, impactos y sostenibilidad de las intervenciones, siendo el instrumento que permite establecer un sistema de aprendizaje que detecte las buenas prácticas y errores cometidos en las intervenciones, de forma que oriente la cooperación al desarrollo en un proceso de calidad permanente. Además, es la fuente privilegiada de información útil para tomar decisiones que aumenten la eficacia de la ayuda...” El presente Plan se propone la siguiente programación anual de evaluaciones: • Cada año se realizarán, al menos, tres evaluaciones. • Al finalizar los cuatro años que contempla el Plan General se habrán realizado evaluaciones, al menos, en todos los países prioritarios 1 y habrá una evaluación por instrumento principal (proyecto con ONGD, acción de cooperación directa, programa (en su caso), acción de Educación para el Desarrollo, y acción de codesarrollo). • Todas las evaluaciones serán públicas y publicadas. Asumiendo el compromiso reflejado en el Plan, las que se presentan a continuación constituyen las primeras evaluaciones que se llevan a cabo dentro de la programación establecida. El Ayuntamiento de Madrid y la Organización de Estados Iberoamericanos (OEI) han establecido un convenio de colaboración sobre cooperación al desarrollo en el que se incluye el diseño y ejecución de un programa de evaluaciones de las intervenciones apoyadas por la primera de estas Cooperación Ciudad de Madrid 12671 Colombia (FF) 14 3/3/08 13:29 Página 14 Programa de Evaluaciones 2006-2007 entidades en países receptores de la ayuda para la obtención de aprendizajes y la difusión de experiencias que contribuyan a mejorar la gestión de cooperación al desarrollo del Ayuntamiento. La OEI ha sido la encargada de la puesta en marcha de estas evaluaciones para lo cual ha conformado unos equipos técnicos que, junto a los responsables geográficos del Ayuntamiento de Madrid, han sido los responsables de los trabajos realizados. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:29 Página 15 Características del Programa de Evaluaciones Las evaluaciones que se han llevado a cabo tienen como propósito fundamental la generación de enseñanzas que puedan ser útiles para mejorar el diseño, la gestión y los resultados y efectos de futuras intervenciones de desarrollo apoyadas desde el Ayuntamiento de Madrid. Se ha tratado, por tanto, de efectuar un trabajo conjunto en el que, a partir de las informaciones y valoraciones de los diferentes implicados en la puesta en marcha de las acciones (personal que se desempeña en el Ayuntamiento de Madrid, técnicos de las ONG involucradas, tanto en Madrid como en los países objeto de los trabajos de desarrollo, autoridades locales implicadas, otros agentes de desarrollo, beneficiarios, etc.), puedan extraerse conclusiones y recomendaciones que contribuyan a mejorar la calidad de los trabajos emprendidos y refuercen las capacidades instaladas en cada una de esas instancias. Aunque la evaluación tiene también un componente de rendición de cuentas y para ello se recurre a técnicos externos a la gestión de las intervenciones que puedan proporcionar una visión independiente y objetiva sobre el desempeño realizado, el énfasis principal del trabajo de evaluación está puesto en generar aprendizajes e identificar buenas prácticas que puedan ser incorporadas en los mecanismos de toma de decisiones de las instituciones concernidas. Se ha decidido que las evaluaciones sean realizadas por equipos mixtos, formados por consultores externos y por personal del Ayuntamiento de Madrid, quienes pueden proporcionar una visión más cercana a los proyectos evaluados. En cualquier caso, el papel de los técnicos de las ONG involucradas resulta fundamental y para ello se mantuvieron toda una serie de entrevistas previas al desplazamiento al terreno y, también, se contó con el acompañamiento del personal que trabaja en los proyectos concretos durante la realización de las visitas de evaluación. De esta forma, se espera haber alcanzado una visión coherente que permite combinar las fortalezas de las evaluaciones externas e internas, limitando sus debilidades. Se ha apostado en esta ocasión por un modelo de evaluación relativamente liviano, basado en lo esencial en la aplicación de herramientas cualitativas, que permiten extraer información relevante de forma rápida y que contribuyen a promover la participación de los implicados, apropiándoles de los procesos de reflexión y aprendizaje generados desde el ejercicio de evaluación. Cooperación Ciudad de Madrid 12671 Colombia (FF) 16 3/3/08 13:29 Página 16 Programa de Evaluaciones 2006-2007 De todas formas, es necesario precisar que esta opción metodológica no descarta que en futuras evaluaciones se considere adecuado recurrir a otras herramientas más complejas que permitan visiones de mayor profundidad y alcance. Un sistema de evaluación debe combinar distintos tipos de evaluaciones, con el propósito de obtener una visión global de las iniciativas impulsadas desde el Ayuntamiento de Madrid y eso sólo es posible recurriendo a diferentes modelos evaluadores. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:29 Página 17 Metodología y contenidos de las evaluaciones realizadas Se incluye a continuación una descripción general sobre el alcance y características de la evaluación, las herramientas utilizadas para realizar y analizar la información y los criterios y preguntas que han servido para ordenar las indagaciones. a) Características de la evaluación Las principales características del proceso de evaluación llevado a cabo son las siguientes: • La evaluación informa sobre proyectos o intervenciones cuyo periodo de ejecución ha concluido. • La evaluación se pronuncia sobre los proyectos de acuerdo con un sistema, haciendo descansar dicha opinión en una serie de datos o informaciones que, en la medida de lo posible, son objetivos. • La evaluación informa sobre el proceso de preparación de los proyectos (identificación y formulación), sobre la etapa de ejecución y sobre sus efectos y posibilidades de sostenibilidad. • Se trata de una evaluación basada en el Enfoque del Marco Lógico, por lo que resulta imprescindible contar con la lógica de intervención establecida previamente para cada una de las intervenciones que se analizan. • Dada la limitada magnitud de las intervenciones evaluadas, la apreciación del impacto en términos de desarrollo no ha resultado fácil, pero se ha tratado de medir por diversas vías, entre ellas la opinión de líderes comunitarios, responsables de organismos de cooperación y los propios beneficiarios. Una evaluación de impacto necesita disponer de un diseño mucho más complejo, consume más recursos y exige efectuar un análisis previo sobre la evaluabilidad de las intervenciones seleccionadas. • La evaluación llevada a cabo no ha efectuado un análisis detallado sobre el consumo de recursos en los proyectos analizados. Se consideró que ya existen suficientes mecanismos de control contable y financiero que abordan este tema y se decidió no sobrecargar la indagación, para poder centrarla sobre los aspectos comentados en párrafos anteriores. b) Herramientas para recopilar información Las herramientas utilizadas preferentemente para recopilar la información y para su posterior análisis y procesamiento han sido las que se mencionan a continuación: Cooperación Ciudad de Madrid 12671 Colombia (FF) 18 3/3/08 13:29 Página 18 Programa de Evaluaciones 2006-2007 • Análisis documental. A partir de los documentos presentados por las ONG responsables de la gestión de los proyectos se ha realizado un ejercicio de recopilación y análisis de la información en ellos contenida. Para la sistematización de la información reunida se prepararon unas fichas en las que se incluyen capítulos de tipo esencialmente descriptivo junto a otros de carácter valorativo. • Entrevistas. Con la finalidad de obtener información sobre las intervenciones y los programas en su conjunto se realizaron una serie de entrevistas a los involucrados, destacando: - Entrevistas semiestructuradas con los responsables del área de Cooperación para el Desarrollo del Ayuntamiento de Madrid. - Entrevistas semiestructuradas con los responsables de las ONG españolas que presentaron los proyectos al Ayuntamiento de Madrid. Para ello se preparó un cuestionario abierto, donde se incluían las principales preguntas presentadas en los términos de referencia. - Entrevistas semiestructuradas con los responsables de la ejecución de las intervenciones en las entidades ejecutoras. - Entrevistas grupales semiestructuradas con grupos de beneficiarios (y otros informantes clave) de los diferentes proyectos. • Observación directa del equipo de evaluación sobre las estructuras, equipos y procedimientos puestos en funcionamiento por las intervenciones en cada uno de los lugares de interés previamente seleccionados. c) Herramientas para analizar la información La principal herramienta para el análisis de la información ha sido la comparación de los datos recopilados con los indicadores de las matrices de planificación de los documentos de proyecto. Siempre que esa comparación ha podido realizarse de forma cuantitativa se han elaborado cuadros y tablas que sirven de base para el análisis. En cualquier caso hay que reconocer que la mayor parte de las informaciones recopiladas han sido de tipo cualitativo, por lo que la sistematización ha presentado mayores dificultades. Hay que hacer constar también que los sistemas de indicadores o las fuentes de verificación de los mismos no han sido siempre de la calidad y el rigor necesarios y aunque tanto los formularios del Ayuntamiento como los diseños metodológicos de las ONG han mejorado desde entonces, la mayor parte de los documentos analizados presentaban carencias de diseño significativas. Se han intentado combinar, en la medida de lo posible, los instrumentos que proporcionan informaciones cuantitativas (informes descriptivos, número de beneficiarios, estructuras creadas o recuperadas y otras estadísticas, etc.) con las percepciones cualitativas que se recogieron a partir de las entrevistas mantenidas en España y en las áreas de intervención. d) Criterios de la evaluación, preguntas clave y presentación de conclusiones En los informes que se presentan, se ha intentado evitar la utilización de un lenguaje excesivamente técnico y se ha dado una especial relevancia al capítulo de conclusiones y recomendaciones. Siempre que ha sido posible para cada conclusión planteada por el equipo de evaluación se ha incluido su correspondiente recomendación. La evaluación de los proyectos seleccionados se ha ordenado en torno a los grandes criterios de evaluación, tal y como quedan definidos en la Metodología de evaluación de la cooperación española (MAE SECIPI, 1998). Se trata de los criterios de pertinencia, eficacia, eficiencia, impacto(s) y viabilidad o sostenibilidad. Todos ellos constituyen dimensiones básicas que contribuyen a definir la calidad de una intervención de desarrollo. Para cada uno de estos criterios se han seleccionado unas preguntas o temas claves que han sido los que orientaron la indagación específica realizado por el equipo de evaluación. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:29 Página 19 Programa de Evaluaciones 2006-2007 En el cuadro siguiente se incluyen las principales cuestiones que han servido de guía para los trabajos del equipo evaluador: Criterio Temas clave Pertinencia • ¿Existe correspondencia entre los objetivos de los proyectos evaluados y los principios y criterios de la cooperación para el desarrollo impulsada desde el Ayuntamiento de Madrid? • ¿Las soluciones propuestas por los proyectos son las más adecuadas para resolver los problemas inicialmente detectados? (existencia de diagnósticos participativos, talleres para la priorización de estrategias de intervención, etcétera). • ¿Se encuentran bien definidos los colectivos beneficiarios?, ¿pertenecen éstos a grupos de alta prioridad para la cooperación para el desarrollo? Eficacia • ¿Es coherente la lógica de intervención de los proyectos? (relación actividades-resultadosobjetivos). • ¿Cuál ha sido el nivel de logro de los objetivos y resultados de los proyectos? (indicadores, fuentes de verificación). • ¿Cuál ha sido el comportamiento de los factores externos?, ¿estaban éstos contemplados en el documento de formulación? Eficiencia • ¿Se han producido retrasos en la ejecución del proyecto? En caso afirmativo, ¿cuáles han sido las causas? • ¿La estructura de gestión del proyecto ha sido adecuada? Impacto(s) • ¿Cuál ha sido el nivel de logro de los objetivos generales de los proyectos? • ¿Cuáles son los principales efectos que identifican los beneficiarios en relación con los proyectos?, ¿coinciden éstos con las opiniones de los técnicos y con las contenidas en los documentos de los proyectos? • ¿Pueden identificarse algunos efectos generados por los proyectos sobre las relaciones de género? • ¿Han tenido los proyectos algunos efectos ambientales? Viabilidad • ¿Cuáles han sido los mecanismos de transferencia de los activos generados por las intervenciones?, ¿la organización receptora tiene capacidad para mantener en funcionamiento esos activos? • ¿Cómo se cubren los costes de funcionamiento y mantenimiento de los activos del proyecto una vez terminada la ejecución? • ¿La tecnología transferida puede ser manejada por los beneficiarios? • ¿Existe una real implicación de los beneficiarios en el mantenimiento de los activos generados por los proyectos? Cooperación Ciudad de Madrid 19 12671 Colombia (FF) 3/3/08 13:29 Página 20 12671 Colombia (FF) 3/3/08 13:29 Página 21 Los proyectos seleccionados En las páginas siguientes se presentan nueve informes de evaluación sobre proyectos de cooperación internacional para el desarrollo cofinanciados por el Ayuntamiento de Madrid. Los informes hacen referencia a dos proyectos ejecutados en Colombia presentados por la Asociación Candelita; varios proyectos realizados en Ecuador por las ONG Ayuda en Acción, Paz y Desarrollo y Solidaridad Internacional; dos proyectos ejecutados en Marruecos por la ONG Movimiento por la Paz, el Desarme y la Libertad (MPDL) y otros dos proyectos llevados a cabo en Perú, presentados por las ONG CESAL y AIETI. Para cada una de las intervenciones analizadas se ha elaborado un informe particular en el que se aborda con una cierta profundidad sus rasgos más sobresalientes y se efectúa un ejercicio de evaluación en torno a los criterios clásicos de la evaluación, articulados en torno a una serie de preguntas que orientan la indagación. En la primera parte de este documento se ha realizado una presentación común del sistema de evaluación propuesto (características, metodología, contenidos…), donde se comentan los elementos comunes a todas las iniciativas evaluadas y se proponen a modo de resumen ejecutivo algunas conclusiones y recomendaciones que afectan tanto al proceso de evaluación que se ha puesto en marcha como a los propios proyectos objeto de indagación. Los dos proyectos evaluados en Colombia fueron valorados en un único informe, dadas sus similitudes geográficas y temáticas y debido al hecho de ser ejecutados por las mismas ONG. La característica común de los proyectos evaluados en Ecuador es que se trata de intervenciones de salud (todas menos una). Al margen de las similitudes por haberse realizado en el mismo Estado (a priori no demasiadas en un país tan variado como Ecuador), se ha pretendido dar un enfoque sectorial a los documentos finales como se había hecho con el proceso. En el caso de Marruecos, aunque los proyectos no se enmarcan dentro de un programa, sí que responden a una cierta estrategia coherente de la ONG en la región de Alhucemas, de modo que permiten extraer ciertas conclusiones y proponer ciertas recomendaciones sobre el trabajo Cooperación Ciudad de Madrid 12671 Colombia (FF) 22 3/3/08 13:29 Página 22 Programa de Evaluaciones 2006-2007 de desarrollo en la región. Además, el Ayuntamiento de Madrid cuenta con un Plan Estratégico de Actuación (PEA) en Marruecos (2006-2009) a la luz del cual deben analizarse las intervenciones pese a que el PEA es posterior a las mismas. Hay que tener en cuenta, no obstante, que los proyectos evaluados son de relativa pequeña magnitud, muy específicos y que fueron concluidos en el año 2004, lo que limita mucho este ejercicio de lecciones aprendidas. Se presentan dos informes sobre las intervenciones evaluadas en Perú, dado que se trata de dos iniciativas impulsadas por ONG diferentes, en áreas geográficas muy variadas y con contenidos también muy diversos. Se ha tratado de contrastar estos proyectos con las prioridades incluidas en el Plan Estratégico de Actuación (PEA) en Perú del Ayuntamiento de Madrid, aunque su realización ha sido posterior a la ejecución de las intervenciones analizadas. A modo de introducción se ha pensado en la conveniencia de realizar una presentación general donde se comentan los elementos comunes a todas las iniciativas evaluadas y se proponen algunas conclusiones y recomendaciones que afectan tanto al proceso de evaluación que se ha puesto en marcha como a los propios proyectos objeto de indagación. Los proyectos objeto de las evaluaciones realizadas han sido los siguientes: • COLOMBIA Proyecto de formación y autoempleo para mujeres ceramistas en Tocancipá-Cundinamarca - CANDELITA (2000-2001). Creación de una microempresa de cerámica gestionada por mujeres rurales desempleadas, con cargas familiares no compartidas, con alto índice de pobreza, recuperando la tradición prehispánica chibcha en el municipio de Tocancipá. Proyecto de formación y autoempleo en cocina, mesa y bar para mujeres de Sopó CANDELITA (2003). Este proyecto pretende integrar sociolaboralmente a 50 mujeres con alto índice de pobreza a través de la creación de una microempresa o la capacitación para la incorporación al mercado libre en el sector hostelero, contribuyendo a la reactivación socioeconómica y el desarrollo comunitario y sostenible del municipio de Sopó (Cundinamarca). • ECUADOR Apoyo a la salud materno-infantil. Construcción y equipamiento de la Maternidad comunitaria para la parroquia de Juan Montalvo. Pichincha. Fases I y II - Casa Campesina Cayambe (2000-2001). La intervención se centra en la construcción de una Maternidad comunitaria en la parroquia de Juan Montalvo para atender preferentemente a madres gestantes y niños recién nacidos, así como a mujeres mayores de 45 años. Se pretende atender partos normales y cesáreas, a los niños recién nacidos y a aquellos que presenten situaciones de riesgo por complicaciones en el nacimiento, control del embarazo, asesoramiento para la planificación familiar y detección del cáncer uterino. Educación, salud, espacios saludables y participación ciudadana en cuatro parroquias de Pichincha - Corporación Utopía (2003-2004). Se contemplan acciones destinadas a la disminución del fracaso escolar, de patología en menores y la destrucción del entorno en cuatro parroquias rurales mediante un sistema de vigilancia epidemiológica y monitoreo en salud escolar, la mejora de la infraestructura y equipamiento sanitario de las escuelas, la capacidad de la comunidad educativa y de la población, la promoción del respeto y conservación del medio y la generación de procesos productivos sostenibles. Atención primaria en salud en el cantón Pangua, provincia de Cotopaxi. Fases I y II - Alli Causai (2004-2007). Se pretende el desarrollo de un sistema integral de salud rural mediante la implementación de un programa de atención primaria en salud, con especial atención a la Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:29 Página 23 Programa de Evaluaciones 2006-2007 búsqueda activa de tuberculosis. Se trata de una zona de difícil comunicación donde la mayoría de parroquias y comunidades no tienen acceso al sistema de salud. La información que reciben las comunidades es insuficiente y la capacitación del personal de salud es casi nula. La propuesta reúne capacitación, prevención asistencial y fortalecimiento del control ciudadano. Manejo de granjas agroecológicas altoandinas. Provicia de Cotopaxi - Llaktakunda (2003). Las líneas básicas de trabajo son las siguientes: ofrecer alternativas económicas rentables a la población de esa zona y capacitar a la población para evitar el manejo irracional del ecosistema páramo. De esa forma se pretende contribuir a mitigar la grave desertización que sufre la provincia de Cotopaxi. Las familias seleccionadas lo serán en base al cuidado del suelo y a las prácticas agroecológicas que ya realicen. • MARRUECOS Mejora de la situación educativa de los menores de la comunidad rural de Rouadi MPDL (2003). El objetivo es mejorar el acceso a la educación secundaria de los niños y niñas de la comuna de Rouadi mediante la construcción de una residencia que permita que sigan durante la semana sus estudios sin tener que regresar a sus casas, muchas de ellas a varias horas de camino. Desarrollo socioeducativo de la comuna rural de Izemouren con enfoque de género y protección medio-ambiental - MPDL (2002). El proyecto consiste en diversas acciones que inciden en el ámbito socioeducativo desde diversos enfoques: alfabetización de mujeres, apoyo a la escolarización de niños y niñas de secundaria mediante el apoyo al transporte escolar y de formación para jóvenes ligada a las nuevas posibilidades que abre la creación del Parque Nacional de Alhucemas. Estas acciones se complementan con otras intervenciones en materia medioambiental y de mejora del acceso a algunas áreas aisladas de la comuna. • PERÚ Programa integral de apoyo a las familias asentadas en las ladrilleras de Huachipa. Fases II y III - CESAL (2002-2003). Tiene la finalidad de continuar con una intervención que CESAL viene realizando desde 1999 con objeto de mejorar las precarias condiciones de vida de las familias de los pueblos jóvenes surgidos en torno a las ladrilleras de Huachipa, en el área circundante de Lima. Los principales componentes son educativos, higiénico-sanitarios (abastecimiento de agua potable y saneamiento ambiental) y de desarrollo social y urbano. Programa de capacitación Escuela Mayor de Gestión Municipal - AIETI (2000-2001). Se trata de una propuesta para fortalecer los Gobiernos locales de varias zonas estratégicas del Perú. El propósito esencial es elevar la calidad de la gestión municipal a través de capacitaciones, asistencias técnicas y pasantías a funcionarios municipales, líderes locales y ONG, para promover procesos participativos de desarrollo local y combatir la pobreza. Los equipos de evaluación han estado compuestos por consultores seleccionados y coordinados por la OEI y por técnicos de la Dirección General de Inmigración y Cooperación al Desarrollo (Departamento de Cooperación al Desarrollo) del Ayuntamiento de Madrid. Así, se pretendió conformar un equipo mixto en el que se combinase la experiencia del consultor externo en la evaluación de intervenciones de desarrollo con el conocimiento institucional y de los mecanismos de gestión de los técnicos del Ayuntamiento de Madrid. El equipo evaluador de los proyectos en Colombia y Perú estuvo formado por Héctor Sainz Ollero y Juan Manuel Toledano Nieto (consultores OEI) y por los técnicos del Ayuntamiento de Madrid, Manuel Ramírez Dorrego (proyectos en Perú) y Cristina Vivanco Calderón (proyectos en Colombia). Cooperación Ciudad de Madrid 23 12671 Colombia (FF) 24 3/3/08 13:29 Página 24 Programa de Evaluaciones 2006-2007 El equipo evaluador de los proyectos en Ecuador lo formaron José Luis Sánchez Plaza (consultor OEI) y María del Carmen Ramos (técnica del Ayuntamiento de Madrid). El equipo evaluador de los proyectos en Marruecos estuvo compuesto por Francisco Rey Marcos (consultor OEI) y por Carmen Olabarría González (técnica del Ayuntamiento de Madrid). Finalmente, la coordinación institucional del Programa de Evaluaciones 2006-2007 de intervenciones de la Cooperación Municipal Madrileña ha estado a cargo de Víctor Martínez González e Ignacio Valero Nogueira por parte del Ayuntamiento de Madrid, y de Ernesto Robles Fernández por la OEI. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:29 Página 25 Conclusiones y recomendaciones generales sobre el Programa de Evaluaciones A partir de la experiencia acumulada en la evaluación de los proyectos considerados es posible extraer algunas conclusiones útiles para la configuración del sistema de evaluación de las acciones de cooperación para el desarrollo apoyadas desde el Ayuntamiento de Madrid. Evidentemente, esta experiencia resulta todavía muy escasa, por lo que no parece conveniente emitir juicios definitivos acerca de los principales rasgos que debería adoptar el sistema de evaluación. Habrá que realizar nuevas evaluaciones, siguiendo las indicaciones incluidas en el Plan General de Cooperación, para ir definiendo las principales características de un modelo evaluativo que resulte adecuado para los fines que se persiguen. De todas maneras, y aun asumiendo el carácter provisional de las reflexiones que a continuación se incluyen, pueden avanzarse algunas consideraciones al respecto. En la medida de lo posible, las conclusiones se han redactado de una manera que es fácil extraer su correspondiente recomendación. Sin más, se incluyen aquellas que se han considerado más significativas: • En primer lugar, hay que comenzar indicando que, en términos generales, parece conveniente seleccionar proyectos recientemente finalizados para focalizar sobre ellos los ejercicios de evaluación. Las características de la mayoría de los proyectos apoyados en las convocatorias de referencia por el Ayuntamiento de Madrid desaconsejan seleccionar intervenciones en fase de ejecución o que hayan finalizado hace ya bastante tiempo. La relativa modestia de las iniciativas (en lo que hace referencia a montos presupuestarios y tiempos de ejecución) dificulta la realización de evaluaciones intermedias. • Unas evaluaciones como las realizadas tienen graves dificultades para pronunciarse sobre los impactos de las intervenciones. Ni el diseño de los propios proyectos, ni las propias características de las evaluaciones permiten abordar esa cuestión en profundidad. Sin embargo, para posteriores convocatorias, con intervenciones de mayor entidad en cuanto a recursos pueden plantearse las opciones alternativas y complementarias, esto es, auténticas evaluaciones de impacto (tiempo después de su finalización) y las intermedias. Las evaluaciones de impacto serían especialmente interesantes en zonas o regiones donde exista una cierta concentración de proyectos de la Cooperación Madrileña. Cooperación Ciudad de Madrid 12671 Colombia (FF) 26 3/3/08 13:29 Página 26 Programa de Evaluaciones 2006-2007 • En el caso de los proyectos evaluados en Marruecos se ha considerado una ventaja que los proyectos hubieran finalizado hace algunos años, ya que, aunque no se planteó la indagación como una evaluación de impacto, sí que fue posible valorar de manera más eficaz la viabilidad y los resultados alcanzados por los proyectos evaluados. • Parece interesante seleccionar intervenciones de una misma ONG en una misma zona geográfica, que han sido apoyadas en diferentes convocatorias del Ayuntamiento de Madrid, ya que eso permite establecer una perspectiva más global de las líneas de trabajo y estrategias que facilitan el ejercicio evaluativo. La relativa modestia de las intervenciones señalada anteriormente también responde en ocasiones a una misma estrategia dividida en diferentes proyectos y apoyada en diversas convocatorias, por lo que es primordial que el enfoque de evaluación tenga en cuenta estas observaciones para integrarlas en la metodología de evaluación aplicada. • Las limitaciones apuntadas sugieren la conveniencia de complementar este tipo de evaluaciones con otras indagaciones de mayor profundidad, centradas en aspectos específicos (temas, sectores, estrategias específicas, etc.) que resulten especialmente relevantes. • Las evaluaciones sectoriales son especialmente útiles en algunos campos específicos, como puede ser el de salud, por cuanto permiten abordar y comparar decisiones clave de los proyectos (beneficiarios, escenarios, estrategias y conexión con el sistema público sanitario, entre otras). Se obtiene una perspectiva de conjunto complementaria a las especificidades de cada proyecto que permite desde un abordaje técnico identificar claves que den lugar a propuestas para la mejora de la eficacia de las intervenciones y del papel del financiador en la mejora efectiva de las condiciones de vida de la población. • En otros casos puede ser conveniente seleccionar áreas geográficas donde un actor (o un conjunto de actores) haya(n) llevado a cabo proyectos que puedan considerarse complementarios o, cuando menos, compartan algunos objetivos sectoriales o algunos colectivos de beneficiarios. • Como contrapartida, hay que reconocer que con estas evaluaciones se obtiene una menor certidumbre acerca de las conclusiones presentadas y se ofrece una visión más generalista, centrada de manera prioritaria en aspectos que afectan más al diseño y a la adecuación de la propuesta inicial con lo finalmente ejecutado. Existen mayores posibilidades de avanzar conclusiones sobre la pertinencia y sostenibilidad. En el caso de los criterios de eficacia y eficiencia, las valoraciones se encuentran mediatizadas por la debilidad de los indicadores incluidos en los documentos de formulación y de las líneas de base disponibles. • Entre ellas puede indicarse que este tipo de evaluaciones no sobrecarga gravemente los trabajos de los gestores (tanto del propio Ayuntamiento como de las diferentes organizaciones implicadas), tienden a no ser vistas como una “amenaza”, ya que los elementos de control suelen minimizarse, y permiten una mayor implicación de algunos actores que normalmente sólo actúan como informantes claves. • A pesar de lo manifestado con anterioridad continúa existiendo un cierta prevención por parte de las organizaciones implicadas ante estas evaluaciones, ya que la visión tradicional que concibe estas indagaciones como meros sistemas de control tiene un peso que no puede olvidarse. Es importante, por tanto, realizar un mayor esfuerzo para explicar las características de este tipo de evaluaciones, dedicando mayor tiempo a la fase previa de preparación e involucrando de manera más decidida a las propias ONG en la elaboración de los términos de referencia del ejercicio de evaluación que va a ponerse en marcha. • Al contar el Ayuntamiento con otros procedimientos para el seguimiento y auditoría de proyectos, creemos que un sistema de evaluación específico cobra sentido si aprovecha las sinergias entre estos procedimientos y procesos y evita las duplicidades. Nos inclinamos pues por que estas evaluaciones externas se centren en indagaciones por encima del nivel de proyectos y en las dimensiones geográficas o sectoriales. Al no financiar el Ayuntamiento de Madrid programas, creemos que sería de estas evaluaciones de mayor alcance Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:29 Página 27 Programa de Evaluaciones 2006-2007 • • • • • • • • sobre un conjunto de actuaciones en una zona definida o un sector de donde se podrían extraer aprendizajes significativos. La participación de técnicos del Ayuntamiento en los trabajos de campo de los equipos de evaluación resulta útil para generar procesos de aprendizaje, tanto en lo relativo a los proyectos concretos objeto de la evaluación como en lo referente a elementos más generales que afectan a la calidad de las intervenciones. De todas formas, existe el peligro de que las organizaciones gestoras de los proyectos confundan estas misiones con las visitas de seguimiento que han venido realizándose de manera regular y tiendan a organizar agendas similares en uno y otro caso. Para ello, es importante que en el futuro las agendas del trabajo de campo sean conocidas de antemano y puedan ser adaptadas a las necesidades del trabajo de evaluación. De nuevo, pues, vuelve a surgir la recomendación de prestar mayor atención, tiempo y recursos a la fase previa de preparación de la evaluación. Cuando la misión de evaluación coincide, como ha sucedido en algunas ocasiones, con periodos de preparación de las propuestas para una nueva convocatoria del Ayuntamiento de Madrid, la presencia de funcionarios municipales en los equipos de evaluación puede generar algunas distorsiones, ya que se entiende que puede tener relación con la valoración de las futuras propuestas de proyectos. Aunque los funcionarios municipales participantes en las misiones evaluadoras aclararon de forma nítida el papel que cumplían en éstas, parece conveniente que, en el futuro, se seleccionen periodos más adecuados para la realización de las evaluaciones. La participación de personal de las ONG españolas en las misiones de evaluación tiene varios elementos positivos, en la medida que contribuye a promover procesos de aprendizaje. Hay que insistir en que resulta muy importante garantizar un mayor protagonismo de las ONG en la preparación de las misiones de evaluación, promoviendo que éstas incluyan preguntas específicas en los términos de referencia. Es importante que todos los actores implicados reciban un informe preliminar de evaluación y que éste no pueda ser considerado como definitivo hasta que se hayan conocido (y discutido) las principales conclusiones y recomendaciones incluidas en él. Evidentemente, ese proceso implica asumir unos periodos de evaluación más prolongados, pero contribuye a incrementar la apropiación de las evaluaciones por todos los actores implicados. En el caso de evaluaciones sectoriales, de país, o que involucren a más de un actor, sería conveniente organizar actividades de presentación tipo taller o seminario en las que los resultados de la evaluación fueran el eje de un debate centrado en el aprendizaje. Dado que se sugiere que el sistema de evaluación, cualquiera que sea, dedique más importancia al apartado de utilidad y lecciones aprendidas que al de mera rendición de cuentas, debe planificarse bien el mecanismo de devolución e incorporación de enseñanzas y el o los “productos” que la evaluación genere. Todas estas consideraciones nos llevan a confirmar el acierto de impulsar un sistema de evaluación a diversos niveles y la incorporación de la cultura de evaluación de modo general a todos los proyectos financiados por el Ayuntamiento. En unos casos, potenciando la evaluación interna por parte de la ONG (destinando fondos dentro de los proyectos para ello, elaborando manuales y actividades de formación...), en otros, en línea con lo anteriormente dicho, realizando evaluaciones externas o mixtas Ayuntamiento-entidad consultora, pero siempre en estrecha colaboración con las entidades evaluadas. Cooperación Ciudad de Madrid 27 12671 Colombia (FF) 3/3/08 13:29 Página 28 12671 Colombia (FF) 3/3/08 13:29 Página 29 Conclusiones y recomendaciones generales sobre los proyectos evaluados Se presentan a continuación las conclusiones y recomendaciones generales que cada uno de los equipos de evaluación presentaron como resultado de sus indagaciones. Como quiera que los proyectos evaluados han sido muy variados, se han preferido presentar estas conclusiones y recomendaciones tal y como fueron elaboradas en cada una de las misiones de evaluación. En ocasiones pueden detectarse redundancias entre ellas, pero son un reflejo de los énfasis puestos por cada evaluador. El equipo técnico responsable de las evaluaciones realizadas en Colombia y Perú, las primeras cronológicamente, presentó las siguientes conclusiones y recomendaciones: • No resulta fácil plantear valoraciones generales cuando se trata de proyectos muy diferentes, tanto en lo que se refiere a los sectores de intervención, como a las áreas geográficas, grupos de beneficiarios, etc. De todas formas existen algunos elementos que pueden resaltarse ya que, de alguna manera, plantean cuestiones comunes a la muestra de proyectos analizada. En cualquier caso, las valoraciones que se incluyen en las próximas líneas deben ser complementadas con los análisis más detallados que se presentan en cada uno de los informes de evaluación particulares. • Entendiendo pertinencia como adecuación a prioridades, puede afirmarse que los cuatro proyectos evaluados presentan una elevada pertinencia en relación con las prioridades estratégicas planteadas por el Ayuntamiento de Madrid. Aunque en el momento de sus respectivas aprobaciones (y de sus periodos de ejecución) no existía el actual Plan General de Cooperación, todas las intervenciones se insertan con claridad en los actuales objetivos estratégicos que aparecen en el citado documento. • Asumiendo los Objetivos del Milenio como marco de referencia genérico, los proyectos analizados se vinculan respectivamente con el objetivo estratégico 1 (Haber incrementado el índice de cobertura de necesidades sociales básicas y la capacidad de generación de ingresos de la población en las zonas prioritarias), particularmente en la mejora de infraestructuras sociales: vivienda, escuela, agua potable y saneamiento ambiental y en el apoyo a la creación de empresas, iniciativas de autoempleo y capacitación laboral, y con el objetivo estratégico 3 (Haber contribuido a la mejora en la calidad de la cooperación), en concreto en lo relativo a la mejora de la gestión municipal que, en los países del Sur, se orienta hacia la Cooperación Ciudad de Madrid 12671 Colombia (FF) 30 3/3/08 13:29 Página 30 Programa de Evaluaciones 2006-2007 • • • • • • • • • mejora de la gestión en las Administraciones públicas municipales, el apoyo al desarrollo de prácticas participativas, mecanismos descentralizados y asociaciones de municipios y el apoyo a su papel como agentes de desarrollo económico. También hay que reconocer que todas las organizaciones implicadas en la puesta en marcha de los proyectos evaluados han iniciado unos muy positivos procesos de planificación estratégica que enmarcan los proyectos individuales en una lógica general de actuación. No en todos los casos el desarrollo de esos procesos es similar, pero se detecta una tendencia común que merece ser destacada. Asumiendo como un elemento positivo los avances en los procesos de planificación estratégica, tanto dentro de la propia área de Cooperación Internacional del Ayuntamiento de Madrid como en las ONG impulsoras de los distintos proyectos analizados, puede pensarse en la conveniencia de establecer algún tipo de relaciones de más largo alcance entre las diferentes entidades implicadas, complementando la lógica de las convocatorias anuales con algún tipo de relación más estable en torno a objetivos predeterminados. Si consideramos que la pertinencia hace también referencia a la correspondencia entre las soluciones adoptadas por los proyectos considerados y los problemas inicialmente detectados, la valoración debe ser un poco menos positiva. De hecho, en todos los casos evaluados se han detectado disonancias más o menos acusadas entre las situaciones descritas y las estrategias de intervención diseñadas. En cada informe de evaluación particular se profundiza sobre esta cuestión, pero como recomendación general puede señalarse la conveniencia de efectuar diagnósticos participativos más rigurosos y de consensuar con los diferentes actores implicados (y especialmente con los colectivos beneficiarios) las estrategias incluidas en las intervenciones de desarrollo. Evidentemente un proceso participativo exige un consumo de recursos más elevado, pero contribuye a promover unos resultados más positivos y facilita la apropiación de los proyectos por parte de los grupos beneficiarios. Vinculado con el punto anterior, hay que reconocer que los diseños iniciales de las intervenciones evaluadas presentan, en todos los casos, debilidades significativas. Las líneas de base son, a menudo, muy débiles, lo que dificulta el conocimiento de la situación-punto de partida y complica la valoración de los posibles impactos de las intervenciones. Más allá de esto, los diseños no establecen siempre unas lógicas de intervención sólidas, con correspondencias entre las actividades programadas, los resultados esperados, el objetivo que se pretende alcanzar y los fines superiores a los que se aspira a contribuir. A menudo los indicadores no resultan adecuados para valorar el nivel de logro de los diferentes niveles de los proyectos o no presentan fuentes verificables. Los distintos análisis de riesgos son muy superficiales y en todas las valoraciones acerca de la sostenibilidad se detectan claras deficiencias. Por todo lo anterior, una recomendación general que afecta a todas las intervenciones analizadas es la necesidad de reforzar los diseños, más allá de la cumplimentación del formulario propuesto en la convocatoria. Hay que reconocer que las debilidades detectadas en los diseños no son únicamente atribuibles a las organizaciones responsables de su presentación. Los montos de los proyectos analizados son, en general, muy reducidos y denotan una dispersión excesiva de los recursos disponibles. No pueden esperarse diseños sólidos en intervenciones de carácter tan modesto. Además, en todos los casos, se ha optado por el mecanismo de “reformulación” que, de hecho, supone una reducción de los presupuestos inicialmente presentados. Esos procedimientos de recorte de los presupuestos de los proyectos afectan a la propia coherencia de las intervenciones, desincentivan el trabajo durante las fases de identificación y diseño y resultan poco coherentes con la pretensión de apoyar una cooperación con unos niveles elevados de calidad. Tampoco parecen adecuados unos plazos de ejecución tan reducidos como los que se han planteado en los proyectos analizados. Una recomendación general relacionada con los Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:29 Página 31 Programa de Evaluaciones 2006-2007 puntos anteriores es la de apostar por intervenciones más ambiciosas en tiempo y recursos, lo que posiblemente tenga como contrapartida la reducción del número de proyectos aprobados desde el Ayuntamiento. Esos proyectos deben poseer unos diseños sólidos (lo que no excluye mecanismos que permitan una cierta flexibilidad) y presentar niveles de ambición más elevados. • El establecimiento de redes y alianzas entre diferentes organizaciones e instituciones (públicas y privadas) parece haber dado buenos resultados en todos los casos en que se ha llevado a cabo. Aunque inicialmente puede complicar la ejecución de los proyectos, ya que aparecen diferentes actores con niveles de responsabilidad muy variados, lo cierto es que en los cuatro casos analizados las ventajas han sido más importantes que los problemas detectados. • En principio, el establecimiento de alianzas en torno a los proyectos permite contar con especialistas para cada uno de los componentes planificados, incrementa las posibilidades de sostenibilidad (para lo que la implicación de las instituciones públicas suele ser clave) y contribuye a la generación de procesos de desarrollo que exceden el marco inicialmente previsto. • Un tema elemental que no todos los proyectos habían resuelto de manera adecuada es el de la transferencia de los activos generados durante la etapa de ejecución. Una clara definición de esa transferencia constituye una condición necesaria para garantizar la sostenibilidad de los efectos promovidos desde los proyectos y debería estar prevista desde la propia formulación. No parece razonable que ese tema verdaderamente crucial intente resolverse durante la ejecución, ya que se generan incertidumbres y tensiones innecesarias. Por su parte, la evaluación llevada a cabo en Marruecos presentó las conclusiones y recomendaciones que se reflejan a continuación: • Al ser proyectos que se han desarrollado en el mismo área y ejecutados por la misma entidad, es más fácil tratar de elaborar conclusiones y plantear recomendaciones de índole general, más allá de cada proyecto evaluado. • En cualquier caso, las valoraciones que se incluyen en las próximas líneas deben ser complementadas con los análisis más detallados que se presentan en cada uno de los informes de evaluación particulares. • Entendiendo pertinencia como adecuación a prioridades, puede afirmarse que los dos proyectos evaluados presentan una elevada pertinencia en relación con las prioridades estratégicas planteadas por el Ayuntamiento de Madrid. Aunque en el momento de sus respectivas aprobaciones (y de sus periodos de ejecución) no existían ni el actual Plan General de Cooperación ni el Plan Estratégico de Actuación en Marruecos 2006-2009, todas las intervenciones se insertan con claridad en los actuales objetivos estratégicos que aparecen en el citado documento. • Así, la región de Alhucemas es considerada como zona de concentración de la cooperación del Ayuntamiento de Madrid y respecto a prioridades se propone favorecer las intervenciones integrales con participación de diversos actores, fomentar actuaciones con compromiso de largo plazo e incluir sistemas de evaluación permanente. Al mismo tiempo, se pretende dar un elevado protagonismo a los beneficiarios en todas las decisiones del ciclo del proyecto y favorecer los proyectos dirigidos por mujeres, al tiempo que se apoyan las estructuras municipales y se promueve la capacitación. Tal vez el elemento de integralidad no ha sido tan evidente en estos proyectos pero no es menos cierto que el compromiso del MPDL por trabajar en el largo plazo en la región es claro y una de las fortalezas de su actuación. • Del mismo modo, los proyectos eran pertinentes desde la lógica de la cooperación española en su conjunto y de los Documentos de Estrategia País elaborados por la AECI y la OTC y se insertaban bien en ellos. • Asumiendo los Objetivos de Desarrollo del Milenio como marco de referencia genérico, los proyectos analizados se vinculan respectivamente con los objetivos 2 (Lograr la educación Cooperación Ciudad de Madrid 31 12671 Colombia (FF) 32 3/3/08 13:29 Página 32 Programa de Evaluaciones 2006-2007 • • • • • • primaria universal), el 3 (Promover la igualdad de género y la autonomía de la mujer) y en menor medida el 7 (Garantizar la sostenibilidad medioambiental), teniendo componentes, como suele ser habitual, del ODM 1 (Erradicar la pobreza extrema y el hambre). Muy genéricamente puede afirmarse que los proyectos son también pertinentes en el contexto de estrategias globales de lucha contra la pobreza y de consecución de los ODM. Bajando este análisis de la pertinencia al terreno, a la región de Alhucemas y a las comunas rurales de Rouadi e Izemouren, los proyectos analizados pueden considerarse pertinentes y responden a necesidades reales bien planteadas y a demandas de las comunidades. También hay que reconocer que la organización que ha llevado a cabo los proyectos evaluados, el MPDL, había iniciado unos muy positivos procesos de planificación estratégica en Marruecos y en la región de Alhucemas que enmarcan los proyectos individuales en una lógica general de actuación. Esto, sin duda, da una mayor coherencia al conjunto de la intervención. Asumiendo como un elemento positivo los avances en los procesos de planificación estratégica, tanto dentro de la propia área de Cooperación Internacional del Ayuntamiento de Madrid como en el MPDL, puede pensarse en la conveniencia de establecer algún tipo de relaciones de más largo alcance entre las diferentes entidades implicadas complementando la lógica de las convocatorias anuales con algún tipo de relación más estable en torno a objetivos predeterminados. Ello sería congruente con la citada prioridad en la estrategia del Ayuntamiento de Madrid de “fomentar intervenciones con compromisos de largo plazo”. Si consideramos que la pertinencia hace también referencia a la correspondencia entre las soluciones adoptadas por los proyectos considerados y los problemas inicialmente detectados, la valoración debe ser un poco menos positiva. En cada informe de evaluación particular se profundiza sobre esta cuestión, pero como recomendación general puede señalarse la conveniencia de efectuar diagnósticos participativos más rigurosos y de consensuar con los diferentes actores implicados (y especialmente con los colectivos beneficiarios) las estrategias incluidas en las intervenciones de desarrollo, para proponer las alternativas más adecuadas a unas propuestas de intervención pertinentes. Vinculado con el punto anterior, y desde una perspectiva metodológica pero no exclusivamente formal, hay que reconocer que los diseños iniciales de las intervenciones evaluadas presentan, en general, algunas debilidades. Ya se ha comentado que las líneas de base son, a menudo, muy débiles, lo que dificulta el conocimiento de la situación-punto de partida y complica la valoración de los posibles impactos de las intervenciones. Más allá de esto, los diseños no establecen siempre unas lógicas de intervención sólidas, con correspondencias entre las actividades programadas, los resultados esperados, el objetivo que se pretende alcanzar y los fines superiores a los que se aspira a contribuir. A menudo, los indicadores no resultan adecuados para valorar el nivel de logro de los diferentes niveles de los proyectos o no presentan fuentes verificables. Los distintos análisis de riesgos son muy superficiales y las valoraciones acerca de la sostenibilidad son demasiado ligeras. Por todo lo anterior, una recomendación general que afecta a todas las intervenciones analizadas es la necesidad de reforzar los diseños, con independencia del tipo de formulario que se solicite en la convocatoria. Los montos de los proyectos analizados son, en general, muy reducidos y denotan una dispersión excesiva de los recursos disponibles. No pueden esperarse diseños sólidos en intervenciones de carácter tan modesto. Los formularios de las convocatorias en las que se presentaron los proyectos evaluados (2002 y 2003) no pedían un análisis de factores externos ni de riesgos, por ejemplo. Además, en un caso, se ha optado por el mecanismo de “reformulación” que, de hecho, supone una reducción de los presupuestos inicialmente presentados. Esos procedimientos de recorte de los presupuestos de los proyectos afectan a la propia coherencia y a los resultados de las intervenciones (como se demuestra en el proyecto ejecutado en la comuna de Rouadi), desincentivan el trabajo durante las fases Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 33 Programa de Evaluaciones 2006-2007 • • • • • • • de identificación y diseño y resultan poco coherentes con la pretensión de apoyar una cooperación con unos niveles elevados de calidad. Los proyectos evaluados han sido ejecutados con unos niveles elevados de eficacia y eficiencia. Los ejercicios de seguimiento y evaluación previos ya lo habían puesto de manifiesto. En alguno de los componentes del proyecto de Izemouren, especialmente en el forestal y en la formación ligada al turismo, tanto la eficacia como la eficiencia han sido algo menores. Al ser dos proyectos relativamente sencillos, los plazos de ejecución han sido adecuados. No obstante, analizando en conjunto el trabajo del MPDL en la región y los problemas que debe afrontar al realizar diversos proyectos con diversas fuentes de financiación, una recomendación general relacionada con los puntos anteriores es la de apostar por intervenciones más ambiciosas en tiempo y recursos, lo que posiblemente tenga como contrapartida la reducción del número de proyectos aprobados desde el Ayuntamiento pero el aumento de su monto. Esos proyectos deben poseer unos diseños sólidos (lo que no excluye mecanismos que permitan una cierta flexibilidad) y presentar niveles de ambición más elevados. El establecimiento de redes y alianzas entre diferentes organizaciones e instituciones (públicas y privadas) ha dado buenos resultados en los casos evaluados. Aunque inicialmente puede complicar la ejecución de los proyectos, ya que aparecen diferentes actores con niveles de responsabilidad muy variados, lo cierto es que en los dos casos analizados las ventajas han sido más importantes que los problemas detectados. En principio, el establecimiento de alianzas en torno a los proyectos, incrementa las posibilidades de sostenibilidad (para lo que la implicación de las instituciones públicas suele ser clave) y contribuye a la generación de procesos de desarrollo que exceden el marco inicialmente previsto. En esta línea, recomendaríamos conceder mayor importancia a la formalización de estas formas de colaboración, manteniendo comités de gestión o seguimiento incluso después de la finalización de los proyectos. La buena relación del MPDL con sus contrapartes y con las comunas rurales, unido a una relación suficiente con las autoridades, ha redundado en un nivel de sostenibilidad bastante alto. Como es habitual, tras varios años después de la finalización de los proyectos surgen algunos problemas menores que no están afectando esta alta sostenibilidad. En relación con lo anterior, la apropiación por parte de los beneficiarios y beneficiarias de los proyectos es muy alta y a ello ha contribuido el esfuerzo del MPDL en la región por potenciar las organizaciones sociales y por invertir en fortalecimiento institucional de las mismas. Dado que no es una evaluación de impacto, resulta difícil evaluar los efectos a medio plazo que cada uno de los proyectos ha tenido en la zona en términos de desarrollo. Sin embargo, dado que la evaluación se ha realizado años después de la finalización de los mismos, sí es claro que el impacto agregado de estos proyectos, unido al resto de acciones del MPDL en las dos comunas, ha sido muy alto. La ONG es un actor reconocido en la zona, con un alto grado de prestigio y aceptación por parte de los beneficiarios y con un elevado respeto por parte de las autoridades. En alguna entrevista nuestro interlocutor se refirió a la ONG como “un operador fiable en Marruecos” y la evaluación ha podido constatarlo y el que ésta es la opinión extendida. Por ello y al ser, junto al Ayuntamiento de Madrid, la Comunidad de Madrid y la AECI los otros dos financiadores fundamentales del MPDL en la región de Alhucemas, se deberían tratar de unificar más aún las prioridades y criterios de intervención. La estrategia ya propone a algunos como la solicitud a la OTC de evaluaciones ex ante sobre la pertinencia, pero debería avanzarse en ello. Por lo que hace referencia a la evaluación llevada a cabo en Ecuador, se presentaron algunas conclusiones y recomendaciones en el nivel de los proyectos. Cooperación Ciudad de Madrid 33 12671 Colombia (FF) 34 3/3/08 13:30 Página 34 Programa de Evaluaciones 2006-2007 Los componentes prioritarios de trabajo en los proyectos giran en torno a cuatro dimensiones: • Refuerzo institucional (Consejos Cantonales de Salud y referentes en salud en las comunidades). • Promoción de la salud (sensibilización a las comunidades sobre entorno saludable y salud y sobre derecho a la salud, capacitación general o de promotores). • Formación del personal sanitario. • Infraestructuras y equipamiento. Tanto los objetivos como los componentes de trabajo son relevantes para la mejora de la salud de la población, están en línea con los Objetivos del Milenio y parecen claramente prioritarios dado el contexto social, institucional y político de Ecuador. Merece la pena señalar que entre objetivos y estrategias existen algunas discontinuidades conceptuales que podrían limitar la coherencia de las acciones y proyectos que pudieran realizarse bajo la orientación de dicho Plan Estratégico. En el ámbito de la presente evaluación parecen de interés dos tipos de discontinuidades, tanto por su efecto en el diseño y ejecución de proyectos como por su relación con las recomendaciones que se hacen a los diferentes agentes para la mejora del circuito de gestión y seguimiento de los proyectos. Resultados en salud Fijar como objetivos resultados en salud implica incorporar determinados elementos a los proyectos: • Realizar una medición ex ante y ex post de una situación de salud. • Incorporar actividades con efectos a corto plazo, no sólo a medio y largo plazo. • Dimensionar los proyectos en relación con los objetivos a alcanzar. Resulta muchas veces imposible obtener resultados en salud en proyectos de bajo presupuesto y de corto plazo de ejecución. Pero en ese caso habrá que definir objetivos e indicadores intermedios que ofrezcan información sobre lo que sí se puede conseguir, sea lo que sea, con ese presupuesto y ese plazo. Cuando sea posible, es muy necesario realizar un esfuerzo adicional en la definición del impacto en salud de los proyectos, ajustando la formulación de objetivos-indicadores-resultados-actividades. Realizar actividades sobre objetivos inalcanzables y con indicadores poco precisos es algo que no puede aceptarse en un proyecto que pretenda colaborar en la mejora de la salud de una población. Marcar objetivos ajustados a lo esperable de las actividades propuestas y definir indicadores que permitan mostrar en qué medida se ha mejorado es una obligación ética de todos los implicados en la cooperación al desarrollo. Apoyo al desempeño del Sistema Nacional de Salud en el ámbito local Incorporar actividades tendentes a la mejora del desempeño del sistema sanitario público en los proyectos financiados requiere: • Identificar problemas de accesibilidad y calidad de la atención, medidas normalmente en términos cualitativos (percepción de usuarios y profesionales) y cuantitativos (coberturas o estimaciones a partir del volumen de actividad y la población, y evolución de la atención). • Apoyar con medidas sobre las que existe evidencia de que afectan positivamente a lo que se quiere mejorar (diseño y apoyo a la aplicación de protocolos, análisis y planes de mejora de Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 35 Programa de Evaluaciones 2006-2007 determinados servicios asistenciales, construcción y equipamiento para la prestación de servicios en cantidad y calidad adecuadas, planes de formación en el puesto de trabajo para asegurar que la formación se traslada a la práctica clínica...). • Definir un sistema de información sostenible y preciso que permita dar cuenta de los resultados y ser un elemento de apoyo a la sostenibilidad de las mejoras realizadas. • Actuar con una estrategia de apoyo al sistema sanitario público, de colaboración con la Administración local y de sensibilización a las organizaciones comunitarias para que el proyecto incorpore a los actores en el territorio a la dinámica de mejora en los servicios sanitarios. Salud comunitaria El rol de la salud comunitaria en el Plan Estratégico es extremadamente relevante. Este rol parece una consecuencia lógica de la situación de salud y del sistema sanitario en Ecuador, y tiene importantes implicaciones en el diseño y ejecución de los proyectos. Entre ellas, se señalan algunas especialmente relevantes a juicio del evaluador. • La promoción de la salud a través de acciones de mejora ambiental, como mejora de sistemas de agua y saneamiento, requiere de intervenciones de un volumen importante para que tengan impacto. • La promoción de la salud a través de educación para la salud y acciones de sensibilización ha demostrado tener por sí sola limitados efectos en la salud de los individuos, por cuanto el cambio de hábitos está ligado a procesos mentales complejos y al cambio de algunos factores ambientales y socioeconómicos que muchas veces no están al alcance de los beneficiarios. • La promoción de la salud se ve beneficiada por acciones de refuerzo continuado a lo largo del tiempo, como la que permiten agentes locales como los promotores de salud. Sin embargo, el plazo mínimo para que esas acciones se traduzcan en resultados en salud puede ser bastante largo, y requiere de estabilidad en los agentes, adaptación de los mensajes y aceptación de la figura por parte de la comunidad. A corto plazo sólo pueden identificarse cambios en los conocimientos, o imagen del agente local entre la comunidad, pero es muy importante que se definan esos objetivos intermedios, dado que sin ellos no es posible identificar el grado de contribución de un determinado proyecto a procesos de cambio a largo plazo. Con relación al proceso de aprobación de propuestas, parece útil tener dos temas en cuenta: Volumen mínimo de financiación Los proyectos en salud requieren unas inversiones mínimas por objetivo, por debajo de las cuales no resulta eficaz e incluso eficiente intervenir. Estos mínimos dependen lógicamente de las especificidades del territorio y la población beneficiaria, así como de los objetivos que se planteen, pero son siempre un elemento a tener en cuenta. Afortunadamente la mayoría de financiadores tienden cada vez más a financiar proyectos en un porcentaje importante. Algunas dimensiones a tener en cuenta en relación con el volumen de financiación: • Presupuesto en cifras absolutas y relativas. La financiación suficiente es el primer punto a valorar. También es importante la proporción entre componentes para saber si un proyecto tiene posibilidades reales de cumplir los objetivos que se plantea. Por ejemplo, si sólo se plantea el componente formación del personal sanitario sin abordar cómo se aplica a la práctica clínica es difícil que se obtengan resultados claros y medibles. Otro ejemplo: un proyecto de salud basado exclusivamente en acciones de promoción de la salud tendrá necesidades de financiación diferentes que un proyecto curativo, pero es muy difícil esperar resultados a Cooperación Ciudad de Madrid 35 12671 Colombia (FF) 36 3/3/08 13:30 Página 36 Programa de Evaluaciones 2006-2007 corto plazo aunque se realice una inversión importante, por lo que debería formar parte de un proyecto más amplio, sea en salud o en otros componentes como organización comunitaria. • Presupuesto suficiente para cubrir las necesidades de gestión. Los proyectos sanitarios son muy sensibles a necesidades de gestión no cubiertas, como la información que deben generar, que debe ser proporcional al proyecto pero tiene siempre unos mínimos que se deben cubrir. • Presupuesto suficiente para producir impacto en salud. Los cambios en los perfiles epidemiológicos de las poblaciones son procesos complejos que requieren un nivel de financiación suficiente que permita abordar diferentes líneas de trabajo con suficiente profundidad. La salud materno-infantil en Ecuador parece una prioridad tanto gubernamental como técnica, y su mejora requiere presupuestos de cofinanciación relativamente limitados, si se abordan dimensiones adecuadas de servicios curativos, preventivos y de promoción de la salud. Dado que es habitual la reducción de la financiación aprobada respecto a la propuesta, cobra una gran relevancia la información sobre el proceso de ajuste que necesariamente la ONG deberá realizar para hacer una nueva relación entre medios y objetivos. Este ajuste debe explicitarse tanto en el plano presupuestario como en el técnico, por cuanto una indefinición en esa fase dificulta el desarrollo del proyecto, de su seguimiento y de su evaluación. Resultaría incluso útil condicionar la disposición de los fondos a la presentación de una propuesta de reestructuración de calidad. Relación entre intervención y proyecto • Cuando el proyecto se inscribe en una intervención continuada en el objetivo o en el territorio (con más de un objetivo de desarrollo), resulta muy importante describir la relevancia del proyecto en el contexto de la intervención, reflejándolo en términos de matriz de planificación y de presupuesto. • Cuando el proyecto tiene una estructura de cofinanciación, ésta debería explicitarse a través de un cuadro de financiación global y de una relación entre los medios, las actividades y los objetivos del proyecto, de forma que se pueda valorar la consistencia del proyecto y la eficiencia en el uso de recursos. • Cuando el proyecto financia parte de las acciones de una intervención a través de varias fases, sería muy conveniente tener en cuenta la continuidad de resultados y actividades a lo largo de las fases. Que un resultado se priorice en una primera fase no debería llevar a no considerarlo en la siguiente. En cuanto al seguimiento de los proyectos en ejecución: Resultaría interesante abrir espacios de trabajo y debate entre los técnicos del Ayuntamiento y las ONG sobre algunos temas relacionados con el seguimiento de los proyectos. • • • • Información estandarizada y evaluabilidad de proyectos. Relación entre los profesionales del Ayuntamiento y ONG. Seguimiento técnico de proyectos e intervenciones. Relación entre actores del proceso. Justificación y evaluación de proyectos. Definiciones, fuentes de datos, indicadores, descripción de actividades y valoración. • Identificación de buenas prácticas y elaboración de documentos tipo “lecciones aprendidas” para su difusión general o entre proyectos financiados por el Ayuntamiento de Madrid. El seguimiento de los proyectos financiados por el Ayuntamiento de Madrid debe ser proporcional al volumen de fondos y, por tanto, no puede diseñarse un sistema desproporcionado. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 37 Programa de Evaluaciones 2006-2007 Sin embargo, la cooperación en salud, por sus implicaciones deontológicas debe tener unos mínimos requisitos de rigor científico (entiéndase en sentido amplio) que deberían permitir que los proyectos soportaran un proceso de seguimiento mínimo, especialmente si éste se alinea con las necesidades de la intervención y de otros financiadores. Parece factible impulsar desde un financiador medio como el Ayuntamiento de Madrid un proceso de validación de herramientas comunes de seguimiento para proyectos en salud, asumibles por los diferentes actores y soportables por los proyectos, siempre que estos tengan un volumen de financiación suficiente. Algunas de las actividades que pueden incorporarse a un proceso de mejora continua de la calidad de la cooperación en salud podrían ser: • Jornadas técnicas sobre sectores prioritarios de cooperación. • Acciones de coordinación y transferencia de conocimiento entre organizaciones y proyectos vinculados a la financiación del Ayuntamiento de Madrid. • Actividades de sistematización y difusión. En relación a las ONG: • El cumplimiento de plazos y contenido de documentos de seguimiento y justificación de los proyectos es un nivel básico de calidad de la gestión de la cooperación al desarrollo. Siendo un elemento en principio poco cualitativo es algo más que un compromiso contractual, por cuanto tiene efectos sobre el seguimiento y la evaluabilidad de la intervención, elementos más cualitativos. En la mayoría de los proyectos analizados este nivel de calidad parece adecuadamente conseguido. Si se producen retrasos sistemáticos e importantes, o lagunas significativas en la descripción y análisis de las actividades realizadas, éstos deben analizarse con los agentes implicados y darles una solución porque su efecto a medio plazo puede ser importante en la intervención. • Las ONG españolas, que presentan los proyectos para su financiación, deben identificar y aplicar mecanismos efectivos para la gestión del conocimiento, de forma que la experiencia acumulada sobre áreas geográficas, áreas temáticas y metodologías aplicadas sea accesible a los agentes relacionados con la ejecución de un nuevo proyecto y se aplique efectivamente desde el diseño a la entrega del proyecto. • Las alianzas estratégicas con contrapartes locales en territorios prioritarios pueden favorecer decisivamente la calidad de los proyectos, sus resultados y su alineamiento con las estrategias de cooperación de los agentes implicados. Sin embargo, debe tenerse en cuenta que los resultados correctamente identificados y sostenidos en el tiempo deben dar la medida del éxito de la alianza estratégica. • Debe definirse aún más el papel de la ONG española sobre el terreno en el aseguramiento de la gestión y la calidad de la ejecución del proyecto, orientada al cumplimiento de las condiciones de la financiación y al impacto. Este papel es diferente según la estructura de la ONG en el país y su modelo de intervención. También influyen las características de la contraparte ecuatoriana. En cualquier caso, parece haber espacio para la mejora en la coherencia interna de la intervención de los diferentes agentes sobre el terreno. Seguimiento de proyectos: • Necesidad de análisis técnico de proyectos, especialmente para evaluación de propuestas de contrapartes locales. • Conocer de primera mano la ejecución de los proyectos a través de visitas periódicas que se orienten al repaso de la ejecución de los proyectos con las organizaciones de base y con la contraparte local. Y ello tanto en el plano de ejecución presupuestaria como en el cumplimiento de Cooperación Ciudad de Madrid 37 12671 Colombia (FF) 38 3/3/08 13:30 Página 38 Programa de Evaluaciones 2006-2007 actividades y el seguimiento de indicadores. Las ONG españolas no disponen en los países de equipos especializados en todos los campos que abarcan. Ello es parte de su naturaleza y de su eficiencia, pero si se dotan de apoyos adecuados (externos a las contrapartes locales) o realizan un seguimiento en base a una formulación adecuada del proyecto, pueden conseguirse mejores resultados y una ejecución de mayor calidad. • Realizar minievaluaciones de impacto con posterioridad al final de los proyectos. Esto es especialmente necesario para los proyectos que por problemas en los plazos de ejecución no han conseguido culminar los ciclos mínimos de resultado (cosechas, entrada en funcionamiento de un servicio...) y en los proyectos sobre los que haya más dudas en cuanto a su sostenibilidad, con el objetivo de valorar un apoyo complementario si el proyecto fuera interesante y un complemento limitado aumentara significativamente su sostenibilidad. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 39 INFORMES DE EVALUACIÓN 12671 Colombia (FF) 3/3/08 13:30 Página 40 12671 Colombia (FF) 3/3/08 13:30 Página 41 Informe de evaluación. Colombia 12671 Colombia (FF) 3/3/08 13:30 Página 42 12671 Colombia (FF) 3/3/08 1 13:30 Página 43 Informe de evaluación Proyecto de formación y autoempleo para mujeres ceramistas en Tocancipá (fases I y II), y Proyecto de formación y autoempleo en cocina, mesa y bar para mujeres de Sopó Convocatorias: 2000, 2001 y 2003 Áreas de actuación: capacitación laboral y microempresas Localización: comunidades de Tocancipá y Sopó, región de Cundinamarca (Colombia) Fecha de inicio: marzo de 2001 Fecha de finalización: diciembre de 2004 Coste total: 58.670,80 euros + 85.163,52 euros + 78.950,36 euros Aportación del Ayuntamiento de Madrid: 42.984,39 euros + 59.410,05 euros + 62.258,36 euros ONG responsable: Asociación Candelita Socio local: Manos Amigas Colombia Otras entidades participantes: Gobernación de Cundinamarca, ayuntamientos de Tocancipá y Sopó 1. BREVE DESCRIPCIÓN DE LAS INTERVENCIONES Las intervenciones evaluadas fueron formuladas en los años 2000, 2001 (fase II) y 2003. Se trata de dos intervenciones orientadas hacia la formación y el autoempleo de mujeres en los municipios de Tocancipá y Sopó (departamento de Cundinamarca, Colombia) en las áreas de la cerámica y alfarería (Tocancipá 2000 y 2001) y cocina, mesa y bar (Sopó 2003). Ambos proyectos forman parte de una estrategia de intervención puesta en marcha conjuntamente por la ONG colombiana Manos Amigas y la española Candelita, cuya colaboración comenzó con el primero de los proyectos evaluados y se ha ampliado a otras intervenciones. Los dos proyectos comparten unos colectivos beneficiarios relativamente similares (mujeres desempleadas en poblaciones cercanas del departamento de Cundinamarca) y unas lógicas de intervención parecidas, basadas en la capacitación profesional, la difusión de técnicas de búsqueda Cooperación Ciudad de Madrid 12671 Colombia (FF) 44 3/3/08 13:30 Página 44 Informe de evaluación. Colombia de empleo, habilidades sociales, etc., lo que unido a asistencias técnicas y asesorías contribuyen a promover la inserción laboral de las mujeres beneficiarias, básicamente en modalidades de autoempleo. El apoyo externo había concluido en el momento de efectuar la evaluación, aunque se mantenía la relación entre Manos Amigas y las mujeres participantes en las iniciativas. 2. DESCRIPCIÓN DE LA ESTRUCTURA DE INTERVENCIÓN EN LA QUE SE INSERTA EL PROYECTO La intervención evaluada se compone de dos actuaciones en la comunidad de Tocancipá (Formación y autoempleo para mujeres ceramistas de Tocancipá en sus fases I y II) y una más en la de Sopó (“Formación y autoempleo en cocina, mesa y bar para mujeres de Sopó”). Las tres intervenciones forman parte de una estrategia más ambiciosa que ha ido definiéndose desde que Candelita comenzó a actuar en la zona acompañando a la asociación Manos Amigas. La Asociación Manos Amigas es una organización colombiana sin ánimo de lucro fundada en 1998 por un grupo de mujeres profesionales con la finalidad de apoyar al desarrollo de grupos menos favorecidos. En cuanto a su misión se indica que se trata de “Orientar la realización de procesos de enriquecimiento personal y grupal hacia la búsqueda de una existencia más plena, creativa y autónoma, cuyas relaciones estén guiadas por el respeto a la diferencia, la equidad y la ternura”. En lo que se refiere a principios, establecen cuatro elementos: democracia participativa, desarrollo de la persona y del grupo, trabajo desde la perspectiva del género y protección del medio ambiente. La Asociación presenta una serie de líneas de actuación denominadas programas: • Programa de apoyo a la productividad. • Programa de atención integral a la mujer. • Programa de codesarrollo. • Área de desarrollo humano. • Área de apoyo en atención infantil. • Prevención de la trata de personas. • Capacitación integral. • Formación ocupacional (servicios gastronómicos, producción de alimentos). • Área sociolaboral. • Empresarial (formación, asesoría). • Área de mercadeo. Es en este marco de trabajo donde se llevaron a cabo las intervenciones cofinanciadas por el Ayuntamiento de Madrid en sus convocatorias de los ejercicios 2000, 2001 y 2003. Se presenta a continuación la estructura de proyectos por año y financiador tal y como la incorpora la organización en sus documentos institucionales: Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 45 Programa de Evaluaciones 2006-2007 Proyectos por año y financiador mayoritario 2 2 1 2 1 1 1 1 1 1 1 1 1 1 0 2001 2002 2003 2004 2005 Ayuntamiento de Madrid Comunidad de Madrid Ayuntamiento de Collado Villalba AECI 2006 El documento inicial de la primera de las fases de la intervención denominada “Formación y autoempleo para mujeres ceramistas de Tocancipá” presentaba tres objetivos generales, cinco específicos, cinco resultados y cinco actividades. Esta estructura, que se mantiene con ligeras variaciones en el documento de la “reformulación”, es la siguiente: LÓGICA DE INTERVENCIÓN – TOCANCIPÁ. FASE I (REFORMULADO) OBJETIVOS GENERALES • Contribuir a la igualdad de oportunidades de las mujeres rurales con cargas familiares no compartidas en el mercado laboral, a través de la formación integral y global. • Integrar laboralmente a 30 mujeres rurales con cargas familiares no compartidas con alto índice de pobreza a través de la creación de una microempresa de alfarería y cerámica que contribuya a recuperar la tradición prehispánica chibcha. • Contribuir al desarrollo local de la zona de Cundinamarca. OBJETIVOS ESPECÍFICOS • Conseguir la participación social a través de la formación continua en educación para la salud y la educación de adultos de 26 mujeres potenciando la orientación y autonomía personal, habilidades sociales, la educación para la salud y de género y la solución de problemas personales. • Facilitar las condiciones de acceso al mercado laboral, a través de la formación y entrenamiento en herramientas para la búsqueda activa y autoempleo de 26 mujeres. • Cualificar profesionalmente como alfareras-ceramistas a 26 mujeres rurales con cargas familiares no compartidas y alto índice de pobreza con un curso de 640 horas. Cooperación Ciudad de Madrid 45 12671 Colombia (FF) 46 3/3/08 13:30 Página 46 Informe de evaluación. Colombia • Integrar sociolaboralmente a 13 mujeres rurales con cargas familiares no compartidas a través de la creación de una microempresa de artesanía y cerámica que recupere la tradición prehispánica chibcha. • Atender, socializar y dar apoyo escolar a los hijos menores en los periodos de formación de sus madres. RESULTADOS 1. 30 mujeres rurales con cargas familiares no compartidas y alto índice de pobreza formadas en habilidades sociales y educación sociosanitaria y de género. 2. 30 mujeres rurales con cargas familiares no compartidas y alto índice de pobreza formadas en técnicas de búsqueda activa de empleo y autoempleo. 3. 26 mujeres rurales con cargas familiares no compartidas y alto índice de pobreza formadas en un curso de 640 horas como alfareras-ceramistas. 4. Creación y estabilidad económica de la microempresa. 5. Atención y socialización y apoyo escolar a 40 niños en periodos de formación de sus madres. ACTIVIDADES 1.1. Aula de habilidades sociales y educación sociosanitaria y de género de 10 meses de duración los sábados por la mañana. 2.1. Aula de técnicas de búsqueda activa y autoempleo con una duración de cinco horas semanales durante 11 meses. 3.1. Curso de 640 horas teórico-práctico como alfareras-ceramistas donde adquirirán toda una serie de conocimientos. 4.1. Creación de la microempresa de alfarería cerámica. 5.1. Atención infantil y apoyo escolar en tiempo de formación de sus madres. La segunda fase de esta misma intervención (“Formación y autoempleo para mujeres ceramistas de Tocancipá”) presenta una lógica de intervención (primera columna de lo que sería una matriz de planificación de proyecto) bastante parecida a la anterior, si bien en esta ocasión se puede resumir en un objetivo general de desarrollo, cuatro objetivos específicos y el mismo número de resultados y actividades. Dicha lógica de intervención se puede intentar resumir en los siguientes elementos: LÓGICA DE INTERVENCIÓN - TOCANCIPÁ. FASE II OBJETIVOS GENERALES Favorecer la igualdad de oportunidades de las mujeres rurales con cargas familiares no compartidas y alto índice de pobreza a través de la formación integral y empresarial, constituyendo iniciativas empresariales en la economía solidaria, ayuda mutua y servicio a la comunidad, potenciando el desarrollo socioeconómico local con puestos de trabajo que mejoren su situación económica y familiar. OBJETIVOS ESPECÍFICOS • Capacitar a 14 mujeres emprendedoras que han participado en la primera fase del proyecto para desarrollar la empresa de artesanía y cerámica que recupere la tradición prehispánica chibcha, a todos los niveles. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 47 Programa de Evaluaciones 2006-2007 • Conseguir la participación social a través de la formación continua en educación para la salud y educación de adultos de 25 mujeres que se incorporarán en esta segunda fase, potenciando la orientación y autonomía personal, habilidades sociales, la educación para la salud, de género y la solución de problemas personales. • Cualificar profesionalmente como alfareras-ceramistas a las 25 mujeres rurales (de nueva incorporación) con cargas familiares no compartidas y alto índice de pobreza con un curso de 640 horas • Especializar a 20 mujeres de los dos grupos, tanto de la primera como de la segunda fase, en las técnicas de pintura y esmaltado sobre cerámica y el uso de diferentes hornos. RESULTADOS 1. Gestión de la empresa por las mujeres participantes. 2. 25 mujeres rurales con cargas familiares no compartidas y alto índice de pobreza formadas en habilidades sociales y educación sociosanitaria y de género. 3. 25 mujeres rurales con cargas familiares no compartidas y alto índice de pobreza formadas en un curso de 640 horas como alfareras-ceramistas que adquieren toda una serie de conocimientos. 4. 20 mujeres rurales con cargas familiares no compartidas y alto índice de pobreza especializadas en esmaltados sobre cerámica a través de un curso de 300 horas en el que adquieren toda una serie de conocimientos. ACTIVIDADES 1.1. Taller de gestión empresarial de 300 horas con tres fases: conocimientos básicos sobre gestión empresarial, proyecto de negocio (plan de viabilidad) y tutorías de seguimiento de la evolución de la empresa). 2.1. Aula de habilidades sociales y educación sociosanitaria y de género de 10 meses de duración los sábados por la mañana, sesiones de dos horas de duración. 3.1. Curso de 640 horas teórico-práctico como alfareras-ceramistas donde adquirirán toda una serie de conocimientos. 4.1. Curso de 300 horas teórico-práctico de esmaltados sobre cerámica donde adquirirán toda una serie de conocimientos. Por lo que respecta a las acciones realizadas en Sopó (“Formación y autoempleo en cocina, mesa y bar para mujeres de Sopó”) se estableció una lógica de intervención que incluía un objetivo general de desarrollo, un objetivo específico de la intervención, tres resultados y nueve actividades, tal y como se muestra en la siguiente estructura: LÓGICA DE INTERVENCIÓN - SOPÓ OBJETIVOS GENERALES Potenciar y posibilitar a las mujeres de Sopó y de la zona de Cundinamarca mecanismos y herramientas necesarias para ayudarlas en su emancipación personal y social generando así desarrollo local. OBJETIVOS ESPECÍFICOS Favorecer la igualdad de oportunidades de 50 mujeres rurales con altos índices de pobreza a través de la formación y cualificación integral, con miras a la consecución de iniciativas empresariales o de Cooperación Ciudad de Madrid 47 12671 Colombia (FF) 48 3/3/08 13:30 Página 48 Informe de evaluación. Colombia búsqueda activa de empleo, para potenciar así el desarrollo socioeconómico sostenible de las mujeres objeto del proyecto. RESULTADOS 1. Se conseguirá la participación social a través de la formación continua de 50 mujeres rurales con alto índice de pobreza a través de la formación en: potenciación y orientación de la autonomía personal, habilidades sociales, salud de género y la solución de problemas personales. 2. Se cualificará a 25 mujeres en conocimientos suficientes de cocina que les posibilite su integración en el mundo laboral y a 25 mujeres en conocimientos suficientes de mesa y bar que les posibilite su integración en el mundo laboral. 3. Se facilitarán las condiciones de acceso al mercado laboral a través de la formación y entrenamiento en herramientas para la búsqueda activa de empleo y autoempleo de 50 mujeres. ACTIVIDADES 1.1. Puesta en marcha del proyecto, adecuación de instalaciones, selección del personal, difusión y convocatoria, establecimiento de relaciones institucionales pertinentes, selección de los 50 participantes según criterios de mujeres con cargas familiares no compartidas, alto nivel de vulnerabilidad y bajo nivel de recursos económicos. 1.2. Aula de formación integral y global de 120 horas con bloques temáticos: educación para las relaciones sociales, educación para la salud básica y cuidados sanitarios, educación de género y educación sociopolítica. 1.3. Aula atención infantil y apoyo escolar a menores en tiempo de participación de las madres 2.1. Un curso de 280 horas de duración donde se profesionalizarán 25 alumnas en cocina. 2.2. Un curso de 280 horas de duración donde se profesionalizarán 25 alumnas en camarera de mesa y bar. 3.1. Servicio de orientación laboral e intermediación empresarial (con un curso y con tutoría individualizadas de búsqueda activa de empleo para las 50 mujeres con una duración de 120 horas, apertura de expediente consensuados de las mujeres participantes y visita por lo menos a 40 empresas de las zona en las que se elaborará una agenda de resultados obtenidos y convenios de empleo alcanzados. 3.2. Curso de potencialización del autoempleo y la microempresa para el 20% de las mujeres participantes. 3.3. Plan de viabilidad de las posibles microempresas. 3.4. Aula atención infantil y apoyo escolar a menores en tiempo de participación de las madres. En cuanto a la financiación de las actividades que se había propuesto se establecieron unas estimaciones que se resumen en la siguiente tabla: TOCANCIPÁ SOPÓ Fase I Fase I (reformulado) Fase II Coste total 67.481,72 € 58.670,80 € 85.163,42 € 78.950,36 € Solicitado 53.730,48 € 42.984,39 € 59.410,05 € 62,258,36 € Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 49 Programa de Evaluaciones 2006-2007 3. VALORACIÓN DE LOS DOCUMENTOS DE FORMULACIÓN Los documentos presentados se ajustan a los requisitos de las convocatorias, si bien hay que señalar que todos ellos adolecen de algunos defectos si se analizan desde el punto de vista de las sugerencias establecidas por las herramientas de planificación orientadas a objetivos, que son el soporte metodológico en el que descansan los formularios. Las herramientas de planificación orientadas a objetivos pretenden establecer cadenas lógicas entre los elementos de los proyectos de desarrollo, de tal forma que plantean la existencia de relaciones “causales” (de medios a fines en las formulaciones de objetivos) entre dichos elementos. De esta forma, se supone que tiene lugar una relación lógica entre actividades, resultados y objetivos, de modo que las primeras son medios para conseguir los segundos, y éstos, a su vez, medios para los terceros. Si se asume que las actividades representan la manera de conseguir algo, el objetivo específico es aquello que se desea alcanzar y los objetivos generales el “para qué” (el fin último), se establecería una cadena de efectos entre estos elementos: FINES MEDIOS ¿Para qué? Objetivos generales ¿Qué se quiere conseguir? Objetivo específico ¿Cómo se puede lograr? Resultados ¿Qué hay que hacer para lograrlo? Actividades Parece evidente, si se analizan las lógicas de intervención establecidas en el capítulo anterior, que estas secuencias de medios afines presentan bastantes debilidades en las intervenciones analizadas. De entrada, las dos primeras estructuras lógicas presentadas muestran el mismo número de objetivos que de resultados y de actividades, lo que en el caso de intentar mantener esas secuencias de medios afines implicaría que un problema tiene una sola causa (o un fin, un único medio para alcanzarlo), lo que probablemente esté indicando que el medio y el fin, o la causa y su efecto, son la misma cosa. Lo más habitual es que un fin requiera la aplicación de más de un “medio intermedio” para su logro y que cada uno de esos “medios intermedios” necesite, a su vez, más de un medio para su consecución o, lo que es lo mismo, usualmente se requerirá más de una actividad por resultado y más de un resultado por objetivo específico. Así, en un ejemplo de la primera estructura analizada se observa que se ha planteado un medio para cada uno de los fines y lo mismo para el propósito último: ACTIVIDAD RESULTADO Atención infantil y apoyo escolar en tiempo de formación de sus madres. Atención y socialización y apoyo escolar a 40 niños en periodos de formación de sus madres. OBJETIVO ESPECÍFICO Atender, socializar y dar apoyo escolar a los hijos menores en los periodos de formación de sus madres. Cooperación Ciudad de Madrid 49 12671 Colombia (FF) 50 3/3/08 13:30 Página 50 Informe de evaluación. Colombia Además, parece obvio que la actividad, el resultado y el objetivo específico no forman una secuencia entre medios y fines, sino que son la misma cosa. Con algunos matices, este esquema se reproduce en las dos estructuras lógicas que se refieren a las intervenciones en Tocancipá. En el caso de Sopó la estructura ya plantea una serie de actividades para alcanzar los resultados y se espera que el producto de éstos permita el logro del objetivo. También se pueden comentar las propias formulaciones de estos elementos. Así, la misma lógica de medios afines en los diferentes niveles de la estructura indica que la herramienta no admite relaciones entre los elementos que se encuentran en el mismo nivel. Expresiones del tipo: “Favorecer la igualdad de oportunidades de las mujeres rurales con cargas familiares no compartidas y alto índice de pobreza, a través de la formación integral y empresarial, constituyendo iniciativas empresariales en la economía solidaria, ayuda mutua y servicio a la comunidad, potenciando el desarrollo socioeconómico local con puestos de trabajo que mejoren su situación económica y familiar” incorporan una serie de relaciones entre las expresiones que la forman. Se podría pensar que la expresión forma por sí misma una estructura lógica: Formación integral y empresarial Iniciativas empresariales en economía solidaria Puestos de trabajo Mejora de la situación económica Desarrollo socioeconómico local Igualdad de oportunidades Habitualmente se indica que para evitar el fenómeno conocido como jamming no deben existir relaciones de medios a fines en el mismo nivel de la lógica de intervención. Si las actividades son el medio para alcanzar los resultados y el producto de éstos posibilita el logro del objetivo específico, lo que contribuirá a alcanzar el (o los) objetivo(s) general(es), no tiene sentido que dentro de cada uno de estos elementos se incluyan cadenas de efectos. En el ejemplo de la tabla anterior se identifican al menos cinco de estas relaciones dentro de uno de los objetivos generales. Y nuevamente, este proceder se repite en gran parte de los elementos incluidos en las lógicas de intervención que se presentan: “conseguir la participación social a través de la formación continua...”, “facilitar las condiciones de acceso al mercado laboral a través de la formación...”, “capacitar a mujeres... para desarrollar la empresa... que recupere la tradición...”, “se cualificará... que les posibilite”, etcétera. Otra cuestión a comentar es la expresión de objetivos y resultados. Objetivos y resultados expresados como “conseguir la participación social”, “especializar”, “atención y socialización”, “facilitarán condiciones de acceso al mercado”, etc. son muy difíciles de contrastar para la evaluación, como se pondrá de manifiesto en el capítulo destinado a la valoración de la eficacia. Así, la contrastación de estos objetivos y resultados requeriría saber, entre otras cosas, qué se entiende por participación social, cuál era el nivel de participación antes de la intervención y cuál es la meta de participación social a la que se aspira, qué se entiende por especializar y cuándo se considera que se ha especializado suficientemente, qué significa socialización y cuáles son los niveles iniciales y las aspiraciones de socialización, cuándo, cómo y por qué se considera que se han facilitado suficientemente las condiciones de acceso al mercado, ¿es cuando se ha accedido?, y si es así, ¿por qué el objetivo no es que hayan accedido? (algo fácilmente contrastable). Todos estos atributos, bases y metas de los objetivos deberían estar incluidos en los indicadores, pues es este elemento el que permite contrastar el alcance del objetivo. En los documentos que se analizan los indicadores resultan extremadamente débiles e incluso en muchas ocasiones no tienen relación con el resultado u objetivo que pretenden medir. Así, por ejemplo, nos encontramos con casos como los siguientes: Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 51 Programa de Evaluaciones 2006-2007 Documento Elemento Descripción Indicadores Comentarios de la evaluación • Mujeres que participan 1. Informan de capacitación, no de en la formación participación social. continua (asistencia a 2. No tienen base ni aula y habilidades meta, ni tiempo, lugar adquiridas observadas). y calidad. • Informe del número de personas que superan 3. El segundo es una fuente de verificación. los objetivos formativos (listado de asistencia e informe de habilidades. TOCANCIPÁ I Objetivo Conseguir la participación social. TOCANCIPÁ I Resultado Atención, socialización y • Participar en juegos y 1. Informan de participación de niños apoyo escolar a niños. deportes cooperativos y padres. • Fiestas de expresión y creatividad participadas 2. Ni base, ni meta. 3. El tercero es una por padres / madres actividad. • Dar apoyo a los niños TOCANCIPÁ II Resultado Gestión de la empresa por las mujeres participantes. 1. Los indicadores son • Grado de autonomía más difíciles de medir alcanzado en cada que el resultado. departamento. • Habilidades en toma de 2. Ni base, ni meta, ni calidad, tiempo... decisiones y resolución dificultades de gestión. SOPÓ Resultado Se conseguirá la participación social. • Asistencia a formación 1. Miden participación en la formación, ¿es lo de al menos el 80% de mismo que la las participantes. participación social? • Dominio del 75% de la enseñanza recibida en 2. ¿Cómo se mide el dominio? el aula. SOPÓ Resultado 1. Miden sólo asesoría • Creación y Se facilitarán las (¿es sólo una parte del condiciones de acceso al funcionamiento oficina acceso al mercado?). de intermediación. mercado laboral. 2. Ni calidad, tiempo, lugar, • Plan de viabilidad de cantidad de acceso... posibles empresas. Finalmente, otro elemento de la lógica de las intervenciones que presenta debilidades en su definición son los factores externos, supuestos o hipótesis. En los modelos de matrices de presentación de la información incorporados a los formatos de documento del Ayuntamiento de Madrid no se contempla la inclusión de estos elementos, que sin embargo sí se solicitan en uno de los últimos capítulos de dichos documentos, en el epígrafe de “riesgos y presunciones”. En el primero de los documentos (Tocancipá, fase I) sólo se menciona en este capítulo y como presunciones o condiciones previas, la actitud de las autoridades locales y la implicación de los Cooperación Ciudad de Madrid 51 12671 Colombia (FF) 52 3/3/08 13:30 Página 52 Informe de evaluación. Colombia participantes. Así, se indica, por un lado que “para poder realizar este tipo de actuaciones es necesaria la implicación de los organismos locales de la zona de Cundinamarca...”; en otro párrafo se advierte que “el inicio y fin de este proceso está vinculado a la implicación de las participantes en el proyecto que ellas mismas han contribuido a diseña ...”. Esta segunda presunción referida a la implicación de las participantes se mantiene para la segunda fase de la intervención, añadiéndose otras dos cuestiones. La primera de ellas se centra en el riesgo que para la comercialización del producto podría suponer la situación de violencia y crisis económica: “La situación de violencia y crisis económica puede afectar al proceso de comercialización de los productos de la empresa y recortar posibles ayudas complementarias que podrían beneficiar al proyecto”. Finalmente, se indica que “la asistencia y aprovechamiento del curso se pueden ver condicionados por los problemas sociales y económicos que viven estas mujeres...”. Por último, en la intervención de Sopó aparecen cuatro temas en el capítulo de “riesgos y presunciones”: • Nivel formativo bajo. Para garantizar el éxito se ha pensado en el Módulo de Formación Integral y Global... • Nivel de competencias personales escaso. Los módulos contemplan el trabajo de competencias personales y el apoyo constante de profesionales. • La baja cualificación de las participantes. Esta baja cualificación tiene respuesta en el mismo proyecto a través de los módulos de Formación Profesional y Ocupacional. • Necesidad de recursos inmediatos. Las becas se pensaron para poder paliar esta necesidad. La valoración de todos estos elementos no puede perder la referencia de la lógica de intervención en que se insertan. Ya se ha indicado anteriormente que esas lógicas presentan bastantes debilidades, especialmente en las primeras formulaciones, por lo que resulta complicado proceder a una valoración de los factores supuestos en unas lógicas como las establecidas. La evaluación, sin intención de “reconstruir” las lógicas de evaluación presentadas en su momento, puede aventurar una relación entre elementos que podría responder a lo inicialmente pretendido. Así, podemos suponer que las primeras intervenciones pretendían llevar a cabo una batería de actividades (asistencia técnica y asesoría, formación en diversas materias, trabajo con los niños, facilitar acceso a espacios de trabajo, equipos y suministros, etc.) con lo que se pretendía conseguir que las mujeres estuviesen adecuadamente formadas en habilidades sociales, en alfarería y en técnicas de búsqueda de empleo, que los niños estuviesen atendidos durante esas formaciones y que se pusiese en marcha una empresa. Se puede pensar que estas mujeres formadas, con sus hijos atendidos durante las formaciones y con una empresa en marcha tendrían acceso al empleo en mejores condiciones, lo que generaría una mejora de sus condiciones económicas, del desarrollo local y facilitaría la igualdad de oportunidades. Esta cadena de efectos se describe en el gráfico siguiente: Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 53 Programa de Evaluaciones 2006-2007 Facilita el desarrollo local Mejora la situación económica Favorece la igualdad de oportunidades Acceden a puestos de trabajo Se forman en habilidades sociales Se forman como alfareras Se forman en la búsqueda de empleo Se crea una empresa Se atiende a los niños Diferentes actividades formativas Diversas asistencias técnicas y asesoría Trabajo con niños Facilitar equipos y materiales Acceso a espacios Sobre esta lógica que descansaría bajo las intervenciones en Tocancipá (para la fase II desaparece la atención a niños, que se realizó con otra cofinanciación y se incorpora una especialización en esmaltado) se pueden analizar los factores externos establecidos en el documento. • En cuanto al necesario apoyo de las autoridades locales, parecería que se trata de una condición previa, especialmente importante en el acceso a espacios para la realización de las siguientes actividades. • Por lo que se refiere a la implicación de las participantes, es de suponer que el factor es escasamente relevante en estos niveles. Si, como se indica, “el inicio y fin de este proceso está vinculado a la implicación de las participantes en el proyecto que ellas mismas han contribuido a diseñar...”, o bien lo han diseñado, por lo que su implicación estaría asegurada (al menos en las primeras fases) o bien no han contribuido a diseñarlo, por lo que la recomendación sería que lo hiciesen. Parece que el supuesto se refiere a la apropiación del proyecto por parte de los beneficiarios, lo que tendría muchas probabilidades de cumplimiento si realmente han participado en el diseño. • En cuanto al riesgo que para la comercialización del producto podría suponer la situación de violencia y crisis económica, que se comenta en la segunda fase, se añade a continuación que “sin embargo, el compromiso de paz que se ha firmado crea esperanzas para solucionar los problemas que vive la sociedad colombiana”. En principio, parece que el supuesto es lo suficientemente importante para poder llegar a convertirse en un “factor letal”. Tal y como está definido este supuesto (por los citados efectos en la comercialización) pareciera que es un factor externo que se situaría en el nivel del objetivo: las mujeres acceden a puestos de trabajo pero su situación económica no mejora puesto que la violencia y la crisis impiden la comercialización de los productos. En cualquier caso, la situación de violencia parece que influiría en niveles mucho más bajos de esta cadena de efectos, incluso en la propia ejecución de las actividades. Cooperación Ciudad de Madrid 53 12671 Colombia (FF) 13:30 Página 54 Informe de evaluación. Colombia Facilita el desarrollo local OBJETIVO ESPECÍFICO OBJETIVO GENERAL LÓGICA DE INTERVENCIÓN Mejora la situación económica FACTORES EXTERNOS Favorece la igualdad de oportunidades RESULTADOS Acceden a puestos de trabajo Se forman en habilidades sociales Se forman como alfareras ACTIVIDADES 54 3/3/08 Diferentes actividades formativas Diversas asistencias técnicas y asesoría Se forman en la búsqueda de empleo Se crea una empresa Trabajo con niños Facilitar equipos y materiales Se atiende a los niños Acceso a espacios Sus condiciones les permiten aprovechar la fomación El conflicto no empeora Autoridades cumplen compromisos Beneficiarias se apropian de la intervención • Finalmente, en cuanto a Tocancipá se refiere, sorprende el último riesgo que se comenta en la documentación: “La asistencia y aprovechamiento del curso se puede ver condicionada por los problemas sociales y económicos que viven estas mujeres...”. Parece obvio que éste también sería un factor externo importante; si la situación de las participantes les impide aprovechar la formación, la implementación de las actividades no garantizará el logro de los resultados. Frente a esto, a continuación se añade: “...Circunstancia que se tendrá en cuenta a la hora de aumentar el número de personas que integrarán este proyecto, de manera que las posibles bajas no dificulten la consecución de los objetivos”. Seguramente debe tratarse de un error bien en la redacción o bien en la apreciación del equipo de evaluación, pues del enunciado parece desprenderse que si la situación de la presunta beneficiaria es tan mala que los problemas sociales y económicos que padece le impiden aprovechar la formación, en lugar de tratar de acercar la formación a sus posibilidades será sustituida por otra posible beneficiaria que se encuentre en mejores condiciones. En cualquier caso, es necesario insistir en que la consecución del objetivo se mide sobre las personas a las que se dirige y en desarrollo no puede haber objetivo sin personas: si se admite que puede haber “bajas” sobre la población beneficiaria inicial se está renunciando a alcanzar el objetivo. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 55 Programa de Evaluaciones 2006-2007 La evaluación sugiere la posibilidad de contar con toda otra serie de factores externos en la lógica presentada, por ejemplo, como se establece a continuación: Facilita el desarrollo local ACTIVIDADES RESULTADOS OBJETIVO ESPECÍFICO OBJETIVO GENERAL LÓGICA DE INTERVENCIÓN Mejora la situación económica FACTORES EXTERNOS Favorece la igualdad de oportunidades Acceden a puestos de trabajo Se forman en habilidades sociales Diferentes actividades formativas Se forman como alfareras Diversas asistencias técnicas y asesoría Se forman en la búsqueda de empleo Trabajo con niños Se crea una empresa Facilitar equipos y materiales Se atiende a los niños Acceso a espacios El trabajo no es sobrecarga significativa para las mujeres Se vende la producción a precios de mercado El empleo es estable El mercado puede absorber mano de obra Los niños siguen atendidos por el sistema Se facilita acceso a recursos financieros No hay conflicto en el acceso a empresa/ empleo Sus condiciones les permiten aprovechar la fomación Condiciones jurídicas y mercatiles para la empresa Se facilita acceso a recursos financieros La asistencia es adecuada El conflicto no empeora Autoridades cumplen compromisos Las necesidades permanecen estables Beneficiarias se apropian de la intervención Así, que implementar las actividades provoque que se alcancen los objetivos dependerá de cuestiones como que las condiciones jurídicas, mercantiles y financieras para constituir la empresa sean adecuadas, que las alumnas puedan acudir a los cursos y aprovechar las enseñanzas, que exista voluntad entre ellas por constituir una empresa, etcétera. Por lo que respecta a Sopó, la lógica establecida en el documento resulta bastante más coherente con las herramientas habituales de gestión del ciclo del proyecto, pudiéndose resumir de acuerdo con el siguiente esquema: Cooperación Ciudad de Madrid 55 12671 Colombia (FF) 56 3/3/08 13:30 Página 56 Informe de evaluación. Colombia Facilita el desarrollo local Emancipación personal Favorecer igualdad de oportunidades Se forman en habilidades sociales Seleccionar las mujeres Educar habilidades sociales Se forman en búsqueda de empleo Se forman en cocina y bar Apoyo a niños Cursos cocina Cursos bar Servicio orientación laboral Cursos autoempleo Viabilidad empresa Apoyo a niños En el documento de formulación viene a indicarse que no existen supuestos en el proyecto, pues si bien se citan cuatro cuestiones, para cada una de ella se comenta que se ha diseñado un mecanismo de “interiorización” del factor externo. Así: • Para enfrentar el bajo nivel formativo inicial de las participantes se diseña un módulo específico de formación integral. • Para evitar los efectos sobre la intervención del escaso nivel de competencias personales de las alumnas se dice que se contempla la inclusión de dos medidas: trabajo de competencias personales y el apoyo constante de profesionales. • Para hacer frente a la baja cualificación de las participantes se indica que “tiene respuesta en el mismo proyecto a través de los módulos de formación profesional”. • Finalmente, para evitar que la necesidad inmediata de recursos afecte a la intervención se ha pensado en una serie de becas. Sin intentar analizar puntualmente estas cuestiones, resulta difícil distinguir entre los tres primeros tipos de carencias: bajo nivel formativo, escaso nivel de competencias y baja cualificación. En cualquier caso, es evidente que en un proyecto de formación laboral éstos no son factores externos, sino que son, precisamente, una parte de los problemas que se deben abordar. Se indica también que la inmediata necesidad del acceso a recursos cuando se trabaja con población desfavorecida podría ser un factor que condicionase el éxito de la intervención. En principio, podría tratarse de un factor externo en el nivel de actividades, esto es, las participantes matriculadas en la formación no completarían los contenidos debido a que la presión de la necesidad de recursos afectaría a su asistencia. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 57 Programa de Evaluaciones 2006-2007 Para ello se dice que se articulan unas becas que facilitan el acceso y asistencia, con lo que el factor externo se “internalizaría” pasando, en ese caso, a ser una de las actividades del proyecto. Si esto es así, en la matriz de planificación debería aparecer una actividad más consistente en el programa de becas, ya que es una acción que consume recursos y, por tanto, una actividad que debe aparecer en la casilla correspondiente y, por supuesto, en los presupuestos de la intervención. Sin embargo, como se comentará más adelante, este “fondo de becas” no se utilizó para facilitar directamente el acceso y la asistencia, sino que fue empleado a modo de “premio” por completar la formación, con la idea de que se tratase de un apoyo adicional a la inserción laboral. La evaluación puede presuponer otros elementos que en una estructura lógica como la que se plantea en la página anterior actuarían a modo de hipótesis o factores externos, entre otros: OBJETIVO GENERAL Favorecer igualdad de oportunidades ACTIVIDADES RESULTADOS Facilita el desarrollo local OBJETIVO ESPECÍFICO LÓGICA DE INTERVENCIÓN Se forman en habilidades sociales FACTORES EXTERNOS Emancipación personal Se forman en cocina y bar Seleccionar las mujeres Educar habilidades sociales Servicio orientación laboral Curso autoempleo Se forman en la búsqueda de empleo Apoyo a niños Viabilidad empresa Curso cocina Apoyo a niños Curso bar Las mujeres no se marchan Los hombres no se apropian del excedente El mercado puede absorber mano de obra Los niños siguen atendidos por el sistema Se facilita acceso a recursos financieros El trabajo no es sobrecarga significativa para las mujeres Se vende la producción a precios de mercado El empleo es estable Sus condiciones les permiten aprovechar la fomación La empresa es factible El conflicto no empeora Se facilita acceso a recursos financieros No hay conflicto en el acceso a empresa/ empleo Las necesidades permanecen estables La asistencia es adecuada Las autoridades cumplen compromisos Cooperación Ciudad de Madrid 57 12671 Colombia (FF) 58 3/3/08 13:30 Página 58 Informe de evaluación. Colombia Los factores externos se acumulan en el nivel de resultados al existir un “salto” lógico importante entre la formación y la igualdad de oportunidades. 4. VALORACIÓN DE LOS PERIODOS DE EJECUCIÓN En principio hay que señalar que las debilidades en la definición de los objetivos plantean algunas dificultades para valorar los periodos de ejecución inicialmente establecidos. En la lectura inicial de los documentos, como ya se señaló anteriormente, no queda excesivamente claro si el propósito de las intervenciones consistía en la formación laboral y ocupacional o en la inserción laboral. Parece obvio que los periodos de compromiso que exigen esos dos propósitos son radicalmente diferentes, siendo la formación laboral uno de los posibles medios para la inserción laboral. La primera impresión de la evaluación es que se pretendía lo segundo (la inserción laboral) con unos diseños más próximos a lo primero (la formación laboral), esto es, que las condiciones de las convocatorias en cuanto a plazos, financiación, etc. aconsejaban unos diseños enfocados a la formación laboral, pero la propia ambición de las organizaciones ejecutoras por asegurar un propósito de mayor “calidad” les impulsó a pretender metas mas elevadas. Y entre esas metas más elevadas no se limitaron a la integración laboral (ya bastante complicada) sino que apuntaron a cuestiones como “el desarrollo personal”, “la igualdad de oportunidades”, “el desarrollo local” y “la emancipación personal”, entre otras. En este sentido, y por lo que aquí nos ocupa, parece que los periodos anuales o como mucho bianuales contemplados en los diseños resultan bastante escasos para poder plantearse como compromiso de la intervención la inserción laboral de un colectivo desfavorecido en un entorno que se puede calificar, cuando menos, como problemático. En esa línea, la propia Asociación Manos Amigas apunta en uno de sus documentos de presentación de las intervenciones realizadas: “El desarrollo personal requiere de largos periodos de formación especialmente cuando se dirige a poblaciones tradicionalmente subyugadas”. O en otro punto del mismo documento: “Hay dificultad para romper con el círculo de la domesticidad y la orientación hacia la mentalidad empresarial”. La valoración del cumplimiento de los periodos de ejecución previamente establecidos exige el tratamiento individual de cada una de las tres intervenciones que se analizan. Tal vez la incidencia más notable consistió en que la segunda fase de la intervención en Tocancipá se formuló a principios de febrero del 2002, mes en el que se vencía la convocatoria del Ayuntamiento de Madrid, sin que a la fecha de presentación se hubiese iniciado el primer proyecto. Inicialmente puede sorprender que se considere necesaria la ejecución de una segunda fase cuando todavía no se ha comenzado la primera, pero hay que tener en cuenta que la solicitud de “reformulación” por parte del Ayuntamiento sobre el documento inicialmente presentado se dirigió, fundamentalmente, a reducir el presupuesto y el periodo de ejecución. En cuanto a Sopó, los informes finales de la organización indican que “el proyecto se desarrolló de acuerdo al calendario presentado en la formulación” y no se ha podido constatar ninguna incidencia que merezca la pena destacar al respecto. Como se comentará posteriormente, en ambos casos se indica que “los objetivos se cumplieron dentro del plazo estipulado”. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 59 Programa de Evaluaciones 2006-2007 5. CRITERIOS DE EVALUACIÓN 5.1. Pertinencia 5.1.1. Adecuación del proyecto a prioridades Las intervenciones analizadas presentan, en términos generales, una elevada adecuación a las prioridades de las estrategias de las entidades implicadas, tanto desde el punto de vista del socio cofinanciador como desde el de las diferentes autoridades locales con competencias en las áreas de intervención. Por lo que hace referencia al Ayuntamiento de Madrid, Colombia aparece como una de los países de más alta prioridad. Durante el periodo 1999-2002 un 5,7% de todos los recursos de cooperación para el desarrollo aportados por el Ayuntamiento de Madrid se han dirigido hacia Colombia. Ese porcentaje sólo ha sido superior en los casos de Perú (15%), Bolivia (7,8%) y Honduras (7,4%). Atendiendo a los objetivos sectoriales, en el actual Plan Director, dentro del objetivo estratégico 1 (“Haber incrementando el índice de cobertura de necesidades sociales básicas y la capacidad de generación de ingresos de la población de las zonas prioritarias”) se incluye como prioridad: • Promoción de la igualdad de géneros y empoderamiento de la mujer, en particular en: - Las medidas relacionadas con el acceso al ámbito de toma de decisiones y a los recursos y servicios destinados a las mujeres, especialmente en el terreno de la enseñanza y la formación, de la salud y de las actividades económicas. - Las evaluaciones de impacto sobre la igualdad de hombre y mujer. - Las campañas de sensibilización. - Refuerzo de asociaciones estratégicas y cooperaciones transnacionales. - Atención a la educación de las niñas, y formación y empleo de maestras locales. • Los proyectos que pretenden contribuir a reforzar las capacidades de las mujeres constituyen una de las más claras prioridades de la Cooperación Española. Así, en el Plan Director 20052008 se afirma explícitamente que: “La equidad de género, entendida como la existencia formal y real de los mismos derechos, libertades, oportunidades, alternativas y responsabilidades para los hombres y las mujeres en todos los grupos de edad, sectores sociales, culturas o etnias, constituye, al mismo tiempo, un objetivo de desarrollo, y un factor fundamental para luchar de forma eficaz y sostenible contra la pobreza. Por ello, la cooperación española trabajará por integrar la perspectiva de género como una prioridad horizontal en la política de desarrollo”. Junto a esto se afirma que: “... Para garantizar la integración real de la perspectiva de género en el desarrollo, de forma complementaria a la transversalización, se hace necesario incluir acciones específicas, orientadas a reducir las brechas de desigualdad de género, para subsanar los desequilibrios mediante medidas escalonadas que favorezcan progresivamente la integración en igualdad de las mujeres”. Atendiendo a las prioridades geográficas establecidas por la cooperación española, el Plan Director considera a Colombia “país con atención especial”, donde debe elaborarse un “Plan de Actuación Especial (PAE) que defina los sectores, objetivos y resultados esperados, y las actuaciones con enfoque sectorial, programas y proyectos que se decida utilizar. Todo ello, de modo justificado cuantificado y evaluable. Este plan deberá ser aprobado por la Secretaría de Estado de Cooperación Internacional”. Cooperación Ciudad de Madrid 59 12671 Colombia (FF) 60 3/3/08 13:30 Página 60 Informe de evaluación. Colombia • En el caso de las autoridades locales vinculadas a los dos proyectos evaluados se ha detectado también un evidente compromiso con estas iniciativas. Las alcaldías de Tocancipá y Sopó han colaborado de forma muy activa con las dos intervenciones. - En el primero de los proyectos (intervenciones en Tocancipá), la alcaldía ha cedido el local donde se impartieron los cursos y donde continúan desarrollando su actividad las beneficiarias y ha encargado varios pedidos a éstas. El equipo de evaluación mantuvo una entrevista con el alcalde de Tocancipá, donde pudo comprobar su apoyo a la iniciativa y su elevado grado de compromiso. Incluso manifestó su intención de firmar un convenio para ceder ese local de forma permanente al grupo de alfareras. - Algo similar ha ocurrido en Sopó, donde la alcaldía ha puesto a disposición del proyecto un local para la impartición de las clases y ha prestado una colaboración constante. Durante la visita a la zona de intervención, el equipo de evaluación se reunió con el alcalde de la localidad, quien mostró su conocimiento de la iniciativa y manifestó la implicación de la institución que preside. - Por último, hay que reconocer que los cambios políticos durante el periodo de ejecución han provocado que los compromisos asumidos por la gobernación de Cundinamarca no se hayan cumplido de manera plenamente satisfactoria. Da la sensación, después de las reuniones a las que pudo asistir el equipo de evaluación, que la situación puede ser reconducida en un futuro próximo pero, de momento, éste ha sido el único problema que se detecta en este sentido. De todas formas, este problema no ha tenido consecuencias significativas en la ejecución de los proyectos evaluados. • Queda, por último, referirse a la adecuación de estos proyectos en relación a las prioridades estratégicas de las dos organizaciones responsables de su formulación y ejecución. - Por lo que respecta a la Asociación Candelita, hay que reconocer que los colectivos beneficiarios y el área de intervención (formación e inserción laboral de mujeres desempleadas) constituyen uno de los ejes fundamentales de su actividad en España, por lo que se enmarca con claridad dentro de sus principales líneas de trabajo. Candelita ha decidido concentrar sus acciones de cooperación internacional en Colombia, manteniendo una estrategia de crecimiento moderado, en la que el apoyo a Manos Amigas constituye una autentica prioridad. Esa estrategia puede generar algunas situaciones de riesgo, ya que podría dar lugar a una excesiva dependencia de la organización local con respecto a su socio español. Ambas organizaciones son conscientes de ese peligro potencial y han adoptado medidas para mitigar esos riesgos. - La Asociación Manos Amigas ha comenzado un proceso de planificación estratégica que todavía no ha sido culminado debido, en parte, a los importantes niveles de actividad que tiene en estos momentos. Existe un documento de trabajo que pretende avanzar las principales líneas estratégicas que deben orientar la acción de la entidad en el futuro. En ese documento se indican como los cuatro principios conceptuales básicos los siguientes: - Democracia participativa. - Desarrollo de la persona y el grupo. - Trabajo desde la perspectiva de género. - Protección del medio ambiente. Las áreas de trabajo de la organización Manos Amigas son las que se mencionan a continuación: - Área de desarrollo humano. - Área de formación ocupacional. - Área de formación y asesoría empresarial. - Entrega de bienes a organizaciones de mujeres. - Área sociolaboral. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 61 Programa de Evaluaciones 2006-2007 - Área de apoyo en atención infantil. - Área de prevención de la trata de personas. Teniendo en cuenta lo enunciado con anterioridad, la evaluación detecta un cierto déficit entre las actividades impulsadas desde la organización y sus principios estratégicos, ya que las iniciativas en el área medioambiental resultan por el momento muy poco significativas dentro de la actuación general, centrándose la práctica totalidad de las iniciativas en el trabajo con colectivos de mujeres. Esto puede ser un efecto derivado de la gran influencia del socio español (la Asociación Candelita). Cuando se haga referencia a los orígenes de las iniciativas evaluadas en el presente documento se tratará este tema con mayor detalle. 5.1.2. Origen de la iniciativa En el origen de los dos proyectos evaluados parece existir una confluencia de intereses entre las conclusiones de algunos de los trabajos realizados desde la organización local y las prioridades de la institución española. Por lo que el equipo de evaluación pudo conocer durante las entrevistas mantenidas, la definición de estos proyectos tuvo lugar a partir de los siguientes hechos: • Una evaluación de impacto ambiental en la zona de Tocancipá realizado por personal vinculado a Manos Amigas. En ese estudio se detectaron algunos de los efectos provocados por los invernaderos de flores en el área y, en especial, sobre sus consecuencia para las mujeres que trabajan en ellos. • El interés de la ONG Candelita por iniciar acciones de cooperación internacional. Ese interés se concretó en los años 1998/1999 a través de algunos contactos con grupos de mujeres colombianas en España. Candelita estableció en esos momentos un incipiente departamento de cooperación internacional. • En el año 2000 culminaron los contactos entre ambas organizaciones gracias a una beca del Convenio Andrés Bello, que permitió que la actual directora de Manos Amigas visitase España y se establecieron las bases de la colaboración entre las dos entidades. El primer proyecto se elaboró con pocos datos sobre la realidad concreta en la que se pretendía incidir (más allá de los recopilados en el estudio ya mencionado). No puede decirse que existió una demanda organizada de los grupos afectados por los problemas identificados, ni se efectuaron talleres participativos para definir la situación-punto de partida ni las soluciones que debían adoptarse. Ese primer proyecto se basó de una manera muy directa en la experiencia acumulada por Candelita en su trabajo de inserción laboral de mujeres en España, mientras que el diagnóstico original, establecido en torno a la problemática de las trabajadoras en los invernaderos de flores de la zona perdió importancia. En las sucesivas intervenciones, las identificaciones han ido mejorando en calidad gracias al mayor conocimiento de las áreas de intervención y a la experiencia acumulada por las dos organizaciones socias. En cualquier caso, no ha existido todavía un decidido “enfoque de demanda” por parte de algún grupo concreto de afectadas. Se ha tratado de “ofertas” elaboradas con una progresiva mayor adaptación a las necesidades de los colectivos beneficiarios, pero sin que éstos participen de forma determinante en su definición. En la primera de las iniciativas, la organización Manos Amigas indica que “el proyecto fue planteado conjuntamente con la comunidad de empresarios y la alcaldía municipal de Tocancipá; participaron miembros del Consejo Municipal y un presidente de la Junta de Acción Comunal...”. Por lo que hace referencia al proyecto de Sopó se señaló que “fue identificado conjuntamente con la comunidad en el Consejo Municipal quienes priorizaron la necesidad de capacitar a las Cooperación Ciudad de Madrid 61 12671 Colombia (FF) 62 3/3/08 13:30 Página 62 Informe de evaluación. Colombia mujeres en cocina como capital social e inicio al plan turístico, de igual forma participaron la directora de la Asociación Candelita y la Asociación Manos Amigas”. 5.1.3. Complementariedad con otras acciones En los municipios en los que se han llevado a cabo los proyectos evaluados existen planes municipales más o menos avanzados de desarrollo turístico. Se trata de zonas situadas en las cercanías de Bogotá, con evidentes perspectivas de crecimiento de las demandas turísticas. En ese sentido, puede pensarse que existe una cierta complementariedad entre las intervenciones puestas en marcha y otras iniciativas impulsadas desde las diferentes alcaldías. En la actualidad, las dos organizaciones están ejecutando otro proyecto en una localidad cercana, Zipaquirá, donde esa complementariedad se ha buscado desde un primer momento. Por lo que hace referencia al trabajo impulsado desde Manos Amigas, los proyectos evaluados se insertan en una lógica de trabajo que presenta una coherencia en sus propósitos. Un resumen de las acciones llevadas a cabo permite observar esa direccionalidad: Nombre del proyecto Localización Año Financiación Nuestras manos en Madrid Municipios de Doradas (Caldas), Sasaima, Tena y Guaduas (Cundinamrca) 2006 Ayto. Madrid Alcaldías implicadas Asociación Candelita Manos Amigas Mujeres semilla de poder Bogotá, Santa Fé, Rafael Uribe Uribe 2006 Ayto. Madrid Alcaldía Bogotá Asociación Candelita Manos Amigas Mujer, semilla, alimento Bogotá, Rafael Uribe Uribe 2006 Ayto. Collado Villalba Alcaldía Bogotá Asociación Candelita Manos Amigas Formación y autoempleo en agricultura urbana, cocina, mesa y barra para la generación de oportunidades de ingresos de mujeres de Bogotá-Colombia Bogotá, Chapinero, Candelaria 2006 Ayto. Madrid Alcaldía Bogotá Asociación Candelita Manos Amigas Escuela de cocina: formación y autoempleo en cocina y mesa para mujeres de Zipaquirá (fase II) Zipaquirá (Cundinamarca) 2006 C. Madrid Alcaldía Zipaquirá Asociación Candelita Manos Amigas Agricultura urbana y periurbana como alternativapara la seguridad alimentaria e ingresos complementarios en la ciudad de Bogotá, localidad de Chapinero Bogotá, Chapinero 2005 Ayto. Collado Villalba, C. O. Chapinero Alcaldía Bogotá Asociación Candelita Manos Amigas Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 63 Programa de Evaluaciones 2006-2007 Nombre del proyecto Localización Año Financiación Proyecto lazos: plan dinamizador del desarrollo sostenible Madrid-Colombia Bogotá y departamento Cundinamarca Escuela de cocina: formación y autoempleo en cocina, mesa y bar para mujeres de Zipaquirá Zipaquirá (Cundinamarca) 2005 C. Madrid Alcaldía Zipaquirá Cundinamarca Asociación Candelita Manos Amigas Prevención de la inmigración de la población femenina de alto riesgo en el eje cafetero (La Dorada, Caldas) y Bogotá (Funza) Funza (Cundinamarca), La Dorada (Caldas) 2004 Ayto. Madrid Alcaldía La Dorada Alcaldía Funza Cundinamarca Formación y autoempleo en cocina, mesa y bar para mujeres de sopó Sopó (Cundinamarca) 2004 Ayto. Madrid Alcaldía Sopó Cundinamarca Apoyo y fortalecimiento a las asociaciones Mujer de arcilla de Tocancipá y AMCET Tocancipá (Cundinamarca) Apoyo socio pedagógico para menores Tocancipá (Cundinamarca) 2002 Ayto. Collado Villalba Alcaldía Tocancipá Formación y autoempleo para mujeres ceramistas de Tocancipá (fase II) Tocancipá (Cundinamarca) 2002 Ayto. Madrid Alcaldía Tocancipá Cundinamarca Formación y autoempleo para mujeres ceramistas de Tocancipá Tocancipá (Cundinamarca) 2001 Ayto. Madrid Alcaldía Tocancipá Cundinamarca Creación y apoyo a la red de organizaciones comunitarias de proyectos productivos sostenibles Tocancipá, Gachancipá, Sopó, Sasaima, Ciudad Bolívar (Cundinamarca), Villa de Leyva, Duitama (Boyacá) Capacitación y apoyo económico para la adquisición de un lote y el establecimiento de un huerto comunitario Villa de Leyva (Boyacá) 2000 CASM Asociación Candelita Generación de ingresos en mujeres rurales a través del reciclado de papel, artesanía de flores secas, telares y macramé Gachancipá (Cundinamarca) 2000 Alcaldía de Gachancipá 2005-2006 Ayto. Madrid C. O. Chapinero Alcaldía Bogotá Cundinamarca Asociación Candelita Manos Amigas 2003-2004 Ayto. Collado Villalba Alcaldía Tocancipá Cundinamarca Cooperación Ciudad de Madrid 63 12671 Colombia (FF) 64 3/3/08 13:30 Página 64 Informe de evaluación. Colombia Nombre del proyecto Localización Año Financiación Educación de adultos y alfabetización de mujeres rurales Sopó (Cundinamarca) 1999 Manos Amigas Capacitación y apoyo para la creación de la Asociación de Artesanas Campesinas de Villa de Leyva Villa de Leyva (Boyacá) 1999 Alcaldía Villa de Leyva Capacitación y apoyo para la creación de la Asociación de Mujeres Jefes de Hogar de Villa de Leyva Villa de Leyva (Boyacá) 1999 Club Rotario de Villa de Leyva Del cuadro que se ha presentado en las líneas anteriores pueden derivarse las siguientes conclusiones: • Existe un progresiva coherencia en las intervenciones impulsadas desde la organización Manos Amigas. Esa coherencia se detecta tanto en lo relativo a la concentración de las acciones llevadas a cabo como a los propósitos u objetivos de éstas. • La consideración de que la producción, elaboración y manipulación de alimentos constituye un eje clave para impulsar proyectos que pretendan potenciar el papel de las mujeres en la sociedad, recuperando un ámbito clásico de la actividad femenina, constituye una reflexión interesante, aunque puede generar el peligro de restringir la actividad de las mujeres a algunas áreas tradicionales. • Se detecta un excesiva dependencia, tanto en lo relativo a las instituciones financiadoras como a las organizaciones socias. Existen dudas de cuál ha sido efectivamente el papel de esas pocas entidades en la determinación de las actividades impulsadas desde Manos Amigas. 5.1.4. Valoración de los colectivos beneficiarios y cobertura de la intervención En el documento de formulación del proyecto “Formación y autoempleo para mujeres ceramistas en Tocancipá” se indica que los colectivos de personas a los que se dirige la intervención son “mujeres rurales con cargas familiares no compartidas de Tocancipá que necesitan orientación, asesoramiento jurídico, formación y empleo, con falta de ingresos económicos estables y escasa red de apoyo psicosocial”, mientras que en un segundo nivel se hace referencia a “los hijos de las mujeres”. La estimación del número de beneficiarios directos es de unas 45 personas, de las que “30 son mujeres que recibirán formación en habilidades sociales, educación sociosanitaria y de género, orientación al autoempleo, formación ocupacional como alfareras-ceramistas y que crearán la microempresa”, mientras que “45 hijos de las mujeres... serán atendidos y recibirán apoyo escolar durante los periodos de formación de sus madres”. En el documento de formulación de la fase II de la intervención se mantienen los criterios de selección de beneficiarios, aunque se amplía el grupo a 51 personas, mientras se hace referencia a 204 beneficiarios indirectos, formados por los “familiares de las mujeres integrantes del proyecto” y “se considera, además, que los 11.354 habitantes del área se beneficiarán de este proyecto”. Por lo que hace referencia al proyecto “Formación y autoempleo en cocina, mesa y bar para mujeres de Sopó” se repiten los argumentos y se señala que el colectivo beneficiario está compuesto por “mujeres rurales con cargas familiares no compartidas con alto índice de pobreza, desempleadas que necesitan orientación, asesoramiento y formación para el empleo y en artes y oficios que no Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 65 Programa de Evaluaciones 2006-2007 cuentan con un apoyo en seguridad social”. La estimación del número de beneficiarios directos e indirectos se resume en el cuadro siguiente: Beneficiarios Total Hombres Mujeres Directos 100 25 aprox. 75 15.400 aprox. – – Indirectos En los documentos de formulación se indica que se utilizó el sistema SISBEN para establecer la selección de las beneficiarias. El Sistema de Identificación de Potenciales Beneficiarios para Programas Sociales (SISBEN) es una herramienta estadística que el Departamento Nacional de Planeación ha elaborado para poder focalizar los recursos a las personas más vulnerables de Colombia y crear, de acuerdo con sus necesidades, programas sociales especialmente dirigidos a esos colectivos. Se efectúa un proceso de vinculación de las personas con el apoyo de los presidentes de las Juntas de Acción Comunal. Se evalúa la calidad de vida de población y se expiden certificados a las personas que ingresan en el sistema. La evaluación no ha podido constatar que las beneficiarias de los proyectos analizados se encuentren inscritas en el SISBEN ni éste parece haber sido un criterio importante a la hora de seleccionar al colectivo destinatario. Por lo que hace referencia a la selección de las áreas de intervención y a la selección de los grupos de beneficiarias pueden plantearse una serie de impresiones difícilmente contrastables en el ámbito de una evaluación como la realizada: • Las zonas donde se han ejecutado los dos proyectos considerados no se encuentran entre las que registran mayores índices de pobreza dentro de Colombia, ni tampoco en el propio departamento de Cundinamarca. El personal de la organización indicó que son las zonas del sur de la ciudad las que presentan una peor situación, pero también son de difícil acceso por la violencia y ya existen bastantes organizaciones trabajando en esas áreas. • De hecho, ambas localidades (Tocancipá y Sopó) presentan unos niveles de calidad de vida relativamente elevados, aunque eso no significa, evidentemente, que no puedan identificarse colectivos vulnerables. Probablemente, las intervenciones se dirijan a colectivos vulnerables dentro de áreas no excesivamente desfavorecidas. • La consideración de estas localidades como áreas rurales es bastante discutible. En los planes de desarrollo locales, esas zonas se caracterizan por sus oportunidades de desarrollo vinculadas a ciertas actividades industriales y agrarias y, especialmente, al turismo, dada su cercanía a la ciudad de Bogotá y sus notables atractivos paisajísticos y culturales1. • No son tampoco claros los criterios de selección de las beneficiarias, más allá de su condición de mujeres residentes en el área. Al no surgir estos proyectos de una demanda organizada desde algún sector concreto de población, la búsqueda de las beneficiarias se realizó de manera abierta (mediante anuncios radiofónicos y distribución de octavillas, básicamente), 1 Desde la ONG Manos Amigas se señala al respecto lo siguiente: “En cuanto a la ruralidad de las beneficiarias, el medio rural se define como un conjunto de regiones o zonas cuya población desarrolla actividades relativas al campo como la agricultura, artesanías o actividad pecuaria. En ese sentido, la totalidad de las beneficiarias se encuentran en medios rurales”. Cooperación Ciudad de Madrid 65 12671 Colombia (FF) 66 3/3/08 13:30 Página 66 Informe de evaluación. Colombia • • • • ofertando cursos de formación y permitiendo que todas las interesadas se inscribieran en ellos2. No parece que fuera necesario realizar posteriormente procesos de selección excesivamente rigurosos entre las demandantes, ya que no existió un grave desbalance entre el número de solicitudes recibidas y las posibilidades de capacitación que se establecieron. Evidentemente ese procedimiento provoca que el colectivo beneficiario resulte sumamente heterogéneo. No parece que en todos los casos se hayan respetado los criterios de selección indicados en los documentos de formulación, como que se tratase de mujeres con cargas familiares no compartidas, pues la mayor parte de las entrevistadas no hicieron mención de esta característica al ser preguntadas. Por el contrarios, si parece que en todos o en casi todos los casos se trataba de “desempleadas que necesitan orientación, asesoramiento y formación para el empleo y en artes y oficios que no cuentan con un apoyo en seguridad social”. 5.1.5. Correspondencia entre los objetivos de los proyectos y algunos problemas existentes en la realidad En términos generales, puede asumirse que existe un importante déficit de capacitación de la mano de obra femenina en Colombia y que ésa es una de las causas que provoca, en parte, muchas de las situaciones de desempleo y subempleo que se detectan. En ese sentido, debe reconocerse que existe una correspondencia entre los objetivos de los dos proyectos evaluados y algunas situaciones existentes en la sociedad colombiana. De todas maneras, hay que plantear algunas precisiones al respecto: • Inicialmente, la problemática identificada hacía referencia a la situación de las mujeres trabajadoras en los invernaderos de flores de la zona. Esa problemática presentaba algunos rasgos específicos que resultaban sumamente significativos: enfermedades laborales, necesidad de una cierta movilidad estacional, impactos ambientales negativos, reducida vida útil de las trabajadoras (que tienden a ser despedidas al cumplir los 35 años), etc. Sin embargo, y a pesar de la fuerte relación que presentan estos problemas con los sectores estratégicos de la organización ejecutora (mujeres y medio ambiente), los proyectos derivaron con posterioridad hacia otros ámbitos de actuación, mientras que la identificación inicial no provocó la formulación de una intervención dirigida a solucionar, aunque sea de forma parcial, la situación diagnosticada. • Parece detectarse una importante influencia de la organización no gubernamental española a la hora de establecer las estrategias de solución incluidas en los proyectos. Esas estrategias se basaron inicialmente en la importante experiencia acumulada por Candelita en sus iniciativas de inserción laboral de mujeres en nuestro país, pero su adecuación a la realidad colombiana puede no ser siempre automática. La evaluación ha constatado que en las sucesivas formulaciones se ha efectuado un significativo esfuerzo por adaptar las propuestas de intervención a las condiciones particulares del área de intervención y a las propias características de los colectivos beneficiarios. • Más allá de estas cuestiones, hay que constatar que los proyectos evaluados presentan siempre una cierta dualidad en los propósitos que se persiguen. Por una parte se plantea la capacitación laboral como el objetivo de los proyectos, mientras que en otros casos se hace 2 Desde la ONG Manos Amigas se efectúa la siguiente precisión: “No se comparte la apreciación que se hace de la selección, en todos los casos si bien se convocó mediante perifoneo y avisos, la selección última se hizo con base en los criterios del sistema único de beneficiarios (SISBEN), con el acompañamiento de los funcionarios responsables de las oficinas de desarrollo social de los municipios”. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 67 Programa de Evaluaciones 2006-2007 referencia a la inserción laboral de las beneficiarias. Evidentemente se trata de dos objetivos vinculados, pero que presentan diferentes niveles de ambición (y de dificultad). Aunque este tema se tratará con mayor detalle más adelante, puede afirmarse que los proyectos se han mostrado eficaces en el logro del primero de los objetivos, estableciendo estrategias básicamente adecuadas para lograrlo, mientras que se han presentado muchos más problemas en el segundo de los casos. De hecho, varias de las iniciativas incluidas en la fase II del primero de los proyectos han sido un intento por lograr ese objetivo, sin que pueda considerarse plenamente alcanzado. 5.2. Eficacia 5.2.1. Adecuada definición del objetivo específico y los resultados Si bien en el capítulo destinado a valorar la calidad del diseño ya se han tratado con bastante detalle estos temas, a continuación se comenta el efecto de aquellas cuestiones en la posibilidad de pronunciarse sobre la eficacia de las intervenciones. En el primero de los documentos de formulación (después de la reformulación motivada por la reducción de la subvención concedida por el Ayuntamiento de Madrid con respecto a la solicitada), se incluyeron cinco objetivos específicos y un número similar de resultados. Evidentemente, como ya se indicó, estos últimos no constituyen los medios para la consecución de los primeros, sino que aparecen como una especie de resumen o concreción de esos objetivos, lo que, en términos de diseño, resulta poco significativo. Los objetivos incluidos son los siguientes: 1. Conseguir la participación social a través de la formación continua de 30 mujeres rurales, con cargas familiares no compartidas, con alto índice de pobreza potenciando la orientación y autonomía personal, habilidades sociales, la educación de la salud y de género y la solución de problemas personales. 2. Facilitar las condiciones de acceso al mercado laboral, a través de la formación y entrenamiento en herramientas para la búsqueda activa de empleo de 26 mujeres. 3. Cualificar profesionalmente como “ceramistas-alfareras” de 640 horas a 26 mujeres. 4. Integrar sociolaboralmente a 14 mujeres a través de la creación de una microempresa de artesanía y cerámica. 5. Atender y dar apoyo escolar a 40 niños en los periodos de formación de sus madres. Estos objetivos (cada uno de ellos con sus indicadores) presentan serias deficiencias, se encuentran en niveles de ambición diferentes ya que algunos son medios para el logro de otros e introducen en su definición propósitos distintos, utilizando preposiciones que establecen relaciones medios-fines en el seno de algunos objetivos. En el segundo de los documentos de formulación aparecen cuatro objetivos: 1. Capacitar a 14 mujeres emprendedoras que han participado en la primera fase del proyecto para desarrollar la empresa de artesanía y cerámica que recupere la tradición prehistórica chibcha, a todos los niveles. 2. Conseguir la participación social a través de la formación continua en educación para la salud y educación de adultos, de 25 mujeres rurales que se incorporan en esta segunda fase, potenciando la orientación y la autonomía personal, habilidades sociales, educación para la salud, de género y la solución de problemas. Cooperación Ciudad de Madrid 67 12671 Colombia (FF) 68 3/3/08 13:30 Página 68 Informe de evaluación. Colombia 3. Cualificar profesionalmente como “ceramistas-alfareras” a las 25 mujeres rurales (de nueva incorporación), con cargas familiares no compartidas y alto índice de pobreza con un curso de 640 horas. 4. Especializar a 20 mujeres de los dos grupos, tanto de la primera fase como de la segunda fase, en las técnicas de pintura y esmaltado sobre cerámica y el uso de diferentes hornos. Por último, en el tercero de los documentos de formulación, se incluye un único objetivo específico y tres resultados. El primero queda definido como sigue: • Favorecer la igualdad de oportunidades de 50 mujeres rurales con altos índices de pobreza a través de la formación y cualificación integral, con miras a la consecución de iniciativas empresariales o de búsqueda activa de empleo, para potenciar así el desarrollo socioeconómico sostenible de las mujeres objeto del proyecto. Los resultados son los que se relacionan a continuación: 1. Se conseguirá la participación social a través de la formación continua de 50 mujeres rurales con alto índice de pobreza, a través de la formación en potenciación y orientación de la autonomía personal, habilidades sociales, salud de género y la solución de problemas personales. 2. Se cualificará a 25 mujeres en conocimientos suficientes de cocina que les posibilite su integración en el mundo laboral y a 25 mujeres en conocimientos suficientes de mesa y bar que les posibilite su integración en el mundo laboral. 3. Se facilitarán las condiciones de acceso al mercado laboral a través de la formación y entrenamiento en herramientas para la búsqueda activa de empleo y autoempleo de 50 mujeres. Las formulaciones de los proyectos considerados han ido mejorando notablemente a medida que las organizaciones implicadas adquirían más experiencia de modo que paulatinamente se va presentando una mayor coherencia en las respectivas lógicas de intervención. De todas maneras, la definición de objetivos y resultados muestran algunas deficiencias significativas que afectan a la posible valoración de la eficacia: • Los objetivos planteados (más allá de la escasa conveniencia de establecer varios objetivos por proyecto) aparecen, a menudo, muy poco definidos e incluyen en su definición diferentes niveles de ambición, lo que dificulta la valoración de sus logros. Cuando los objetivos incluyen expresiones de difícil comprobación (“conseguir la participación social”, “especializar”, “atención y socialización”, “facilitarán condiciones de acceso al mercado”, etc.) se crean muchas dificultades para comprender efectivamente qué se está pretendiendo lograr. • A menudo, los indicadores que se incluyen tienen una escasa relación con el contenido del objetivo y hacen referencia a la realización de determinadas actividades (“asistencia al aula en al menos un 80%”). En otros casos, los indicadores propuestos son difícilmente verificables (“modificación de conductas agresivas y hábitos de salud e higiene de cada participante”). • Los objetivos propuestos no se encuentran todos en el mismo nivel, ya que algunos son medios para el logro de otros. Así, la formación debe entenderse como un medio para lograr la inserción laboral, por lo que uno constituirá un resultado para el logro del otro; de la misma manera, la atención a los niños constituye un medio para permitir que sus madres puedan asistir a las capacitaciones, por lo que deberá situarse en un nivel inferior. • Las lógicas de intervención quedan diluidas cuando se presentan varios objetivos sin apenas resultados que indiquen las estrategias que piensan ponerse en marcha para contribuir a su logro. En ese sentido, hay que reconocer que la última de las formulaciones presenta una lógica medios-fines más sólida. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 69 Programa de Evaluaciones 2006-2007 5.2.2. Nivel de logro de los objetivos y resultados Teniendo en cuenta las debilidades en la definición de objetivos y resultados que se ponían de manifiesto en el apartado anterior, resulta prácticamente imposible pronunciarse con un grado elevado de certidumbre sobre el nivel de logro alcanzado por los dos proyectos evaluados. La primera constatación al respecto que puede plantear el equipo de evaluación es que las actividades que estaban programadas se han llevado a cabo de una manera satisfactoria; los cursos se han impartido, alcanzando un alto grado de satisfacción por parte de las beneficiarias. En el proyecto de “Formación y autoempleo en cocina, mesa y bar para mujeres en Sopó” el personal de Manos Amigas ha realizado una encuesta a las alumnas del curso y su valoración sobre la experiencia se sistematiza en el siguiente gráfico: Evaluación realizada por Manos Amigas sobre el proyecto Bueno 27% Excelente 73% En las entrevistas mantenidas por el equipo de evaluación esa percepción muy positiva sobre las dos experiencias ha sido reiteradamente manifestada por prácticamente todas las participantes. Más allá de las dificultades ya comentadas para pronunciarse sobre el nivel de logro de los objetivos planteados, hay un tema que debe ser comentado. Ambos proyectos, independientemente de la defectuosa definición de sus objetivos, han oscilado entre dos propósitos que, aunque se encuentran claramente vinculados, presentan diferentes niveles de ambición: por una parte, se ha impulsado una experiencia de educación para el empleo, mientras que, por otra, se ha pretendido asegurar la inserción laboral de las mujeres participantes en los diferentes cursos, a través fundamentalmente de la creación de empresas por parte de las beneficiarias. Cooperación Ciudad de Madrid 69 12671 Colombia (FF) 70 3/3/08 13:30 Página 70 Informe de evaluación. Colombia • En el primero de los casos (impulsar una experiencia de educación para el empleo), puede indicarse que los objetivos planteados se han logrado de una forma satisfactoria y que se ha conseguido una permanencia de las alumnas en los cursos de formación y un claro incremento de sus capacidades. • En el segundo caso, hay que reconocer que la estrategia de inserción laboral ha presentado importantes debilidades, no ha tenido en cuenta factores externos sumamente significativos y ha dispuesto de tiempos excesivamente cortos para lograr sus propósitos. Puede, por tanto, afirmarse que se ha alcanzado una elevada eficacia en el componente de capacitación, mientras que los resultados en el caso de la inserción laboral han sido mucho menos importantes. Evidentemente, ambos componentes se encuentran vinculados y deben reforzarse mutuamente, pero da la sensación que no se habían tenido en cuenta todos los elementos que podían amenazar la inserción laboral por la vía del autoempleo. Las experiencias llevadas a cabo han permitido extraer algunas enseñanzas que pueden ser útiles para otros proyectos similares: • Según se manifestó al equipo de evaluación durante las entrevistas mantenidas, un requisito clave para la impartición de los cursos es la correcta selección de los horarios más adecuados. Éstos tienen que adaptarse a las posibilidades de las alumnas, ya que sus obligaciones como jefas de hogar apenas les deja tiempo libre. En el caso de Tocancipá, las mujeres pudieron asistir a las capacitaciones en horario de tardes, ya que en las mañanas tenían múltiples ocupaciones que dificultaban enormemente su participación. • También se ha mostrado fundamental el establecimiento de un sistema de guardería que “libere” a las mujeres durante las horas de formación de la atención y cuidado de sus hijos. Ese servicio de guardería ha tenido, por otra parte, algunos efectos positivos que serán comentados posteriormente. 5.2.3. Comportamiento de riesgos y presunciones En este punto conviene insistir en lo ya señalado en epígrafes anteriores: puede afirmarse que se ha alcanzado una elevada eficacia en el componente de capacitación, mientras que los resultados en el caso de la inserción laboral han sido mucho menos importantes. Y lo anterior, a juicio de la evaluación, se ha debido a dos cuestiones fundamentales: • No se han contemplado todos los factores externos que condicionan el pase de los primero (la formación para el empleo) a lo segundo (la inserción laboral). • La mayor parte de los esfuerzos empleados para el paso de lo primero a lo segundo se han vinculado al autoempleo. En el capítulo destinado a la valoración del diseño se presentaban los factores externos que se incluyeron en la documentación y la evaluación ha intentado completarlos con otra serie de cuestiones que se podrían considerar condiciones necesarias para el cumplimiento de la cadena lógica entre los elementos principales de las intervenciones. Esa cadena lógica se intentaba resumir y generalizar a las tres intervenciones de acuerdo con el siguiente esquema: Formación integral y empresarial Iniciativas empresariales en economía solidaria Cooperación Ciudad de Madrid Puestos de trabajo Mejora situación económica Desarrollo socioeconómico local Igualdad de oportunidades 12671 Colombia (FF) 3/3/08 13:30 Página 71 Programa de Evaluaciones 2006-2007 Sin embargo, esta cadena de posibles efectos está sujeta a numerosas cuestiones que pueden hacer que no se cumpla: • Lo primero, tal y como comentan los documentos de formulación, es contar con el apoyo de las autoridades locales, lo que aparentemente no ha supuesto mayores problemas. Incluso, en los documentos finales de Sopó realizados por la propia organización se indica: “Tanto la alcaldía municipal de Sopó como la gobernación de Cundinamarca han participado con aportes al proyecto y han expresado su entera satisfacción con el mismo. La alcaldía proporcionó la asignación de la infraestructura para la sede del proyecto en la Escuela de Artes y Oficios del Municipio, así como el espacio de la Subsecretaría de desarrollo económico y turístico para la Oficina de orientación laboral e intermediación empresarial. La Gobernación de Cundinamarca a través de la Secretaría para el Desarrollo Social proporcionó recursos para la formación de las beneficiarias, el espacio de un club recreativo para un paseo de integración de las mujeres y los niños del proyecto...” En el caso de Tocancipá la evaluación pudo comprobar no sólo que los apoyos existieron sino que hay disposición por poner en marcha nuevas iniciativas. • En segundo lugar, y así se apuntaba en algunos documentos de formulación, las protagonistas deben participar en el diseño de, al menos, los primeros pasos de la intervención: su formación y las iniciativas a poner en marcha. Es de suponer que las protagonistas estaban de acuerdo con su formación, pues así lo demostraron acudiendo a las convocatorias. En este punto es necesario considerar también la estrategia de acceso al empleo seguida desde un principio más volcada hacia el autoempleo que hacia el trabajo por cuenta ajena (muestra de ello es que las microempresas ya aparecían en los diseños iniciales). Es difícil suponer que inicialmente las mujeres beneficiarias no tuviesen expectativas ante el empleo por cuenta ajena, por lo que hay que pensar que esas expectativas se vieron pronto matizadas por el conocimiento de la realidad del mercado. En cualquier caso se echa en falta alguna documentación que sirva de soporte a la decisión de incidir mayoritariamente en el empleo por cuenta propia. • Finalmente, entre las precondiciones establecidas se incluía que el conflicto se solucione o por lo menos no debería empeorar, lo que podría hacer peligrar el comienzo de las actividades. Parece que, al menos en el área de intervención, este requisito se ha cumplido. • Una vez instalados equipos y materiales, programas formativos, profesorado contratado, mujeres participantes seleccionadas, etcétera, se establecen una serie de cuestiones que permitirían la asistencia y el aprovechamiento de la formación impartida: - En primer lugar se trataría de que la necesidad inmediata de recursos por parte de las alumnas no afecte su asistencia. Se dice que, para ello, los proyectos contaban con un fondo de recursos que, en principio, se aplicaría como ayuda para el transporte y la asistencia de las más desfavorecidas y, más tarde, se trató como una beca. Finalmente parece que no fue necesario aplicarlo a esos fines, por lo que se decidió distribuirlo de forma igualitaria entre las participantes que finalizaron los estudios. La evaluación tiene dificultades para valorar la oportunidad de dicha medida, pues parece que si bien facilitó la inversión inicial en algunas iniciativas de autoempleo ha generado diversas suspicacias entre las beneficiarias, en especial entre las que formaron parte de empresas de grupo y las que adoptaron soluciones individuales. - Adicionalmente, puede pensarse que también es necesario que las participantes dispongan de unas adecuadas condiciones psicofísicas para el aprovechamiento de los conocimientos impartidos. Es obvio que situaciones de maltrato, cansancio por sobrecarga laboral, dificultades de acceso a los lugares de formación, situaciones de dificultades familiares, etcétera, pueden influir notablemente en el aprovechamiento de la formación. En este sentido no se puede esperar que sin medidas especiales de apoyo el rendimiento de todas las participantes sea Cooperación Ciudad de Madrid 71 12671 Colombia (FF) 72 3/3/08 13:30 Página 72 Informe de evaluación. Colombia siquiera similar, lo que ha podido tener efectos en cuestiones de liderazgo, rupturas en los grupos, soluciones adoptadas frente al empleo, etcétera. • Sin embargo, es muy posible que los elementos que pueden tener mayor incidencia en la cadena de efectos aparezcan en la secuencia que va desde la formación hasta el empleo y desde ahí a que eso suponga mejoras significativas de las condiciones de vida. Así, para que el haber sido formado en habilidades sociales, en búsqueda de empleo y en el desempeño de una profesión puede estar en función, entre otros factores, de que: - El mercado de trabajo por cuenta ajena pueda igualar la oferta y la demanda a un precio adecuado para ambas partes, esto es, que las personas que han sido formadas resulten competitivas en su oferta de mano de obra para un mercado con disposición y capacidad de absorber dicha mano de obra a los precios de equilibrio para ambas partes. - Que la entidad de negocio que se pone en marcha sea rentable desde un punto de vista financiero y capaz de generar empleo. Aun asumiendo que las beneficiarias, conscientes de las dificultades de encontrar un hueco para integrarse en el mercado por cuenta propia, fuesen capaces de poner en marcha un emprendimiento empresarial (con el apoyo o la asistencia técnica de la intervención que se valora), sería necesario que esa actividad fuese capaz de generar utilidades (para lo cual la entidad tendría que ser capaz de colocar el producto en el mercado a un precio que generase alguna utilidad) o la entidad fuese capaz de generar empleo entre las promotoras. Parece que son éstos los principales factores que han afectado a la lógica de intervención. En primer lugar, el mercado sólo parece haber sido capaz de absorber a una pequeña cantidad de beneficiarias. De hecho, en las reuniones mantenidas por la evaluación, por ejemplo en el caso de Sopó (que aparentemente forma en una especialidad para la que se supone que el acceso al mercado por cuenta ajena sería más sencillo) fueron muy pocas las participantes en la formación que comentaron que la utilidad de la intervención se había plasmado en la consecución de un puesto de trabajo por cuenta ajena. Adicionalmente, las pocas que comentaron que en la actualidad cuentan con un puesto de trabajo por cuenta ajena nunca atribuyeron su condición de empleadas a la formación técnica recibida (si bien algunas reconocieron que los restantes aspectos de la formación les ayudaron a conseguir el empleo). Así, en el caso de Sopó, sólo el 13% de las participantes indicó que trabajaba por cuenta ajena, y algunas de ellas en empleos sin relación con la formación en cocina y bar. Por otro lado, el éxito de un emprendimiento que genere empleo depende de un gran número de factores que están mucho más allá de la formación y de la asistencia técnica que se pueda ofrecer; como pueden ser el acceso a otros factores de producción adicionales a la mano de obra, la resolución de los procedimientos jurídicos y administrativos para poner en marcha un emprendimiento, el control de los posibles conflictos por las diferentes aportaciones, el acceso a los recursos y el liderazgo entre las socias de la entidad, la necesaria calidad y cantidad de producto para su ajuste al mercado, la actitud de proveedores y clientes, los gustos de los consumidores, etcétera. Han sido, sin duda, elementos de este tipo los que han provocado, en las intervenciones que nos ocupan, que exista una ruptura de la cadena en el paso de la formación a la integración laboral (bien por cuenta ajena, bien por cuenta propia). Los comentarios a los datos concretos sobre el estado actual de los negocios y el empleo de las beneficiarias se han incorporado en el capítulo destinado al análisis de la sostenibilidad de las intervenciones. Finalmente, es más que probable que existan toda otra serie de factores que incidirían en el paso entre el objetivo específico y el general y otros efectos, esto es, entre la integración en el mercado laboral y cuestiones como la igualdad de oportunidades o el desarrollo local. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 73 Programa de Evaluaciones 2006-2007 Obviamente, para que la integración laboral suponga una igualdad de oportunidades entre hombres y mujeres debe darse, entre otras muchas cosas, que los hombres no se apropien del excedente que supone la mejora de ingresos de las mujeres derivadas de su participación en el mercado de trabajo. De la misma forma, para que la integración laboral de las mujeres tenga un efecto sobre el desarrollo local, será necesario, entre otras cosas, que las mujeres permanezcan, por lo menos a corto plazo, en el área de intervención de los proyectos, algo no siempre probable debido a las características de estos municipios como áreas de origen de migrantes. Todas estas cuestiones se volverán a tratar en el capítulo de valoración de los impactos. 5.3. Eficiencia 5.3.1. Realización de actividades En los documentos de formulación aparecían descritas unas actividades excesivamente genéricas, con un nivel de detalle muy escaso. De hecho, en los primeros documentos, el número de objetivos específicos, resultados y actividades era el mismo. En el primer caso se incluían cinco actividades, mientras que el segundo proyecto contaba con cuatro actividades y el tercero con nueve. Esas deficiencias de diseño no parecen haber afectado de manera excesivamente importante a la fase de ejecución. Desde Manos Amigas se ha realizado un trabajo muy cercano a las beneficiarias y éstas han podido participar de manera satisfactoria en las actividades programadas. Los cursos se han impartido con un significativo grado de satisfacción y ha existido un seguimiento continuo de los progresos alcanzados. No se han detectado graves desviaciones con respecto a lo inicialmente programado. Hay que reconocer que Manos Amigas no era, inicialmente, una organización especializada en intervenciones de carácter formativo y no disponía de personal adecuado para impartir las capacitaciones de itinerarios formativos consolidados ni de una estrategia que vinculase la formación y la inserción laboral. Ésa ha sido una importante debilidad inicial que se ha podido subsanar a partir de las intervenciones evaluadas. En ese sentido, puede afirmarse que el proyecto de Sopó muestra ya una concepción inicial mejor definida, en la que se ha intentado identificar un área formativa con claras posibilidades de inserción laboral y se dispone de personal más adecuado para cumplir con los propósitos previstos. Aunque han existido algunos problemas en el área estrictamente formativa y no todos los capacitadores han cumplido con las expectativas inicialmente previstas, lo cierto es que la formación ha sido, en términos generales, muy bien valorada por las beneficiarias. Las principales dificultades parecen haberse presentado en los componentes de inserción laboral. De hecho, se ha detectado una cierta redundancia en los actores que han participado en este componente. La Universidad de la Sabana, los servicios municipales y el propio personal de Manos Amigas han cumplido funciones en ese sentido que no siempre han estado adecuadamente diferenciadas. Puede pensarse que quizás ha existido un “exceso” de asistencia técnica frente a un escaso apoyo en otros aspectos claves para lograr la plena inserción laboral de las alumnas capacitadas, fundamentalmente si se opta (como así parece) por estrategias de autoempleo. De forma un tanto simplificadora puede afirmarse que nos encontramos con mucha asesoría y pocos recursos para la puesta en marcha de proyectos empresariales. Cooperación Ciudad de Madrid 73 12671 Colombia (FF) 74 3/3/08 13:30 Página 74 Informe de evaluación. Colombia Es difícil, de todas formas, proponer un modelo de trabajo diferente del impulsado desde los proyectos evaluados. Las beneficiarias consideran muy útiles las actividades incluidas en el componente de asesoría, pero los escasos resultados alcanzados en este sentido indican que se ha tratado, en varias ocasiones, de acciones que no han logrado los propósitos esperados. La opinión de las alumnas asistentes a los cursos impartidos en Sopó sobre esta cuestión queda reflejada en el siguiente gráfico, que al igual que el anterior, fue elaborado por el equipo de Manos Amigas tras realizar una encuesta a las participantes: ¿La formación empresarial para el empleo y el autoempleo y las asesorías le resultan útiles para el trabajo? Regular 14% Mucho 86% 5.3.2. Utilización de recursos La evaluación no ha centrado su indagación en la utilización de los recursos por parte de los proyectos evaluados. Puede considerarse que, en términos generales, la utilización de los recursos puestos a disposición de las intervenciones ha sido adecuada, ya que los informes de seguimiento y las supervisiones efectuadas desde el Ayuntamiento de Madrid así lo ratifican. No se han detectado desviaciones importantes en ese sentido y puede asumirse que durante la ejecución se ha realizado un uso adecuado de los medios de los que se disponía. De todas maneras, hay algunas cuestiones que conviene precisar porque pueden haber afectado a la eficiencia de los dos proyectos evaluados. En primer lugar, da la sensación de que, en algunas ocasiones, los equipos adquiridos a través de los proyectos no eran los más adecuados para los fines previstos. En concreto, en el proyecto de formación de mujeres alfareras y ceramistas se han adquirido unos hornos que apenas se han puesto en funcionamiento, ya que no respondían a las características del trabajo realizado por las alumnas. Esa posible subutilización Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 75 Programa de Evaluaciones 2006-2007 de algunos de los equipos disponibles ha podido ser provocada por la deficiente definición de los propósitos últimos de las capacitaciones impartidas. En términos más generales, puede considerarse que la adquisición de medios y equipos para una única actividad formativa resulta poco eficiente. Los proyectos han pretendido, con bastantes dificultades dados los problemas que genera una medida de ese tipo, repartir los materiales y equipos adquiridos entre las alumnas una vez finalizados los cursos de capacitación. Ese reparto resulta siempre insatisfactorio, genera tensiones entre las beneficiarias y supone una inadecuada utilización de esos recursos. Parece más lógico, en posteriores intervenciones, pensar en la posibilidad de fortalecer alguna institución formativa que pueda replicar la experiencia, utilizando de forma más adecuada esos bienes y equipos. 5.3.3. Desviaciones temporales en la ejecución de las actividades No ha habido desviaciones temporales significativas y, de manera general, las intervenciones han concluido sus actividades en las fechas previstas. Ya se comentó que los procesos de “reformulación” provocaron que el comienzo de la ejecución de la primera fase de Tocancipá se hiciese una vez se estaba preparando la segunda. Más allá de lo comentado en el párrafo anterior, la única dificultad que la evaluación ha detectado en este sentido vuelve a tener relación con el tipo de objetivos que los proyectos pretendían alcanzar. Los componentes formativos se han impartido sin apenas distorsiones temporales (a pesar de alguna queja por su escasa duración, como muestra el gráfico), pero el intento de avanzar en la creación de empresas por parte de las alumnas ha constituido un propósito mucho más complejo de lo inicialmente previsto y, en la actualidad, no se encuentra en absoluto resuelto. Mejoras del proyecto El tiempo en que fue dictado 23% Otros 27% Las locaciones 0% Los capacitadores 18% Los temas 32% Cooperación Ciudad de Madrid 75 12671 Colombia (FF) 76 3/3/08 13:30 Página 76 Informe de evaluación. Colombia El compromiso de Manos Amigas (y de Candelita) con los dos proyectos evaluados y con las beneficiarias de éstos ha provocado que ambas instituciones continúen prestando algunos servicios a las alumnas egresadas e intenten colaborar en los diferentes proyectos empresariales impulsados por éstas. Resulta difícil establecer una fecha de “cierre” de los proyectos ya que, de alguna manera, éstos continuaban durante la visita de evaluación y muy probablemente continúen en el momento de elaborar este informe. El reparto de los equipos adquiridos constituye en la actualidad un incentivo que provoca que las mujeres sigan vinculadas a los proyectos, y seguramente continuarán estándolo hasta que no se resuelva este tema verdaderamente complejo. Puede, por tanto, afirmarse que los proyectos han llevado a cabo las actividades previstas en los plazos inicialmente programados, pero que existe una evidente dificultad para dar por concluidas las intervenciones, ya que hay componentes que no se han resuelto de manera satisfactoria. Por otra parte, hay que insistir en que el reparto de los equipos utilizados en la formación está generando tensiones dentro de los grupos de beneficiarias y no supone una utilización eficiente de los recursos disponibles. En el futuro parece más lógico apostar por el establecimiento (o fortalecimiento) de instituciones formativas que puedan replicar la experiencia. 5.3.4. Organización de la ejecución Ya se ha señalado que, inicialmente, Manos Amigas no era institución especializada en procesos formativos y que los dos proyectos evaluados han permitido definir una estrategia de intervención que se ha reflejado en las estructuras organizativas puestas en marcha para garantizar el éxito de las intervenciones. En los proyectos de “Formación y autoempleo en cocina, mesa y bar para mujeres de Sopó” y “Formación y autoempleo para mujeres ceramistas en Tocancipá (fase II)” se adoptaron estructuras organizativas como las que se reflejan en los esquemas que se incorporan a continuación: ASOCIACIÓN CANDELITA Coordinadora general del proyecto Asociación Manos Amigas Técnica psicosocial Técnica sociolaboral Pasantes de la Universidad de la Sabana del departamento empresarial Docentes externos de la formación laboral y empresarial Psicopedagoga del aula infantil Voluntarios Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 77 Programa de Evaluaciones 2006-2007 ASOCIACIÓN CANDELITA Coordinadora general del proyecto Asociación Manos Amigas Mercadotecnista Ingeniero industrial Pasantes de la Universidad de la Sabana del departamento empresarial Monitora Psicóloga Profesor de dibujo artístico Profesores de desarrollo empresarial, economía, ingeniería industrial Expertos profesionales sanitarios y recursos sociales, médicos, abogadas, pedagogas Muy probablemente, estos organigramas se han ido perfilando desde los proyectos anteriores, pues como puede observarse, nos encontramos ante unas estructuras relativamente complejas, que exigen de una buena coordinación entre los distintos niveles. • El área de docencia ha sido la que parece haber tenido un menor desarrollo dentro de la organización, recurriendo a docentes externos para garantizar un elevado nivel de conocimientos. De todas formas, es importante que esa docencia quede sistematizada y permita replicar la experiencia en otras áreas, cuestión sobre la que hasta ahora no parece haberse avanzado lo suficiente. • Las técnicas psicosocial y sociolaboral han cumplido un papel clave en la iniciativa y, generalmente, han sido muy bien valoradas. • En otro orden de cosas, la psicopedagoga del aula infantil se ha encargado de la atención a la guardería. Se trata de un servicio, como ya se comentó, que ha resultado fundamental para el éxito de la experiencia. • Manos Amigas estableció un convenio de colaboración con la Universidad de la Sabana que ha funcionado de manera satisfactoria aunque ha podido, en ocasiones, solaparse con algunas acciones impulsadas desde el área sociolaboral. • Por último, los voluntarios han sido de diverso origen. Merece destacar algunos provenientes de España que han tenido una colaboración destacada en el éxito de los proyectos. Cooperación Ciudad de Madrid 77 12671 Colombia (FF) 78 3/3/08 13:30 Página 78 Informe de evaluación. Colombia Incidencia de los contenidos de educación de género, autoestima, relaciones familiares, manejo de conflictos, comunicación, en su desarrollo personal Regular 9% Mucho 91% Actualmente, Manos Amigas está impulsando otros proyectos, en los que la experiencia acumulada en las intervenciones de Tocancipá y Sopó ha resultado clave. Cabe añadir que el trabajo de monitoreo de las intervenciones con y desde Candelita puede calificarse de más que satisfactorio, incluyendo informes estandarizados, visitas periódicas y conversaciones e intercambios de información casi constantes durante la ejecución de las intervenciones. 5.4. Impactos 5.4.1. Contribución de las intervenciones al logro de los objetivos generales Habitualmente se intenta medir el impacto más inmediato de una intervención de desarrollo en su contribución al objetivo u objetivos generales que se plantean en las planificaciones iniciales. En el caso que nos ocupa, contar con más de un objetivo específico y varios generales en dos de los tres casos analizados dificulta notablemente esta tarea, por lo que se ha pensado en acudir a las lógicas de intervención planteadas por la evaluación en capítulos precedentes. En esa línea de indagación, ya se ha indicado que el paso desde la capacitación o formación para el empleo a la integración laboral está sujeto a numerosos factores externos difíciles de valorar. En las propias valoraciones realizadas por la Asociación Manos Amigas aparecen bastantes datos de interés a este respecto que también resultarán útiles para valorar la sostenibilidad de las acciones. Respecto a Tocancipá se afirma: Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 79 Programa de Evaluaciones 2006-2007 “Se superó lo previsto, pues se consolidó la Asociación de Mujeres Ceramistas de Tocancipá AMCET. Con las antiguas 26 señoras conformaron la Asociación AMCET. Las mujeres de nueva incorporación también formaron su asociación que denominaron Mujer de Arcilla. Alcanzamos la meta de participación del 80% en el grupo de nuevo. Las dos asociaciones cuentan con certificación legal de la Cámara de Comercio, reglamento interno de trabajo, organigrama y plan de negocios.” Según las entrevistas mantenidas, este paso de la formación a la integración consistió en la puesta en marcha de una asociación (AMCET) entre una parte del grupo implicado en la primera fase de la intervención y de otro grupo con algunas de las participantes en la segunda fase (Mujer de Arcilla). En las mismas entrevistas, las participantes indicaron que la situación de ambas asociaciones era bastante delicada en esos momentos, debido fundamentalmente a problemas de calidad de los productos, debilidades en los procesos de comercialización y dificultades en las relaciones internas dentro de cada uno de los grupos. También se recibió alguna queja sobre las barreras para el acceso de las participantes en la segunda fase al grupo conformado por las primeras y se comentó que una de las principales motivaciones para la permanencia en los grupos era el miedo a perder la propiedad o el acceso a los activos generados por las intervenciones. Adicionalmente algunas entrevistadas indicaron que los casos en que las participantes se integraron al mercado por cuenta ajena son anecdóticos y en casi ninguno de esos casos el empleo obtenido guarda relación con la enseñanza técnica recibida. Sobre la situación de las asociaciones y los activos asociados a las intervenciones que se analizan se volverá en el capítulo destinado a la valoración de la sostenibilidad de las acciones. Por su parte, en el caso de Sopó, los análisis realizados por la organización indican lo siguiente: • La gestión para la búsqueda de empleo de varias mujeres, en restaurantes y centros sociales, prestando el servicio en eventos y contrataciones para suministro de alimentos preparados. • Inmediatamente terminó el proyecto: - 7 mujeres comenzaron laborando en establecimientos relacionados con el servicio de alimentos y bebidas. - 2 conformaron una empresa prestadora de servicios, en el Casino de Ceramita de una empresa. - 1 se vinculó a un restaurante campestre. - 1 mujer se vinculó, en el casino de una empresa de flores, como auxiliar de cocina. - 1 ingresó al club social Aposentos. - 2 laboran en un restaurante del municipio. Si bien la intervención en Sopó es posterior en el tiempo a la de Tocancipá y parece que el sector de incidencia demanda algo más de empleo que en el caso de la arcilla, la situación de los grupos creados tras la finalización de la capacitación no es mucho mejor que el caso anterior. Sí parece que la formación obtenida facilita algo más el acceso al mercado por cuenta ajena. En opinión de la evaluación, algunos de estos problemas, especialmente los derivados de las dificultades de comercialización de productos y de las rupturas de los grupos, tienen su origen en la fase de identificación de las intervenciones. El paso de la formación a la integración laboral Cooperación Ciudad de Madrid 79 12671 Colombia (FF) 80 3/3/08 13:30 Página 80 Informe de evaluación. Colombia está en función de toda una serie de factores muy difíciles de analizar. Se debería tratar de hacer coincidir al menos tres variables: • Las necesidades del mercado. Los mercados demandan determinados perfiles cambiantes en función de otra serie de variables a los que es complicado dar respuesta incluso desde una oferta también cambiante y de gran adaptabilidad. Estos análisis deben ser realizados por grupos de elevada especialización, e incluso contando con un compromiso de contratación en el mercado antes de plantearse la oferta formativa de la organización. • La oferta sectorial que realiza la organización. La Asociación Manos Amigas no está especializada ni en arcilla ni en cocina y bar, por lo que ha tenido que acudir a personal especializado para poner en marcha su oferta de formación. La evaluación, después de la indagación realizada, es incapaz de pronunciarse respecto a la pertinencia de la selección sectorial realizada y no ha llegado a tener claro cuáles han sido los criterios para decidirse por arcilla y cocina y bar en lugar de por floricultura, confección o construcción, por ejemplo. • La demanda de las participantes. Con independencia de las necesidades del mercado y de la oferta de la organización, a juicio de la evaluación existen algunas debilidades en cuanto a la respuesta a la demanda de las participantes. A la evaluación no le han quedado suficientemente claros los criterios para seleccionar a las participantes y menos los utilizados para convocarlas (octavillas, megafonía). Parece difícil que utilizando estos medios se logre conformar grupos homogéneos de mujeres dispuestas a plantearse un futuro en común. De la misma forma existen algunas dudas en cuanto a la pertinencia de la apuesta inicial por el trabajo por cuenta propia y si esto es una elección de las participantes o por el contrario se enfrentaron a un hecho consumado. 5.4.2. Principales efectos positivos Con independencia de lo comentado en el punto anterior, la propia organización ejecutora ha identificado toda una serie de efectos positivos de las intervenciones puestas en marcha. Así, en los documentos de autovaloración se citan las siguientes cuestiones: • Entusiasmo, capacidad de trabajo y trabajo en equipo. La organización quedó sorprendida por la capacidad y el entusiasmo mostrado por las participantes en el trabajo diario durante la formación y con posterioridad a ese periodo. En el primer periodo y el arranque de las asociaciones mostraron gran capacidad de trabajo en equipo, que se ha visto disminuido por toda otra serie de factores. • Integración social y formación para mejorar la calidad de vida de las mujeres. Parece que con independencia de los impactos concretos en la integración laboral, las participantes consultadas sienten que se encuentran mejor preparadas para enfrentar sus problemas. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 81 Programa de Evaluaciones 2006-2007 Aspectos en que se muestra esta incidencia Todas las anteriores 59% Mayor autoestima 27% Mayor autonomía 5% Mejores relaciones con otros 9% • Adicionalmente, y no menos importante, se citan toda otra serie de efectos positivos en aspectos más relacionados con cuestiones técnicas y culturales. Así, se enfatiza que las intervenciones han permitido la recuperación de tradiciones locales, se ha despertado interés por la cultura autóctona, se han reconocido características propias de la materia prima, se han conocido normas técnicas para la elaboración de las artesanías y formas para elevar la productividad y eficiencia, se han conocido y establecido medidas de seguridad e higiene, etcétera. • También se resaltan otra serie de cuestiones referidas a la implicación de otros agentes en el trabajo realizado. De esta forma se señala que se ha conseguido disponer de espacios cedidos por las autoridades locales, se ha logrado la interlocución ante empresas y empresarios, se ha accedido a otras instancias de la Administración relacionadas con la formación para el empleo, se ha participado con nombre propio en ferias y eventos, las asociaciones son un interlocutor social en sus zonas de intervención, etcétera. • Entre estos “otros agentes” merece especial atención el efecto positivo que la intervención ha tenido sobre los niños y otros familiares. Si bien se trata de una cuestión bastante complicada de analizar, las propias participantes apuntaban algunos aspectos de gran interés al respecto, relacionados con la integración de estos niños en espacios educativos y recreativos. Cooperación Ciudad de Madrid 81 12671 Colombia (FF) 82 3/3/08 13:30 Página 82 Informe de evaluación. Colombia Relaciones con sus familiares Siguen igual 18% Han empeorado 0% Han mejorado 82% Aspectos percibidos en los cambios de los niños atendidos en el aula infantil Su contidianidad 5% Integración a espacios educativos 14% Todas las anteriores 32% Su entorno natural 9% Integración a espacios culturales 0% Integración a espacios recreativos 40% Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 83 Programa de Evaluaciones 2006-2007 • Los ejercicios de autoevaluación indican otra serie de cuestiones relacionadas con la situación personal de las mujeres, como efecto positivo de las intervenciones. Así, se señala que “el crecimiento de las mujeres es notable, son participativas, seguras y productivas, cuentan con un espacio propio para desarrollar su creatividad, reafirmar su identidad cultural y de género”. Esto se hace también extensible para aquellas que aparentemente presentaron menos resultados para sus formadores: “Algunas alumnas que presentaron dificultad de expresión e integración paulatinamente encontraron en el proyecto la posibilidad de crecimiento personal y de hacer nuevas amistades”. • Finalmente, y un paso más allá en esta cadena de efectos sobre las participantes, también se señala que por ejemplo en el caso de Tocancipá “las mujeres llevaron a cabo un profundo proceso de reconocimiento de su condición humana”. Esta situación se explica en los citados documentos en los siguientes términos: - El grupo de beneficiarias adelantó comprensiones sobre la importancia de sus roles a partir de la identificación de elementos importantes en su historia de vida. - Se promovieron procesos reflexivos y de confrontación a partir del compartir de sus propias vivencias y de la recreación de experiencias personales. - Se generaron espacios a través de los cuales las mujeres adquirieron herramientas para el desarrollo de habilidades sociales. - El continuo ejercicio de análisis individual y grupal generó una permanente dinámica de interacción e integración entre las mujeres del grupo. - Las mujeres desarrollaron un mayor nivel de conciencia con relación a lo que significa asumir una actitud política cotidiana y empoderarse de los mecanismos de participación de los que disponen. Las relaciones personales y grupales han mejorado No 9% Sí 91% Cooperación Ciudad de Madrid 83 12671 Colombia (FF) 84 3/3/08 13:30 Página 84 Informe de evaluación. Colombia 5.4.3. Posibles efectos negativos Realmente resulta muy difícil apuntar algún efecto negativo de las intervenciones consideradas, más bien se pueden señalar algunos riesgos puntuales que probablemente no son en ningún caso responsabilidad de las organizaciones implicadas: • En primer lugar, es necesario señalar que la difícil situación por la que pasan algunas asociaciones creadas a raíz de las intervenciones puede suponer el riesgo de la ruptura de las expectativas de sus integrantes, lo que puede conllevar alguna pérdida de confianza y autoestima. • Varias de las entrevistadas mencionaban los enormes esfuerzos realizados para la puesta en marcha de las asociaciones y la escasa recompensa obtenida como un fuerte desincentivo a la participación en nuevos esfuerzos. • Obviamente los conflictos surgidos en las asociaciones podrían replicarse en el seno de sus comunidades, aunque es un riesgo que se podría calificar como muy remoto. • Otra cuestión es la situación de los activos provistos por las intervenciones (equipos, hornos, materiales, equipamiento de cocinas, etc.). Aparentemente, buena parte de las participantes están a la espera de lo que ocurra con estos elementos para definir su actitud ante los grupos surgidos y ante nuevas iniciativas en los sectores relacionados. • La actuación de la organización, que sigue apoyando a las asociaciones una vez finalizados los proyectos podría llegar a generar algún tipo de dependencia de estas participantes respecto a técnicos y responsables de Manos Amigas. Si bien este riesgo se puede calificar también como leve, existe una cierta sensación por las dos partes (mujeres participantes y personal de la organización) de que ellas son las “beneficiarias” y se les debe más apoyo del ya recibido. • No hay que olvidar que uno de los efectos de la formación en las áreas desfavorecidas es la migración. En este sentido, la propia organización manifiesta lo siguiente: “Algunas de las beneficiarias que no se encuentran vinculadas a AMCET han logrado ubicarse laboralmente, debido a las capacitaciones recibidas a nivel empresarial, ocupacional y en habilidades sociales y otras han encontrado oportunidades laborales en otros municipios”. La cooperación para el desarrollo genera un efecto a corto plazo de atracción de la migración, precisamente debido a la mejora de la calidad de vida que se supone generan sus intervenciones. De momento no parece que este riesgo sea muy significativo en cuanto a la pérdida de identidad que supone el hecho de migrar en el caso que nos ocupa. • Finalmente, y esta cuestión se volverá a tratar en el siguiente capítulo, la continuidad en el apoyo una vez finalizado el apoyo externo acordado puede tener efectos negativos más allá de la dependencia comentada en puntos anteriores. Las ideas que están surgiendo por insistir en la financiación de las asociaciones puestas en marcha mediante el apoyo para el acceso al crédito de unas iniciativas que de momento no han demostrado su viabilidad puede generar impactos no deseados. 5.5. Viabilidad En primer lugar es necesario recordar que la sostenibilidad de una intervención se mide o se valora sobre su objetivo específico. En este sentido, se pueden hacer unos comentarios previos a este capítulo: a) Si se asume como objetivo específico de las tres intervenciones analizadas el acceso a formación para el empleo, en este apartado debería valorarse la capacidad del sistema puesto en marcha para ser replicado, esto es, el empleo de los activos físicos, del conocimiento, de Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 85 Programa de Evaluaciones 2006-2007 los programas formativos, etc. que han sido provistos por las intervenciones para que la formación se extienda a nuevas beneficiarias. Si fuese eso lo que se valora, habría que pronunciarse en el sentido de que la sostenibilidad es más bien escasa, pues si bien parte de los activos no materiales se están aplicando en otras intervenciones (Zipaquirá, por ejemplo) no parece que la organización haya sido capaz de poner en marcha un servicio de formación para el empleo con vocación de permanencia en el tiempo (escuela o academia de formación profesional, por ejemplo). b) Por el contrario, si la sostenibilidad se intenta medir o valorar sobre la integración de las mujeres en el mercado de trabajo (algo que a juicio de la evaluación constituye un error, pero que es la lógica preocupación de las organizaciones implicadas), parece que esta viabilidad habría que buscarla en la rentabilidad financiera (sin considerar reposiciones de activos financiados por la cooperación internacional) de las actividades de producción y comercialización de bienes y servicios por parte de las asociaciones puestas en marcha por las intervenciones y en la continuidad (“perdurabilidad”) de los empleos por cuenta ajena. En esta segunda opción, tampoco parece que se pueda ser muy optimista, puesto que la mayor parte de la asociaciones no han alcanzado su punto de equilibrio y que los trabajos por cuenta ajena parecen ser minoritarios. c) En cualquier caso, lo que sí es cierto es que parece existir una especie de “huida hacia delante” de la organización en estas cuestiones, puesto que la satisfacción por la formación impartida no se ha visto recompensada por la respuesta del mercado ante las egresadas y las asociaciones creadas por ellas. Esta “huida hacia delante” hace que una vez finalizados los periodos de financiación externa de las intervenciones, la organización continúe apoyando a las participantes mediante toda una serie de acciones de asesoría, asistencia técnica, relaciones con posibles cofinanciadores, búsqueda de oportunidades de negocio, acceso a los activos provistos por las intervenciones, facilitar el acceso a mercados y crédito, etcétera. Éstas son las cuestiones que se van a intentar analizar en el presente capítulo, mediante el guión facilitado por los denominados factores de viabilidad o de desarrollo, y tomando como “opción” de sostenibilidad la que parece interesar a las organizaciones implicadas que es la que se relaciona con la integración de las mujeres en el mercado de trabajo. 5.5.1. Políticas de apoyo Se ha indicado en capítulos precedentes que no cabe ninguna duda sobre el apoyo prestado por las autoridades locales, especialmente en el ámbito municipal. No parece que sean éstos los aspectos que más dificultades presentan para la operación de las asociaciones constituidas, incluso los municipios están dispuestos a ceder locales, espacios y otros apoyos para su funcionamiento. 5.5.2. Aspectos institucionales En principio, la trayectoria de las tres intervenciones se puede resumir según una estructura común una vez finalizado el apoyo externo. Tras la formación impartida algunas participantes se emplearon por cuenta ajena en actividades diversas, mientras otras pusieron en marcha sus asociaciones productivas. En el momento de la visita estaban en funcionamiento dos asociaciones para las intervenciones que se centraban en la producción y comercialización de productos de arcilla y otras dos en el ámbito de cocina y bar. Manos Amigas apoyó la puesta en marcha de estas asociaciones mediante asesoría y asistencia técnica, bien de manera directa o bien a través de servicios municipales y de voluntariado procedente de alumnos en prácticas de la universidad. Cooperación Ciudad de Madrid 85 12671 Colombia (FF) 86 3/3/08 13:30 Página 86 Informe de evaluación. Colombia En el diseño de las intervenciones se había planteado contar con unos fondos para facilitar el acceso de algunas de las participantes a la formación, pero al no ser necesarios, se destinaron al apoyo de todas y cada una de las participantes en la puesta en marcha de sus iniciativas de integración, esto es, se utilizaron como capital trabajo para la puesta en marcha de las iniciativas productivas. Por su parte, los equipos y materiales provistos por las intervenciones continuaron afectos a los proyectos una vez finalizado el apoyo externo por medio de diversos mecanismos, primando la figura del comodato, con el objeto de garantizar la permanencia de los bienes al servicio de los grupos creados De esta forma, una vez finalizadas las intervenciones las diversas participantes habían recibido capital trabajo (hasta unos 600.000 pesos colombianos), estando una parte adscrita a diversas asociaciones con finalidad de producción y comercialización de bienes y servicios mientras otras se emplearon por cuenta ajena o volvieron al desempleo. Todas ellas fueron informadas de que los activos generados por las intervenciones eran parte de dichas acciones y no podían ser empleados en otros fines, por lo que tienen un cierto sentimiento de propiedad sobre ellos. Debido a las cláusulas del contrato de comodato las beneficiarias se comprometieron legalmente con la entrega de los equipos en buen estado y, según indica la organización, “es su principal preocupación debido a que no cuentan con los recursos necesarios para sus reparaciones permanentes”. De esta forma, las intervenciones han contribuido a poner en marcha una serie de entidades sobre las que se tienen algunas dudas en cuanto a su capacidad para continuar operando, debido a diversas cuestiones de índole cultural, técnica y especialmente de capacidad financiera a causa de las dificultades para colocar los bienes y servicios en los mercados seleccionados. 5.5.3. Aspectos socioculturales Finalizado el apoyo externo tal y como estaba planteado en los documentos iniciales de las intervenciones, Manos Amigas se vio impulsada continuar con el apoyo a las asociaciones creadas. Así, en uno de los documentos de autoevaluación para el caso de Tocancipá, la propia organización indica la necesidad de: “Dar continuidad a los procesos de crecimiento personal. Brindar apoyo a las beneficiarias debido a los limitados recursos económicos de Manos Amigas. Superar el estereotipo de la cultura colombiana que subestima lo doméstico y no valora el trabajo femenino y artesanal...” Adicionalmente, señalan que las razones de esas necesidades se deben a determinadas características de los mercados y de la cultura colombiana, entre los que se citan: “Impactos a la artesanía colombiana a partir de la apertura económica, la globalización y los tratados de libre comercio que se venían venir según políticas internacionales de crecimiento..., la invasión de los productos chinos en Colombia...” De esta forma la dificultad de colocar los productos en el mercado, a su vez causado muy probablemente por sus altos costes relativos respecto a los de la competencia y a su limitada calidad para entrar en otros mercados, conllevó unos escasos ingresos, que determinaron una lucha interna por el poder, que desencadenó la deserción de varias beneficiarias y el cierre de la Asociación Mujer de Arcilla. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 87 Programa de Evaluaciones 2006-2007 Por su parte, en Sopó parece que han sido el limitado tamaño del mercado, la finalización de una contrata con un cliente y el difícil acceso al capital inicial, las causas de que la situación de las asociaciones no sea de mayor rentabilidad. Obviamente, todo lo anterior ha generado que la repartición de las utilidades sea mínima, lo que desmotiva fundamentalmente a las que tienen obligaciones familiares apremiantes, encontrándonos en la actualidad con unas asociaciones que en algunos casos están en franca descomposición, con problemas entre las asociadas, con juntas directivas en proceso de sustitución y escasos niveles de producción tanto de productos de arcilla como de servicios. 5.5.4. Enfoque de género A este respecto, no parece que los intentos por mejorar la situación de las mujeres y disminuir las diferencias por cuestiones de género sean uno de los factores que puedan afectar de forma negativa a la sostenibilidad de las intervenciones. Más bien al contrario, las intervenciones que se analizan, centradas en colectivos de mujeres, tenderán a reducir las diferencias por cuestiones de género en lo que hace referencia al acceso a recursos o a los procesos de toma de decisiones. La única duda al respecto podría referirse a la selección de las tareas propuestas por las intervenciones: ¿hasta qué punto la opción por incidir en áreas laborales como la arcilla y la cocina y bar no tienden a perpetuar los papeles jugados tradicionalmente por las mujeres? Obviamente, la evaluación no tiene una respuesta inequívoca frente a esta pregunta, que debería ser objeto tal vez de un análisis por parte de especialistas. 5.5.5. Factores tecnológicos Los documentos de autoevaluación consultados indican que la tecnología transferida puede ser fácilmente manejada por las beneficiarias. Así, en el caso de Tocancipá se indica que la tecnología es fácilmente apropiable, debido a las siguientes razones: Se dictó un curso de 640 horas teórico-prácticas como “Alfareras-Ceramistas” donde se adquirieron, entre otros conocimientos : • Técnicas de representación gráfica: definición de soluciones constructoras de alfarería y cerámica y elaboración de presupuestos (20 horas teóricas y 70 horas prácticas). • Técnicas de amasado y modelado de objetos cerámicos o mediante torno según tradición prehispánica chibcha (32 horas teóricas y 88 horas prácticas). • Técnicas de moldeo: tipos de moldes y producción según la modalidad y adaptación al tipo de molde ( 28 horas teóricas y 82 horas prácticas). • Técnicas de pintura y esmalte sobre cerámica: acabados y decoraciones según tradición prehispánica chibcha (45 horas teóricas y 105 horas prácticas). • Técnicas de procesos de cocción en diferentes hornos cerámicos según tradición prehispánica chibcha (45 horas teóricas y 105 horas prácticas). • 20 horas de tutorías individuales para cada alumna. Si bien es cierto que la formación impartida colaboró en gran medida a mejorar la apropiación de la tecnología por parte de las beneficiarias, también es cierto que al menos una parte de los equipos no han sido empleados tal y como estaba planteado, probablemente debido a la necesidad final de la producción. Cooperación Ciudad de Madrid 87 12671 Colombia (FF) 88 3/3/08 13:30 Página 88 Informe de evaluación. Colombia Más allá de la tecnología “física” transferida, hay que considerar también la tecnología intangible, los métodos y procesos de producción. En el caso de la artesanía se trataba fundamentalmente de un producto dedicado a su empleo en las casas y en la hostelería, más que elementos de adorno o de regalo. Parece que ninguna de las líneas de trabajo ha conseguido contar con un mercado estable, en ocasiones debido a la competencia y en otros casos por la calidad de los diseños y materiales: • Por un lado, los productos tradicionales para el hogar se destinan a un mercado donde existe una elevada competencia de la producción industrial, incluso de la importación, que trabajan a menores y costes y por tanto consiguen sacar el producto con precios menores. • Por su parte los productos de decoración no tienen ni el diseño ni la calidad de la competencia, aunque sí pueden competir por precio. En este último caso parece que el mercado es de un tamaño muy limitado, pero donde el precio no resulta un limitante al acceso al producto, por lo que se prefiere pagar más por diseños más acordes con lo que el cliente espera de una artesanía. Todo ello lleva a un producto con escasa salida mercantil, que sólo se coloca a buenos precios cuando son pedidos puntuales de alguna entidad o persona que tiene un interés particular en apoyar a las asociaciones creadas. En cuanto a los servicios de cocina y bar, se enfrentan a un mercado, fundamentalmente turístico, muy limitado en tamaño y con una importante competencia, pues uno de los mayores atractivos de Sopó son los productos lácteos manejados por una multinacional. 5.5.6. Factores ambientales Los citados ejercicios de autoevaluación intentan también responder a la necesidad de tener en cuenta los factores medioambientales para asegurar la viabilidad de las intervenciones. Así, respecto a Tocancipá se indica: “El oficio de la cerámica tiene una estrecha relación con el entorno de Tocancipá que se encuentra rodeado de montañas altamente degradada por la explotación inadecuada de canteras; por tal motivo, el tema medioambiental fue un eje transversal durante todo el proceso formativo, en las salidas a recolectar la arcilla en los procesos de combustión, en la promoción de ahorro de agua y energía. Dos eventos de gran significación ambiental se realizaron en el transcurso del proyecto. El primero fue un encuentro con el jefe de planeación del Departamento del Medio Ambiente DAMA quien hizo un análisis de la situación ambiental del municipio a la que calificó como crítica debido a los altos índices de contaminación y grado de erosión de los suelos; en este encuentro, además de las mujeres, asistieron los niños que participaron activamente. La segunda fue una salida pedagógica al Jardín Botánico Pompeyo Mahecha que está ubicado en una de las montañas que rodean el municipio. El fundador del jardín explicó a las mujeres y sus hijos cómo fue posible restaurar una antigua cantera y convertirla en un jardín botánico con árboles y plantas nativas de la región. Mediante un recorrido por el jardín se reconocieron uno a uno la gran diversidad de árboles allí presentes y explicó su origen, nombre científico y vulgar, sus utilidades, periodo de crecimiento y los requerimientos ecológicos para su supervivencia.” Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 89 Programa de Evaluaciones 2006-2007 Más allá de estos temas, no parece que los temas medioambientales puedan actuar como un límite a la sostenibilidad dentro de las intervenciones que nos ocupan. 5.5.7. Factores económico-financieros En este caso, son los factores económico-financieros uno de los grandes problemas que enfrenta la sostenibilidad de las acciones, si como se indicó en la introducción a este capítulo se intenta contrastar esta sostenibilidad en función de la rentabilidad financiera de las entidades que las intervenciones han contribuido a poner en marcha. En cuanto a Tocancipá, la situación de las asociaciones es poco menos que crítica. Mujeres de Arcilla está al borde de la desaparición, mientras AMCET atraviesa graves problemas. En este caso, Manos Amigas señala que “a pesar de que Manos Amigas entregó los equipos en calidad de Comodato e hizo una fuerte inversión en insumos y materiales, y la alcaldía cedió el local donde se encuentran ubicadas AMCET, no contaba con capital de trabajo líquido”. Parece que problemas como el capital necesario para asegurar volúmenes de producción comercializables, la calidad y cantidad de producto, la comercialización, distribución, los elevados costes de producción, etc. son los principales problemas que generan tal situación. Como también se ha indicado, en el origen de esos problemas se encuentran la situación del mercado y el “posicionamiento” del producto. Así, Manos Amigas comenta: “Se debe tener en cuenta que en Colombia sólo el 5% de las empresas creadas desde el año 2001 han sobrevivido a situaciones como la carga tributaria, la apertura económica, la inseguridad social, los altos costos de las materias primas, la carga prestacional, el ingreso de productos al país gracias a la apertura económica y ahora el tratado de libre comercio; pero sobre todo la invasión en el mercado de mercancías asiáticas y en especial de la China, cuyo costo es irrisorio.” En esta situación no se puede ser muy optimista sobre el futuro de estas asociaciones y parece que la única salida posible sería el trabajo sobre pedido, tras un esfuerzo notable en comercialización que implicase, incluso, la celebración de contratos por anticipado con determinados clientes que tuviesen interés en la intermediación o en añadir algún valor al producto como artesanía destinada al turismo. En el caso de Sopó, la situación es algo más positiva, pero el propio documento de autoevaluación indica: “Recientemente, la cooperativa entró en crisis al renunciar la mayoría de sus cooperadas (20) debido a problemas de entendimiento, concentración de poder y malos manejos administrativos. Al no contar con el número mínimo de personas (20) exigido por las disposiciones legales que rige el cooperativismo, fue necesario disolver la sociedad.” Posteriormente se comenta: “Conforme al estudio de los respectivos planes de negocio, los equipos serán distribuidos equitativamente, teniendo en cuenta la productividad y el número de beneficiarias. La administración del lugar y de los equipos se realizará a través de un almacenista contratado por la alcaldía municipal y Manos Amigas, hasta que las mujeres demuestren su capacidad y aplicación en la producción, comercialización y su autonomía para el manejo adecuado de sus negocios.” Cooperación Ciudad de Madrid 89 12671 Colombia (FF) 90 3/3/08 13:30 Página 90 Informe de evaluación. Colombia Probablemente el mayor problema que enfrenta actualmente la organización Manos Amigas (más allá de la problemática de escasa rentabilidad de las asociaciones que ha impulsado) es la decisión de finalizar el apoyo externo. Por un lado, tal decisión implicaría dejar que las asociaciones impulsadas tratasen de operar por su cuenta y riesgo, lo que resulta bastante complicado. Por otro lado, hay que dar una solución a la trasferencia de los activos generados por las intervenciones. Respecto a la primera de estas cuestiones, resulta inútil empeñarse en buscar soluciones que suponen una huida hacia delante. Si el problema de fondo son los tamaños y demandas de los mercados que enfrentan las asociaciones, la financiación vía crédito de estas entidades, tal y como se está proponiendo, no parece que se trate de una solución pertinente y es más, se trata de una solución que puede empeorar a medio plazo la situación de las participantes. Si se trata de un problema de mercado, la solución debe ser de mercado, es decir, conseguir clientes dispuestos a pagar el precio acordado por los bienes y servicios que se ofertan. Cualquier solución que no pase por ahí es probable que no se muestre rentable. En cuanto a la segunda de las cuestiones, la trasferencia de los activos generados por las intervenciones, la solución también parece complicada. No lo sería tanto si la sostenibilidad se buscase en el objetivo específico, esto es, en la formación. La utilización de dichos materiales y equipos para poner en marcha un centro de formación para el empleo en las materias concernidas sería una buena salida a este problema. Sin embargo, habría que preguntarse si resulta pertinente continuar formando en temas que luego no han facilitado de manera mayoritaria la integración en el mercado. Soluciones alternativas como la distribución entre las beneficiarias, el alquiler para eventos y demás no parecen muy oportunas. En último caso cabría plantearse su donación a los municipios. 6. PRINCIPALES CONCLUSIONES A continuación se proponen las principales conclusiones que se derivan del ejercicio de evaluación que se ha realizado. Estas conclusiones se ordenan de forma simplificada en un cuadro de fortalezas y debilidades, sin apenas justificaciones, ya que éstas se encuentran en las páginas precedentes. El propósito principal de esta sistematización es facilitar el debate y la promoción de procesos de aprendizaje vinculados a las experiencias analizadas. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 91 Programa de Evaluaciones 2006-2007 Fortalezas 1. 2. 3. 4. 5. 6. 7. 8. 9. Los proyectos presentan una elevada pertinencia desde el punto de vista del Ayuntamiento, tanto en lo que hace referencia al área de intervención como en su temática y en la selección de los colectivos beneficiarios. Los proyectos evaluados responden a una concepción estratégica de intervención, donde se ha establecido una concentración geográfica, seleccionando un área con características uniformes. La relación entre ONGD española y socia colombiana ha sido muy estrecha, lo que ha redundado en un acompañamiento continuo durante todas las fases y en fortalecimiento y aprendizaje compartido. Los proyectos evaluados fueron los primeros que la ONG Candelita diseñaba y ejecutaba en el ámbito de la cooperación para el desarrollo, lo que puede explicar algunas de las debilidades analizadas. En cualquier caso, se ha detectado una evidente mejora en la identificación, formulación y ejecución de los proyectos posteriores, lo que indica que se ha producido un significativo proceso de aprendizaje. En parte gracias a los proyectos evaluados, la ONG colombiana se encuentra inmersa en un proceso de planificación estratégica que debe clarificar sus futuras líneas de trabajo. Hay que resaltar en ese sentido que, gracias a los proyectos evaluados, se ha promovido un significativo proceso de empoderamiento de la ONG Manos Amigas, cuya capacidad de actuación se ha fortalecido durante el periodo analizado. La mayor calidad de las últimas propuestas presentadas muestra que ese proceso ha tenido consecuencias positivas. Los proyectos han conseguido una importante implicación de las autoridades locales de la zona, básicamente de las alcaldías de Tocancipá y Sopó. Éstas han comprometido recursos para apoyar a los proyectos y siguen mostrándose interesadas en colaborar en nuevas iniciativas. Se han establecido redes de colaboración muy positivas con otras entidades locales (universidades, servicios de asesoría municipal, unidad de cooperación departamental, etcétera). Las propuestas formativas se han adaptado de forma permanente a las necesidades de las mujeres participantes (horarios, contenidos, etc.). La experiencia acumulada permite consolidar en la actualidad unos itinerarios formativos contrastados. Debilidades 1. La participación de los colectivos beneficiarios en el diagnóstico de su situación y en la selección de soluciones ha sido insuficiente. 2. Los criterios de selección de las beneficiarias han resultado demasiado genéricos y no han sido respetados en todas las ocasiones. Los sistemas de convocatoria han promovido que los grupos beneficiarios fueran excesivamente heterogéneos. 3. Las lógicas de intervención (relación actividadesresultados-objetivos) de los tres proyectos presentan debilidades. Hay que reconocer que las debilidades han sido menores a medida que las dos organizaciones implicadas adquirían una mayor experiencia. 4. Insuficiente análisis de los factores externos que podían afectar al logro de resultados y objetivos. 5. Los dos proyectos analizados presentan una cierta confusión en los objetivos planteados, oscilando entre los aspectos básicamente formativos y otros vinculados a la inserción laboral de las beneficiarias. En el primero de los casos, los proyectos han alcanzado sus objetivos, mientras que en el segundo los logros han sido menores. 6. Se ha detectado una cierta indefinición sobre el uso posterior de los activos adquiridos durante la ejecución de los proyectos, lo que ha creado algunos problemas con las beneficiarias. 7. La inserción laboral ha resultado un objetivo demasiado ambicioso, teniendo en cuenta los recursos y tiempos disponibles. Las asesorías (muy bien valoradas por las beneficiarias) han sido suficientes, pero se ha dispuesto de pocos recursos para la creación y consolidación de iniciativas productivas por parte de las alumnas egresadas de los cursos. 8. La sostenibilidad de las iniciativas productivas puestas en marcha es dudosa y necesita de esfuerzos adicionales para consolidarse. Cooperación Ciudad de Madrid 91 12671 Colombia (FF) 92 3/3/08 13:30 Página 92 Informe de evaluación. Colombia Fortalezas Debilidades 10. Las beneficiarias han valorado de forma muy positiva las capacitaciones recibidas, destacando, aparte de los contenidos formativos, algunos aspectos motivacionales y de relaciones personales que han tenido efectos positivos en su vida cotidiana. 11. El establecimiento de un sistema de guardería aparece como un elemento clave para garantizar la permanencia de las mujeres beneficiarias en los cursos, aparte de generar algunos impactos positivos sobre los propios niños. 12. El personal voluntario (colombiano y español) que ha trabajado en los proyectos ha contribuido de manera importante al éxito de las intervenciones. El intercambio de experiencias entre las voluntarias españolas y las participantes en los cursos ha sido señalado como un elemento muy positivo. 7. RECOMENDACIONES QUE PUEDEN EXTRAERSE DE LA EXPERIENCIA Relacionadas con las conclusiones que se han planteado con anterioridad se proponen a continuación algunas recomendaciones que pueden ser útiles para mejorar próximas iniciativas que presenten similitudes con las hasta ahora analizadas. El planteamiento de estas recomendaciones se realiza de una forma voluntariamente esquemática, ya que su propósito principal es favorecer la discusión y el aprendizaje entre todos los implicados en la identificación y ejecución de proyectos de desarrollo. Los argumentos que justifican estas recomendaciones están incluidos en las páginas precedentes, por lo que no se ha considerado adecuado volver a insistir en ellos. • Es importante respetar, en la medida de lo posible, un “enfoque de demanda” a la hora de preparar proyectos de desarrollo. Esto significa que es fundamental contar con los beneficiarios para identificar y diseñar las intervenciones, asumiendo el punto de vista de los afectados por los problemas que se pretenden resolver. Los métodos de planificación participativa favorecen la apropiación de los proyectos por parte de los beneficiarios, incrementan sus posibilidades de viabilidad y permiten acotar con más precisión las características de los grupos hacia los que se dirige la intervención. • Deben mejorarse los diseños de los proyectos, definiendo con más detalle los objetivos que pretenden alcanzarse y la lógica de intervención (actividades y resultados) que permitirá su logro. En el mismo sentido, resulta fundamental efectuar un análisis de riesgos y factores externos más completo ya que, de esa manera, se incrementan las posibilidades de éxito de las iniciativas puestas en marcha. • Asumiendo la ambición de los objetivos planteados, no parece adecuado mantener los mecanismos de reformulación (de hecho, una reducción de los recursos inicialmente previstos para el logro de los objetivos planteados) que se han descrito en este informe. Tampoco parece adecuado plantear plazos temporales tan reducidos, ya que esas limitaciones temporales afectan gravemente a las posibilidades de éxito de las intervenciones. • La experiencia analizada muestra la importancia de establecer unas relaciones sólidas de partenariado entre las organizaciones no gubernamentales españolas y sus socios locales. Esas Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 93 Programa de Evaluaciones 2006-2007 • • • • • • • relaciones deben ir mucho más allá de la simple preparación conjunta de los proyectos, asumiendo una corresponsabilidad durante toda la fase de ejecución y en el logro de los objetivos propuestos. En el mismo sentido, hay que insistir en la conveniencia de avanzar en la definición de planes estratégicos de las organizaciones. Esos planes deben incluir los grandes objetivos a los que la organización pretende contribuir, las líneas principales de actuación y los valores y principios que sustentan la actividad institucional. Los proyectos concretos deben insertarse dentro de las prioridades que se derivan de esa planificación estratégica. Una cierta concentración geográfica y una especialización temática deben ser algunas de las consecuencias de ese ejercicio de planificación estratégica. Debe asumirse que la formación profesional y la inserción laboral son dos objetivos relacionados, pero que se encuentran en niveles diferentes de ambición, siendo el primero de ellos un medio para el logro del segundo. Los proyectos analizados muestran que resulta mucho más fácil mejorar las capacidades formativas del colectivo beneficiario que lograr su efectiva inserción en el mercado laboral. Para alcanzar ese propósito parece necesario disponer de análisis de mercado muy precisos y contar con mayores recursos (y tiempos). Asumiendo la dificultad de lograr ese objetivo parece adecuado recomendar el establecimiento de alianzas con organizaciones especializadas en ese trabajo (entidades de microcrédito y asesoría laboral, por ejemplo), para asegurar un adecuado tratamiento de todos esos temas. En el caso de proyectos de carácter formativo, la sostenibilidad pasa por asegurar la posibilidad de replicar la experiencia llevada a cabo. En ese sentido, es muy importante vincular la iniciativa con instituciones locales que se dediquen a la formación y que sean éstas quienes posteriormente asuman los activos adquiridos durante la fase de ejecución. El reparto de esos activos (equipos y materiales) entre las mujeres asistentes a los cursos resulta poco eficiente y puede generar efectos negativos que afecten a la cohesión del grupo. En el mismo sentido, es importante asegurar que los cursos formativos puedan otorgar algún tipo de certificado reconocido a las alumnas que superan con éxito la experiencia. Estos certificados constituyen una motivación adicional para completar la formación y facilitan la posterior inserción laboral de las egresadas. Los proyectos analizados muestran la importancia de establecer una red de alianzas con entidades locales para asegurar el éxito de las estrategias de intervención. La experiencia de Manos Amigas y Candelita indica que implicar a las autoridades locales (municipalidades, servicios locales de asesoría laboral, etc.) y a otras instituciones existentes en el área (Universidad de la Sabana en particular) en la ejecución de las dos intervenciones ha tenido unos efectos muy positivos. En proyectos de capacitación laboral dirigidos a mujeres resulta fundamental adecuar la oferta formativa a las posibilidades (y necesidades) de las destinatarias. En particular, parece clave el establecimiento de un servicio de guardería que permita que las mujeres dispongan de un tiempo dedicado en exclusividad a su formación, mientras que sus hijos son atendidos de forma adecuada. Estos servicios de guardería tienen, también, unos efectos positivos sobre los propios niños que no deben ser subestimados. Los cursos de formación para el empleo dirigidos hacia mujeres deben incluir componentes que potencien otros aspectos fundamentales no directamente vinculados a su capacitación laboral, como son la educación de género, el manejo de conflictos y comunicación, relaciones familiares, autoestima, desarrollo personal, etc. Esos contenidos complementarios han sido muy bien valorados por las beneficiarias y han tenido unos efectos significativos en su vida cotidiana. Cooperación Ciudad de Madrid 93 12671 Colombia (FF) 3/3/08 13:30 Página 94 12671 Colombia (FF) 3/3/08 13:30 Página 95 Informes de evaluación. Ecuador 12671 Colombia (FF) 3/3/08 13:30 Página 96 12671 Colombia (FF) 3/3/08 1 13:30 Página 97 Informe de evaluación Proyecto de apoyo a la salud materno-infantil: construcción y equipamiento de una Maternidad comunitaria en la parroquia de Juan Montalvo (fases I y II)* Convocatorias: 1998 (fase I) y 1999 (fase II) Áreas de actuación: sociosanitaria, infraestructuras Localización: parroquia de Juan Montalvo, cantón Cayambe, provincia de Pichincha, Ecuador Fechas de inicio: fase I: 11 enero 1999; fase II: 11 febrero 2000 Fechas de finalización: fase I: 11 febrero 2000; fase II: 11 febrero 2001 Coste total: 28.312.491 ptas. (fase I); 16.102.849 ptas. (fase II) (170.161euros y 96.780 euros) Aportación del Ayuntamiento de Madrid: 16.511.988 ptas. (fase I); 11.789.642 ptas. (fase II) (99.239 euros para la fase I y 70.857 euros para la fase II) ONG responsable: Ayuda en Acción Socio local: Ayuda en Acción Ecuador Otras entidades participantes: Casa Campesina, municipalidad del cantón de Cayambe 1. BREVE DESCRIPCIÓN DE LAS INTERVENCIONES Ayuda en Acción elabora y lleva a cabo este proyecto en colaboración con la Fundación Casa Campesina Cayambe, dependiente de la Sociedad Salesiana presente en Cayambe (cantón en la zona norte de la provincia de Pichincha, a 75 km de Quito). El área de intervención está formada por 60 comunidades y una población de 21.083 habitantes. El proyecto consiste en la construcción y equipamiento de una Maternidad comunitaria en Cayambe, y el inicio de su actividad, entre 1999 y 2001. El objetivo de este equipamiento sanitario es ampliar la cobertura de atención a la madre gestante, a los recién nacidos y a las mujeres mayores de 45 años. * Véase Anexo, p. 176. Cooperación Ciudad de Madrid 12671 Colombia (FF) 98 3/3/08 13:30 Página 98 Informes de evaluación. Ecuador Con ello, se daba apoyo a la actividad del área de desarrollo rural (ADR Mitad del Mundo) de Ayuda en Acción en esa zona, en la componente salud, y a las actividades de Casa Campesina en la zona. Con ello se respondía, además, y de manera principal, a la petición de las comunidades y actores comunitarios en salud, que lo veían como una necesidad muy importante para mejorar la salud materno-infantil en la zona., a través de la construcción y equipamiento de una Maternidad comunitaria en el cantón de Cayambe, provincia de Pichincha, Ecuador. Se trata de cubrir parte de las necesidades en salud de la población de una zona, básicamente el municipio de Cayambe, en la que Ayuda en Acción ha situado una área de desarrollo rural (ADR), la de Mitad del Mundo, con 60 comunidades y una población de 21.083 habitantes. Los principales componentes de la intervención que se evalúa son la creación y dotación de infraestructuras sanitarias y la atención sociosanitaria a la mujer y a los recién nacidos. 2. DESCRIPCIÓN DE LA ESTRUCTURA DE INTERVENCIÓN EN LA QUE SE INSERTA EL PROYECTO La intervención que se evalúa en sus dos fases anuales (I y II) surge en un contexto de presencia de ambas organizaciones en la zona desde mediados de los ochenta, tanto Ayuda en Acción Ecuador como Casa Campesina. Ayuda en Acción actúa en Ecuador a través de su oficina en Quito, que coordina equipos sobre el terreno con una división geográfica en áreas de desarrollo rural (ADR). Las ADR son las unidades de intervención territorial de Ayuda en Acción, con un equipo y una planificación específicas, y responsables de la ejecución de proyectos y la coordinación en el nivel local. La ONG inició sus actividades en Ecuador con sendos proyectos en Cayambe y Sucúa. Posteriormente, la actividad en la zona se refuerza y se constituye la ADR Mitad del Mundo, colindante con la ADR Cayambe, para actuar en las parroquias de Juan Montalvo, Cangahua y Otón, con 66 comunidades y una población de 21.177 habitantes. Una vez transferida la actividad de la ADR Cayambe en 1999 a la Fundación Casa Campesina Cayambe, organización con la que se venía colaborando en el área de salud especialmente. Tras la transferencia de actividades Ayuda en Acción mantuvo su actividad en la ADR Mitad del Mundo, con proyectos en diversas áreas. Llegado al final de su aportación en la Maternidad, Casa Campesina asumió la gestión directa de los proyectos en el área de salud, recibiendo tan sólo apoyo para la financiación de algunos costes como el sueldo de la directora de la Maternidad. Casa Campesina nace con la constitución de la Sociedad Salesiana en Cayambe y tiene por objetivo el apoyo a las comunidades en los cantones de Cayambe y Pedro Moncayo, haciéndoles protagonistas de su desarrollo e implicándoles en la toma de decisiones. Esta organización nace con el objetivo de mejorar la vida de las personas, prestando especial atención a los niños. Para ello inician actividades en salud y educación, para luego continuar en una perspectiva más integral (formación, sector productivo, carreteras...), aunque siempre desde el interés por el niño. Actualmente inciden en sectores como la organización comunitaria en el ámbito de la salud y en el productivo, donde han colaborado en procesos de decisión colectiva y apoyan la gestión de créditos que en mayo de 2007 llegaron a los 350.000 $. El proyecto se enmarca por tanto en procesos de relación con las comunidades que abarcan un periodo de tiempo importante y estrategias de participación y desarrollo local significativas, con Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 99 Programa de Evaluaciones 2006-2007 muchos puntos en común y que muestran la factibilidad del trabajo en común. Los sectores en los que se trabaja son: • Educación. • Salud. • Economía local. Los principales hitos de la intervención más directamente relacionada con el proyecto serían los siguientes: Año Actuación 1995 Ayuda en Acción realiza un diagnóstico rural participativo que identifica los problemas de salud y las limitaciones de los servicios sanitarios. 1998-presente Trabajo con parteras y medicina tradicional. 1998 Inicio atención sanitaria y dispensarios de odontología. 2000 Construcción de la Maternidad e inicio de atención ambulatoria. 2000-2001 Equipamiento de la Maternidad e inicio de actividades de hospitalización y cirugía. Posterior Ampliación (aumento de la infraestructura, formación sostenible, servicio de emergencias, pruebas diagnósticas, consultorio de oftalmología). La intervención en la zona de Casa Campesina Cayambe (CCC) de los últimos años queda reflejada en el siguiente cuadro en el que se identifican los principales proyectos en el área de salud que se han ejecutado o lo serán próximamente. Puede verse cómo la actividad en el sector salud ha sido muy importante desde la construcción de la Maternidad. Adicionalmente, la tabla muestra las relaciones entre las organizaciones que identifican los proyectos (columna “Presenta”, las que los gestionan y las que los financian. La variedad en las contrapartes e instituciones financieras resulta interesante como muestra de la vitalidad de la estructura de intervención, que se apoya además en la participación de voluntarios de otros países que realizan estancias cortas todos los años. Periodo Proyecto Presenta Gestiona Financia 1998-1999 Maternidad Mitad del Mundo Casa Campesina/ Ayuda en Acción Ayuda en Acción Ayuntamiento de Madrid 1999 Unidad Móvil de Salud Casa Campesina Ayuda en Acción Embajada de Japón 30.000,00 2000-2001 Equipamiento Maternidad Casa Campesina/ Ayuda en Acción Ayuda en Acción Ayuntamiento de Madrid 74.904,19 Cooperación Ciudad de Madrid Monto ($) 163.563,06 99 12671 Colombia (FF) 100 3/3/08 13:30 Página 100 Informes de evaluación. Ecuador Periodo 2003 Proyecto Sistemas sanitarios familiares Presenta Casa Campesina Gestiona Ayuda en Acción Financia Comunidad Autónoma de Murcia Monto ($) 52.158,00 2002 Laboratorio Clínico Maternidad Casa Campesina P. Solidario Ayuntamiento de Vizcaya 19.854,00 2002 Mejora de la salud Casa Campesina de niños campesinos del Ecuador Katharina Amigos de Austria 2003 Acceso al agua potable, sistemas de agua en Pitaná Alto y Pitaná bajo Casa Campesina Ayuda en Acción AECI 50.603,00 2003 Sistema de agua potable para la comunidad de Paccha Casa Campesina Ayuda en Acción Universidad Complutense de Madrid 55.000,00 2006-2007 Salud escolar en las comunidades indígenas de Cayambe Casa Campesina Consultora Don Bosco JTM 23.518,44 2006 Programa de capacitación en salud reproductiva Casa Campesina Consultora Don Bosco Enfermeras para el mundo 85.406,94 2006 Equipamiento Unidad Movil de salud Casa Campesina Casa Campesina Gobierno de Salzburgo, Sei So Frei 2007-2008 Desarrollo integral comunitario en Cayambe y Pedro Moncayo Ayuda en Acción Casa Campesina Ayuntamiento de Madrid 2007 Programa de capacitación en salud reproductiva fase II Casa Campesina Consultora Don Bosco Enfermeras para el mundo 8.136,76 9.906,70 75.000,00 76.505,20 Se puede plantear, por tanto, que los proyectos financiados se enmarcan en una estructura de intervención en salud consolidada, que además forma parte de otras líneas de trabajo en la zona, tanto de la misma organización (Casa Campesina) como de otras, principalmente en temas educativos, productivos, de refuerzo de la Administración local y de participación ciudadana. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 101 Programa de Evaluaciones 2006-2007 Resulta relevante el cambio en la cesión de los terrenos. Inicialmente se planteaba que fuera el municipio pero finalmente fueros los salesianos y en régimen de comodato. Este cambio, al margen de que la relación con la Administración local en el ámbito de la salud ha sido un elemento importante en la evolución de la estrategia de intervención, tiene un efecto muy importante para la Maternidad. Este cambio supone en principio un modelo de proveedor social de servicios, por cuanto la Maternidad no se integra en la red pública de servicios sanitarios, como estaba inicialmente previsto, tras unos años de gestión independiente. La estrategia de salud de Ayuda en Acción ha sido, lógicamente, un referente para los proyectos evaluados en el periodo de ejecución. En la fase en que ese proyecto se presentó, la estrategia incluía la prestación directa de servicios sanitarios, línea de trabajo que después se abandonó. De todas formas, la evolución de la estrategia en salud de Ayuda en Acción, aunque no orientó la actuación de Casa Campesina una vez cerrada el ADR Mitad del Mundo, se halla en línea con la evolución de los planteamientos de Casa Campesina a lo largo de su actividad en salud. La estrategia actual, tanto de Ayuda en Acción como de Casa Campesina, es fortalecer los servicios del Estado y los servicios locales de salud, a la vez que se continúa apoyando a las comunidades y se busca la elaboración de planes de salud, como instrumento básico para potenciar los sistemas locales de salud. El sistema local de salud tiene por actores tanto al sistema público como al privado y a los ciudadanos. La figura institucional son los Comités de Salud (cantonal y parroquial) que consagran el proceso de descentralización SILOS. La estrategia de Ayuda en Acción es la de fortalecer el Comité de Salud donde lo haya, y donde no, propiciar su creación. Otra línea de trabajo en salud es la intersectorialidad. Se trabaja en estrecha relación con la educación y con el abastecimiento de agua, mediante la apertura de ámbitos de decisión de los ciudadanos, teniendo el empoderamiento comunitario como objetivo secundario. Como consecuencia de esta confluencia de estrategias, existe actualmente el acuerdo para que la directora de la Maternidad apoye el futuro inicio de un proceso similar al seguido en Cayambe, en otro cantón. 2.1. La estructura de intervención en el proyecto Para el funcionamiento de la Maternidad, en el mes de junio de 1999, se constituye el Comité de Gestión, conformado por los representantes legales de: el Comité de Padres de Familia de los Centros Infantiles Campesinos; Comités Intercomunales de Créditos Cayambe y Mitad del Mundo; Comité Dolores Cacuango; Asociación de Parteras; Grupo de Delegadas de Salud; coordinador de Ayuda en Acción Mitad del Mundo; director de la Casa Campesina Cayambe y director de la Maternidad. Este comité tiene las funciones de: • Elaborar y aprobar el Reglamento Interno de Funcionamiento de la Institución. • Participar en las reuniones trimestrales para analizar, planificar y ejecutar las actividades de la Maternidad. • Vigilar el cumplimiento del reglamento interno. • Organizar la atención médico-odontológica de los niños de los Centros Infantiles Campesinos. Cooperación Ciudad de Madrid 101 12671 Colombia (FF) 102 3/3/08 13:30 Página 102 Informes de evaluación. Ecuador • Organizar y coordinar las acciones de salud comunitarias. • Estudiar los casos de pacientes de escasos recursos económicos para subsidios parciales o para acceso a créditos de salud. • Coordinar acciones con otras instituciones gubernamentales y no gubernamentales de salud del cantón. El modelo organizativo en que se basa en la actualidad la Maternidad estaría caracterizado por los siguientes elementos: • Calidad de la atención. • Equipo estable a tiempo completo más acuerdos con especialistas por servicios. • Búsqueda del equilibrio financiero a través de un sistema de copago con precios bajos y posibilidad de atender casos sociales y acuerdos con instituciones para la prestación de servicios con margen de beneficio. • Mantenimiento de apoyo a actividades ambulatorias en las comunidades. • Servicio de emergencias. • Ampliación de servicios en función de la demanda de la población. • Tener presencia en iniciativas locales para la mejora de los servicios sanitarios, la participación ciudadana en salud y el desarrollo local. En el momento de la evaluación, esta doble misión, interna y externa, de la Maternidad, les lleva a haber iniciado unas líneas de organización y trabajo que podría resumirse en: • Se plantean avanzar en el modelo organizativo de la Maternidad, desarrollando la coordinación con los demás prestadores de servicios, consolidando su cartera de servicios y la relación con clientes institucionales (públicos y privados). Como consecuencia de todo ello, la organización de la Maternidad requerirá de dar respuesta a una mayor complejidad, para lo que van a incorporar un administrador. • Están presentes en el Consejo Cantonal de Salud. • Están participando en la elaboración del Plan Estratégico Cantonal. Será un elemento fundamental para la planificación y la coordinación entre niveles e instituciones sanitarias. Una relativa debilidad de este proceso está siendo la falta de profesionales formados en Salud Pública. 3. VALORACIÓN DE LOS DOCUMENTOS DE FORMULACIÓN A la hora de valorar los documentos de formulación y los posteriores de seguimiento de la ejecución de los proyectos, éstos deben contextualizarse temporalmente. El proyecto unificado se presenta a la convocatoria de 1998 y, basándose en esta presentación, finalmente se financia en dos proyectos en convocatorias sucesivas. Por una parte, el grado de detalle y la organización de la información corresponde a los formularios vigentes en el procedimiento del Ayuntamiento de Madrid. Por otra parte, la formulación de las intervenciones basadas en el Enfoque del Marco Lógico y las desarrolladas por la cooperación españolas no estaban todavía muy afianzadas en la práctica cotidiana de las ONG españolas. Señalada esta situación, se analizan en éste y el resto de apartados la intervención en relación con el contexto en el que se formuló y ejecutó el proyecto. Inicialmente, Ayuda en Acción presentó para financiación por el Ayuntamiento de Madrid un documento de formulación para un único proyecto en el que se exponen con detalle los antecedentes, Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 103 Programa de Evaluaciones 2006-2007 justificación y contexto general de la propuesta. Este documento presenta una matriz de planificación para la ejecución del proyecto en 12 meses, con los siguientes objetivos: Objetivo general (OG) Disminuir los riesgos de morbimortalidad en madres gestantes y neonatos y en mujeres en general para conseguir una mejor calidad de vida, mediante la mejora de la salud reproductiva y la salud de la mujer en 60 comunidades del ADR Mitad del Mundo. Objetivos específicos • OE1: Construir y equipar una Maternidad comunitaria para la atención de partos y cesáreas, atención preparto y posparto, cuidado de los recién nacidos en situación de riesgo y consulta externa para la atención ginecoobstétrica. • OE2: Brindar atención ginecoobstétrica a mujeres gestantes y atención pediátrica a los recién nacidos. • OE3: Establecer programas de control de natalidad y paternidad responsable. Tras la aprobación de fondos por un montante inferior al solicitado y su división en dos proyectos, se plantea una nueva formulación para una fase II, en la que el OG se mantiene y el OE1 se dedica en exclusividad al equipamiento de la Maternidad. Por tanto, los dos proyectos comparten el mismo esquema de objetivos, con la única diferencia en el OE1, que en la fase I se refiere a la construcción y en la fase II al equipamiento. No se hace una reformulación del proyecto, por lo que no se especifican actividades específicas diferenciadas por fase para los OE2 y OE3. Tampoco se definen valores específicos para los indicadores de los objetivos. La lógica de intervención que se define para un proyecto de un año de ejecución acaba siendo para dos años, sin realizar algunos ajustes menores que hubieran sido necesarios. La lógica de intervención queda reflejada en la siguiente tabla: Cooperación Ciudad de Madrid 103 12671 Colombia (FF) 104 3/3/08 13:30 Página 104 Informes de evaluación. Ecuador Objetivos Resultados Objetivo general Disminuir los riesgos de morbimortalidad en madres gestantes y neonatos, y en mujeres en general, para conseguir una mejor calidad de vida, mediante la mejora de la salud reproductiva y la salud de la mujer en 60 comunidades del ADR Mitad del Mundo. Objetivos específicos Indicadores OE1. Construir (FASE I) y equipar (FASE II) una Maternidad comunitaria para la atención de partos y cesáreas, atención preparto y postparto, cuidado de los recién nacidos en situación de riesgo y consulta externa para la atención ginecoobstétrica. R1. Se habrá construido y equipado un centro especializado para la atención de la población materno-infantil que atenderá mensualmente 28 cirugías y ligaduras, 60 partos, 70 recién nacidos y 40 consultas externas de ginecología y obstetricia. OE2. Brindar atención ginecoobstétrica a mujeres gestantes y atención pediátrica a los recién nacidos. R2. Se habrá organizado y mejorado la atención a madres y niños de las comunidades y se habrá logrado disminuir los índices de enfermedad y mortalidad materno-infantil. OE3. Establecer programas de control de natalidad y paternidad responsable. R3. Se habrá logrado una mayor conciencia de la familia y de las comunidades ante la problemática de la salud reproductiva. IOE1.1. Obras de la Maternidad comunitaria finalizadas. IOE1.2. Maternidad completamente equipada con material necesario para atender mensualmente 28 cirugías entre cesáreas y ligaduras, 60 partos, 70 recién nacidos y 400 consultas externas. IOE2. Número y tipo de atención ginecoobstétrica de las consultas realizadas. IOE3. Porcentaje de reducción de la mortalidad materno-infantil. Esta tabla presenta una lógica de intervención consistente, con objetivos claramente definidos dirigidos a una población claramente definida en sus características (mujeres, madres y niños) y en su distribución geográfica. Los objetivos están apoyados sobre resultados relevantes a los que se llega por actividades que han sido definidas siguiendo las principales acciones que deberán realizarse y con indicadores que pretenden medir si la realización de las actividades produce los efectos esperados en los objetivos. Asimismo, las fuentes de verificación (FV) de los indicadores están bien definidas. Cada uno de los OE presenta en la matriz de planificación un resultado esperado (RE) lo cual simplifica el seguimiento de los indicadores objetivamente verificables (IOV), aunque éstos no se relacionan directamente con los objetivos. Las actividades del RE1 aparecen detalladas, mientras que para el RE2 y RE3 las actividades se resumen en epígrafes más generales del tipo “Realización de jornadas y charlas de sensibilización sobre control de la natalidad y paternidad responsable” (A3). Estas actividades se presentan más detalladas en los documentos de seguimiento trimestral y semestral. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 105 Programa de Evaluaciones 2006-2007 Pueden señalarse algunos elementos mejorables en la matriz de planificación: • El indicador IOV1.1 podría tener un enunciado más acorde con la función de los indicadores (mostrar grado de cumplimiento directamente del objetivo). En este caso, para la fase I podría haberse añadido “construcción según plazo previsto” para medir las desviaciones temporales en la construcción en su efecto sobre la disponibilización del servicio a las comunidades. También podría haberse añadido algún otro indicador u otro para la fase II del tipo “entrada en funcionamiento de los servicios dependientes del equipamiento en el plazo previsto” o “inicio de los servicios con funcionamiento adecuado de los equipos”. • El enunciado del indicador IOV1.2. coincide con el resultado R1. Esto es favorecido por el formato de planificación que se utilizaba en ese tiempo. • El objetivo OE2 debería haber incorporado algún componente de calidad de la prestación de servicios, que después se hubiera fijado como indicador. Posteriormente el equipo realizó un manual, así que este elemento se trata exclusivamente desde el punto de vista formal y de la consistencia de la lógica de intervención. • El indicador OE3 afecta especialmente al objetivo OE2 pero también en menor grado al OE3. Aunque los cambios en la morbimortalidad de la población requieren tiempo y el proyecto tenía un plazo corto, también es cierto que lo que motivaba el proyecto era una situación preocupante en términos de salud materno-infantil, que se incorpora al objetivo general. Esto hace necesario analizar previamente qué cambios en la morbimortalidad de la población objetivo pueden verse mejorados en un menor plazo de tiempo, para priorizarlos en un indicador o varios indicadores precisos sobre problemas de salud concretos que se espera mejoren por la acción de la Maternidad. Al no haberse hecho este análisis previo, el indicador en su enunciado no es preciso. Como su cálculo requiere información poblacional (no sólo de las personas que acuden a la Maternidad) y eso es más costoso de recabar, si no se acota el indicador muy bien, resulta casi imposible que se calcule. De hecho, no aparecen claramente fuentes de verificación para este indicador en la formulación del proyecto, lo que hace pensar que la información que se aporte para el indicador OE3 sea insuiciente para saber en qué grado se ha cumplido el objetivo general. • Entre las actividades para el resultado OE2 no se incluye ninguna relacionada con las tareas iniciales de organización de la prestación del servicio, desde el punto de vista logístico, económico y clínico. Es seguro que se realizaron tareas de ese tipo, pero al no señalarlas no se pueden evaluar. Por otro lado, la reformulación del cuadro de partidas económicas de la fase I parece adecuada, destinando la subvención obtenida a la construcción de la Maternidad y a una parte del equipamiento (OE1). Esta reformulación presupuestaria fue aceptada por el Ayuntamiento de Madrid un mes después de su solicitud. Para las actividades que comprenden los OE2 y OE3 se destinan partidas que provienen de fondos propios de la ONG y de otros dos actores: la Sociedad Salesiana de Cayambe y la Comunidad Local (beneficiarios). 4. VALORACIÓN DE LOS PERIODOS DE EJECUCIÓN En general, el proyecto se ha llevado a cabo de forma adecuada en cuanto a los plazos de ejecución. En la fase I se solicitó una ampliación del plazo de ejecución de un mes debido al retraso en el inicio de las obras por la diferentes situaciones que afectaron al inicio de los trabajos y por las modificaciones en los planos, debidas a su vez al cambio del terreno en el que se iba a construir. El principal cambio en el entorno de este pequeño retraso cabe señalarlo en el cambio de institución que cedía los terrenos. Cooperación Ciudad de Madrid 105 12671 Colombia (FF) 106 3/3/08 13:30 Página 106 Informes de evaluación. Ecuador Al margen de lo inevitable de este cambio, que debió generar una presión importante sobre el proyecto, cabe pensar sobre el grado de participación de las comunidades y su efecto en accesibilidad. El emplazamiento inicial se había consensuado con las comunidades y respondía a criterios de accesibilidad de la población. El emplazamiento final, no demasiado alejadazo del inicial, parece no haber producido efectos negativos significativos. 5. CRITERIOS DE EVALUACIÓN 5.1. Pertinencia 5.1.1. Adecuación del proyecto a prioridades El proyecto se realizó años antes de la definición del Plan Estratégico de Actuación en Ecuador del Ayuntamiento de Madrid. Sin embargo, se halla totalmente en línea con las prioridades de los Objetivos del Milenio, que el plan incorpora, y está muy en sintonía con algunas de las estrategias claves que plantea el plan en el ámbito de la salud. Geográficamente también se encuentra en la zona prioritaria señalada por el plan. • Objetivo 3. Promover la igualdad de género y la autonomía de género en relación con las estrategias de acceso a servicios de salud, planificación familiar y sensibilización contra la violencia intrafamiliar. • Objetivo 4. Reducir la mortalidad en la infancia en las estrategias de atención prenatal, de promoción de la salud y capacitación en la comunidad y de relación entre sanidad y escuela. • Objetivo 5. Mejorar la salud materna en las estrategias de desarrollo de infraestructuras, programas preventivos, comunitarios y, en general, todas las estrategias de apoyo a la salud de la mujer y de la gestante, tanto en los servicios sanitarios como en la comunidad. En el momento de realización del proyecto, éste se hallaba en el ámbito de las prioridades del Estado de Ecuador, definidas a través de la Ley de Maternidad Gratuita, y en las prioridades de la política de Ayuda en Acción en Ecuador en el sector salud. El proyecto incorporaba las cartas de compromiso de las organizaciones inicialmente implicadas y cartas de apoyo de las autoridades locales. Los cambios producidos durante la ejecución del proyecto, en relación con la aportación del suelo, no han supuesto una limitación a medio plazo para la colaboración con la Administración local en salud. La municipalidad de Cayambe ha participado en los últimos años en un importante proyecto de la Unión Europea de intercambio de experiencias en participación ciudadana en las políticas locales y ha situado el componente salud como el más exitoso en este sentido, por lo que el proyecto de la Maternidad, cuyo equipo participa en el Consejo de Salud, seguiría colaborando en las prioridades actuales de la Administración local y del Estado ecuatoriano. 5.1.2. Origen de la iniciativa La pertinencia del proyecto desde el punto de vista del origen de la intervención es muy alta, dado que la propuesta se produce como consecuencia de un proceso de contacto con las comunidades para identificar un plan de acción con diferentes componentes y a medio plazo. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 107 Programa de Evaluaciones 2006-2007 Por otro lado, el contexto social, económico y sanitario en el que surge la propuesta la hace enormemente pertinente, por cuanto coinciden una situación de pobreza estructural muy importante, especialmente en las comunidades indígenas del cantón, un perfil epidemiológico con graves problemas en salud materno-infantil, con una situación de incapacidad de la Administración para mejorar a corto plazo sus servicios sanitarios y un sector privado desarrollado, con mucho espacio legal de trabajo pero focalizado en los segmentos de población solvente y aprovechando la ausencia de una oferta pública para marcar precios altos. Junto con la pertinencia del proyecto desde su origen, cabe señalar que el dispositivo sanitario que se creó a través del proyecto ha ido evolucionando con el contexto, de forma que no se quedase en los parámetros de actuación con los que empezó, sino que ha sabido adaptarse a los cambios que se han ido produciendo, tanto en las necesidades de la población, en la medida de lo posible, como en el contexto de planificación y de coordinación en salud en el nivel local. Se han producido cambios muy importantes en las políticas macro, como la declaración de emergencia sanitaria; se han producido y se están produciendo cambios en los roles de las Administraciones locales, en un contexto de descentralización administrativa incompleto pero que ya tienen algunos efectos. Éstos y otros cambios han sido integrados en la estrategia de la Maternidad, orientando desde la prestación de servicios hasta el papel en la coordinación interinstitucional en un proceso de plan de acción en salud. Las decisiones sobre apoyar desde el inicio el Consejo Cantonal de Salud y la adopción de una perspectiva de servicio conjunto a la población más allá del interés concreto de la “cuota de mercado” propia, pero también la participación en el proceso de diagnóstico participado en salud son muestras de una voluntad de servicio que, con aciertos y errores, pero decidida, ha mantenido a juicio del evaluador la pertinencia de la intervención. Nos referimos en este sentido al mantenimiento del papel dinamizador del conjunto de prestadores de servicios sanitarios de la zona que ha mantenido la Maternidad, aprovechando e incluso forzando posibilidades que antes no existían y haciendo con ello que la construcción y dotación de una infraestructura sanitaria en paralelo al sistema sanitario público no haya acabado como una entidad preocupada exclusivamente por su propio mantenimiento, muy limitado su interés social. Muchas situaciones de este tipo se han producido en los últimos diez años en muchos países, así que no debe dejarse de subrayar el que en este caso no haya sucedido, por la dificultad y el mérito que entraña. 5.1.3. Complementariedad con otras acciones 5.1.3.1. Complementariedad con otras acciones de Ayuda en Acción y Casa Campesina La propia naturaleza del área de desarrollo rural Mitad del Mundo hacía que el proyecto de construcción y puesta en marcha de la Maternidad se insertara en una dinámica de desarrollo general que permitiera en primer lugar hacer de la Maternidad un deseo expresado por la población, entre otros intereses que las comunidades pudieran priorizar. Por otra parte, una mínima dinámica de desarrollo económico debe obtenerse para que pueda mantenerse un servicio que pretende ser autosuficiente económicamente. Los proyectos de apoyo a la producción agropecuaria que, tanto Ayuda en Acción como Casa Campesina han llevado a cabo en la zona, son muy importantes en este sentido. De entre ellos hay que destacar la actividad en microcréditos que se está realizando actualmente. En cuanto a los servicios sanitarios, la puesta en marcha de servicios como planificación familiar requiere que éstos se diseñen y ejecuten teniendo en cuenta las especificidades de la población Cooperación Ciudad de Madrid 107 12671 Colombia (FF) 108 3/3/08 13:30 Página 108 Informes de evaluación. Ecuador destinataria, pero estos servicios se ven reforzados por la existencia de otras dinámicas de participación y de educación que generen un espacio para pensar la vida de la familia y de la mujer desde una perspectiva más abierta. En el caso de este proyecto, y dado que la ONG española implicada es Ayuda en Acción, una organización focalizada en principio sobre la población infantil, la dinámica de complementariedad con los centros infantiles y, en la medida de lo posible, con las escuelas, parece necesariamente una línea de trabajo priorizada y complementaria. La visita de evaluación ha permitido constatar las actividades sanitarias que se realizan periódicamente en las escuelas que así lo requieren y en todos los centros infantiles comunitarios. Asimismo, se ha constatado el seguimiento que se hace de los casos de malnutrición en los centros infantiles por parte del personal de la Maternidad y de las promotoras, que con el apoyo de los padres de familia tienden a resolver los casos de desnutrición. Desde la perspectiva de la Maternidad, ésta incorporaba desde su inicio servicios complementarios a los servicios de salud materno-infantil prestados en sus instalaciones, incorporando otros servicios y realizando visitas a comunidades y a escuelas y centros infantiles, reforzando con ello las otras líneas de trabajo que se desarrollaban simultáneamente por el área de desarrollo rural de Ayuda en Acción y, con carácter creciente, por Casa Campesina. 5.1.3.2. Complementariedad con otros actores en salud La actividad con delegados de salud y parteras tradicionales está inscrita en el propio proyecto de la Maternidad, pero se sitúa aquí para reforzar su papel de actores en salud. Las reuniones mensuales de formación, en las que se comparten experiencias y se discuten casos son un espacio que por su periodicidad y asistencia favorece el que las actividades de estos agentes de salud sean lo más complementarias posibles a las de los servicios sanitarios de maternidad. Al mismo tiempo, la actividad con estos agentes de salud comunitarios ha motivado, por un lado, un proceso de reconocimiento de su trabajo por parte de la Dirección Provincial de Salud de Pichincha a través del departamento de Salud Intercultural y, por otro, contactos con los profesionales de hospitales y centros de salud para, en cada caso, reforzar el papel de estos agentes y favorecer la derivación de pacientes. Otro tipo de complementariedades es la que se establece con otros dispositivos sanitarios que se orientan o coordinan en el marco de estrategias de desarrollo local como el Consejo Cantonal de Salud. 5.1.3.3. Complementariedad con otros procesos en la zona Otros procesos que se desarrollan sobre el mismo territorio tienen unas ciertas potencialidades de complementariedad con la intervención evaluada, pero no ha sido posible identificarlos suficientemente a través de la evaluación. Procesos de desarrollo de la participación ciudadana en la descentralización administrativa, por ejemplo, pueden ser complementarios en la medida en que aporten factibilidad política y financiera al proceso de diseño e implementación del sistema local de salud. Actualmente están activos dos programas de apoyo y asistencia técnica al Gobierno local, el URBAL de la Unión Europea y el "Programa de mejoramiento de la gestión de Administraciones locales" de la GTZ (cooperación alemana). Otros procesos de desarrollo económico pueden estar afectando, tanto en sentido positivo como negativo, a las capas de población más pobres del cantón. El proceso más importante en este Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 109 Programa de Evaluaciones 2006-2007 sentido es el de la floricultura, un sector que, pese a los altibajos derivados de la demanda internacional y de los problemas políticos y económicos del país, representa una importante fuente de trabajo y de ingresos para muchas familias (el cantón de Cayambe ha llegado en algunos momentos a concentrar el 70% de la producción de flores del país). 5.1.4. Valoración de los colectivos beneficiarios y cobertura de la intervención 5.1.4.1. Colectivos beneficiarios La formulación del proyecto incorpora un análisis de la estimación de beneficiarios del proyecto. En la medida en que se había iniciado un proceso previo de participación de las comunidades para incorporar su visión y sus preferencias a un plan de mejora en producción, educación y salud y saneamiento, la información sobre población de referencia para la Maternidad contaba con informaciones de partida interesantes, aunque no suficientes para determinar la demanda final de los servicios de la Maternidad. A partir de la población de las comunidades que participaron en 1995 se disponía de la población de referencia para la Maternidad, que se estimaba en 60 comunidades habitadas por 21.083 personas, de las que 3.680 eran niños en edad preescolar y 3.475 en edad escolar. De esta cifra se estima que el 85% de la población vive a una distancia que les permite utilizar la Maternidad, por lo que se plantea que la población de beneficiarios indirectos será de 18.000 personas. Durante la evaluación no se ha conocido que se hiciera un ajuste de población beneficiaria por el traslado del emplazamiento de la Maternidad, que finalmente se situó en el interior de la ciudad de Cayambe, alejándose ligeramente de la zona inicialmente prevista. No se sabe, por tanto, si la población de referencia aumentó al incorporar más personas de la cabecera cantonal, y si afectó a la población de algunas de las comunidades más alejadas del emplazamiento inicial. La previsión inicial de beneficiarios fue de “4.500 mujeres y de 840 niños recién nacidos”. Se plantean como beneficiarios directos las personas que serán atendidas, sin definir el periodo. Esto es un problema básico en atención sanitaria y no puede haber confusión. En este sentido, si se toma el plazo del proyecto (12 meses en la propuesta), atender a 4.500 mujeres parece imposible, si son todas gestantes (correspondería a una población de referencia mucho mayor). Si se refiere a 4.500 mujeres gestantes deberá ser en un periodo muy superior al año. Pero sí parece más lógico que se refiera a atenciones, no a personas. Hagamos un cálculo muy aproximativo: Si tomamos como dato que la media, para las mujeres que asistan a la Maternidad, de visitas prenatales será de 3, contamos como atención el parto y después una media de 2 visitas posteriores, cada gestante recibiría una media de 6 atenciones. Esto haría un total de 750 mujeres al año (para 4.500 atenciones). Esta cifra es además consistente con el número de partos que pretendían cubrirse (según el indicador IOV1.2, 60 partos mensuales, 720 partos al año). Al margen de hipótesis, un aspecto básico de la estimación de población beneficiaria es que se debería definir claramente qué número de mujeres en edad fértil tiene la población de referencia y qué número de niños nacen en esa población al año. Éste sería el volumen máximo de beneficiarios que la Maternidad debería considerar, si se analizó correctamente el área de influencia que podría tener una vez construida. Ello debería servir para dimensionar la infraestructura y su distribución de espacios. La valoración de los beneficiarios directos del proyecto no se asocia a las líneas de trabajo que el proyecto se plantea, por lo que resulta difícil ajustar mejor el número de beneficiarios. Aunque hubieran sido estimaciones, hubiera sido necesario identificar por un lado las mujeres en edad Cooperación Ciudad de Madrid 109 12671 Colombia (FF) 110 3/3/08 13:30 Página 110 Informes de evaluación. Ecuador fértil, como se ha comentado y, por otro lado, las mujeres mayores de 45 años, ya que son dos colectivos diferenciados tanto en sus características como en parte de los servicios que pueden demandan de la Maternidad. Es opinión del evaluador que también pueden considerarse en cierto sentido beneficiarios directos las familias de los usuarios de la Maternidad, por cuanto los servicios por estos prestados inciden directamente en la renta familiar y en la calidad de vida de las familias. Serían usuarios indirectos los habitantes del área de influencia de la Maternidad, de donde vienen la mayor parte de los usuarios, ya que sería la población cubierta por los servicios de la Maternidad. Otro grupo de beneficiarios serían los agentes comunitarios de salud (parteras), que reciben formación y seguimiento para realizar mejor su trabajo y que, a su vez, inciden en la salud de la población antes señalada. Con la ampliación progresiva de los servicios de la Maternidad se fue aumentando el número total de beneficiarios y de colectivos de beneficiarios. 5.1.4.2. Cobertura de la intervención Resulta muy importante conocer el porcentaje de los colectivos de beneficiarios a las que el proyecto puede dar respuesta. En el caso de una infraestructura sanitaria de nueva planta, deben hacerse estimaciones sobre demanda potencial para dimensionar correctamente el equipamiento. Como se ha señalado más arriba, la no definición de la población potencialmente beneficiaria (el denominador de la cobertura) no permite conocer qué porcentaje de la población potencialmente demandante es asumible por la Maternidad. En este proyecto la dimensión de los servicios de salud materno-infantil que pretendía cubrir la nueva infraestructura parecen más que sobrados para responder al 100% de la población del área, en los servicios referidos a atención prenatal, parto y atención posparto al niño y a la madre. A esto debería añadirse que, en ausencia de un análisis de accesibilidad económica, no se podía saber cuál sería la cobertura real de la Maternidad, por cuanto no se sabía qué porcentaje de la población estaría dispuesta o podría pagar los precios que se definieron para los diferentes servicios. En ese concepto de “personas dispuestas a pagar” se halla implícita la accesibilidad sociocultural, que se añade a la estrictamente económica. Aunque los costos de la atención al parto de la sanidad privada fueran mucho más altos, no se sabe qué porcentaje de las gestantes decidirán no acudir a ningún servicio sanitario, público, social o privado. En este mismo sentido, no era objetivo del proyecto incrementar el porcentaje de partos asistidos en instalaciones sanitarias, sino más bien trabajar con las parteras tradicionales para que éstas mejoraran la seguridad de sus prácticas y derivaran correctamente y a tiempo los casos difíciles. Por tanto, el cálculo de la población cubierta por la Maternidad era difícil de prever. De hecho, la estimación de beneficiarios que hace la propuesta es de 840 niños, siendo la capacidad prevista de la Maternidad de 60 partos mensuales (720 niños). La población de referencia (18.000 personas) tenía un 53% de mujeres (9.540 mujeres). Si tenemos en cuenta que la población menor de 15 años era del 42% (según datos del cantón correspondientes a 1990), esto hace que la población susceptible de ser atendida por la Maternidad sea de 5.533 mujeres. Esa cifra incluye tanto a las mujeres en edad fértil (consideradas de 15 a 45 años, aunque es más exacto hasta 49), como al resto (mayores de 45 años, por utilizar la división que hace la propuesta para atender a problemas como el cáncer de cerviz). El proyecto trata por tanto de alcanzar una cobertura muy alta en los colectivos de beneficiarios de la población de referencia. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 111 Programa de Evaluaciones 2006-2007 No resulta posible en el contexto de la presente evaluación evaluar la cobertura en aquellos grupos de beneficiarios de los servicios en que la Maternidad ha ido aumentando su cartera de servicios. 5.2. Eficacia 5.2.1. Adecuada definición del objetivo específico y los resultados A continuación se presenta el esquema de objetivos, resultados y actividades para analizar la eficacia de la lógica de intervención. Objetivo general Disminuir los riesgos de morbimortalidad en madres gestantes y neonatos, y en mujeres en general, para conseguir una mejor calidad de vida, mediante la mejora de la salud reproductiva y la salud de la mujer. Indicadores • IOE1.1. Obras de la Maternidad comunitaria finalizadas. • IOE1.2. Maternidad completamente equipada con material necesario para atender mensualmente 28 cirugías entre cesáreas y ligaduras, 60 partos, 70 recién nacidos y 400 consultas externas. • IOE2. Número y tipo de atención ginecoobstétrica de las consultas realizadas (4.500 mujeres y 840 recién nacidos). • IOE3. Porcentaje de reducción de la mortalidad materno-infantil. Objetivos específicos Resultados Actividades OE1.1. Construir Maternidad. Construida Maternidad. • Detalle del proceso de construcción. OE1.2. Equipar Maternidad. Equipada Maternidad. • Detalle del equipamiento. OE2. Brindar atención ginecoobstétrica a mujeres gestantes y pediátrica a los recién nacidos. Organizada y mejorada atención y mejorados índices de morbimortalidad. • Inicio consultas. • Constitución del equipo. • Conserje y guardián. OE3. Establecer programas de control de natalidad y paternidad responsable. Mayor conciencia ante la problemática de la salud reproductiva. • Jornadas y charlas. Dada la forma de presentar las propuestas que requería la documentación de la convocatoria de 1998, se producen algunas faltas de precisión en la información que dificultan la evaluabilidad de la intervención, sin que por ello pueda decirse que no ha sido eficaz. Los objetivos y los resultados relativos a la construcción y el equipamiento son muy precisos e incluyen un gran nivel de detalle en las actividades asociadas a cada resultado. Cooperación Ciudad de Madrid 111 12671 Colombia (FF) 112 3/3/08 13:30 Página 112 Informes de evaluación. Ecuador Los objetivos 2 y 3, sobre atención y efectos en salud, por un lado, y conciencia sobre la problemática de la salud reproductiva no están tan perfectamente cerrados. Al objetivo 2 le faltaría alguna actividad orientada a la calidad de la atención1 y algún objetivo intermedio relacionado con el inicio del proceso de mejora de la morbimortalidad maternoinfantil. Como se señaló en el apartado de formulación, es excesivamente exigente pedir a un proyecto que reduzca sensiblemente la morbimortalidad de una determinada población en el plazo de un año, sin acudir a grandes proyectos de emergencia. La orientación de un proyecto de este tipo es obviamente afectar positivamente a los indicadores de salud, especialmente en la población femenina e infantil, pero éstos dependen de muchos factores y la capacidad de un proyecto sanitario de afectarlos no sólo es actuando de forma eficaz, también depende de sobre qué factores de riesgo puede incidir y qué porcentaje de la población atiende. Por ello es importante reflejar qué se va a hacer a corto plazo para potenciar el efecto en salud a medio plazo. El objetivo 3 tiene una cierta confusión en la descripción de sus componentes. Por un lado, el objetivo habla de establecer programas, mientras que el resultado esperado es más ambicioso y referido al comportamiento de la población (que haya una mayor conciencia) y la actividad es realizar jornadas y charlas, además de la atención médica sobre planificación familiar. No queda suficientemente clara la orientación y la estrategia de este objetivo. 5.2.2. Nivel de logro de los objetivos y resultados El nivel de logro de los objetivos ha sido muy alto. En relación al periodo del proyecto, los objetivos operativos y resultados se valoran sintéticamente a continuación: • OE1 (1.1 y 1.2). La construcción y el equipamiento de la Maternidad han sido realizados correctamente según lo previsto, obteniéndose una infraestructura adecuada para sus funciones. La visita de evaluación permitió observar cómo el edificio se conservaba en muy buen estado y se habían realizado reformas para adaptarlo a las variaciones en la organización de la atención y al aumento de la cartera de servicios. • OE2. La atención a las madres y niños ha mejorado mucho, dado que antes no existía la Maternidad y la atención observada parece buena. En cambio, la mejora de la morbimortalidad de la población de referencia no puede hasta hoy certificarse por medio de datos fiables2. Se espera obtener una línea de base satisfactoria en el diagnóstico de salud del cantón que se está actualmente terminando. A partir de ahí, y con la mayor coordinación entre prestadores de servicios, que incluirá en la medida de lo posible un sistema de información común, este tipo de indicadores podrá obtenerse de manera más fiable. Sí hay información sobre el volumen de la actividad, que a fecha fin de proyecto se acercaba a los valores definidos en los indicadores para la mayoría de servicios. 1 La ONG plantea sobre este aspecto que “se encontraba implícito el respeto a la interculturalidad ya que desde un inicio se trabaja en forma conjunta con parteras comunitarias y creemos que ésta es parte de la calidad, además lo es contar con equipamiento apropiado y recursos humanos comprometidos y capacitados. Luego de la construcción y equipamiento se requiere para poder obtener el permiso de funcionamiento del Ministerio de Salud Pública elaborar un Reglamento Interno en el que constan las normas de calidad, la Maternidad dispone de este manual”. Lo que se señala en la evaluación es que el proyecto no tenía referencias a la calidad de la atención en la matriz de planificación y que esto es un elemento importante en proyectos de este tipo. 2 La ONG señala que en relación con este punto “es importante conocer que de las atenciones de parto complicadas, realizadas por el personal de la Maternidad y de las atenciones de partos sin riesgo atendidos por las parteras capacitadas durante estos años no se registra ningún caso de muerte materna”. El evaluador señala que eso se refiere a la atención realizada, no a la población. No sabemos si hay madres que mueren sin ser atendidas por parteras ni por la Maternidad. Sí parece haber constancia de gestaciones que no llegan a buen término, sin que las parteras lleven registros de abortos y muertes fetales. A pesar de ser complejo, el reporte de actividad e incidencias de los agentes de salud comunitarios es un elemento importante de mejora del sistema. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 113 Programa de Evaluaciones 2006-2007 • Lo que sí se constata es la asistencia de la población a la Maternidad, 7 años después de su inauguración. La atención no alcanzó nunca las cifras que se barajaron para la presentación del proyecto, pero entre la actividad puramente de maternidad, y los servicios que se han añadido, el grado de utilización del dispositivo parece aceptable3. • OE3. Aunque la presentación formal de este objetivo presentaba limitaciones, el nivel de logro parece haber sido muy bueno. La visita no tenía por objeto evaluar la cantidad y tipo de servicios de planificación familiar puestos en marcha, pero la presencia en los centros infantiles visitados mostraba un cierto descenso de niños que se achacaba al descenso del número de hijos en muchas familias. Este elemento es importante porque la población indígena presenta una mayor media de hijos por mujer, con una diferencia importante. En el informe la descripción del objetivo varía, planteándose de forma más genérica como salud reproductiva, e incluyendo con ello la actividad de control del cáncer de cerviz, además de los programas de planificación familiar. Para mostrar la evolución de la atención hasta hoy se hace una descripción, en la que se incluyen los nuevos servicios que presta la Maternidad, y la cantidad de atención que realiza. 5.2.3. Servicios de la Maternidad 1. Servicios sanitarios - Ambulatorios materno-infantil. - Cirugía. - Ambulatorios adultos. - Ambulancia. - Odontología. - Laboratorio clínico-bacteriológico. - Terapia física y de lenguaje. - Psicología. - Traumatología. - Oftalmología. - Medicina interna. 2. Servicios comunitarios - Desplazamientos médicos y odontológicos (“coche hospital”) a comunidades y a centros infantiles-escuelas. - Formación y seguimiento de parteras. - Formación y seguimiento de promotores de salud. - Educación salud reproductiva y planificación familiar. - Atención primaria de salud comunitaria: control de niño sano, control de mujeres gestantes, vacunación y atención de morbilidad. 5.2.4. Evolución de la atención • Desde el inicio han ido identificando demandas no cubiertas. Inicialmente las derivaban, después establecieron convenios con hospitales para facilitar las derivaciones o incluso realizar atenciones predefinidas y, finalmente, ampliaron su propia cartera de servicios. Ello llevó a 3 La ONG señala en relación con este punto que “además debe considerarse el volumen de atención que realizan las parteras en sus comunidades, de los informes de ellas se registran en promedio tres atenciones de parto normal, seis controles prenatales, cuatro controles posparto y cuatro controles del recién nacido mensual, el grupo de parteras a la fecha de inauguración de la Maternidad era de 24, actualmente se ha consolidado un grupo de 33 parteras”. Cooperación Ciudad de Madrid 113 12671 Colombia (FF) 114 3/3/08 13:30 Página 114 Informes de evaluación. Ecuador introducir, por ejemplo, la especialidad de medicina interna, como paso complementario a la cirugía, tanto en el preoperatorio como en la gestión de casos graves y para el tratamiento de pacientes pluripatológicos. • En relación con el volumen de atención, ésta ha ido disminuyendo con el paso del tiempo, debido a la mejora de la oferta pública, fortalecido también desde el Consejo Cantonal de Salud (en el que participa la Maternidad) y al aumento de la demanda motivado por la Ley de Maternidad Gratuita (de la que han hecho difusión también las parteras y delegadas de salud). Sin embargo, consideran que continuarán teniendo un volumen suficiente de atención para mantener la Maternidad en la filosofía de trabajo que tiene actualmente. Con el paso del tiempo, el área de influencia de la Maternidad ha aumentado, aunque quizá no lo sea para toda la población sino para servicios específicos. Son beneficiarios del Proyecto Maternidad Mitad del Mundo la población campesina de los cantones Cayambe y Pedro Moncayo, 66 comunidades pertenecientes a las parroquias de Cangahua, Juan Montalvo, Otón y Santa Rosa de Cusubamba y 45 comunidades de las parroquias de Olmedo, Ayora y Tupigachi. La evolución de la actividad inicial de la Maternidad ha sido la siguiente: Años Atenciones 2000 2001 2002 2003 2004 2005 2006 Ginecología 1.047 2.993 2.990 2.983 2.905 2.398 2.281 Pediatría 2.514 2,865 2.832 2.752 3.160 2.923 2.599 189 256 226 188 140 120 125 Cesáreas 17 199 169 161 153 112 115 Pap Test 305 461 728 974 2.379 1.969 2.456 Partos Vemos en estas series que las visitas de ginecología se mantienen en un nivel bastante constante, aunque lejos de las 4.500 que se planteaban en el proyecto. Los partos (partos más cesáreas suman 206 nacimientos en 2000 y 240 en 2006) también están bastante por debajo de las previsiones de capacidad que se hicieron inicialmente (60 por mes). Sin embargo, se observa una creciente proporción de cesáreas (el 8% en 2000 y el 48% en 2006). Si tenemos en cuenta que un porcentaje de cesáreas “aceptable” puede estar entre el 15% y el 20%, podemos deducir el papel de solución de los partos de riesgo y con complicaciones que está asumiendo la Maternidad. Una actividad que no tenía meta en la formulación del proyecto es la del control del cáncer de cerviz, a través del test de Papa-Nicolau (Pap Test en la tabla). Vemos que ha tenido una evolución muy positiva y más teniendo en cuenta la utilidad de esta prueba para detectar este problema. En cuanto a la evolución de la actividad en grandes números, referida al conjunto de servicios ofrecidos por la Maternidad, debe señalarse que el número de atenciones realizadas en el periodo abril de 2000 a diciembre de 2006 es de 136.408, suma de las visitas en consultas externas Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 115 Programa de Evaluaciones 2006-2007 y las hospitalizaciones (132.223 + 4.185). A continuación se muestra gráficamente la evolución de estos dos indicadores de actividad de la Maternidad. Número de atenciones consultas externas 25.000 20.000 15.000 10.000 5.000 0 2000 2001 2002 2003 2004 2005 2006 2005 2006 Número de episodios de hospitalización 900 800 700 600 500 400 300 200 100 0 2000 2001 2002 2003 2004 Cooperación Ciudad de Madrid 115 12671 Colombia (FF) 116 3/3/08 13:30 Página 116 Informes de evaluación. Ecuador 5.2.5. Comportamiento de riesgos y presunciones No se hizo análisis de riesgos y presunciones. 5.3. Eficiencia 5.3.1. Realización de actividades Las actividades se realizaron todas según las previsiones recogidas en el proyecto. El retraso en la entrada en funcionamiento de algunas actividades está dentro de lo normal. 5.3.2. Utilización de recursos La ejecución del proyecto se realizó siguiendo las especificaciones del diseño que, como se ha señalado, eran precisas. La utilización de recursos no ha sido el objeto de esta evaluación, más allá de comprobar el grado de ejecución presupuestaria y la división por epígrafes. El único punto que puede plantearse sobre la ejecución de los fondos destinados al proyecto sería el de si era necesaria la Maternidad en la dimensión que se definió, una vez vistas las limitaciones en la identificación de usuarios y los niveles de actividad materno-infantil de la Maternidad4. Sin embargo, debe señalarse también que la ampliación progresiva de la cartera de servicios de la Maternidad ha cubierto necesidades sociales objetivas y ha permitido mantener el modelo de gestión de copago “blando” y casos sociales. La atención materno-infantil, las actividades preventivas y las actividades de atención en el exterior (comunidades y escuelas infantiles) requieren de una estructura de un cierto tamaño, con un componente de servicios curativos suficiente para mantener equilibrada la cuenta de resultados. Esto hace que el relativo sobredimensionamiento inicial de la Maternidad haya sido utilizado en beneficio de la población y de la intervención. Un punto concreto a señalar es que durante la visita de evaluación no se identificó la utilización de fondo rotatorio en la gestión de la Maternidad, como así figuraba en el proyecto inicialmente. 5.3.3. Desviaciones temporales en la ejecución de las actividades Las desviaciones temporales en la ejecución de las actividades fueron mínimas. 5.3.4. Organización de la ejecución La organización de la ejecución es uno de los puntos fuertes de este proyecto. Desde la orientación inicial de Ayuda en Acción, con un planteamiento de desarrollo local participado muy interesante, a la entrada de Casa Campesina para la continuación del proyecto, pasando por la aportación del equipo de profesionales y la directora, que han aportado continuidad, trabajo y análisis para poder responder a las necesidades de la población en el día a día y, al mismo tiempo, ir pensando en la evolución de la Maternidad y en su posicionamiento en el sistema local de salud. 4 La ONG señala en relación con este punto que “al realizar este análisis debe tomarse en cuenta la incidencia que tiene la Maternidad de la población atendida a nivel comunitario por parte de las parteras capacitadas”. Según el evaluador, las actividades de apoyo que realiza la Maternidad no son relevantes para la discusión sobre la dimensión física del edificio y su dotación. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 117 Programa de Evaluaciones 2006-2007 El papel de Ayuda en Acción en relación con el proyecto siguió esta orientación: • • • • Inicio con financiación al equipo de salud, en el marco del ARC de Cayambe. Propuesta al Ayuntamiento de Madrid para la construcción y equipamiento de la Maternidad. Seguimiento del proyecto hasta su finalización. Convenio con Casa Campesina (en relación con este proyecto, hasta ahora pago del salario de la directora de la Maternidad). 5.4. Impactos 5.4.1. Contribución de las intervenciones al logro de los objetivos generales El impacto de la Maternidad en la morbimortalidad de la población de la zona no es hoy por hoy evaluable. Lo será cuando, como se ha comentado, se inicie el sistema de información del sistema local de salud. El impacto en un nivel inferior, pero relacionado, el de la atención prestada, podría analizarse algo más a partir de la información disponible a través de la historia clínica y los registros de las atenciones ambulatorias en escuelas y comunidades. Es indudable que parte sustancial de los objetivos del proyecto era la disponibilización de una Maternidad a las comunidades de la zona. Y resulta obvio que ese dispositivo existe y que continúa en activo con un nivel razonablemente satisfactorio de cantidad y calidad de atención. 5.4.2. Principales efectos positivos Los principales efectos positivos que pueden identificarse en relación con el proyecto podrían agruparse con base en los componentes del proyecto y a su evolución posterior: • Se ha construido una Maternidad en una zona donde no existía un acceso fácil y de calidad a servicios de salud materno-infantil, dotada adecuadamente para una atención de baja complejidad, muy adecuada para sus objetivos. • Se prestan servicios de salud materno-infantil y salud reproductiva. • Se mantiene una relación de apoyo con agentes comunitarios, tanto delegados de salud como parteras tradicionales, con objetivos de aumentar la seguridad de los partos en casa y favorecer las derivaciones. • Se da apoyo a los centros infantiles comunitarios (39 centros, 1.300 niños) y a las escuelas que requieren (15 escuelas, 1.500 niños). • Atención médica tres veces al año por el equipo de la Maternidad en caso de los preescolares y una vez por año para los escolares. • La atención prestada en la Maternidad ha aumentado la oferta en la zona, ha presionado a la baja a los precios del sector privado y ha sido referente para la mejora de la calidad en la atención sanitaria pública. • Se ha trabajado en perspectiva del sistema local de salud, participando en foros e instituciones y primando la estrategia de complementariedad con el sector público y con el sector tradicional (propuesta de un modelo intercultural). • Se han ampliado la cartera de servicios, la población objetivo y los grupos de beneficiarios. Cooperación Ciudad de Madrid 117 12671 Colombia (FF) 118 3/3/08 13:30 Página 118 Informes de evaluación. Ecuador 5.4.3. Posibles efectos negativos No se han identificado efectos negativos, dado que el único que aparecía como posible era el desencuentro inicial con la Administración, que actualmente no es un problema. 5.5. Viabilidad 5.5.1. Políticas de apoyo - Aspectos institucionales La dirección de la Maternidad y Casa Campesina se halla participando en algunos de los principales procesos de desarrollo del sector público y la Administración local en el cantón. Su reorientación hacia el apoyo del sistema local de salud, con un mayor papel del sector público y de la Administración local, está en línea con los planteamientos del actual Gobierno de Ecuador. En el plano institucional, se mantienen contactos y coordinación con diferentes actores del sector salud. Actualmente el trabajo de la Maternidad Mitad del Mundo se realiza en coordinación con otras instituciones de salud del cantón y de la provincia: • Ministerio de Salud Pública. Con esta institución estatal se coordinan las campañas de vacunación. • Sociedad de Lucha Contra el Cáncer (SOLCA). Convenio para procesar las muestras de las campañas de prevención del cáncer uterino. • Fundación para la Prevención de Discapacidades. Convenio para la capacitación del personal comunitario de salud. • Departamento de Salud Indígena de la Dirección Provincial de Salud de Pichincha. Acuerdo para realizar trámites para la acreditación por parte del Ministerio de Salud Pública del personal comunitario de salud. • Consejo Cantonal de Salud. Para impulsar el Plan Estratégico Cantonal y favorecer la implementación de un Modelo de Atención Integral desde un enfoque intercultural. Además del fortalecimiento de una red de servicios interinstitucional y comunitaria. Algunos elementos reseñables de la interacción con otras instituciones, que tienen efectos en la viabilidad del proyecto a diversos niveles: • • • • • La Maternidad es el centro del programa de salud del cantón de Cayambe. Relaciones y colaboración con el Comité Interinstitucional de Salud. Acuerdos con empresas en el marco de salud laboral de sus empleados. Acuerdos y dinámicas de colaboración con instituciones sanitarias privadas. Junta Cantonal de Protección de Derechos de la Niñez. Está formada por tres profesionales (abogado, psicólogo y educadora). Derivan niños a la Maternidad, ante situaciones de enfermedad o agresiones. Como se ha señalado, la Maternidad tiene un comité de gestión, externo al día a día de la institución pero que realiza funciones similares a las de consejo de administración o patronato. Sus representantes legales son los siguientes: El Comité de Padres de Familia de los Centros Infantiles Campesinos; Comités Intercomunales de Créditos Cayambe y Mitad del Mundo; Comité Dolores Cacuango; Asociación de Parteras; Grupo Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 119 Programa de Evaluaciones 2006-2007 de Delegadas de Salud; coordinador de Ayuda en Acción Mitad del Mundo; director de la Casa Campesina Cayambe y director de la Maternidad. 5.5.2. Aspectos socioculturales La intervención parte de una concepción humana que la orienta en el respeto hacia las personas, hacia sus costumbres y tradiciones y al mantenimiento del espacio comunitario como espacio de decisión. El alto porcentaje de población indígena en la zona obliga a tener en cuenta sus especificidades, y por lo que la visita de evaluación ha podido identificar, ese aspecto ha estado presente en la actividad del equipo de la Maternidad, de forma que la relación con muchas de las comunidades de la zona es muy buena. Para el análisis de los aspectos socioculturales de viabilidad deben tenerse en cuenta que la participación ciudadana ha sido y es muy importante y que se han abierto canales de diálogo aceptables para las comunidades, que implican, a través de los agentes comunitarios en salud: • Educación y formación en salud. • Papel de la comunidad en la vigilancia epidemiológica. Esta apuesta, socioculturalmene sostenible, plantea algunas dudas. Por un lado, no se mide el efecto de la educación en la población. Por otro lado, no se ha desarrollado un sistema de vigilancia epidemiológica que de forma concreta incorpore a los agentes comunitarios al sistema de información (entre las líneas estratégicas del Plan Cantonal de Salud se encuentra la implementación de un Sistema de Información de Salud Cantonal que debe ser alimentado por los prestadores de servicio formales e informales) teniendo en cuenta sus limitaciones (en lectoescritura, las parteras y no reciben remuneración del sistema), pero también su posición de privilegio para entender lo que pasa en las comunidades y lo que significa eso que pasa para sus habitantes. En este ámbito juega un rol fundamental el delegado de salud (además, las parteras tradicionales en su ámbito específico de actividad). El impacto en la salud de la comunidad vendrá favorecido por la aceptación de la persona y por la adecuación de sus mensaje pero, si se produce una alta rotación, este papel puede verse limitado. 5.5.3. Enfoque de género La orientación a la mejora de la salud de la mujer tiene bases epidemiológicas, pero el planteamiento de temas como el de la salud reproductiva tienen efectos mucho más allá de la mejora de la salud de las destinatarias. La actividad con los grupos de parteras y delegadas de salud, donde las mujeres son una gran mayoría (todas las parteras y prácticamente todas las promotoras son mujeres), ha tenido efectos en la organización y la política comunitaria. Hoy hay muchas más líderes mujeres que hace 10 años. 5.5.4. Factores tecnológicos La utilización de equipamiento médico y de gestión es un elemento básico para la actividad de un dispositivo de servicios sanitarios mínimamente resolutivo y eficiente. Dadas las necesidades de equipamiento, y comprobado la idoneidad en términos generales de los equipos para las funciones que cumplen, sólo cabe señalar que se mantienen cuentas de amortización para la reposición de los equipos. No será ése el caso de la ambulancia, ya que su valor de reposición y los ingresos que genera hacen inviable su reposición por amortización. Cooperación Ciudad de Madrid 119 12671 Colombia (FF) 120 3/3/08 13:30 Página 120 Informes de evaluación. Ecuador Otro elemento significativo de los factores tecnológicos de viabilidad en un proyecto sanitario es el sistema de información. Sobre éste caben algunas precisiones, que muestran el interés creciente por este tema, que si continúa podrá ser un factor de viabilidad importante, por su valor y por su adaptación a las posibilidades de la organización y al entorno sanitario: • Formularios. Desde el inicio utilizaron los instrumentos de recogida de información del Ministerio. Historia clínica, fichas clínicas, formularios de consulta... Inicialmente no reportaban; después, empezaron a enviar la información anual al Ministerio. • Soporte de recogida de información. El gran volumen de historias clínicas y la falta de espacio motivaron el paso a una historia clínica informatizada, básica, que recoge datos del paciente, signos vitales, motivo de la consulta, diagnóstico y tratamiento, para cada uno de los episodios del paciente. Disponen de otra aplicación para las visitas a centros infantiles y escuelas. • Fuentes de datos. Han incorporado datos sobre transferencias recibidas de los servicios sanitarios públicos (éstas son motivadas porque el horario del personal de los centros públicos es de cuatro horas al día y los centros públicos no tienen capacidad para estar abiertos 24 horas). No tienen información sobre transferencias institucionales. Desde hace poco tiempo han empezado a recibir información de las parteras en formularios aceptados por el Ministerio de Salud Pública (antes lo hacían en formularios institucionales internos). Supone otro ámbito de viabilidad tecnológica el apoyo al uso de plantas medicinales y técnicas tradicionales, que se lleva a cabo con los agentes comunitarios. 5.5.5. Factores ambientales No se han identificado factores ambientales de impacto, salvo la gestión de residuos. 5.5.6. Factores económico-financieros La gestión de servicios sanitarios mediante copago permite la prestación de servicios sanitarios en ausencia de una inversión pública o privada filantrópica. Es una oportunidad socialmente interesante, pero tiene efectos sobre la accesibilidad de la población al servicio y genera al mismo tiempo unos requisitos de gestión importantes, dado que debe mantenerse el equilibrio entre la función social y la viabilidad económica y financiera. Estos costes en ocasiones son tan importantes que no hacen viable el modelo de gestión. La Fundación Casa Campesina Cayambe ha gestionado un fondo de contingencias ante la Sociedad Salesiana del Ecuador para cubrir los costos de atención de aquellos pacientes de muy escasos recursos económicos; de esta forma, todos los pacientes que requieren los servicios de salud ofertados por la Maternidad Mitad del Mundo son atendidos. Por lo analizado durante la visita de evaluación, puede afirmarse que la institución parece gestionar de forma adecuada la Maternidad desde el punto de vista económico y ello gracias a un control importante del coste de los servicios, aunque sin disponer todavía de una contabilidad analítica completa, un sistema adecuado de identificación de casos sociales5, que requieren aceptar un pago 5 La ONG señala que “la identificación de pacientes que no pueden cubrir los costos del servicio de salud se realiza en coordinación con las delegadas de salud y parteras comunitarias, quienes conocen adecuadamente las condiciones socioeconómicas de las personas que viven en sus comunidades; esto se encuentra dentro de la propuesta de participación, corresponsabilidad y toma de decisiones que el proyecto tiene con las comunidades”. El sistema de gestión de casos “sociales” está orientado a la aprobación del gasto, pero presenta a juicio del evaluador algunas limitaciones en la gestión de la información que podrían redundar en una mejora de este aspecto, tan importante para la institución. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 121 Programa de Evaluaciones 2006-2007 inferior al del coste del servicio, y una red institucional y de colaboradores que aportan fondos para actividades concretas y garantizan la viabilidad a medio plazo de la Maternidad. 6. PRINCIPALES CONCLUSIONES De forma sintética se presentan las principales conclusiones de la evaluación, que han sido desarrolladas en este documento, como un esquema que facilite la discusión. Fortalezas Debilidades 11. Inicio del proyecto a partir de un proceso participado y con enfoque global e intercultural. 12. Interconexión entre el proyecto y otros componentes de desarrollo realizados por Ayuda en Acción y Casa Campesina. 13. Constitución de un equipo estable con gran entrega y que ha desarrollado muchas capacidades. 14. Mantenimiento de actores clave a lo largo del tiempo. 15. Capacidad de gestión de la Maternidad, desde el punto de vista clínico, institucional y económico. 16. Perspectiva de sistema local de salud y de apoyo al sistema público. 17. Combinación de elementos de promoción sanitaria, de promoción, prevención y de actividades curativas. 18. Experiencia de un periodo de tiempo ya muy importante que ha permitido reflexionar sobre el proceso y orientarlo adecuadamente. 19. El propio territorio, por sus posibilidades y por su relativa proximidad a Quito, por ejemplo ha posibilitado acuerdos con especialistas sin que deban entrar en plantilla. 10. Participación sostenida de instituciones y creciente compromiso público. 11. Complementariedad del sistema formal y tradicional de salud. 12. Apertura de nuevos servicios de salud de acuerdo a las necesidades de la población. 7. RECOMENDACIONES 11. Una parte de la población queda excluida por el copago. 12. Limitada capacidad del proyecto por sí solo para producir cambios importantes en el perfil sanitario de la población. 13. Falta todavía de muchos recursos y organización para la mejora de la calidad en la prestación de servicios públicos básicos como la salud y la educación. 14. Falta de información sobre la atención sanitaria y sobre los problemas de salud de la población en la zona. 15. Limitada conexión del proceso con niveles provinciales y nacionales. QUE PUEDEN EXTRAERSE DE LA EXPERIENCIA • Para otros proyectos de infraestructuras sanitarias, pero también para la prestación de servicios sanitarios, el análisis de la población de referencia y de los tipos y volumen de los grupos de usuarios es un análisis muy importante para dimensionar correctamente el dispositivo y adecuarlo a las necesidades. Cooperación Ciudad de Madrid 121 12671 Colombia (FF) 122 3/3/08 13:30 Página 122 Informes de evaluación. Ecuador • Los procesos a largo plazo con poblaciones rurales e indígenas donde se concentran problemas de exclusión y diferencias socioculturales importantes pueden producir procesos de confianza y de valoración mutua y con ello generar posibilidades de mejora muy importantes. • Las actividades de los proyectos, en la medida en que se modifiquen durante su ejecución en relación con el proyecto original, resulta muy útil que queden reflejadas, para que a posteriori puedan relacionarse con sus consecuencias durante la vida del proyecto y después. • Así como el empoderamiento de las comunidades requiere que tengan poder de decisión sobre algún ámbito que les afecte, los proyectos sanitarios deben tener un componente de alivio a corto plazo de problemas de salud cuando se trabaja con poblaciones con perfiles epidemiológicos que parecen del pasado. Las estrategias de desarrollo deben hacerse compatibles con unos mínimos principios de ética humanitaria. El componente curativo es muy difícil de soslayar cuando se trabaja con poblaciones excluidas. • El trabajo con agentes comunitarios sigue siendo una fuente de reflexión importante para la cooperación al desarrollo en países como Ecuador. Las necesidades a corto plazo de las comunidades parecen requerir inevitablemente que en las mismas se genere salud, seguro en prevención y muy posiblemente en determinados aspectos curativos. Sin embargo, las diferencias respecto a qué es efectivo para la mejora de las condiciones de salud de la población, y qué es estable en el tiempo y de interés para los propios agentes de salud y qué relación con el sistema público de salud son diferencias que se mantienen con argumentos sólidos desde ambos lados. No puede desaprovecharse las potencialidades para la generación de salud en las comunidades y tampoco generar procesos que no tengan efecto en la salud de las comunidades y creen en cambio distorsiones en la vida de la comunidad o situaciones que no tengan vuelta atrás. El debate es ineludible, pero para eso hacen falta datos (esto ya es una posición subjetiva). Una estrategia será buena o no en función del efecto que produzca. Puede discutirse sobre lo que hay que medir, pero en cualquier caso habrá que descubrir formas de que los agentes comunitarios reporten actividad o al menos incorporen su visión de la salud de la comunidad de forma sistematizada. • Parece de enorme interés el poder analizar el proceso y los resultados del diagnóstico y del plan local de salud que pueda salir de la experiencia de Cayambe. • Las tareas de organización de la gestión de un centro sanitario y de la atención que en él se dispensará deben ser parte fundamental de la propuesta y de los informes de ejecución del proyecto, ya que refleja los criterios con los que se trabaja, su grado de adecuación con los objetivos y con otras líneas de intervención en el territorio. En un proyecto de inversión que se ejecuta en un plazo corto, estas tareas deben analizarse porque marcan el inicio de un proceso que va a quedar fuera del control del financiador. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 2 13:30 Página 123 Informe de evaluación Proyecto sobre educación, salud, espacios saludables y participación ciudadana en cuatro parroquias rurales del noroeste de Pichincha* Convocatorias: 2003 Área de actuación: socioeducativa Localización: parroquias de Pacto, Gualea, Nanegal y Nanegalito, provincia de Pichincha, Ecuador Fecha de inicio: 1 mayo 2003 Fecha de finalización: 31 octubre 2004 Coste total: 265.235 euros Aportación del Ayuntamiento de Madrid: 190.815 euros ONG responsable: Solidaridad Internacional Socio local: Corporación de Promoción y Desarrollo Social (UTOPÍA) Otras entidades participantes: Comité Interinstitucional para el Desarrollo Zonal, Ministerio de Educación del Ecuador 1. BREVE DESCRIPCIÓN DE LAS INTERVENCIONES Este proyecto se inscribe en una intervención de desarrollo comunitario en una zona rural relativamente cercana a la capital de Ecuador, dentro de su área administrativa y conformada por cuatro parroquias (Pacto, Gualea, Nanega y Nanegalito). Las cuatro parroquias pertenecen a la misma área sanitaria. Se trata de una población de en torno a 17.000 habitantes, con una densidad de población baja, accesos viales y servicios públicos insuficientes y una situación socioeconómica de un nivel bajo de buena parte de la población, que coexiste con importantes niveles de deterioro del ecosistema de bosque húmedo subtropical situado mayoritariamente a alturas de entre 1.200 y 1.500 metros. * Véase Anexo, p. 176. Cooperación Ciudad de Madrid 12671 Colombia (FF) 124 3/3/08 13:30 Página 124 Informes de evaluación. Ecuador Diferentes actores públicos, privados y sociales se hallaban iniciando desde su ámbito de actividad diferentes acciones para la mejora de la situación en la zona. Sobre el año 2000 se inicia un proceso de planificación participada en el territorio, con participación de diferentes agentes implicados en el territorio y los propios ciudadanos. Este proceso tiene componentes endógenos y exógenos. El más importante de los exógenos puede ser el Plan de Desarrollo Territorial del Distrito Metropolitano de Quito, que se aprueba en el 2001. Este proceso tiene en la zona de intervención un impulso muy importante del sector salud, tanto desde el sistema público de salud, con el liderazgo del hospital de Nanegalito, como desde la actividad de promoción de la salud que venía realizando la Corporación Utopía en la zona, desde 1998. A resultas de este proceso se generan una serie de prioridades de actuación en la zona (ejes de actuación). La Corporación Utopía presentó con algunas de ellas un proyecto de dinamización del proceso a través de la posibilidad de realizar actividades que figuraban dentro de las líneas estratégicas definidas colectivamente. Las líneas de trabajo y los principales contenidos que se planteaban en el proyecto eran: • Participación ciudadana. Apoyo al comité institucional y a la organización comunitaria. • Educación. Mejora de infraestructura de las escuelas y apoyo a la mejora pedagógica. • Salud. Información sanitaria y promoción de la salud en el entorno escolar, formación de profesionales y sensibilización de la población. • Medio ambiente. Sensibilización de la población sobre ambiente saludable y degradación del ecosistema y reforestación. • Economía. Producción demostrativa agropecuaria y ecoturismo. 2. DESCRIPCIÓN DE LA ESTRUCTURA DE INTERVENCIÓN EN LA QUE SE INSERTA EL PROYECTO El proyecto financiado por el Ayuntamiento de Madrid se inserta en un proceso de planificación participada potenciada desde la Administración pública de referencia (distrito metropolitano de Quito) y la de proximidad (consejos parroquiales de las cuatro parroquias y dispositivos de atención sanitaria del área 18) y con una significativa movilización social (ciudadanos y organizaciones sociales trabajando en el territorio). Este proceso de planificación participada “institucionalizada” tiene un apoyo importante en varios proyectos previos gestionados por Corporación Utopía en la zona que estaban orientados a aumentar la participación de la población, por un lado en planificación estratégica (Setem Valencia, 1998) y por otro en el entorno de la promoción de la salud escolar y juvenil (Solidaridad Internacional, 2002). Si bien es cierto que este proceso tuvo su máximo nivel durante la fase previa a la presentación del proyecto, y su ejecución por parte de la Corporación Utopía, la visita realizada durante la presente evaluación ha permitido identificar la existencia de claros factores de continuación, tanto del proyecto como de la implicación de las diferentes organizaciones que lo iniciaron o se fueron incorporando. Asimismo, la estructura de intervención existente durante la fase previa y la ejecución del proyecto fue ampliamente valorada en Ecuador y recibió el interés de muchos de los agentes implicados en procesos de desarrollo local participativo. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 125 Programa de Evaluaciones 2006-2007 2.1. Las actividades de la contraparte en la zona Como se ha señalado, la estructura de intervención se vio posibilitada por un proceso previo de contacto de la Corporación Utopía con ciertos grupos poblacionales de la zona, en el marco de proyectos pequeños de trabajo en el ámbito de promoción de la salud y salud reproductiva, focalizados en población escolar y población joven, donde se identificaron otros intereses y posibilidades. Adicionalmente, se había iniciado un proceso de apoyo a los planes estratégicos de las parroquias de la zona que permitió el inicio de contactos institucionales y el acceso al conjunto de la población de la zona. Este contacto con la zona permitió generar la aceptación de la organización en el territorio y su contacto con la visión que de su territorio tenían sus habitantes. Esta fase parece haber sido determinante para que la organización, con poca experiencia previa en procesos de desarrollo estratégico, fuera aceptada como líder metodológico del proceso de planificación participada cuando éste se inicia. En paralelo con este proceso de confianza mutua entre organización social y población, en el contexto de financiaciones externas, se produce un proceso mucho más directo e interno con el cambio de la dirección del hospital de Nanegalito. La entrada del nuevo equipo directivo y su apuesta por un cambio cualitativo en la prestación de servicios sanitarios, junto con el interés por la mejora de las condiciones del territorio y de la vida de sus habitantes, producen un input muy importante para la mejora de la situación en el sector sanitario y para la dinamización de intereses en torno al desarrollo de la zona. Este liderazgo institucional parece un segundo factor clave para el éxito del proceso, en el sentido de favorecer la participación de otras instituciones públicas y favorecer la participación ciudadana al ofrecer cambios en un sector específico prioritario para los ciudadanos (salud) y ofrecer un apoyo institucional decidido a las iniciativas de la población, de manera que la participación ciudadana parece efectiva para la población porque consigue superar dificultades y producir resultados concretos. Estos dos elementos, claves para un proceso de planificación participada para el desarrollo local, junto con otros no identificados durante la presente evaluación, conforman una estructura de intervención que se ha ido moviendo • Hacia la institucionalización, como en el papel de los consejos parroquiales o la programación del hospital de campañas de sensibilización1. • Hacia una mayor gestión pública programada, como la mejora en la red viaria o la construcción del museo etnográfico. • Hacia una multiplicación de los actores con visión de desarrollo estratégico en la zona, especialmente en el ámbito de las ONG. • Específicamente, hacia una presencia de la Corporación Utopía, mucho más limitada que durante el proyecto financiado por el Ayuntamiento de Madrid, pero todavía en la zona, en contacto con los beneficiarios del proyecto. Durante el periodo más activo de la intervención (antes y durante la ejecución del proyecto financiado por el Ayuntamiento de Madrid), la estructura de intervención se basaba en el proceso de 1 La ONG señala que la intervención generó no sólo institucionalización de actividades de promoción de la salud, sino que favoreció replantear el modelo de atención en el área 18, de un enfoque meramente curativo a un enfoque de promoción de la salud y se apoyó en la implementación de herramientas de planificación en salud. La evaluación no ha podido, dadas sus características, analizar en profundidad este hecho, por lo que se ha limitado a constatar la continuidad en la planificación de actividades de promoción de la salud después del proyecto. Cooperación Ciudad de Madrid 125 12671 Colombia (FF) 126 3/3/08 13:30 Página 126 Informes de evaluación. Ecuador creación y gestión de la mesa de planificación de la zona. En este proceso, el papel de la Corporación Utopía fue de dinamizador del conjunto y de refuerzo de aquellas líneas estratégicas en las que obtuvo financiación. Ambos papeles se apoyan y se muestran en la siguiente tabla, que resume los proyectos gestionados por la Corporación Utopía en la zona y sobre la temática de promoción de la salud, participación ciudadana y desarrollo local. Algunos de los proyectos no están en el área de intervención, o son de un ámbito geográfico mayor, pero muestran las posibilidades de refuerzo de esta intervención a través de la actividad de la Corporación Utopía. Fecha Organización Proyecto 01/12/2000 SETEM - NANEGALITO Desarrollo local en la parroquia rural de Nanegalito 01/05/2001 SETEM - ATUCUCHO Desarrollo Productivo Mujeres Atucucho (Proyecto Papelería) 01/06/2001 21/03/2002 PRINCIPADO DE ASTURIAS - SOLIDARIDAD INTERNACIONAL CEPAM Presupuesto 100.200,00 9.830,00 Desarrollo, salud integral y participación ciudadana de la población adolescente y juvenil en comunidades rurales del noroccidente de la provincia de Pichincha, Ecuador 50.353,90 Investigación del uso del preservativo en adolescentes para prevención del VIH -SIDA 5.789,47 28/03/2002 MDMQ Capacitación S.S.R. Y Género 2.000,00 01/05/2002 BROEDERLIJK DENLE Escuelas de Liderazgo - Alausí 25.000,00 01/06/2003 COMUNIDAD VALENCIANA - SETEM Centro de Información Campesina 10.638,56 01/06/2003 COMUNIDAD VALENCIANA - SETEM Desarrollo productivo de la zona rural del noroccidente de la provincia de Pichincha 74.503,00 01/06/2003 AYUNTAMIENTO DE ALICANTE SOLIDARIDAD INTERNACIONAL Mujeres en defensa de la salud y la vida 44.595,10 31/08/2005 SOLIDARIDAD INTERNACIONAL AYUNTAMIENTO DE MADRID Proyecto: educación, salud, espacios saludables y participación ciudadana en cuatro parroquias rurales del noroeste de Pichincha 194.719,36 Promoción de la salud y participación ciudadana en la Amazonia y la sierra ecuatorianas 214.000,00 31/03/2007 JUNTA DE ANDALUCÍA MEDICUS MUNDI Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 127 Programa de Evaluaciones 2006-2007 3. V ALORACIÓN DE LOS DOCUMENTOS DE FORMULACIÓN 3.1. Antecedentes y justificación La fundamentación de la intervención que aparece en los documentos de formulación a los que esta evaluación ha tenido acceso parece suficiente para identificar el área de intervención y algunos de los problemas más significativos de las líneas sobre las que el proyecto pretende incidir. Sin embargo, parece insuficientemente trabajada la fundamentación para provenir de un proceso previo en la zona2. Efectivamente, dado el proceso de proyectos previos en la zona, entre los que se encuentra un proyecto de planificación estratégica participada, el análisis sobre la priorización de esas líneas y, especialmente, la conexión entre las problemáticas sectoriales y las acciones que pretende desarrollar el proyecto debería haber sido mucho más “contundente”. Como expondremos en esta evaluación, la fundamentación del proyecto no es suficiente como para difuminar las dudas sobre la eficacia de las medidas que se proponen, dada su dimensión y gran heterogeneidad. 3.2. Lógica de intervención La definición del plan de ejecución, con su matriz de objetivo, resultados e indicadores, muestra la gran complejidad de la intervención y el intento de abordar muchos problemas diferentes de una forma simultánea y coordinada. Al mismo tiempo, presenta serias limitaciones como hoja de ruta para alcanzar el reto tan grande que se propusieron (o los retos). La visita sobre el terreno ha permitido, con todas las limitaciones del tiempo, identificar o al menos intuir algunas de las estrategias que se siguieron en la implementación para superar las limitaciones de la formulación. Nos detendremos en la formulación del proyecto porque revestía una especial dificultad y pueden extraerse elementos interesantes para la reflexión sobre el diseño de proyectos de apoyo a procesos de desarrollo local con participación ciudadana. La ejecución del proyecto parece haber tenido una orientación flexible por necesidades de la propia dinámica del territorio, pero algunos elementos fundamentales del proyecto hubieran podido abordarse mejor si se hubieran tenido en cuenta en la fase de diseño. Hablando estrictamente en términos de la formulación del proyecto, lo primero que debe señalarse es que se ha realizado un esfuerzo relevante para construir una lógica de intervención consistente, con objetivo operativo que intenta acotar el objetivo general, con resultados para las diferentes dimensiones del objetivo y definiendo indicadores específicos, medibles y con valores de éxito en la mayoría de los casos y fuentes de verificación. Al observar la intervención y su gran diversidad de líneas de trabajo, plasmadas en resultados esperados, se echa de menos la visión transversal3. Los temas sectoriales presentan una relación 2 La ONG señala que “hay muchas limitaciones para contar con indicadores socioeconómicos y de salud, y más en niveles territoriales como las parroquias”. 3 La ONG señala que “lo que articulaba y sigue articulando a estos temas es el Plan Estratégico de Desarrollo Zonal, y considerando que fueron diagnósticos participativos, las prioridades son las que surgieron”. Lo que identifica la evaluación es una baja intersectorialidad en el diseño del proyecto. Su incorporación mejoraría la evaluabilidad de la intervención y permitiría reflejar mejor la perspectiva de conjunto sobre lo que motivó el proyecto y lo que se hizo con esa financiación. Esto no es incompatible con el Plan Estratégico participado, al contrario, se trata de incorporar la perspectiva estratégica en el proyecto. Cooperación Ciudad de Madrid 127 12671 Colombia (FF) 128 3/3/08 13:30 Página 128 Informes de evaluación. Ecuador baja entre ellos, relación no suficientemente compensada por líneas transversales que conecten los sectores entre sí, dando por ejemplo relevancia al proceso de organización y participación comunitaria del que se nutría y al que apoyaba el proyecto. Para analizar la lógica de intervención se presenta a continuación una tabla con información sobre el plan de ejecución: objetivo y resultados e indicadores. Objetivo general Mejorar la calidad de enseñanza y la salud en cuatro parroquias rurales y generar espacios saludables donde se promocione el cuidado del ambiente y existan alternativas productivas que permitan mejorar las condiciones de vida de sus habitantes y defender y conservar los recursos naturales del sector. Objetivo específico Disminuir la deserción y el fracaso escolar, la incidencia de patologías más frecuentes en escolares y la destrucción del entorno en cuatro parroquias del noroeste de Pichincha, mediante el desarrollo de un sistema de vigilancia y monitoreo en salud en función de las patologías más frecuentes en el alumnado, la mejora de la infraestructura y equipamiento sanitario de las escuelas, la capacitación de la comunidad educativa y de la población, la promoción en temas relacionados con la conservación del medio ambiente y la generación de procesos productivos autosustentables que permitan competir con las formas tradicionales de explotación de la tierra y recursos naturales. Resultado 1 Indicadores 45 unidades escolares contarán con un sistema de vigilancia epidemiológica en salud y la comunidad educativa habrá sido informada sobre salud y prevención. • 80% del alumnado ha tenido una valoración médica y odontológica. • 70% del alumnado tiene conocimientos y destrezas en aspectos de su propio desarrollo, en salud y prevención. Resultado 2 Indicadores Mejorada la infraestructura de 45 unidades escolares, dotadas con equipamiento diverso, saneados su entorno y las condiciones ambientales de dichas escuelas. • 60% de las escuelas cuentan con baños nuevos o reparados en buen estado de funcionamiento. • 80% de las escuelas con espacios al aire libre mejorados con árboles o jardines. Resultado 3 Indicadores Las asociaciones de padres de familia y las comunidades educativas participarán activamente en los temas escolares. • 80% de las escuelas tienen juntas escolares, integradas por padres de familia, organizadas y en funcionamiento (han celebrado al menos cuatro reuniones). • 80% de las comunidades educativas de cada escuela han sido estructuradas y discuten los planes de mejora educativa. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 129 Programa de Evaluaciones 2006-2007 Resultado 4 Indicadores Se habrá creado un centro de información turística y se habrá capacitado a 12 personas de ambos sexos como guías turísticos. • Hay 12 personas de ambos sexos tituladas como guías de turismo. • Hay un centro de información turística que oferta paquetes recreativos, educacionales e investigativos para el turismo rural, nacional e internacional. Resultado 5 Indicadores Se habrá construido y equipado un vivero desde donde se distribuyen plantas nativas para reforestar la zona. • Al finalizar el proyecto se habrán producido y distribuido al menos 2.000 árboles nativos para reforestar la zona. Resultado 6 Indicadores Se habrá capacitado a las organizaciones sociales del sector y grupos de familias en nuevas formas productivas agropecuarias y forestales. • Constituido al menos dos microempresas de producción agropecuaria o forestal. 3.3. Análisis de objetivos Los objetivos general y operativo presentan unas características que por separado los hacen difícilmente evaluables y analizados en su conjunto presentan una estructura insuficiente para orientar la intervención. En ambos se recogen todos los elementos que se quieren abordar, con una redacción que dificulta la identificación de conceptos claros y de la relación entre los elementos que se pretenden abordar. En el objetivo general, se plantean claramente como dimensiones del objetivo la calidad de la enseñanza y la salud y se señalan dos dimensiones cruzadas: por un lado salud y medio ambiente y, por otro, producción y medio ambiente. Estas dos dimensiones se cruzan a través de dos espacios: 1. Espacios saludables para la promoción del medio ambiente y, no se incluye pero parece evidente, mejorar la salud. 2. Alternativas productivas económicamente suficientes para mejorar las condiciones de vida de la población y mejorar la situación del medio ambiente de la zona. Estos dos espacios tienen una definición insuficiente en la justificación y se trasladan de forma limitada a la lógica de intervención. Una mayor definición de estos espacios y un mayor desarrollo en resultados y actividades hubiera dado al diseño una mayor capacidad orientadora de la ejecución, hubiera permitido acotar mejor lo esperable del proyecto y hubiera aumentado de forma importante las posibilidades de replicación del proyecto. En el objetivo operativo, las dimensiones contenidas en el objetivo general se acotan y se relacionan con las estrategias que las harán posibles4. De esta forma, la dimensión “calidad 4 El uso de este tipo de redacción en los objetivos plantea a veces la duda sobre el grado de consecución del objetivo que cabe esperar de la estrategia. Es por tanto una reducción del alcance del objetivo que no se explicita. Para poder incorporar esa reducción del Cooperación Ciudad de Madrid 129 12671 Colombia (FF) 130 3/3/08 13:30 Página 130 Informes de evaluación. Ecuador de educación” se concreta en “reducción del absentismo y el fracaso escolar”, una concreción que parece conceptualmente correcta y evaluable. En el mismo sentido, la dimensión “mejora de la salud” se concreta en tres ámbitos: “incidencia de las patologías más frecuentes en estudiantes”; “mejora de la infraestructura y equipamiento sanitario de las escuelas” y “capacitación de la comunidad educativa y de la población”. Sin embargo, en los temas de medio ambiente y economía el objetivo específico no aporta mayor concreción que el objetivo general, por lo que la estructura de planificación pierde consistencia. Esta pérdida de consistencia se traslada a la ejecución del proyecto, dificultando la comprensión externa sobre el papel que han tenido las actividades en la consecución de una mejora simultánea en la economía y el medio ambiente de la zona. Los indicadores del objetivo están definidos correctamente, aunque el segundo indicador en realidad está constituido por dos indicadores diferentes (reforestación y sensibilización). La limitación que presentan se refiere a su carácter de indicadores de objetivo. De hecho, son perfectos indicadores de actividad, pero no cumplen suficientemente como indicadores de objetivo. La función de un indicador de objetivo es la de medir fenómenos que pueden tener una correlación matemática o conceptual con la evolución de alguna de las variables incluidas en el objetivo. Esto es, si un indicador5 evoluciona positivamente eso nos indicaría que el objetivo se está consiguiendo en una cierta medida. La redacción del indicador de objetivo, por tanto, deberá hacer referencia a las variables directa o indirectamente incluidas en el objetivo. Para poner un ejemplo de este proyecto, el hecho de que el 90% de las escuelas cuenten con un sistema de vigilancia en salud es muy positivo pero no asegura que se cumpla la parte del objetivo referida a la mejora de la salud de los escolares. Tan sólo nos asegura que si la salud de este colectivo mejora, tendremos información precisa, a través del sistema de información, para saberlo. No nos dice nada sobre el comportamiento de la salud de los estudiantes, que es la variable objetivo. 3.4. Análisis de resultados Los resultados esperados son muy diversos, intentando abarcar las diferentes dimensiones del objetivo. Este intento genera una gran capacidad de estar presente en líneas diversas, dinamizando la organización comunitaria en diversos ámbitos y permitiendo que la población visualice mejor la relación entre planificación estratégica y acciones sobre el terreno, pero produce dos limitaciones que deben tenerse en cuenta: 1. Los resultados parecen ser insuficientes para provocar un cambio cuantitativamente importante en el objetivo. 2. Algunas dimensiones del objetivo no tienen resultado fácilmente asignable, sin que exista en la documentación a la que se ha tenido acceso fundamentación para ello. alcance del objetivo sin perder evaluabilidad se debería describir en la justificación en qué medida es esperable que una estrategia determinada produzca efectos sobre el objetivo. 5 La afirmación se refiere a un indicador con una relación directamente proporcional con la variable objetivo, esto es, que a un mayor valor del indicador corresponde un mayor valor del objetivo. Lo contrario aplica para el caso de una relación inversamente proporcional, cuando a un menor valor del indicador corresponde un mayor grado de consecución del objetivo. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 131 Programa de Evaluaciones 2006-2007 Sobre los resultados debe señalarse que todos están relacionados con el objetivo, aunque en su redacción deja de lado aspectos clave del objetivo operativo, como el fracaso escolar o el hecho de que lo que se trabaje en el área productiva sea una alternativa a procesos productivos más agresivos con el entorno. La relación entre resultados y actividades es otro espacio que muestra la dificultad de producir una lógica de intervención consistente y clara a partir de unos objetivos tan amplios. A modo de ejemplo se señala el resultado 3 (las asociaciones de padres de familia y las comunidades educativas participarán activamente en los temas escolares). Éste es el único resultado referido al funcionamiento de la educación en las escuelas. La redacción del resultado, en cambio, sólo incide en la participación de padres, profesores y alumnos, sin referencia a la problemática de fracaso escolar. Las actividades del resultado incluyen una referida a reuniones de seguimiento con profesores sobre aplicación de una nueva pedagogía. Los indicadores del resultado se refieren a la existencia de juntas escolares y comunidades educativas y que estas últimas discutan los planes de mejora educativa. La formulación de este resultado, incluyendo actividades e indicadores, parece centrarse en el inicio de un proceso de cambio a través de la discusión en el ámbito escolar sobre los problemas que existen y cómo mejorarlos. Este planteamiento es el que realmente se ha trabajado. Quizá en un plazo tan corto como el de este proyecto es difícil incidir en un tema tan complejo y multicausal como el fracaso escolar, pero parece discutible que este diseño de resultado aporte un impacto remarcable en este problema, por lo que otro diseño hubiera sido más adecuado al plazo y a los medios del proyecto. Adicionalmente, este diseño no describe suficientemente el proceso de aplicación de la propuesta pedagógica incorporada desde la Facultad de Pedagogía de la Universidad de Quito. Ello no permite obtener conclusiones sobre el grado de éxito de la aplicación de la nueva didáctica, ni sobre el grado de mejora en los resultados de los escolares, por lo que no se conoce en qué medida han mejorado los resultados escolares y si es debido al cambio en la didáctica para lectoescritura. Refiriéndonos específicamente a los indicadores de los resultados, son todos pertinentes para los resultados, aunque algunos presentan valores objetivos que parecen arbitrarios en ausencia de información explicativa (por ejemplo, ¿por qué el objetivo del indicador 1.2 es del 70%?). Sí parece necesario remarcar que algunos de los indicadores parecen no ser estratégicos, por referirse al resultado de una actividad y tener una baja capacidad de captar el cambio que se persigue a través del resultado. Como ejemplo puede señalarse el indicador 2.2 (el 80% de las escuelas con espacios al aire libre mejorados con árboles o jardines). Este indicador es reflejo de una de las actividades que se iban a abordar en el proyecto, pero no habla de la conexión entre la actividad de plantar árboles en las escuelas y la contribución del resultado al objetivo. Y es que no parece claro que plantar árboles mejore significativamente las “condiciones ambientales de las escuelas” (enunciado del resultado) en la perspectiva de disminuir la incidencia de las patologías más frecuentes en escolares (enunciado del objetivo). Utilizando este ejemplo para reforzar lo expuesto anteriormente sobre la necesidad de una mayor consistencia transversal en la formulación, cabe suponer que lo que motivó la actividad de plantar árboles era la sensibilización de los niños sobre el medio ambiente, aunque esto no se refleja en el resultado al que pertenece el indicador. Parece que debería reflejarse mejor en el diseño del proyecto la relación entre estos dos componentes y ello tanto en la definición de resultados como de indicadores. Si la estrategia era de Cooperación Ciudad de Madrid 131 12671 Colombia (FF) 132 3/3/08 13:30 Página 132 Informes de evaluación. Ecuador plantar árboles como complemento a las actividades de sensibilización, el resultado hubiera debido incluir la sensibilización y el indicador relevante para ello hubiera sido diferente. Por ejemplo, “cambio en la percepción de los niños sobre el cuidado de las plantas medido por prueba x” o “porcentaje de escuelas que mantienen limpios los espacios mejorados por el proyecto”. 3.5. Otros elementos de la lógica de intervención: presupuesto y plazo de ejecución La información presupuestaria a la que se ha tenido acceso parece correcta y guarda relación con las características del proyecto. El plazo de ejecución parece suficiente para la mayoría de las actividades que se plantean, aunque parece insuficiente para afectar de forma significativa a algunos de los aspectos incluidos en el objetivo. 4. VALORACIÓN DE LOS PERIODOS DE EJECUCIÓN La ejecución del proyecto ha cumplido sustancialmente con los plazos previstos. Resulta difícil valorar los cambios producidos en el objetivo motivados por el proyecto, aunque parece que algunos de ellos, especialmente los referidos a cambios actitudinales de la población hacia la salud y el medio ambiente, difícilmente pueden consolidarse en el plazo de ejecución. Sí parece que durante el periodo de ejecución del proyecto se produjeron cambios muy significativos en la situación de la zona. Mejoras significativas que pudieron o no tener directamente origen en actividades del proyecto, pero que hacen pensar que el periodo de ejecución fue suficiente para aportar, aunque de forma difusa, un elemento más a la corriente de presión y deseo de mejora de la población, que se concretó en cambios reales. 5. CRITERIOS DE EVALUACIÓN 5.1. Pertinencia 5.1.1. Adecuación del proyecto a prioridades Este proyecto se ejecutó antes de la entrada en vigor del Plan Estratégico de Actuación en Ecuador, del Ayuntamiento de Madrid. A pesar de ello, tanto el área geográfica como las líneas de actuación incluidas en el proyecto están muy alineadas con el plan. La diversidad de las líneas del proyecto, pero sobre todo de la intervención en la que se enmarca, están en línea con el Plan Estratégico, tanto en lo referente a los Objetivos del Milenio y las estrategias definidas para su consecución en el plan, fundamentalmente con: • Objetivo 1. Erradicar la pobreza extrema y el hambre con elementos de dos estrategias (desarrollo rural y seguridad alimentaria). • Objetivo 2. Lograr la enseñanza básica universal tanto en relación con la estrategia de acceso a una educación de calidad como en la de capacitación de profesionales. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 133 Programa de Evaluaciones 2006-2007 • Objetivo 4. Reducir la mortalidad en la infancia en la estrategia de salud en el entorno escolar. • Objetivo 7. Garantizar la sostenibilidad del medio ambiente con la mayoría de las estrategias relacionadas con la meta 9 (incorporar los principios del desarrollo sostenible en las políticas y los programas nacionales y revertir la pérdida de recursos del medio ambiente). La provincia de Pichincha es una de las incluidas en la zona Sierra Central, el área territorial más definida por el Plan Estratégico de Actuación del Ayuntamiento de Madrid. En el área de la intervención se produce una combinación muy interesante de mejora de la gestión pública y de posicionamiento de organizaciones sociales, tanto locales como internacionales. Por un lado, y dada la proximidad de Quito, parece percibirse potencialidades en las políticas públicas locales, tanto en el nivel del distrito metropolitano de Quito como en el nivel de consejos parroquiales y, al mismo tiempo, un mayor dinamismo en la mejora de la gestión sanitaria del área 18. A la vez, organizaciones ecuatorianas desarrollan y amplían sus actividades y ONG internacionales como Save the Children realizan proyectos. Por tanto, la adecuación del proyecto a las prioridades del Ayuntamiento de Madrid se da no tanto por presentar índices de pobreza y salud especialmente negativos en comparación con otras áreas, sino más bien por la existencia de importantes problemas de salud y nivel de renta, junto con la potencialidad para abordar los problemas que existen desde la participación ciudadana y el compromiso de la Administración y la sociedad civil. La prioridad para la continuación de este proceso la debe dar la mejora de intervenciones públicas y sociales medido en términos de mejora efectiva de las condiciones de vida de la población. El proyecto incorporaba las cartas de compromiso de las organizaciones inicialmente implicadas y cartas de apoyo de las autoridades locales. Sólo ha sido posible analizar el grado de compromiso efectivo en el desarrollo del proyecto por parte de la dirección del hospital de Nanegalito, pero este contacto permitió constatar la implicación de diversas organizaciones y entidades, desde los bomberos a los consejos parroquiales, al exponer los contactos con otras instituciones para el desarrollo de acciones en salud. La visita de evaluación ha permitido constatar la existencia de mejoras diversas que parecen recientes, por lo que la situación de partida debería ser mucho peor y por tanto resultar pertinente en el momento de elaboración del proyecto. Resulta más difícil percibir a través de una evaluación de este tipo la problemática de degradación del ecosistema de bosque húmedo, más allá de constatar la amplitud de los espacios deforestados para su uso principal como pastos. 5.1.2. Origen de la iniciativa La pertinencia del proyecto desde el punto de vista del origen de la intervención es muy alta, dado que se ha beneficiado de un cúmulo de circunstancias previas que en principio deberían ser factores clave de participación y pertinencia social, de adecuación del proyecto a las acciones de otras organizaciones y de compromiso de la Administración pública. Hay dos elementos fundamentales en el origen de la iniciativa que afectan positivamente a la pertinencia del proyecto. Por un lado, la constitución del Comité Interinstitucional que se creó a raíz de la erupción volcánica del Tungurahua y que generó un espacio de coordinación y unas relaciones interpersonales que favorecieron la discusión posterior sobre problemas de la zona. Por otro lado, la dinámica de reflexión comunitaria que desembocó en planes parroquiales y finalmente en un Plan Estratégico Zonal. Cooperación Ciudad de Madrid 133 12671 Colombia (FF) 134 3/3/08 13:30 Página 134 Informes de evaluación. Ecuador El proceso de participación ciudadana parece haber sido muy importante, tanto en la fase previa al proyecto como en las actividades del mismo. La motivación de los ciudadanos, o al menos de una parte importante, parece haber sido muy alta, por lo que las líneas prioritarias que se plasmaron en el Plan Estratégico Zonal deberían ser definidas como bien integradas en las expectativas de la población. 5.1.3. Complementariedad con otras acciones El Plan Estratégico Zonal parece el instrumento que daría legitimidad social a las diferentes acciones que se han desarrollado en el ámbito de las cuatro parroquias, señalando unas líneas prioritarias consensuadas con las comunidades mediante procesos de reflexión que deben haberles dado validez y prioridad. Estas líneas han sido referencia para otros proyectos en la zona. El proyecto financiado por el Ayuntamiento de Madrid aporta acciones en la mayoría de líneas estratégicas del Plan Zonal y, al mismo tiempo, se percibe, aunque no se explicita, como un facilitador del propio proceso de puesta en marcha del Plan Zonal. Efectivamente, la complementariedad de este proyecto con otros procesos previos al Plan Zonal se enmarca en que todos provienen de acuerdos interinstitucionales y de un proceso de participación ciudadana que le hacen coexistir con muchas otras iniciativas en la zona. En la medida en que Corporación Utopía tuvo un papel importante en los procesos previos a la aprobación del Plan Estratégico Zonal, el proyecto cumplía un papel más allá del de ser una iniciativa complementaria a otras en la zona. Se constituyó en un vehículo aglutinador de procesos de participación ciudadana y de fortalecimiento del proceso en la zona. A efectos del análisis de la pertinencia del proyecto, señalamos que en los procesos de planificación estratégica pueden identificarse dos niveles de complementariedad: 1. La interrelación entre acciones sectoriales, mediante lo cual organizaciones diferentes actúan en el mismo componente de desarrollo de forma coordinada, tanto en el tiempo como en el territorio o en la forma de actuar, contribuyendo de forma explícita a un objetivo común, el que señale el plan. 2. La interrelación entre acciones transversales y acciones sectoriales. Algunos de los actores pueden realizar actividades que supongan un refuerzo del conjunto de las actividades de los otros actores, al mejorar las condiciones en las que éstos realizan sus actividades. Las acciones de dinamización de la participación ciudadana, o las campañas de sensibilización, son actividades de las que cabe esperar un impacto positivo en el conjunto de acciones, proyectos y actividades que se realicen en el territorio. Por tanto, cabe decir que, existiendo un marco de planificación para todas las instituciones, la complementariedad efectiva fue heterogénea (mayor en el ámbito de la salud que en el productivo, por ejemplo). Sin embargo, cabe señalar que el papel del proyecto como facilitador del acompañamiento a las comunidades y a la coordinación de acciones jugó un rol muy importante para el proceso, debiendo ser señalado como factor remarcable de pertinencia del proyecto. 5.1.4. Valoración de los colectivos beneficiarios y cobertura de la intervención En orden a analizar la pertinencia del proyecto desde el punto de vista de a quién beneficia, analizamos primero la identificación de colectivos, para después realizar consideraciones sobre la cobertura de necesidades que parece permitir el proyecto, tanto en relación al porcentaje del Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 135 Programa de Evaluaciones 2006-2007 colectivo directamente beneficiario como a la intensidad previsible de ese beneficio, cuando esa determinación sea posible. La definición de los beneficiarios del proyecto ha sido correcta en su orientación, por cuanto se identifican colectivos asociados a los resultados previstos. La cobertura, en cambio, varía mucho entre componentes del proyecto, por cuanto no quedan reflejadas de forma clara la elección de los participantes en las tareas relacionadas con la mejora de la economía. Los beneficiarios directos que identifica el proyecto son 2.869 niños y niñas, 45 escuelas, 131 maestros, 800 padres y madres, 12 guías, 150 personas en proyectos sustentables y 30 promotores rurales. Los beneficiarios indirectos se cifran en 16.860 (la población de las cuatro parroquias). Para el propósito de discutir sobre la definición de beneficiarios, agrupamos los resultados del proyecto de forma que se puedan identificar los colectivos beneficiarios en tres componentes: salud, educación y economía. Los tres componentes presentan actividades complementarias, de forma que se generan grupos específicos de beneficiarios: salud en la escuela, educación sobre medio ambiente y producción agropecuaria “sostenible”. Finalmente, hay un colectivo no identificado en el proyecto que también puede calificarse de beneficiario. Serían los técnicos a los que se ha dado apoyo, los miembros de los consejos parroquiales a los que se ha dado formación, los líderes comunitarios que han recibido formación y apoyo en sus iniciativas, las personas que han mantenido una relación con el equipo de Utopía en tanto que dinamizaron el proceso sobre el territorio, una función difusa pero muy importante. • Componente salud. La población estudiantil es el colectivo beneficiario de las acciones de control sanitario y de promoción de la salud (en todas las escuelas), así como de las letrinas construidas (no se pusieron en todas las escuelas). De las actividades de promoción de la salud son también beneficiarios los padres y los profesores. A tener en cuenta que la formación de los profesores en temas de salud y medio ambiente, así como el contacto con el personal de los subcentros de salud para el sistema de vigilancia epidemiológica, les hace beneficiarios intermedios del proyecto, ya que el objetivo sigue siendo la población. El enfoque de salud sobre la población escolarizada deja al menos dos grupos de beneficiarios fuera del proyecto. Por un lado, los niños en edad preescolar (de 0 a 5 años), donde se concentran los problemas de mortalidad infantil y los niños no escolarizados. Este segundo colectivo no está dimensionado, pero en todo caso cabe pensar que los factores culturales o económicos de sus familias que provocan su no escolarización pueden incorporar factores añadidos de vulnerabilidad con efectos en salud6. El colectivo está bien definido y se dirige al conjunto del colectivo, pero cabría esperar una menor cobertura respecto al grupo “población infantil”. El volumen y tipo de actividades que pone en marcha el proyecto hacen pensar en una cobertura alta para la atención sanitaria y más baja para la promoción de la salud y el entorno saludable (es previsible conseguir 6 La ONG señala que “no se incluyó a los niños menores de cinco años y niños no escolarizados, tal y como se reflejó en la formulación (esto no quiere decir que no sean grupos a los que habría que prestar atención), por un lado porque rebasaba la capacidad del proyecto y, por otro, porque siendo poblaciones dispersas era muy difícil acceder a estos grupos poblacionales”. Es una puntualización totalmente pertinenete. Lo que plantea la evaluación, a título de reflexión para este proyecto y otros similares, es que resulta útil plantear la prioridad de lo que se hace en relación a las necesidades de una determinada población, y reflejarlo en los diferentes componentes del diseño. Cooperación Ciudad de Madrid 135 12671 Colombia (FF) 136 3/3/08 13:30 Página 136 Informes de evaluación. Ecuador limitados resultados en salud de las charlas de promoción de la salud y de la limpieza del entorno de las escuelas en un periodo de año y medio y sin otras acciones). • Componente educación. La población es la misma que en el componente anterior. El apoyo en material e infraestructura es limitado en cantidad para tener un gran impacto, pero resulta una mejora clara de la situación preexistente. Eso, junto con la participación de los padres en trabajo no remunerado parece dar solidez al colectivo beneficiario. Como se ha señalado en apartados anteriores, existe una distancia excesiva entre objetivo (reducción del fracaso escolar) y medios (material, formación para la aplicación de una nueva didáctica para el aprendizaje de lectoescritura y apoyo a la creación de comunidades de aprendizaje). Esto plantea dudas sobre la posibilidad de que este componente mejore significativamente el objetivo planteado en el colectivo de beneficiarios definido. El componente cruzado de educación y medio ambiente tiene como principal colectivo beneficiario el de los participantes en los talleres realizados sobre conservación del bosque primario y la relación entre medio ambiente y salud, y los participantes en las campañas de sensibilización contra la basura y las prácticas indeseadas como la quema de neumáticos. Las campañas y el contenido de los talleres de medio ambiente parecen haber sido decididos por las comunidades, aunque no es posible cuantificar las personas sensibilizadas más allá de los asistentes a los talleres realizados. • Componente productivo. Los beneficiarios de este componente han sido numéricamente definidos en el proyecto, pero no se indica el procedimiento seguido para su elección. Dado el número de explotaciones previsto, no todas las comunidades tendrían acceso a una actividad productiva, y dado que el objetivo de este componente era demostrativo, tanto el emplazamiento de las unidades de producción como las personas que recibieran capacitación e insumos para la producción eran un factor tan importante como la propia ejecución técnica del componente. El volumen y el planteamiento de la estrategia deja muchas dudas sobre su factibilidad, por lo que los beneficiarios de este componente no han recibido lo suficiente como para ser beneficiarios directos en su gran mayoría y se ha producido poco para provocar que otras personas intenten iniciar una actividad agropecuaria nueva (poco efecto multiplicador de los beneficiarios iniciales). Este bajo número de beneficiarios y este bajo nivel de multiplicación afecta a la consideración presente en el objetivo de constituir una alternativa a prácticas económicas agresivas con el medio. Un último grupo de beneficiarios lo constituyen los relacionados con actividades de ecoturismo. Éstos son los jóvenes que recibieron una formación complementaria a la de la Administración pública como guías turísticos. Además, cabría añadir como beneficiarios las familias que iniciaron actividades de oferta de alojamiento de ecoturismo, en relación con estos guías. El número de guías de familias es muy reducido y el procedimiento de elección no aparece claramente definido en la información disponible. Parece que el apoyo ha sido limitado, por lo que cabe plantearlo como un grupo de beneficiarios poco central en el proyecto. 5.1.5. Correspondencia entre objetivos del proyecto y situación de la zona A modo de resumen, cabe señalar la pertinencia del proyecto, tanto por la situación de partida del territorio, como por las posibilidades de transformación que se hallaban presentes en las interacciones de agentes y comunidades en la zona. El proyecto parece especialmente pertinente por su labor de soporte de redes sociales y por la extensión de servicios sanitarios ambulatorios al entorno escolar; parecen pertinentes las acciones de promoción de la salud y menos pertinentes las económicas y medioambientales (no por los problemas que pretenden abordar, sino por los elementos que se aportan para abordarlos). Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 137 Programa de Evaluaciones 2006-2007 5.2. Eficacia 5.2.1. Adecuada definición del objetivo específico y los resultados En el análisis del diseño del proyecto se han discutido los problemas que se derivan de querer abarcar varias líneas estratégicas en un mismo proyecto. La planificación de puesta en marcha de un Plan Estratégico como el de esta zona no puede sustentarse en un proyecto, debe tener un nivel superior de planificación que agrupe y organice diferentes proyectos, a la vez que planifica acciones de dinamización del proceso global. En el nivel de proyecto sólo cabe esperar el desarrollo de actividades tendentes a producir resultados de una línea estratégica y, a lo sumo, de espacios de conexión con otras líneas. Este problema se visualiza en el exceso de carga que recoge el objetivo específico, que abarca todos los temas que se incluyen en el objetivo general. Por otra parte, y como también se ha señalado al hablar de la formulación, el incluir acciones de apoyo al proceso de implementación del Plan Zonal se ha hecho sin reflejarlo directamente en el nivel de resultados esperados, por lo que se distorsiona la matriz de planificación y se dificulta su evaluación. Esto es especialmente negativo por ser ésta una función que parece ha desempeñado con intensidad y acierto Corporación Utopía y que, en cambio, puede quedar oculta en el análisis del proyecto. La formulación del proyecto presenta una estructura de objetivo, resultados, indicadores y fuentes de verificación consistente en términos generales, aunque no suficientemente satisfactoria como para conseguir una ejecución eficaz. La lógica de la intervención se presenta en el siguiente cuadro, para analizar la eficacia del proyecto. Objetivo específico Disminuir la deserción y el fracaso escolar, la incidencia de patologías más frecuentes en escolares y la destrucción del entorno en cuatro parroquias del noroeste de Pichincha, mediante el desarrollo de un sistema de vigilancia y monitoreo en salud en función de las patologías más frecuentes en el alumnado, la mejora de la infraestructura y equipamiento sanitario de las escuelas, la capacitación de la comunidad educativa y de la población, la promoción en temas relacionados con la conservación del medio ambiente y la generación de procesos productivos autosustentables que permitan competir con las formas tradicionales de explotación de la tierra y recursos naturales. Indicadores 1. Al finalizar el proyecto, el 90% de las escuelas cuentan con un sistema de vigilancia en salud con participación del Ministerio de Educación y Salud de la zona. 2. Al finalizar el proyecto se han reforestado 200 ha con árboles nativos y el 70% de los escolares están informados sobre temas ambientales y cuidado del medio. Cooperación Ciudad de Madrid 137 12671 Colombia (FF) 138 3/3/08 13:30 Página 138 Informes de evaluación. Ecuador Resultados Variables de indicadores 1. 45 unidades escolares contarán con un sistema de vigilancia epidemiológica en salud, y la comunidad educativa habrá sido informada sobre salud y prevención. • Valoración médica y odontológica. • Conocimiento sen salud. 2. Mejorada la infraestructura de 45 unidades escolares, dotadas con equipamiento diverso, saneados su entorno y las condiciones ambientales de dichas escuelas. • Baños en las escuelas. • Espacios al aire libre en las escuelas. 3. Las asociaciones de padres de familia y las comunidades educativas participarán activamente en los temas escolares. • Juntas escolares. • Comunidades educativas. 4. Se habrá creado un centro de información turística y se habrá capacitado a 12 personas de ambos sexos como guías turísticos. • Formación de 12 guías. • Centro de información turística. 5. Se habrá construido y equipado un vivero desde donde se distribuyen plantas nativas para reforestar la zona. • Distribución de 2.000 árboles. 6. Se habrá capacitado a las organizaciones sociales del sector y grupos de familias en nuevas formas productivas agropecuarias y forestales. • Creación de 2 microempresas. La eficacia del proyecto en la consecución del objetivo se ve debilitada por lo excesivamente ambicioso del objetivo, por la diversidad de componentes y por ciertas inconsistencias entre lo que se dice que se quiere conseguir (los resultados), lo que se dice que se va a hacer para conseguirlo (las actividades) y lo que se va a medir para saber si se ha conseguido lo que se pretendía (los indicadores). El proyecto ha sido eficaz en la consecución de los resultados relacionados con el trabajo en las escuelas, tanto el relacionado con la salud como con la educación. Si se plantea en cambio la eficacia como el grado de consecución del objetivo, el proyecto no ha sido eficaz en esos ámbitos, ya que no ha producido una mejora en “la incidencia de patologías más frecuentes en escolares” ni en “disminuir la deserción y el fracaso escolar”. Las actividades en salud han sido eficaces en el sentido de que permitieron establecer una línea de base de la situación de salud de los escolares de las cuatro parroquias, actualizada dos veces al año y, por tanto, con el inicio de una serie de datos interesante en términos epidemiológicos, aunque deje de lado la población infantil preescolar. Asimismo, sí ha sido eficaz en sentar las bases para la creación de un sistema de vigilancia epidemiológica de esa población. En este aspecto sí que cabría pensar si ésta es una actividad prioritaria para los profesionales sanitarios y si será útil después del proyecto, ya que la Administración sanitaria sólo revisa dos niveles escolares, en vez de todos como se hizo durante el proyecto. La eficacia de las actividades sobre infraestructuras escolares ha sido buena y con participación de padres y maestros pero se ha producido un cambio pequeño en las escuelas, dada la situación tan deficiente que presenta el sistema educativo. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 139 Programa de Evaluaciones 2006-2007 La eficacia en el cambio de la educación en las escuelas ha sido muy limitado. De hecho, los indicadores se referían tan sólo al inicio del proceso de implicación de padres y profesores en el proceso de mejora educativa. La actividad principal por su efecto a corto plazo (el cambio en el sistema de aprendizaje de lectoescritura) no tenía asignado indicador. No cabía esperar mucho en este resultado en ese espacio de tiempo, pero la falta de indicador dificulta pronunciarse sobre si se ha conseguido iniciar un proceso de mejora de los resultados educativos o no se ha llegado a conseguir. Los resultados 4 y 5 se han obtenido con un grado de eficacia relevante. Sin embargo, la orientación de esos dos resultados era en buena medida de consumo interno del propio proyecto. En el caso del resultado 5, es muy importante la diferencia entre tomar como indicador “árboles entregados” o “árboles consolidados”. Adicionalmente, la localización de esos árboles replantados y la tasa de supervivencia por tipo de localización pueden ser variables intermedias muy importantes para orientar estrategias de refuerzo después del proyecto. El resultado 6 es un resultado con un bajo grado de eficacia porque no se ha conseguido que se creen empresas (único indicador del resultado) y porque la formación y las actividades demostrativas de producción no se orientaron correctamente (producción comunitaria) y no incluían todos los componentes necesarios para ser replicadas por otros. Las actividades productivas demostrativas, para que sean eficaces, deben reproducir todos los aspectos a tener en cuenta en una estrategia productiva de éxito, incluyendo la inversión inicial, el básico análisis de mercado y la estrategia de producción y comercialización. Las actividades del proyecto se centraban en la producción y no han conseguido tener verdaderos efectos demostrativos. Adicionalmente, no se abordaban los problemas de inversión inicial que pueden tener las personas objetivo de este componente. Los aspectos relacionados con el medio ambiente y la producción no han podido ser constatados durante la evaluación. La debilidad principal de la lógica de intervención es que la realización de las actividades cumple los resultados y todos son medibles a través de indicadores que reflejan la actividad realizadas, pero no se puede decir en qué medida el objetivo se ha conseguido. Se echan en falta verdaderos indicadores del objetivo, algunos indicadores clave de resultados y algunas actividades más orientadas al objetivo. 5.2.2. Nivel de logro de los objetivos y resultados Las actividades del proyecto se han realizado de forma muy adecuada, salvo en el componente económico. El objetivo, excesivamente ambicioso, genera un nivel bajo de logro, a pesar del alto grado de cumplimiento de las actividades7. Esa baja consecución del objetivo no debe enmascarar el principal logro del proyecto: actuar de facto como oficina de desarrollo del Plan Estratégico de Zona, impulsando la coordinación de actividades, especialmente en salud ambiental y salud en el entorno educativo, pero también la capacitación de dirigentes comunitarios y dinamizando la participación ciudadana en torno a las líneas estratégicas del plan. 7 La ONG señala que en el primer informe del proyecto ya apuntaban el exceso en el objetivo del proyecto, de forma que sería muy difícil que se consiguiera un alto nivel de resultados. El evaluador identifica como una debilidad del proyecto el que, tras esa constatación, se ejecutara éste concentrándose en las actividades, sin definir por escrito qué parte del objetivo era realmente alcanzable y, por tanto, sin orientar la ejecución del proyecto hacia la mejora constatable de las condiciones de vida de la población. Cooperación Ciudad de Madrid 139 12671 Colombia (FF) 140 3/3/08 13:30 Página 140 Informes de evaluación. Ecuador La baja evaluabilidad de aspectos clave del objetivo del proyecto hace incierto imaginar la evaluación del logro del objetivo a medio plazo. La visita ha podido constatar la institucionalización de campañas y espacios generados durante el proyecto y la continuación de algunas acciones que no se produjeron durante el proyecto y que parecen cercanas actualmente, como la próxima apertura de un centro de información turística en Nanegalito. Finalmente, un resultado poco definido en el proyecto pero clave constante en los procesos de planificación estratégica es el que la Administración pública asuma como propios partes significativas de los planes de trabajo de las líneas estratégicas que se definan. Esto parece estar produciéndose en la zona de intervención. El desarrollo en paralelo de las instancias ciudadanas de control y el aumento de la conciencia de la población en relación con sus derechos es un elemento complementario que puede beneficiar el sentido y el compromiso de las Administraciones públicas con la zona, tanto en inversiones como en calidad de los servicios. 5.2.3. Comportamiento de riesgos y presunciones Las presunciones y riesgos identificados por el proyecto parecen insuficientes para una intervención como ésta, en la que la los componentes del proyecto y la multiplicidad de actores hubieran requerido de un análisis completo, que además hubiera reforzado mucho la formulación del proyecto. Por un lado, las presunciones y riesgos en la perspectiva social, institucional y política. Por otro lado, las presunciones y riesgos de cada uno de los componentes del proyecto, tanto desde la perspectiva de los participantes como desde la perspectiva de los condicionantes técnicos del contexto. Detallar las presunciones que se hacían sobre cada componente y sobre el proceso en general hubiera permitido identificar algunos factores limitantes de los resultados esperados. Asimismo, la identificación de riesgos hubiera podido reforzar o explicitar algunos aspectos del proceso que no estaban presentes en la formulación. La ausencia de un adecuado análisis de riesgos y una suficiente explicitación de presunciones limitan la eficacia del proyecto al no aportar una visión de contexto en la que enmarcar las actividades del proyecto. A modo de ejemplo, analizar las presunciones y los riesgos inherentes al componente de producción agropecuaria, tanto más cuanto ésta se liga, aunque de forma imprecisa, a una visión diferente del medio ambiente, hubiera reforzado mucho su eficacia, o aconsejado su eliminación para buscar un marco más adecuado para su abordaje. Sin entrar en un planteamiento exhaustivo, el análisis de los riesgos empresariales de un ciclo productivo de microempresa agropecuaria es una magnífica guía para incorporar a la formación de los beneficiarios, a la elección sobre las producciones demostrativas y para analizar la viabilidad comercial de las propuestas técnicas. Preguntas del tipo: ¿Cuál es el riesgo de no poder devolver el préstamo inicial? ¿Cuál es el riesgo específico derivado del tamaño de la unidad productiva que se plantea? ¿Qué perfil de beneficiario puede soportar esos riesgos? ¿Cuál ha sido la evolución de los precios en la zona en los últimos años? ¿Existe un riesgo importante de cambio en la estructura del mercado local? ¿Existe un riesgo en la gestión de flujo de caja? ¿Pueden establecerse cooperativas de productores que superen los riesgos financieros y técnicos derivados de la comercialización directa? Y, desde la perspectiva de quien organiza este componente del proyecto, ¿qué es mejor, apoyar a comunidades más alejadas, con más necesidad y más riesgo de fracaso, o a comunidades más cercanas, quizá con menos necesidad pero menor riesgo de fracaso? Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 141 Programa de Evaluaciones 2006-2007 5.3. Eficiencia 5.3.1. Realización de actividades Las actividades previstas se han realizado de forma suficiente en todos los componentes, con algunos cambios en el componente productivo. El seguimiento realizado por el Ayuntamiento de Madrid muestra un elevado grado de ejecución de actividades en relación con las previstas. Durante la presente evaluación se revisó el contenido del informe final y se constató la exhaustividad de la información contenida sobre actividades del proyecto. La participación en talleres y jornadas fue muy importante. Las limitaciones sobre algunas actividades que se produjeron se encontraban suficientemente justificadas. En concreto, las limitaciones en la producción de plantas en el vivero, que no permitió alcanzar el número previsto pero generó el interés de la población de forma muy importante. La otra limitación en la actividad proviene de la dificultad para generar producción agropecuaria estable en base comunitaria y sin conexión con el proceso de comercialización. Hubo de cambiarse a una producción en base familiar, pero el componente de comercialización no pudo incorporarse. La producción comunitaria duró un año, pasado el cual los participantes se repartieron los animales entre sí. Ello llevó a pensar en constituir un banco de animales para el abastecimiento sucesivo de familias. Entre estos problemas organizativos y otros técnicos no se llegó al volumen de producción prevista en el proyecto, y no se crearon microempresas. Las actividades de producción agropecuaria tenían un componente de gestión de residuos para producción de abono orgánico, que se realizaron inicialmente pero sobre las que no hay información sobre si han fueron replicadas por otros productores. Se realizaron algunas actividades no previstas relacionadas con la participación en el seguimiento del proceso general del territorio y con algunas demandas de formación y apoyo por parte de diferentes colectivos. 5.3.2. Utilización de recursos Los recursos disponibles a través del proyecto se utilizaron de la forma prevista. El informe de auditoría del proyecto encargado por el Ayuntamiento de Madrid refleja una correcta utilización de los fondos respecto a lo aprobado, tanto la distribución presupuestaria en capítulos como en las aportaciones de cofinanciación. La utilización de recursos en función de las actividades realizadas parece adecuada. 5.3.3. Desviaciones temporales en la ejecución de las actividades No parecen haberse producido variaciones significativas en la ejecución de actividades, que se realizaron en conjunto en los 18 meses previstos. Durante la presente evaluación no se constataron desviaciones internas de los plazos de ejecución de los diferentes componentes, aunque se produjeron cambios menores, lógicos en un proceso complejo y con participación de tantos agentes diferentes. Las actividades que parecen haber presentado más variaciones respecto al cronograma previsto son las de producción del vivero y de las unidades agropecuarias. Cooperación Ciudad de Madrid 141 12671 Colombia (FF) 142 3/3/08 13:30 Página 142 Informes de evaluación. Ecuador 5.3.4. Organización de la ejecución La organización de la ejecución ha tenido un protagonismo muy importante de la contraparte local, Corporación Utopía, que incorporó en el equipo a algunos perfiles específicos para las actividades a desarrollar. El equipo inicial muy importante de la ONG española, que debió reconducir la situación inicial hasta la realización del proyecto con una contraparte diferente de la inicialmente prevista y con un plazo muy inferior al inicialmente previsto. La formulación de la propuesta había estado liderada por las propias comunidades a través del proceso de planificación estratégica previo. En este contexto resulta también remarcable la capacidad para mantener el papel de las comunidades en la valoración, la toma de decisiones y la generación de mecanismos de organización y control de los créditos. La opción ha sido muy cercana a las comunidades y ello ha permitido que éstas se apropiaran de un proceso, al menos de los componentes prioritarios para ellos, que de otra manera no hubiera sido posible. La capacidad organizativa de esas comunidades ha dado consistencia a la organización del proyecto, seriamente amenazada por las condiciones de ejecución. 5.4. Impactos 5.4.1. Contribución de las intervenciones al logro de los objetivos generales No ha resultado posible para la presente evaluación identificar impactos consistentes del proyecto en el objetivo. La definición del objetivo general y del específico no hacían posible la medición de impactos en los objetivos (no así para los resultados y las actividades, que presentaban indicadores precisos, como ya se ha indicado anteriormente). Sin embargo, parecen existir impactos generados en el entorno del proyecto y favorecedores de la situación en la zona. A continuación exponemos la dificultad de medir los impactos del proyecto en relación con el objetivo, para después identificar impactos en el territorio relacionados con el proyecto. El objetivo general del proyecto era el siguiente: “Mejorar la calidad de enseñanza y la salud en cuatro parroquias rurales y generar espacios saludables donde se promocione el cuidado del ambiente y existan alternativas productivas que permitan mejorar las condiciones de vida de sus habitantes y defender y conservar los recursos naturales del sector.” Como ya hemos señalado en el apartado sobre la formulación del proyecto, este objetivo no es sólo general, sino que relaciona elementos muy diferenciados. Si tuviéramos que definir un árbol de problemas y de objetivos asociado a ese objetivo general sería seguramente imposible hacer un único árbol. Por otro lado, se ha formulado una insuficiente conexión de los niveles de la planificación, de forma que el objetivo específico reproduce todos los componentes del objetivo general y los resultados en cambio no abordan todos los componentes ni abordan los problemas con la suficiente intensidad como para asegurar que se produzca un impacto importante. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 143 Programa de Evaluaciones 2006-2007 A la falta de consistencia metodológica cabe añadir las limitaciones de los indicadores. Si se definieran indicadores de objetivo que permitieran identificar el grado de mejora de componentes clave del objetivo, cabría pronunciarse sobre el impacto del proyecto. Por tanto, podemos identificar dos fuentes de limitaciones para el impacto del objetivo: los resultados que pretende conseguir el proyecto y los indicadores del objetivo que se identifican. Analicemos ambos aspectos con el componente “salud”, elemento principal en el proyecto. 5.4.1.1. Los resultados El objetivo general sitúa el componente de salud del objetivo en “mejorar la salud de las cuatro parroquias”. Si para la consecución de este objetivo se plantea como única estrategia la sensibilización de la población, cabe esperar resultados en la salud más limitados de esa población que si se abordara mediante la combinación de estrategias de sensibilización, de prevención y curativas. El objetivo operativo se refería a “disminuir la incidencia de patologías más frecuentes en escolares”. Esta estrategia de localización de la población diana es muy eficiente pero su impacto en el perfil epidemiológico de la población puede ser limitado si la actividad es de revisiones periódicas. A continuación presentamos algunas razones de limitación de impacto: • El proyecto no aborda la salud de los niños de 0 a 5 años, ni la de los niños no escolarizados. • El proyecto tiene como principal actividad la realización de revisiones médicas y oftalmológicas periódicas en el entorno escolar. Estas revisiones sirven para aumentar la detección de enfermedades, pero sólo en algunos casos son suficientes para la curación del episodio. • Las revisiones periódicas en la escuela presentan el sesgo del contacto con niños sanos, o al menos no suficientemente enfermos como para no acudir a la escuela. • La lucha contra las enfermedades más prevalentes en la infancia requiere de plazos temporales y estrategias de abordaje más complejas (no sólo la escuela). 5.4.1.2. Los indicadores Las limitaciones en los indicadores de objetivo propuestos por el proyecto son importantes. Obtener indicadores adecuados es un reto para todos los proyectos, tanto por su definición como por el coste de su cálculo. Sin embargo, es inevitable plantear la necesidad de que un proyecto como éste cuente con un número limitado de indicadores clave de objetivo. Dada la gran distancia entre los objetivos y los resultados, resulta tan importante como difícil producir indicadores específicos que midan variables intermedias entre la actividad del proyecto y la mejora de la morbimortalidad de la población. Las causas por las que la población padece enfermedades tiene un conjunto de factores que es muy difícil abordar con efectos a corto plazo. Al mismo tiempo, es fundamental identificar variables proxy con las que configurar indicadores de corto plazo, sensibles a los cambios a medio plazo. Una alternativa es obtener indicadores derivados de la detección de enfermedades que se hace en las revisiones. ¿Los niños se enferman cada vez menos? ¿Disminuye el porcentaje de niños que tienen episodios repetidos de la misma enfermedad? ¿Se ha reducido la exposición Cooperación Ciudad de Madrid 143 12671 Colombia (FF) 144 3/3/08 13:30 Página 144 Informes de evaluación. Ecuador a algunas infecciones, como las provenientes del agua? ¿Se ha reducido el absentismo escolar por motivos de enfermedad? Otra alternativa es obtener indicadores derivados de las acciones de promoción de la salud realizadas con los escolares. ¿Los niños han consolidado conocimientos a partir de las informaciones recibidas? ¿Pueden identificarse reducciones en comportamientos de riesgo? Para acabar con el ejemplo del componente salud, resulta importante identificar cambios asociados a las actividades del proyecto, ya sea en resultados en salud (incidencia de enfermedades) o al menos en disminución de factores de riesgo para la salud (desde mejora de agua hasta consolidación de comportamientos saludables). El impacto en el medio ambiente y en las prácticas de aprovechamiento del ecosistema de bosque húmedo es muy difícil de medir, pero el volumen de la actividad humana relacionada con el medio hace de las actividades del proyecto algo muy limitado. La pertinencia era alta, pero el impacto debe ser limitado. Refiriéndonos al conjunto de componentes, parece que el impacto directamente esperado del proyecto debiera ser limitado en cuanto a cambios en las condiciones de vida de las personas, en la situación del medio ambiente y en la producción agropecuaria. El impacto en el proceso de planificación participada y sensibilización de la ciudadanía en el territorio puede haber sido muy importante. En esta segunda orientación, parece que el papel de Utopía a través del proyecto ha marcado de forma significativa el proceso de desarrollo local. Resultaría de mayor relevancia el análisis de impacto del proyecto si el proceso de aplicación del Plan Estratégico Zonal hubiera contado con un cuadro de acciones de los diferentes actores en relación con las líneas estratégicas priorizadas. Ello permitiría ver la contribución del proyecto no sólo a la mejora de las condiciones de la población, sino también al refuerzo del proceso de desarrollo del territorio, a la coordinación interinstitucional y al papel de las comunidades y los ciudadanos. 5.4.2. Principales efectos positivos Los principales efectos positivos de la intervención que han podido ser constatados a través de la evaluación son los siguientes: • Inicio de la ejecución de un Plan Estratégico de Zona, dando valor al proceso comunitario previo que lo originó. • Apertura de un espacio de coordinación de las Administraciones públicas, las instituciones y los ciudadanos, centrado en el desarrollo local. • Liderazgo del sector salud en un proceso de desarrollo local. • Proceso de aprendizaje de líderes comunitarios y comunidades sobre el desarrollo local, sus derechos y sus potencialidades. • Refuerzo importante de la relevancia de la escuela como espacio dinámico, de participación y de mejora. • Incorporación al lenguaje público de discursos de promoción de la salud, conservación del medio ambiente y derechos de los ciudadanos (también contra la violencia intrafamiliar). • Refuerzo de acciones sanitarias con población escolar. • Institucionalización de campañas de promoción de la salud. • Experiencias puntuales de producción agropecuaria, artesanía o ecoturismo, que han permitido a algunas personas pensar en positivo sobre su futuro y el del territorio. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 145 Programa de Evaluaciones 2006-2007 5.4.3. Posibles efectos negativos No se han identificado efectos negativos derivados directamente del proyecto. Si hubiera de identificarse un efecto negativo podría ser que no se ha abordado la mejora de la calidad de la atención sanitaria por parte de ninguno de los actores del proceso8, de forma que podría haberse desaprovechado una oportunidad de sentar las bases de una mejora a medio plazo en la calidad de la atención y con ello en la salud de la población. 5.5. Viabilidad 5.5.1. Políticas de apoyo La participación creciente de las Administraciones y los servicios públicos en la zona hace pensar que van a mantenerse las políticas de apoyo al proceso, siendo esta línea una de las claves para el proceso a largo plazo. 5.5.2. Aspectos institucionales Este proyecto tiene un punto fuerte en la organización de las comunidades y en su participación conjunta en procesos de reflexión y orientación estratégica en la zona. Líderes comunitarios se han incorporado a las instituciones, especialmente en el nivel parroquial. Algunos grupos ciudadanos han desarrollado actividades de control de calidad en los servicios sanitarios o participan en labores de sensibilización para la conservación del medio ambiente. El riesgo es el de la desmovilización de la población, sobre todo en una zona cada vez más cercana a Quito. La coordinación de las instituciones trabajando en la zona parece razonablemente buena. Resulta muy importante que se mantenga. Esto dependerá de la evolución del control ciudadano dentro y fuera de los consejos parroquiales. 5.5.3. Aspectos socioculturales La organización de la ejecución se ha basado en aspectos muy cercanos a la perspectiva de los beneficiarios, por los que la viabilidad desde este aspecto parece un punto fuerte del proyecto. El proceso de planificación estratégica ha dotado de un primer elemento de viabilidad sociocultural, pero ésta deberá mantenerse durante la ejecución del Plan Estratégico de Zona y en las revisiones que puedan ser necesarias. 5.5.4. Enfoque de género El enfoque de género ha sido un elemento importante desde la formulación del proyecto. El papel de las mujeres ha quedado reforzado en las instituciones y en las actividades llevadas a cabo por le proyecto. La progresiva incorporación de mujeres a los órganos técnicos y de representación, por 8 Se entiende por mejora de la calidad de la atención sanitaria aquellas actividades directamente relacionadas con el proceso de atención al paciente y tendentes a mejorar la eficacia y o la eficiencia de esa atención. Normalmente incluye formación en el puesto, protocolización de intervenciones, modernización de métodos e instrumentos, acondicionamiento de espacios... Lo que se señala en este punto es que, en opinión de profesionales de la zona consultados, este tipo de actividades continúan siendo un reto para los servicios sanitarios del área. Cooperación Ciudad de Madrid 145 12671 Colombia (FF) 146 3/3/08 13:30 Página 146 Informes de evaluación. Ecuador un lado, y la consolidación de expectativas de mayor autonomía por parte de las mujeres de la zona son elementos importantes que el proceso ha ayudado a que se produzcan. Queda fuera de esta evaluación el análisis de las relaciones de género y los roles masculino y femenino en estas comunidades. 5.5.5. Factores tecnológicos La presente evaluación ha constatado los esfuerzos del equipo para incorporar criterios de viabilidad tecnológica en el componente productivo. Dado el limitado impacto en este componente, la falta de viabilidad tecnológica puede aducirse como causa del mismo, pero no parece la más importante. Cabría más bien achacar el problema a la dificultad de conseguir una producción rentable a corto plazo y la falta de abordaje del conjunto del ciclo de gestión de la producción. Queda por ver si la el cambio de la didáctica de lectoescritura que proponía el proyecto era viable, tanto por la competencia de los maestros como por las características de las escuelas (40% escuelas unitarias) o las expectativas de los padres. La dinámica del proyecto en este componente no parece suficiente para garantizar la viabilidad de ese cambio a gran escala en las escuelas de las cuatro parroquias. 5.5.6. Factores ambientales Los principales factores ambientales que pueden afectar la viabilidad del proyecto son la evolución del ecosistema de páramo y la evolución de los suelos actualmente cultivados por debajo del páramo. 5.5.7. Factores económico-financieros Las mejoras que se han introducido en la gestión del hospital de Nanegalito durante el proceso en el que se inscribe este proyecto han sido muy importantes, aunque no ha habido variación presupuestaria. 6. PRINCIPALES CONCLUSIONES De forma sintética se presentan las principales conclusiones de la evaluación, que han sido desarrolladas en este documento, como un esquema que facilite la discusión. Fortalezas 1. Buen conocimiento de temas de salud y de población infantil y juvenil por parte de Utopía. 2. Proceso previo de planificación estratégica comunitaria. 3. Perspectiva de proceso de desarrollo por parte de Corporación Utopía y otros actores. 4. Liderazgo del sector público sanitario en la mejora del territorio, desde una perspectiva global de salud. Cooperación Ciudad de Madrid Debilidades 1. Situación de partida muy mala en cuanto a vertebración del territorio, servicios públicos y perfil de la población. 2. Limitada capacidad del proyecto para producir cambios importantes en el perfil educativo y sanitario de la población. 3. Abordaje simultáneo de un número muy elevado de componentes sin una formulación suficiente. 12671 Colombia (FF) 3/3/08 13:30 Página 147 Programa de Evaluaciones 2006-2007 Fortalezas Debilidades 5. Pertenencia del territorio al distrito metropolitano de Quito. 6. Flexibilidad del equipo de Utopía en la ejecución del proyecto y en su participación en el proceso. 7. Existencia de potencialidades en el territorio. 8. Institucionalización de actividades como consecuencia del proceso. 9. Participación sostenida de instituciones, y creciente compromiso público (durante y después del proyecto). 4. Falta de nivel técnico o fondos suficientes en algunas de las líneas. 5. Función de oficina de ejecución del Plan Estratégico Zonal no explícita. 6. Limitada continuidad de algunas de las actividades más importantes del proceso. 7. Falta todavía de muchos recursos y organización para la mejora de la calidad en la prestación de servicios públicos básicos como la salud y la educación. 7. RECOMENDACIONES QUE PUEDEN EXTRAERSE DE LA EXPERIENCIA • Resulta muy interesante documentar los procesos de participación que producen planificaciones estratégicas comunitarias. Especialmente cuando, como es el caso de este proyecto, la participación ciudadana y la coordinación institucional han sido satisfactorias. • La puesta en marcha de planes estratégicos requiere de una planificación en la que inscribir los proyectos. En ausencia de una mínima jerarquía de planificación resulta muy difícil producir diseños adecuados de proyectos, la ejecución de los mismos puede verse entorpecida por la mezcla de componentes y puede limitarse la posibilidad de visualizar, financiar y abordar las tareas de coordinación, dinamización y documentación del proceso. • La utilización del entorno escolar como espacio de trabajo en salud es interesante por cuanto permite simultáneamente actividades curativas, preventivas y de promoción de la salud. A tener en cuenta que por sus características, puede no ser un espacio de trabajo orientado a los niños con mayores problemas de salud en esa población. • El abordaje de un gran número de componentes simultáneamente tiene efectos positivos sobre la dinámica de participación pero puede obtener resultados insuficientes. • Parece de interés retomar la perspectiva de planificación estratégica centrándose más en el componente salud, incorporando actividades de mejora de la cobertura y de la calidad de la atención y manteniendo actividades de promoción de la salud y de interés por la mejora del medio ambiente, tanto en una perspectiva de entorno saludable como en una perspectiva ecológica. • El impulso de las acciones de los diferentes actores en el territorio, tanto institucionales como sociales, ameritarían una capacitación y un apoyo al control comunitario. Cooperación Ciudad de Madrid 147 12671 Colombia (FF) 3/3/08 13:30 Página 148 12671 Colombia (FF) 3/3/08 3 13:30 Página 149 Informe de evaluación Proyecto de atención primaria de salud en el cantón de Pangua, provincia de Cotopaxi (fases I y II)* Convocatorias: 2004 (fase I), 2005 (fase II) Áreas de actuación: sociosanitaria (fase I), sociosanitaria y socioeducativa (fase II) Localización: cantón de Pangua, provincia de Cotopaxi, Ecuador Fechas de inicio: fase I: 25 abril 2005; fase II: 20 marzo 2006 Fechas de finalización: fase I: 24 abril 2006; fase II: 19 marzo 2007 Coste total: 2.508.743 euros (fase I); 2.741.403,68 euros (fase II) Aportación del Ayuntamiento de Madrid: 95.663 euros (fase I); 170.185,97 euros ONG responsable: Paz y Desarrollo Socio local: Fundación Alli Causai (FAC), para ambas fases Otras entidades participantes: - 1. BREVE DESCRIPCIÓN DE LAS INTERVENCIONES Asociación por la Paz y el Desarrollo (APD) está presente en Ecuador desde el año 1997, especialmente en la región de Sierra Central, realizando intervenciones en las provincias de Chimborazo, Bolívar, Tungurahua y Cotopaxi, donde ha trabajado principalmente con la Fundación Alli Causai (FAC). Estos dos proyectos se inscriben en una intervención de desarrollo comunitario en salud planteada por Alli Causai en la zona. La intervención pretende desarrollar un sistema integral de salud en el cantón de Pangua, provincia de Cotopaxi. Se trata de una zona de gran dificultad geográfica donde la mayoría de las parroquias y comunidades no tienen acceso al sistema de salud. La intervención se planteaba un proyecto plurianual que es dividido en tres fases por motivos de financiación. De ellas las dos primeras han sido financiadas por el Ayuntamiento de Madrid. Los principales componentes de la intervención hasta ahora puesta en marcha son: * Véase Anexo, p. 176. Cooperación Ciudad de Madrid 12671 Colombia (FF) 150 3/3/08 13:30 Página 150 Informes de evaluación. Ecuador • Implementación de la estrategia DOTS comunitaria de lucha contra la tuberculosis. • Desarrollo de la atención primaria de salud de forma concertada con la Administración pública y con base comunitaria. • Desarrollo de la estrategia de escuelas saludables. 2. DESCRIPCIÓN DE LA ESTRUCTURA DE INTERVENCIÓN EN LA QUE SE INSERTA EL PROYECTO La presente evaluación se refiere a dos proyectos consecutivos que forman parte de una intervención en salud que la Fundación Alli Causai (FAC) ha definido para la zona a partir de su experiencia en promoción de la salud y desarrollo de servicios sanitarios a comunidades rurales en la zona. La actividad de la FAC en la zona se inicia en 1983 con la implementación del componente salud de un proyecto de una organización indígena de la provincia de Bolívar, y en coordinación con la estructura local estatal. En el año 1987 los miembros del equipo inicial se unieron a otros profesionales para constituirse institucionalmente y coordinar programas de salud integral a solicitud de campesinos indígenas de otras provincias. Desde entonces se han desarrollado programas de capacitación de promotores de salud comunitarios y actividades de saneamiento básico. A la actividad de promoción de la salud en estrecha colaboración con las comunidades que representa el trabajo con promotores de salud se añadieron posteriormente actividades específicas en tuberculosis y la prestación de servicios sanitarios a través de un hospital de baja complejidad construido con financiación de Intermón Oxfam en la ciudad de Ambato. La FAC es una organización con vocación de permanencia en la zona de intervención y de desarrollo de las actividades comunitarias hacia planes de salud con perspectiva integral. Sus intervenciones relacionadas con los proyectos evaluados, en la zona del mismo y en otras zonas, son: Año Título del proyecto Ubicación Cofinanciadores 1983 Programa de búsqueda de tuberculosis. Comunidad La Plancha, provincia de Tungurahua. Joanniter Alemania 1983 Atención integral de salud a grupos de mujeres indígenas. Cuenca del río Simiatung, provincia de Bolívar. Swisaid 1987 Atención médica integral y formación de promotores en salud. Riobamba, provincia de Chimborazo. Broederik Dellen 1988 Programa preventivo de vacunación de escolares y formación de promotores en salud. Cantón Ambato, provincia de Tungurahua. Cafod 1987-1994 Capacitación agropecuaria e instalación de sistemas de agua. Cantón Ambato, provincia de Tungurahua. VIC VOLENS 1996-2000 Programa de desarrollo integral y salud con 12 organizaciones de primer y segundo grado. Cuatro provincias de la zona central andina. INTERMÓN AECI Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 151 Programa de Evaluaciones 2006-2007 Asimismo, la APD viene realizando desde 1997 diversos proyectos en colaboración con la FAC. A continuación se expone la secuencia de proyectos en las que ambas organizaciones han colaborado en Ecuador, tanto en el área salud como en otras áreas. El proyecto objeto de la presente evaluación complementa estos proyectos. Año Título del proyecto Ubicación Cofinanciadores 1999 Programa de erradicación de la tuberculosis en una zona de la región central andina. Cuenca del río Simiatung, provincia de Bolívar. Comunidad de Murcia 1999 Atención primaria de salud a comunidades indígenas. Cuenca del río Simiatung, provincia de Bolívar. Ayuntamiento de Cáceres 2000 Sistema de agua potable para la comunidad de La Florida. Cuenca del río Simiatung, provincia de Bolívar. Ayuntamiento de Córdoba 2000 Sistema integral de abastecimiento de agua potable para la comunidad indígena del Chiclo-La Esperanza. Cuenca del río Simiatung, provincia de Bolívar. Ayuntamiento de Murcia 2002 Manejo de granjas agroecológicas altoandinas de la provincia de Cotopaxi. Provincia de Cotopaxi. Ayuntamiento de Madrid Otros proyectos que la APD ha llevado a cabo en Ecuador con otras contrapartes son: • Desarrollo rural comunitario para indígenas del cantón Saquisilí; ubicación: comunidad Toldo Hurco, cantón Saquisilí, provincia de Cotopaxi; contraparte: Instituto de Estudios Ecuatorianos (IEE). • Fortalecimiento de la capacidad productiva y organizativa de indígenas en el cantón Saquisilí; ubicación: cantón Saquisilí, provincia de Cotopaxi; contraparte: IEE. • Reactivación de la producción ganadera de alpacas entre 50 familias indígenas integradas en la cooperativa agrícola Cotopilaló; ubicación: provincia de Cotopaxi; contraparte: IEE. La intervención evaluada forma parte de un posicionamiento de trabajo de la Asociación Paz y Desarrollo en mejora de las condiciones básicas de vida de las poblaciones rurales de las provincias de Sierra Central. La iniciativa de la propuesta del proyecto nace de la contraparte local, Fundación Alli Causai, y es gestionada por ella, desde el diseño y redacción de la formulación del proyecto hasta la gestión de la acción después de finalizado el proyecto, pasando por la ejecución y seguimiento del mismo. La ONG española y la fundación ecuatoriana tienen proyectos en común desde hace unos años. Otras instituciones relacionadas con la intervención a través de acuerdos específicos son: • Dirección sanitaria del área de salud (dirección del hospital de Corazón). • Municipalidad de Pangua. • Red de Educación Bilingüe y Red de Educación Hispana (Ministerio de Educación). Un número variable de comunidades han participado en los procesos de detección activa de tuberculosis, escuelas saludables y para el proceso de reflexión para el plan de actuación en salud. Cooperación Ciudad de Madrid 151 12671 Colombia (FF) 152 3/3/08 13:30 Página 152 Informes de evaluación. Ecuador 3. VALORACIÓN DE LOS DOCUMENTOS DE FORMULACIÓN 3.1. Antecedentes y justificación Los documentos de formulación de ambas fases presentan una detallada exposición de los antecedentes de la propuesta del proyecto. Cabe señalar que el documento de formulación de la fase II se presenta el mismo mes en que comienza la ejecución de la fase I del proyecto. Esto hace que los primeros apartados de ambas formulaciones sean prácticamente iguales. La justificación de la propuesta parece adecuada en términos generales pero, aparte de anexar los árboles de problemas y objetivos, el documento de formulación no se acompaña de informes o fuentes de datos que ratifiquen los indicadores que se exponen en el apartado de justificación. En cuanto al área de intervención o a las áreas de intervención, ya que varían según componentes, aunque se define como área el cantón de Pangua, las actividades del proyecto no se realizan en todo el cantón. Esto se confirma posteriormente en los informes de ambas fases. La población del cantón era de 19.877 habitantes según el censo del 2001, distribuidos en cuatro parroquias: El Corazón (6.193 habitantes), Moraspungo (10.949), Pinllopata (908) y Ramón Campaña (1.827). La elección de las escuelas para la línea correspondiente tiene criterios claros. La ONG informa de que los participantes del proyecto del cantón Pangua son colonos provenientes del cantón Bolívar, parroquia de Simiatug, provincia en la que se realizó el primer trabajo de tuberculosis; éste fue uno de los motivos por los cuales se seleccionaron a las comunidades del cantón Pangua, debido a que ambas provincias mantienen estrechos vínculos sociales, económicos , culturales y familiares de pacientes con tuberculosis que actualmente residen en las comunidades seleccionadas para realizar la búsqueda activa de TB. Además, la presente intervención fue circunscrita en la zona en base a tres criterios que tienen como fundamento evaluaciones realizadas previamente al trabajo y que son: • Porcentaje de pobreza. • Condiciones organizativas de la comunidad. • Antecedente de estar emparentados con la zona de parroquia de Simiatug. En opinión del evaluador, estos criterios son necesarios para alcanzar el éxito del programa de tuberculosis con apoyo comunitario, no son criterios epidemiológicos y no comparan la necesidad de intervenir en otras enfermedades problemáticas en la zona. Es por tanto una continuación de la intervención vertical en tuberculosis de la FAC con la población en una parroquia limítrofe, siguiendo el desplazamiento de población hacia el cantón Pangua. Parece muy justificada una intervención en atención primaria desde una perspectiva global, con fuerte componente de participación comunitaria y el intento de incorporar a los servicios sanitarios públicos. El hecho de que la FAC hiciera esta propuesta añadía validez, por cuanto aportaba experiencia, interés institucional y relaciones en la zona, tanto con algunas comunidades como con profesionales públicos aunque, como se ha señalado, no se pudo desarrollar un proyecto de atención primaria integral. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 153 Programa de Evaluaciones 2006-2007 3.2. Lógica de la intervención Los dos proyectos analizados son las fases I y II de un proyecto que se presentó inicialmente como un único proyecto de dos años. La necesidad de fraccionarlo por motivos de financiación ha provocado seguramente problemas de gestión de la intervención pero, sobre todo, ha disminuido, de hecho, el plazo de las actividades. En este sentido, la definición de la segunda fase no incorpora entre los resultados y las actividades el seguimiento de lo realizado en la primera fase. Esto es especialmente preocupante para el componente de lucha contra la tuberculosis1. Este fraccionamiento de la lógica de la intervención ha disminuido la cohesión entre las fases y, por tanto, ha debilitado el proyecto. El plan de ejecución de ambas fases contiene una definición de objetivos y actividades. Se ha hecho un importante esfuerzo en la identificación de indicadores, tanto de objetivos como de resultados. La definición de cada fase mantiene casi inalterado el objetivo general, introduce pequeños cambios en el objetivo específico y distribuye los resultados entre las dos fases, sin que se defina el seguimiento que de los resultados de la fase I se haga en la fase II. La visita sobre el terreno ha permitido identificar la presencia continuada de la FAC sobre el terreno, cerca de las comunidades y de los promotores, aunque no ha sido posible obtener información suficiente sobre la continuidad entre fases ni sobre el modelo integral de atención primaria. A continuación se presentan en una tabla los objetivos y los resultados de ambas fases, para a continuación discutir sobre la lógica de la intervención que se puede deducir. Fase I Fase II Objetivo general Mejoradas las condiciones de vida de la población a través del desarrollo de un sistema regional integral de salud, implementando un modelo de atención centrado en la organización de la comunidad, con el aporte de todas las instituciones estatales y privadas. Desarrollo de un sistema regional integral de salud que busque la mejora de las condiciones de vida. Objetivo específico Garantizada la atención primaria en salud en el cantón de Pangua, a través de la capacitación del personal de salud, los grupos de opinión y la población en general, con especial atención al componente preventivo asistencial para bajar los niveles de tuberculosis. Implementado un sistema local de salud que reduce la mortalidad infantil de enfermedades prevalentes. 1 La ONG señala que “La gestión que viene realizando la fundación junto con el Ministerio de Salud en la zona es un proceso permanente en cuanto al seguimiento a los pacientes se refiere por lo que no existe un tiempo definido que coincida con las actividades ejecutadas en el proyecto, estando este proceso de seguimiento abierto a la recepción de resultados de laboratorio, a la adecuación del tratamiento realizado previamente así como a la norma vigente en el MSP para el “Programa nacional de TB” en relación a la quimioprofilaxis antituberculosa de los contactos menores de cinco años, de acuerdo a las recomendaciones internacionales; por lo tanto, a pesar de que el proyecto no contemplaba directamente el seguimiento ni la búsqueda de TB debido a las limitaciones financieras, este trabajo se ha realizado aprovechando las visitas y logística para darle continuidad y seguimiento al tratamiento, así como apoyo a promotores responsabilizados en cada comunidad. En el informe presentado se anexan los cronogramas mensuales de trabajo en los que se aprecian las actividades de seguimiento en TB, así como un listado de pacientes nuevos detectados con TB y en tratamiento”. El evaluador señala que las actividades de tuberculosis no se han incorporado en el informe de la segunda fase del proyecto, debido a la división en dos fases. No se incorporaron estas actividades en la segunda fase, perdiéndose parte de la lógica de la intervención. Cooperación Ciudad de Madrid 153 12671 Colombia (FF) 154 3/3/08 13:30 Página 154 Informes de evaluación. Ecuador Resultados Fase I Fase II Se eliminó este resultado y se pasó, con pequeños cambios en la formulación, a R2 de la fase II. R1. Profesores y profesoras capacitados en la resolución de enfermedades prevalentes, uso de agua y servicios sanitarios. R2. Reducidos los niveles de tuberculosis, mediante la ruptura de la cadena de transmisión de la enfermedad y el tratamiento de los pacientes positivos en TB. R2. Actualizados los conocimientos en el manejo de algoritmos de los problemas prevalentes. R3. Implantación e impulso de un modelo de atención primaria integral. R3. Mejorada la capacidad resolutiva del área 6 del Ministerio de Salud Pública. R4. Escuelas de las zonas rurales periféricas del cantón de Pangua serán examinadas por un equipo médico odontológico y se resolverán los problemas clínico-quirúrgicos de baja complejidad en el hospital distrital del área 6. R5. Escuelas mejorarán sus condiciones sanitarias implementadas. R6. Tecnólogos preferentemente mujeres y jóvenes se prepararán en atención primaria de salud y se integrarán al equipo educativo de cada escuela. 3.3. Objetivos El objetivo general de ambas fases se centra en conseguir un sistema regional integral de salud. En la primera fase se caracteriza parcialmente ese concepto, al relacionarlo con “un modelo de atención centrado en la organización de la comunidad, con el aporte de todas las instituciones estatales y privadas”. Este planteamiento parece implicar tanto atención sanitaria como prevención y dar un papel principal a la comunidad y también a los servicios sanitarios, con el objetivo de mejorar las condiciones de vida de la población. No queda claro a qué se refiere el adjetivo “integral” y por tanto qué implicaciones tiene ese concepto de “sistema regional integral de salud” en la formulación y diseño del proyecto. La FAC plantea de forma implícita en los documentos y, de forma explícita durante la evaluación, una visión de este concepto que el evaluador no comparte completamente y que intentará reflejarse a lo largo del presente documento. Los objetivos específicos de ambas fases se orientan hacia la atención primaria (AP), aunque con definiciones diferentes, siendo más general el objetivo de la primera fase que el de la segunda. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 155 Programa de Evaluaciones 2006-2007 En la definición del objetivo específico de la primera fase se puede visualizar el planteamiento de la FAC sobre qué es AP. En la redacción se expone que se pretende “asegurar la atención primaria de salud” a través de “la capacitación del personal de salud, los grupos de opinión y la población en general”. Desde hace años la mayoría de expertos señalan la necesidad de dar una gran importancia a la mejora de la calidad de la atención en los servicios sanitarios dentro de las estrategias de desarrollo de la atención primaria. Esto no es incompatible con una apuesta decidida por el empoderamiento en salud de las comunidades, pero no pueden esperarse resultados en salud exclusivamente a través de la formación de profesionales y comunidades. En la definición del objetivo específico de la primera fase se visualiza el segundo punto del planteamiento de la FAC. El objetivo plantea una “especial atención al componente preventivo asistencial para bajar los niveles de tuberculosis”. Esta apuesta por la lucha contra la tuberculosis contrasta con el planteamiento general, centrado en la formación. Este planteamiento, reforzado a través de las actividades, supone la introducción de un programa vertical de tuberculosis sin un estudio epidemiológico previo sobre enfermedades más prevalentes en la zona. Aun así, cabe señalar que los programas de tuberculosis suelen ser programas verticales aconsejados por su impacto en poblaciones vulnerables. Los programas verticales en países de renta baja han sido incorporados por la OMS a la estrategia de desarrollo del distrito sanitario. Conciliar la mejora progresiva de la cobertura y la calidad de los servicios sanitarios de base territorial con la lucha específica contra determinadas enfermedades resulta una estrategia eficiente para la mejora de la salud de las poblaciones en muchos países. No se pone en cuestión la pertinencia, pero sí la formulación del proyecto en tanto que es el medio para conseguir un sistema integral de salud. 3.4. Resultados El plan de ejecución de la primera fase parece que no fue adaptado suficientemente al cambio en la lógica de la intervención que se derivaba del cambio en la financiación. Se incluyen tres resultados, dos de ellos en principio factibles y un tercero extraordinariamente difícil de conseguir en un año. Veámoslos uno a uno: • R1. Formación de personal paramédico. Este resultado se eliminó desde la propuesta inicial, pasándose a la fase II. • R2. Lucha contra la tuberculosis. La aplicación de la estrategia DOTS en el primer año es perfectamente posible. No puede en cambio hablarse de ruptura de la cadena de transmisión en un año y con las actividades previstas. En el informe del proyecto se señaló que hacen falta tres años para poder ver si se ha roto la cadena de transmisión de la enfermedad. Sorprende que no se consignara esta información en el documento de formulación. • R3. Implantación e impulso de un modelo de atención primaria integral. Tanto la definición como los indicadores de este resultado no ofrecen una visión clara de lo que se pretende. Si se analizan las actividades asociadas, se percibe que se trata de un proceso de reflexión con las comunidades y de discusión con los responsables sanitarios para producir un plan participado de acción en salud, en principio para el conjunto del cantón, y que incluye la negociación con la jefatura sanitaria provincial de un modelo de atención primaria integral. Cooperación Ciudad de Madrid 155 12671 Colombia (FF) 156 3/3/08 13:30 Página 156 Informes de evaluación. Ecuador Un proceso participativo de este tipo no puede asegurar que se pueda definir e implantar un modelo de atención primaria integral en un año. Las actividades que se han realizado en ese año tienen que ver con tuberculosis (resultado 2)2. En la segunda fase no hay resultados de seguimiento de los componentes “tuberculosis”3 y “modelo de atención primaria integral” de la primera fase. Los resultados se centran en formación de profesionales sanitarios (del Ministerio y formación de pregrado de “tecnólogos”) y desarrollo de escuelas saludables (incluye formación a profesores). Tres resultados se refieren al componente escuelas saludables: • R1. Profesores y profesoras capacitados en la resolución de enfermedades prevalentes, uso de agua y servicios sanitarios. Resulta difícil imaginar qué papel pueden jugar los maestros en “resolver enfermedades prevalentes” (IOV1.1)4. La actividad consiste en un taller por enfermedad (enfermedades respiratorias, dermatológicas, diarreas y salud oral). • R4. Escuelas de las zonas rurales periféricas del cantón de Pangua serán examinadas por un equipo médico odontológico y se resolverán los problemas clínico-quirúrgicos de baja complejidad en el hospital distrital del área 6. Este resultado se realiza a través de un proceso de selección por el que se llega a un número limitado de escuelas. Los indicadores de este resultado parecen no relacionados con la actividad, ya que mientras el indicador se refiere a la implementación de un programa integral médico-odontológico, la actividad es la de realizar una única campaña de revisión de la salud de los alumnos y posteriormente tratar los problemas quirúrgicos de baja complejidad. • R5. Escuelas mejorarán sus condiciones sanitarias implementadas. Este resultado consiste en el acondicionamiento y construcción nueva de letrinas en las escuelas, junto con actividades de información sobre uso y mantenimiento de las letrinas y de prácticas de higiene. Dos resultados sobre la mejora de la atención sanitaria pública: • R2. Actualizados los conocimientos en el manejo de algoritmos de los problemas prevalentes (personal sanitario). Información para el personal sanitario (personal paramédico). Actividad de formación mediante talleres bimensuales que no se acompaña de apoyo a la aplicación de los conocimientos adquiridos ni recogida de información para identificar mejoras en la calidad de la atención. Este resultado es el mismo que el R1 de la fase I. • R3. Mejorada la capacidad resolutiva del área 6 del Ministerio de Salud Pública. La actividad de este resultado consiste en dos encuentros con personal sanitario, uno sobre calidad de la atención y otro sobre estrategia DOTS para tuberculosis. No se realizan actividades en el lugar de trabajo ni se definen variables ni indicadores para intentar valorar si se mejora la capacidad resolutiva. En cuanto a formulación, este resultado no tiene en cuenta que la resolución de un nivel de atención depende de diversos factores, no sólo de motivación y formación del 2 La ONG señala que “En esta fase se ha realizado un diagnóstico de base documental y cualitativa con entrevistas a informantes clave que ha culminado con un documento entregado y cuyo proceso de reflexión continúa en este momento en las comunidades. Dicho documento está estrechamente relacionado con todo el proceso de trabajo de la segunda fase manteniéndose la actividad central en las mismas zonas de intervención y con los mismos actores que en la primara fase”. 3 La ONG señala que “Para verificar el tratamiento y seguimiento están a disposición las cartillas de tratamiento de la FAC”. 4 La ONG señala que “Es relevante señalar la presencia de los profesores en las comunidades y su rol de líderes comunitarios, no sólo en educación sino en el desarrollo integral de la comunidad, tomando en cuenta que el modelo de atención en salud no está previsto a medio plazo y se requiere construir un puente que acerque a las comunidades al sistema de salud, con la finalidad de facilitar enfermedades preventivas, curativas y promocionales de la salud a través de la escuela”. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 157 Programa de Evaluaciones 2006-2007 personal (también la existencia de capacidad de apoyo al diagnóstico, material médico y medicamentos o protocolos de actuación). Este resultado sólo presenta un indicador y éste no es medible, ya que no se define en qué consiste y cómo se mide el “personal de salud comprometido en mejorar la capacidad resolutiva del área 6”, y no puede decirse que la motivación sea suficiente para que se realicen acciones de mejora. Un resultado de refuerzo de la capacidad de atención sanitaria: • R6. Tecnólogos preferentemente mujeres y jóvenes se prepararán en atención primaria de salud y se integrarán al equipo educativo de cada escuela. Se inicia en el marco de este proyecto el primer año de tres de una formación avalada por la universidad y adaptada a las posibilidades de un grupo de personas de las comunidades, que recibirán una formación superior a la de promotor de salud. Una vez termine el tecnologado trabajarán como profesores de Ciencias naturales y Salud de las escuelas de sus comunidades para facilitar la aplicación de la reforma curricular donde la salud es un eje transversal, dentro de un convenio establecido con el Ministerio de Educación y como parte del convenio con el MSP apoyando en las unidades operativas a través del Programa PASE (Programa de Atención en Salud para el Ecuador). 3.5. Indicadores Los objetivos específicos y las actividades poseen indicadores. Muchos de los indicadores tienen metas e intentan combinar indicadores epidemiológicos de actividad del proyecto y de resultados en organización o información. El esfuerzo de dotar al diseño del proyecto de un sistema de indicadores es remarcable y se ha visto afectado por la separación del proyecto inicial en fases, ya que no se hicieron correcciones. El esquema de indicadores es el siguiente: Del objetivo específico Indicadores FASE I Indicadores FASE II IOV1. Disminución de la incidencia de las enfermedades más frecuentes en menores de cinco años. IOV2. Disminución de la tuberculosis al promedio nacional. IOV3. Nivel de participación de los usuarios en las decisiones políticas de salud a escala cantonal. IOV1. En las estadísticas de salud cantonales se reduce la morbilidad y mortalidad infantil de las enfermedades prevalentes en un 10% anual. Indicadores (R1 se pasó a fase II en la reformulación). de resultados R1. Profesores capacitados para resolución de enfermedades prevalentes. IOV1.1. 85% de los profesores en capacidad de resolver enfermedades prevalentes. R2. Actualizados conocimientos en manejo de algoritmos de los problemas prevalentes. IOV2.1. 85% del personal paramédico capacitado en el manejo de algoritmos de las enfermedades prevalentes. Cooperación Ciudad de Madrid 157 12671 Colombia (FF) 158 3/3/08 13:30 Página 158 Informes de evaluación. Ecuador Indicadores FASE I Indicadores de R2 resultados IOV 2.1. Disminución de la TB al promedio nacional (52,5%). (cont.) IOV 2.2. 20% de la población del cantón ha participado en la búsqueda activa de la TB. IOV 2.3. 100% de los pacientes tratados. Indicadores FASE II R3 Mejorada la capacidad resolutiva del área 6 MSP. IOV3.1. 85% del personal profesional comprometido en mejorar la capacidad resolutiva del área 6. R4. Exámenes médico-odontológicos en escuelas rurales periféricas y se resolverán los problemas clínico-quirúrgicos de baja complejidad. IOV4.1. 20 escuelas implementan un programa preventivo integral médico-odontológico. IOV4.2. 100% de problemas quirúrgicos de baja complejidad diagnosticados en las escuelas habrán sido resueltos. R3 IOV 3.1. Un modelo de atención primaria integral funcionando en un 80%. IOV 3.2. Disminuidos los índices de morbilidad y mortalidad en un 30% en el cantón Pangua. IOV3.3. Un documento de acción en materia de salud creado a raíz de los encuentros entre diversos organismos e instituciones. IOV3.4. Un sistema de control epidemiológico creado para el cantón. R5. Escuelas mejorarán sus condiciones sanitarias implementadas. IOV5.1. Baterías sanitarias mejoradas o rehabilitadas. R6. Tecnólogos preferentemente mujeres y jóvenes se prepararán en AP y se integrarán al equipo educativo de cada escuela. IOV 6.1. 20 estudiantes asisten a los cursos. En la primera fase: • El primer indicador del objetivo específico hace referencia a la disminución de la incidencia de enfermedades prevalentes en menores de 5 años (EDA e IRA)5, sin dejar claro a qué estrategia obedece esa limitación. Se entiende que este indicador pierde validez por haber sido eliminado el resultado 1 y pasado a la fase II (aunque conceptualmente de la formación del personal a la mejora de la salud de la población hay algunos pasos intermedios que suelen producirse sin intervención). • El segundo indicador (disminución de la tuberculosis al promedio nacional) tiene el problema de no ser suficientemente preciso (¿en qué área geográfica?, ¿qué indicador de tuberculosis?) y ser excesivamente ambicioso (parece imposible tener una serie temporal suficientemente válida en un año para constatar un descenso relevante de los indicadores epidemiológicos). • El tercer indicador (nivel de participación de los usuarios en las decisiones políticas de salud a escala cantonal) no es preciso (¿en qué consiste la participación?, ¿qué efectos debe tener?) y no parece tener una relación causal directa y suficiente con la consecución del objetivo (garantizada la AP). Si los usuarios participan en las decisiones políticas pero no hay presupuesto para aumentar la tasa de cobertura y la calidad asistencial, ni se pueden mejorar a corto plazo los sistemas de agua y saneamiento, no se entiende cómo ese papel de los ciudadanos puede hacer que contraigan menos enfermedades o se curen mejor en el primer año de esa estrategia. 5 EDA: Enfermedad Diarreica Aguda. IRA: Infección Respiratoria Aguda. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 159 Programa de Evaluaciones 2006-2007 En el mismo sentido, si como dice el objetivo se da formación a la población sobre, por ejemplo, medidas de higiene, la proporción de personas que disminuyen su exposición a riesgos derivados de comportamientos poco higiénicos será baja, debido tanto a factores psicológicos (resistencias al cambio de hábitos) como a factores materiales (no han cambiado los riesgos de infección presentes en el entorno de las personas). Para conectar formación y mejora de la salud falta identificar actividades que faciliten el que un número importante de personas pasen de estar informados a tener hábitos saludables e indicadores que midan efectos a corto plazo que hagan más probables los cambios a medio y largo plazo. No puede esperarse que una acción puntual de formación más el simple paso del tiempo tengan un efecto a largo plazo en la salud de la población. Y la labor de refuerzo continuado que pudieran hacer los promotores de salud debería tener la suficiente intensidad y realizarse durante mucho tiempo para consolidar un cambio de hábitos amplio, con lo que debería medirse su actividad a través de indicadores de corto plazo. Finalmente, toda esa actividad de educación y promoción de la salud tendrá efectos más limitados en la población si paralelamente no se mejora la atención sanitaria a las personas que se ponen enfermas. Sobre los indicadores de resultados, señalar en general que algunos se refieren sólo a la actividad (IOV1.1, IOV1.3). En la segunda fase el indicador elegido para el objetivo específico es un indicador muy exigente, ya que: • Se refiere a resultados en salud (en el mismo año del proceso de concertación hacia un nuevo modelo de salud, sin que el proyecto haya reforzado la atención sanitaria existente de forma intensiva). • Recogidos en las estadísticas del Ministerio (sin que el proyecto haya reforzado el sistema de vigilancia epidemiológica). • Con un efecto muy importante y generalizado (10% de reducción anual en las enfermedades prevalentes, poco plausible en ese plazo, con esa generalidad y esa intensidad). Esta fase sólo tiene un indicador del objetivo, que coincide con el primer indicador del objetivo de la fase I. Sorprende que se hayan abandonado los otros dos objetivos en la fase II: la lucha contra la tuberculosis y la participación de los ciudadanos en las decisiones sobre salud. Ambas estrategias requieren de tiempo para tener resultado, por lo que si el proyecto continúa no parece lógico abandonar esas líneas de trabajo aunque el proyecto original se haya dividido en dos fases. Esto es una afirmación sobre la formulación del proyecto, ya que pudieron realizarse actividades no previstas en la fase II relacionadas con ambos componentes. No parece claro cómo se pueden medir algunos indicadores de los resultados (IOV1.1 y IOV3.1). 3.6. Otros elementos de la lógica de la intervención • El presupuesto del proyecto parece suficientemente detallado y adecuado. La cofinanciación planteada no parece adecuada, ya que incluye el coste del hospital de al FAC. Este dispositivo tiene un papel muy limitado en la ejecución del proyecto, más allá de las actividades de laboratorio financiado por el mismo proyecto en la fase I. La contabilización del coste del hospital no es correcta. • El plazo de ejecución parece insuficiente para las transformaciones tan ambiciosas que plantea el proyecto, incluso con el trabajo previo realizado por la contraparte en la zona y su excelente equipo de trabajo sobre el terreno. Cooperación Ciudad de Madrid 159 12671 Colombia (FF) 160 3/3/08 13:30 Página 160 Informes de evaluación. Ecuador 4. VALORACIÓN DE LOS PERIODOS DE EJECUCIÓN La ejecución del proyecto ha cumplido sustancialmente con los plazos previstos. Sólo algunas actividades sufrieron retrasos por causas ajenas a la FAC (el más importante retraso quizá sea el del inicio de la formación del tecnologado) o por la dinámica participativa de elección de participantes (como en la elección de las escuelas). La división del proyecto en dos fases como se ha hecho no ha afectado al periodo global de ejecución, pero sí a la distribución de actividades en ese periodo. La presentación de informes por parte de la FAC ha generado retrasos importantes y sistemáticos. Esto, añadido a que el contenido de los informes incluye imprecisiones y lagunas de información, hace pensar que la FAC no se ha dotado del dispositivo o la organización del trabajo necesaria para realizar las tareas de reporte de forma adecuada. La visita sobre el terreno ha permitido observar que el proyecto y sus participantes han generado un volumen de información relevante que no se ha incorporado suficientemente, de forma que parte de las decisiones correctas tomadas y de la excelente actividad de campo realizada quedan poco documentadas. 5. CRITERIOS DE EVALUACIÓN 5.1. Pertinencia 5.1.1. Adecuación del proyecto a prioridades Este proyecto se ejecutó antes de la entrada en vigor del Plan Estratégico de Actuación en Ecuador, del Ayuntamiento de Madrid. A pesar de ello, tanto el área geográfica como las líneas de actuación incluidas en el proyecto están muy alineadas con el Plan Estratégico, en lo referente a los Objetivos del Milenio y a algunas de las estrategias definidas para su consecución en el plan. Fundamentalmente con: • Objetivo 4 (reducir la mortalidad en la infancia), en la estrategia de salud en el entorno escolar y en la de promoción de la salud.. • Objetivo 6 (combatir el VIH/SIDA, la malaria y otras enfermedades), especialmente en la lucha contra la tuberculosis y la mayor parte de estrategias identificadas. La provincia de Cotopaxi es una de las incluidas en la zona Sierra Central, el área territorial más definida por el Plan Estratégico de Actuación del Ayuntamiento de Madrid. En el área de la intervención se concentran niveles de pobreza y de falta de servicios básicos y de servicios públicos como la salud, tanto por problemas del estado para aprovisionar de forma eficaz esos servicios, como por la distribución de la población y las grandes dificultades de acceso que se existen en una importante área del cantón de Pangua. La voluntad de presencia a largo plazo de la FAC en la zona, junto con los incipientes compromisos de aportación de recursos por parte de la municipalidad y de coordinar algunas actividades por parte del área 6 hacen pensar que se cumplen los requisitos principales definidos en el Plan Estratégico de Actuación en Ecuador del Ayuntamiento de Madrid. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 161 Programa de Evaluaciones 2006-2007 El proyecto incorporaba las cartas de compromiso de las organizaciones inicialmente implicadas y cartas de apoyo de las autoridades locales. Los acuerdos parecen en algún caso insuficiente para garantizar una participación suficiente como para poder hablar de estrategia conjunta para el cantón. La visita de evaluación ha permitido constatar la existencia de un interés muy importante de la población de algunas zonas (el área en el que se ha intervenido), lo cual constituye un factor más que apoya la tesis de una alta pertinencia del proyecto. 5.1.2. Origen de la iniciativa La pertinencia del proyecto desde el punto de vista del origen de la intervención es alta, dado que la FAC llevaba tiempo con pequeñas intervenciones en la zona, lo que le había llevado a tener la confianza de algunas comunidades del cantón, a tener un cierto nivel de interacción con autoridades sanitarias y ser identificado como actor en salud por otros actores institucionales, como la municipalidad o la Red de Escuelas Bilingües. La falta de accesibilidad de amplias zonas del cantón a servicios sanitarios, tanto por limitaciones de la red como por falta de cobertura de muchos puestos de personal sanitario, junto con los problemas económicos y de salud de la población, configuran un escenario en el que una iniciativa como ésta, que busca reforzar la atención primaria en la zona, parece altamente pertinente. Otro tema es que las características del proyecto, como se ha señalado en el apartado sobre la formulación, respondan de forma insuficiente a las necesidades de mejora de la salud de la población y con ello la iniciativa que representa este proyecto sea algo menos pertinente por dar una respuesta muy incompleta a unos problemas muy importantes. La pertinencia de abordar un programa vertical de lucha contra la tuberculosis parece importante, aunque no se apoye en información epidemiológica previa. La pertinencia de este componente puede verse limitada por el bajo porcentaje de la población a la que alcanza y por el hecho de que en la segunda fase no se recoge este componente en el proyecto6, con lo que no disponemos de información sobre la continuación y pudiera parecer una acción puntual en tuberculosis, que la hace menos pertinente que una acción continuada. En principio la vocación de continuidad de la FAC en el área trabajando con las comunidades y el interés y compromiso creciente de los actores institucionales en la salud en el cantón aportarían mayor pertinencia al proyecto, al colocarlo en un contexto de trabajo a largo plazo con las comunidades. Específicamente el proceso de participación ciudadana parece haber sido muy importante, tanto por la relevancia que le otorga la FAC como por la respuesta de las comunidades. La participación de un número importante de comunidades y de personas en el proceso de reflexión sobre el documento de prioridades en salud le da un gran valor. La motivación de una parte de los ciudadanos parece haber sido muy alta, aunque los medios a corto plazo para mejorar la salud de la población fueran escasos. 6 La ONG señala que “Al ser un programa integral de atención y no sólo control de la enfermedad y a pesar de que en la segunda fase no se recoge de manera explícita el componente de seguimiento y detección de la TB, el control está garantizado dentro de las actividades que la FAC cumple en el área de salud en conjunto con el MSP”. Cooperación Ciudad de Madrid 161 12671 Colombia (FF) 162 3/3/08 13:30 Página 162 Informes de evaluación. Ecuador 5.1.3. Complementariedad con otras acciones Parece que el proyecto se inscribe en una intervención que busca la coordinación y participación de otros actores institucionales y, de hecho, el proyecto ha realizado acciones en este sentido y ha permitido aumentar la perspectiva de coordinación de los responsables sanitarios y la perspectiva de invertir en salud de la municipalidad. No se han identificado durante la evaluación otros actores en salud en el cantón o al menos no parece haber otros actores en salud implantados en el cantón, aparte de la sanidad pública y el seguro social, aunque en el pasado algunos proyectos incorporaron algún componente en salud. En este sentido, por ejemplo, el informe de la FAC señala que una intervención previa en tuberculosis afectó positivamente a la población infantil de un área, produciendo mejores resultados en la presente intervención. Sí existen y han existido otras acciones de desarrollo que pueden afectar positivamente al los condicionantes de la salud en el cantón, como acciones de agua y saneamiento o de mejora de la producción agropecuaria, pero parecen tener una baja conexión con el proceso en salud que representa esta intervención. 5.1.4. Valoración de los colectivos beneficiarios y cobertura de la intervención En orden a analizar la pertinencia del proyecto desde el punto de vista de a quién beneficia, analizamos primero la identificación de colectivos, para después realizar consideraciones sobre la cobertura de necesidades que parece permitir el proyecto, tanto en relación al porcentaje del colectivo directamente beneficiario como a la intensidad previsible de ese beneficio, cuando esa determinación sea posible. La definición de los beneficiarios del proyecto en sus diferentes componentes ha sido correcta en su orientación, por cuanto se identifican colectivos asociados a algunos resultados previstos, aunque no a todos los resultados, quedando colectivos no claramente definidos. La cobertura varía entre componentes del proyecto, faltando algunas informaciones sobre la elección de la cobertura del proyecto y si la limitación en cobertura propuesta y alcanzada se debe a motivos económicos o de criterios de priorización social u otros. En cuanto a definición de beneficiarios podríamos señalar: • La población beneficiaria del componente tuberculosis son 2.407 personas observadas en 15 comunidades rurales básicamente pertenecientes a la parroquia de El Corazón, una de las cuatro del cantón. Los criterios de elección de las comunidades parecen haber estado relacionados con una serie de factores orientados por la relación previa de la FAC y con que se dieran las condiciones de participación e interés como para que tuviera éxito la estrategia DOTS con base comunitaria. La cobertura de este componente sería del 12,11% de la población del cantón o de cerca del 38,87% de la población de la parroquia de El Corazón. • No puede hablarse de beneficiarios directos en el componente “modelo de atención primaria” por cuanto éste parece haberse puesto en marcha durante la primera fase y en la segunda se han realizado sólo actividades de formación. La población participante en las siete asambleas zonales realizadas durante la fase I para la elaboración del plan de salud parece haber sido de un total de 245 personas. El grupo de beneficiarios sería la población de la zona donde explícitamente se impulsaran acciones de mejora relacionadas con el documento consensuado con comunidades y profesionales sanitarios. Sólo podría hablarse de beneficiarios indirectos, para el caso de que la sanidad pública firmara el documento. El evaluador sólo tiene constancia de un borrador. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 163 Programa de Evaluaciones 2006-2007 Específicamente no ha habido beneficiarios menores de cinco años por reducción de la incidencia de las enfermedades prevalentes (indicador de objetivo IOV1). • En el componente escuelas saludables los beneficiarios de la formación han sido los maestros (en torno a 50), los padres (número no conocido) y los 1.239 alumnos de las 18 escuelas elegidas para participar en el proyecto. En las revisiones médico-odontológicas habría todavía un grupo específico de alumnos a los que se ha detectado problemas con solución quirúrgica (28 niños) y a los que se les detectaron problemas de salud bucodental (aunque todavía no se han resuelto, hay un acuerdo de la Administración para resolverlos). • En el componente de formación, los beneficiarios han sido 25 personas participantes en los cursos preparatorios y en el inicio del tecnologado y un número no conocido pero muy limitado de personal paramédico de los servicios sanitarios, además de la participación de los promotores de salud en los cursos preparatorios del tecnologazo y en la formación en principio prevista para los profesionales de los servicios sanitarios. Un último grupo de beneficiarios son los profesionales de salud participantes en el taller sobre calidad asistencial y en el de estrategia DOTS. Para que pudieran considerarse beneficiarios de este componente a la población del cantón deberían desarrollarse actividades de aplicación de la información a la práctica clínica que demostraran efecto. 5.2. Eficacia 5.2.1. Adecuada definición del objetivo específico y los resultados La distancia entre el objetivo específico y los resultados era excesivamente grande. Esto se ha discutido en el análisis del diseño del proyecto. A modo de resumen se puede señalar que: • Los objetivos y sus indicadores se referían a la mejora de la salud de la población a través de un modelo integral de atención primaria y con efectos epidemiológicos sobre las enfermedades más prevalentes. • Las actividades, en cambio, se concentraban en actividades exclusivamente informativas/de debate, formativas y más completas en relación a la tuberculosis y puntualmente en atención médica a escolares. En concreto: - Proceso de discusión comunitaria y técnica para la elaboración de un plan local de salud. - Lucha contra la tuberculosis. - Extensión de la formación de los promotores de salud más allá de la tuberculosis. - Formación, educación para la salud y reconocimiento médico en 18 escuelas. - Diagnóstico de patologías médico-odontológicas. - Formación puntual de profesionales sanitarios e inicio de la formación de tecnologado para 25 personas. En este apartado discutiremos el efecto de esa distancia dentro de la lógica de la intervención en la eficacia del proyecto, junto con los elementos, también muy relevantes, en los que el proyecto ha conseguido resultados y ha realizado actividades de forma eficaz. Para ello seguiremos el orden de los resultados que presentan los informes, pero agrupándolos por componente según se ha definido para los efectos de esta evaluación. Como principales factores limitantes de la eficacia del proyecto podrían señalarse los siguientes: • En primer lugar debe señalarse que, de los resultados y actividades realizadas, aun haciéndolas sin problemas externos y de forma totalmente eficaz, no cabe esperar como consecuencia un grado importante de consecución del objetivo específico en el plazo previsto por el proyecto. Cooperación Ciudad de Madrid 163 12671 Colombia (FF) 164 3/3/08 13:30 Página 164 Informes de evaluación. Ecuador Desde la perspectiva de los indicadores de objetivo, éstos no miden la eficacia en la consecución del objetivo. No se pretende repetir lo expuesto anteriormente, tan sólo señalar que esto limita la eficacia de las actividades emprendidas para mejorar la situación de salud de la población. • En segundo lugar hay actividades que se realizan que no son las que más afectan al resultado y al objetivo que se pretende obtener, de forma que la eficacia en la ejecución de esas actividades no redunda en la misma medida en eficacia del proyecto. A modo de ejemplo, se hacen talleres con los profesionales de todo el cantón para reforzar conocimientos y motivar a la mejora de la calidad de la atención, pero no se plantea una actividad de seguimiento de la práctica clínica al menos en el subcentro o subcentros más cercanos a la zona de la parroquia de El Corazón donde se está interviniendo en tuberculosis, donde se está formando y acompañando a promotores de salud de las comunidades y donde se puede por tanto apoyar a la resolución de la asistencia sanitaria y al mismo tiempo generar información concreta para que sea abordada por las autoridades sanitarias. Esta actividad hubiera tenido poca complejidad logística, un coste pequeño y hubiera aumentado la eficacia del componente. En el mismo sentido se situaría, por ejemplo, el haber realizado una actividad de creación y seguimiento de un sistema de información de la actividad de los promotores de salud, un sistema sencillo y adaptado de recogida de información que hubiera permitido analizar en qué se iba concretando la estrategia de promotores de salud y con ello introducir mejoras para hacerla más efectiva. • En tercer lugar, parece que hay un exceso de actividades de detección, formación y sensibilización en relación a las actividades curativas. Quizá en el transcurso de las actividades de todo tipo que se han realizado con las comunidades, y así consta al evaluador por lo visto in situ, se han realizado actividades curativas ad hoc, surgidas en el contacto cotidiano y ante problemas de salud especialmente infantil, pero no formaban parte de la estrategia del proyecto, no se han dimensionado ni realizado de forma sistematizada y no se han reflejado en la documentación generada por el proyecto. • Finalmente, señalar que a juicio del evaluador se ha perdido eficacia por el planteamiento del proyecto en dos fases, afectando en parte al cronograma de actividades pero sobre todo y muy especialmente a la continuidad durante la fase II de las actividades que se habían iniciado en la fase I. El inicio de este problema puede situarse del lado del financiador, pero la visita ha constatado poca claridad en la continuación, por ejemplo, de la estrategia de lucha contra la tuberculosis durante la fase II. La visita de evaluación se realizó inmediatamente después de haber finalizado la fase II del proyecto, pero todos los comentarios recibidos de diferentes agentes hablaban de “los 26 casos detectados y curados”. Éste es el número y el resultado de la fase I (aunque en ese momento no habían acabado algunos de los tratamientos), con lo cual parece que, una vez realizada la fase de detección de casos y de tratamiento apoyado en los promotores de salud, éstos no han detectado ninguna sospecha de caso nuevo, pese a haber sido formados para ello, y tampoco se ha realizado el estudio de contactos con la suficiente celeridad, de forma que al final de la fase II no se le había dado quimioprofilaxis a las personas que habían estado en contacto con los enfermos y, por tanto, queda más difícil imaginar que se ha contribuido decisivamente a la ruptura de la cadena de transmisión de la enfermedad. Si tenemos en cuenta que el proyecto dotó de un laboratorio al hospital de la FAC en Ambato, parece lógico que continúe la actividad de detección y confirmación de casos de la zona. También hubiera sido muy útil realizar la misma estrategia en alguna de las comunidades menos predispuestas a colaborar, pero con el mismo problema de tuberculosis, para trabajar precisamente la estrategia DOTS con apoyo comunitario en contextos más difíciles, aumentando con ello la aplicabilidad de la estrategia en otras áreas. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 165 Programa de Evaluaciones 2006-2007 Los principales elementos caracterizadores de la eficacia del proyecto podrían ser los siguientes: • El proyecto ha sido eficaz en la puesta en la puesta en marcha de la estrategia DOTS en un entorno tan difícil como el del proyecto, aunque circunscrito a las 15 comunidades de 120 que tiene el cantón, donde la relación previa, la lejanía respecto a los centros sanitarios y el interés de la comunidad han sido determinantes para obtener el resultado. • El proyecto ha sido eficaz en la realización de encuentros con representantes de comunidades y encuentros con la Administración. El producto lógico era un documento síntesis de las prioridades. En el mismo sentido, en la motivación de los profesores de las escuelas. • Las obras de acondicionamiento y ampliación de las letrinas de las escuelas han sido realizadas de forma eficaz. • Menos eficaz se ha sido en conseguir la participación decidida de la Administración sanitaria en el proyecto durante (reconociendo que era muy complejo de conseguir) aunque se han conseguido avances significativos, especialmente en la segunda mitad de la fase II y para la continuación de las actividades en la zona. 5.2.2. Nivel de logro de los objetivos y resultados Como se ha señalado, la definición de objetivos y resultados dificulta su evaluación a través de una evaluación como la que se ha realizado y marca una gran dificultad para que las actividades realizadas incidan en plazo e intensidad suficientes en la mejora del objetivo. Sin embargo, sí cabe señalar que el grado de cumplimiento planteado por la ONG en los informes de ambas fases parece excesivamente optimistas en varios puntos clave del proyecto. Puede decirse que el proyecto ha incidido muy positivamente en la posición de la FAC en el área y en la provincia, e incluso a nivel estatal, en el ámbito de la lucha contra la tuberculosis. A continuación se señalan de forma sintética y en el orden de los informes presentados. 5.2.2.1. Fase I • Objetivo específico. Bajo nivel de logro del objetivo. Alto para el componente tuberculosis. Alta participación de comunidades y administración pero no aplicación de un plan de salud ni consolidación de un modelo de atención primaria. • Resultado 1. (eliminado). • Resultado 2. Tuberculosis. Alto grado de cumplimiento. Especialmente remarcable el esfuerzo de seguimiento y control de cumplimiento en las comunidades. Peligro de disminución por falta de continuación. • Resultado 3. Modelo de Atención Integral. Bajo grado de cumplimiento, por tiempo insuficiente y por actividades insuficientes. En concreto, no puede afirmarse que el sistema de información para el monitoreo de tuberculosis en 15 comunidades (10% de la población del cantón) suponga el 50% de cumplimiento del indicador “sistema de control epidemiológico creado para el cantón”. Peligro por no tener un documento aprobado por todos que contenga una línea de base diagnóstica (epidemiológica cuantitativa y comunitaria cualitativa), un análisis de los actores (comunidades y técnicos) sobre los problemas y un plan de salud para abordarlos7. 7 Se ha realizado un proceso de reflexión muy importante con las comunidades y los técnicos, reflejado de forma muy interesante. El análisis epidemiológico es en cambio fruto del análisis de datos secundarios, básicamente los producidos por las unidades para el Ministerio de Salud. No parecen haberse tomado datos en los centros, a partir de la documentación clínica básica, ni haberse hecho ningún estudio básico de prevalencia. En este contexto, el diagnóstico es interesante pero no nos dice nada sobre la población que no asiste a Cooperación Ciudad de Madrid 165 12671 Colombia (FF) 166 3/3/08 13:30 Página 166 Informes de evaluación. Ecuador • Peligro por posible confusión en la estrategia de planificación y por que la autoridad sanitaria no haya aprobado el plan de actuación por parte de la administración sanitaria (sólo se nos ha facilitado un borrador). 5.2.2.2. Fase 2 • Resultado 1. Capacidad de los profesores para resolución de enfermedades prevalentes. Se ha logrado hacer las actividades previstas, pero no puede evaluarse el grado de logro en conseguir el resultado. Tampoco puede constatarse el efecto de lo que, en el informe final de la fase II, hablando de las visitas a los maestros, se escribe: “Estas visitas se han realizado con el propósito de apoyar las actividades realizadas no sólo en la fase que actualmente se ejecuta sino también dando seguimiento presencia a la fase I en temas como el control de la tuberculosis, seguimiento de promotores de salud (…)”. • Resultados sobre formación a personal sanitario: - Resultado 2. Manejo de algoritmos de los problemas prevalentes (paramédicos). Se ha alcanzado el grado de logro esperado por falta de asistencia a la actividad. No se explica suficientemente cuál a sido el procedimiento para incorporar personas de las comunidades, pero esa incorporación no puede contabilizarse para la determinación del grado de consecución del resultado, por cuanto era para mejorar la atención sanitaria en los centros públicos, no en las comunidades. - Resultado 3. Mejora de la capacidad resolutiva del área 6. Se han realizado los dos talleres previstos, uno de calidad asistencial y el otro de DOTS (este último en el marco de ampliación de la estrategia DOTS a todo el cantón con el apoyo del Fondo Global). - Resultado 6. Formación de tecnólogos. Retraso en el inicio de la actividad universitaria pero grado de cumplimiento bueno. Peligro de indefinición de su papel en el futuro, tanto en el sistema de atención como en su dependencia como en su emplazamiento geográfico. • Resultados relacionados con escuelas saludables: - Resultado 1. Profesores capacitados para resolución de enfermedades prevalentes, uso de agua y servicios sanitarios. Logro aceptable de las actividades de formación, pero no parece que sea posible haber conseguido un 100% del indicador, salvo que la acepción del verbo “resolver” que se utilice no sea comprendida por el evaluador. - Resultado 4. Revisión médico-odontológica. Muy buen grado de logro, aunque el indicador no es adecuado, porque no se sabe si se ha iniciado un programa preventivo que se repetirá sistemáticamente o sólo ha sido una actividad puntual ligada al proyecto. - Resultado 5. Mejoras sanitarias en las escuelas que se han realizado adecuadamente y con buena participación de maestros (formación), padres (trabajo) y el municipio (materiales). 5.2.3. Comportamiento de riesgos y presunciones El diseño del proyecto tenia implícita una colaboración muy alta del sistema sanitario público que, según se desprende de los informes y de la visita de evaluación, ha sido bastante limitada, tanto por las carencias de recursos del sistema como porque, seguramente, no lo sentían como un proyecto que estuvieran compartiendo. Al final de la fase II parece que esto pudiera estar cambiando, si bien es cierto que en el contexto de otros proyectos como el de extensión de la estrategia DOTS dentro del programa nacional apoyado por el Fondo Global, más fácilmente asumibles por los médicos del hospital público. los centros de salud. No es este espacio para entrar en detalle. Baste decir que un “documento de acción en salud”, debería reflejar en su redacción definitiva las prioridades y los recursos a aportar por los agentes sociales, ciudadanos y administración. No se ha recibido documento de “plan de salud” al final de la fase II, firmado por la Administración. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 167 Programa de Evaluaciones 2006-2007 Las presunciones y riesgos identificados por el proyecto parecen insuficientes para una intervención como ésta, en la que el éxito de tantos componentes dependen de que se generen cambios muy importantes de otros actores (comunidades, profesores, padres, profesionales sanitarios) sobre los que el proyecto sólo ha desarrollado actividades de formación. En el mismo sentido parece operar la importancia que en los componentes clave tiene el paso del tiempo, ya que son procesos que requieren de acciones a corto, medio y largo plazo para ser efectivas y que mientras más largo sea el proceso, más condicionantes externos puede tener. Éste sería el caso de la lucha contra la tuberculosis y la implantación de un modelo de atención integral de atención primaria a partir de un proceso de consolidación del sistema local de salud y otros factores, como la evolución de la renta de las familias. La ausencia de un adecuado análisis de riesgos y una suficiente explicitación de presunciones limitan la eficacia del proyecto al no aportar una visión de contexto en la que enmarcar las actividades del proyecto. 5.2.4. Análisis específico del componente lucha contra la tuberculosis Dada la relevancia de este componente en el proyecto, tanto por ser la actividad de salud pública con mayor efecto a corto plazo del proyecto, como por la relevancia que ha tomado a nivel de Ecuador y por el contraste con el abordaje de los otros componentes del proyecto, se plantea de forma resumida algunas de las consideraciones y remarques que el evaluador considera necesario en torno a esta actividad. Se sitúa al final del apartado 5.2. por considerar que ha sido un componente resuelto de forma efectiva y que al mismo tiempo mantiene algunas lagunas de información para poder incorporarlo a la reflexión sobre la introducción de esta estrategia en otros lugares. Y se presenta justo antes de la reflexión sobre la realización de las actividades del proyecto, que se plantea en el formato de estas evaluaciones como el primer punto del apartado 5.3. Eficiencia. Actividades de aplicación de la estrategia DOTS plus 1. ¿En qué consiste la estrategia DOTS? Objetivo: control de la tuberculosis Actividades: • Diagnóstico mediante examen de esputo de los pacientes con síntomas respiratorios, tos y expectoración. Examen de esputo por baciloscopia y confirmación mediante cultivo. • Tratamiento acortado con observación directa de la toma de medicamento (tratamiento básico de 6 meses). • Sistema de información para el registro y seguimiento de los pacientes hasta su curación. • Determinación de curación definida por baciloscopia negativa y cultivo (DOTS plus). En el proyecto no se incluyó la vacunación ni el tratamiento inmediato de familiares y contactos, que figuran como elementos de la estrategia8. 8 La ONG señala que “Las actividades de vacunación son responsabilidad del programa de inmunización BCG para recién nacidos y la quimioprofilaxis se da sólo a contactos y familiares menores de cinco años sin evidencia de enfermedades de tuberculosis”. Cooperación Ciudad de Madrid 167 12671 Colombia (FF) 168 3/3/08 13:30 Página 168 Informes de evaluación. Ecuador 2. Temas que no quedan claros sobre cómo se ha realizado la actividad • Población objetivo. ¿Los 2.407 son el total de habitantes de las comunidades con las que se ha trabajado? La respuesta recibida por el director de la FAC es que no hay datos de población desagregados a nivel de comunidad, pero que no puede haber una diferencia muy grande. Esta información es clave para valorar la importancia de la enfermedad en la población, y dado el tamaño tan pequeño de las comunidades, pequeñas variaciones en el número de personas que asistieron al reconocimiento (que se hizo en muy pocos días) respecto a las que viven allí puede tener un efecto apreciable en la tasa. Tampoco queda claro si el interés demostrado por las comunidades produjo una sobrerepresentación de los enfermos sobre el total de población observada. Si se interesaron más por el análisis las personas y comunidades donde había más enfermos, la prevalencia detectada por este análisis podría arrojar un valor superior al real. En este mismo sentido jugarían el no contabilizar a toda la población de las comunidades analizadas o el incluir sin saberlo enfermos de otras comunidades. De cualquier manera, parece alarmante la tasa obtenida, aunque sea algo inferior corrigiendo el denominador y aunque no esté tan por encima de la tasa en el municipio como lo está de la nacional. • Definición de caso. Queda claro que el análisis detecta y registra como positivos los pacientes con esputo positivo (en inglés ss+, en España bk+), pero no queda claro qué información se recoge sobre los pacientes con sintomatología respiratoria y baciloscopia negativa. El uso de las pruebas radiológicas apoya el diagnóstico o caso de BK+ y BK- y contacto PPD. A todas las muestras se realizaron baciloscopia y cultivo. • Tratamiento de casos y quimioprofilaxis de contactos. No queda claro si se aplicó tratamiento a los pacientes con sintomatología respiratoria con baciloscopia negativa. Esos pacientes pueden tener una tuberculosis pulmonar pero con baciloscopia negativa, o tener otra enfermedad respiratoria. La estrategia DOTS se focaliza sobre pacientes tuberculosos bacilíferos, ya que son altamente contagiosos. Sin embargo, en una observación de pacientes realizada dentro de una estrategia de atención primaria, cabría esperar el estudio y tratamiento de los casos detectados de tuberculosis bk- y de otras patologías respiratorias. Sí parecen haberse orientado los casos de otras patologías respiratorias hacia la sanidad pública. Respecto a los contactos, por informaciones obtenidas durante la evaluación, a finales de la segunda fase se pensaba en comenzar la quimioprofilaxis de los contactos, una vez realizado el estudio de contactos. Realizar esta actividad un año y medio después del diagnóstico sintomático del caso puede haber dado lugar a que nuevos casos se hayan producido y que, por tanto, la quimioprofilaxis planteada no sea suficiente. • Registro. Se dice que se aprovechó la exploración de toda la población observada (2.407 personas) para detectar sintomatologías de otras patologías, pero no se reflejan. 3. Puntualizaciones sobre el análisis que realiza la ONG sobre su actividad en TB • Prevalencia. La prevalencia es el concepto que nos indica qué peso tiene una enfermedad en una población. - Prevalencia como motivo para la intervención. En el proyecto, la zona en la que se trabaja parece ser que era conocida previamente por tener muchos casos de tuberculosis. Sin embargo, los criterios de elección de las comunidades podrían presentar un sesgo muy importante en relación a la prevalencia, por cuanto no se analizó toda la población del cantón, sino tan sólo algo más del 10%. Como señala el propio Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 169 Programa de Evaluaciones 2006-2007 informe de la FAC, al disminuir el tamaño de la población se pierde relevancia en las tasas obtenidas. A esto debemos añadir la posibilidad de que se hayan introducido sesgos debidos a: - Población analizada inferior a la población de la zona. - Inclusión de enfermos de comunidades próximas (de las que no se contabiliza la población en el denominador). - Incorporación de las comunidades más sensibilizadas por tener mayor carga de enfermedad. No se entiende por qué en el objetivo OV2.2. figuraba que el 20% de la población del cantón participara en la detección. 4. Comparación entre datos de la zona de análisis y datos de Ecuador • Todos los informes consultados manifiestan la existencia en Ecuador de un importante grado de subregistro de tuberculosis. De hecho, la OMS hacía una estimación de prevalencia de tuberculosis en Ecuador que suponía más del doble de la que se derivaba del registro en 2003, que fue la utilizada por la FAC en su propuesta de proyecto. Aunque la zona objeto del proyecto concentre un número importante de casos, eso no quiere decir que no haya en Ecuador muchas zonas en esa misma situación. A modo de ejemplo, en un estudio en Ecuador (véase nota a pie de página) de 653 personas que conformaban la población, 96 presentaban sintomatología y esputo, y de ellas 44 resultaron bk+, generando una prevalencia del 6,7%. Esta altísima prevalencia muestra la existencia de zonas muy afectadas por la tuberculosis. El hecho de que la tuberculosis se asociara de forma estadísticamente significativa con movimientos migratorios por trabajo hace pensar que el análisis de microáreas puede no generar información epidemiológicamente consistente. • Ruptura de la cadena de transmisión. La cadena de transmisión de la tuberculosis se rompe por detección masiva de casos, tratamiento adecuado con cumplimiento del tratamiento, estudio de contactos y cambios significativos en los factores que favorecen la transmisión. En ausencia de alguno de estos elementos, la actividad contra la tuberculosis disminuirá a corto plazo la incidencia de la enfermedad, pero en zonas endémicas será un efecto pasajero o sólo de contención de la enfermedad. 5.3. Eficiencia 5.3.1. Realización de actividades Las actividades previstas se han realizado de forma suficiente en todos los componentes, con algunos ajustes en actividades de formación. El seguimiento realizado por el Ayuntamiento de Madrid muestra un elevado grado de ejecución de actividades en relación con las previstas. Durante la presente evaluación se revisó el contenido del informe final y se constató la información contenida sobre actividades del proyecto. Las limitaciones sobre algunas actividades que se produjeron se encontraban suficientemente justificadas, como en la formación a los profesionales paramédicos. Sin embargo, la compensación con asistencia de personas de las comunidades no parece correcta para garantizar el resultado esperado de la actividad. La formación en el puesto de trabajo puede ser una estrategia más adecuada cuando no se consigue asistencia a formaciones centralizadas. Y más como en el caso de este proyecto, en el que al evaluador le parece que la componente de mejora de la calidad Cooperación Ciudad de Madrid 169 12671 Colombia (FF) 170 3/3/08 13:30 Página 170 Informes de evaluación. Ecuador asistencial y el refuerzo de la actividad ambulatoria de los servicios sanitarios resulta muy importante. Para utilizar actividades de formación y seguimiento en el puesto de trabajo, éstas no pueden ser caras, ya que no estaban previstas. Por esta razón se pueden hacer focalizadas en dispositivos de interés preferente por proximidad o por cartera de servicios. El mayor problema sobre la realización de actividades ha sido comentado a lo largo de la presente evaluación, pero debe ser consignado aquí también. Se trata de la discontinuidad en actividades clave del proyecto que deberían haber continuado de forma muy importante en ambas fases: el control de la tuberculosis y el desarrollo del modelo de atención primaria. Otro punto a resaltar es la ausencia de actividades directas de seguimiento y actuación contra las enfermedades prevalentes de la infancia, en menores de 5 años, y más cuando este grupo aparece en objetivos e indicadores de objetivos. Su relevancia en términos epidemiológicos y humanos es evidente. Es población no escolar (no se beneficia de la alimentación en la escuela) y presenta mayores índices de morbimortalidad en contextos socioeconómicos como el del proyecto. Resulta difícil imaginar un planteamiento de atención primaria que no incorpore algún elemento de salud materno-infantil a corto plazo, más allá de plantear la mejora de la producción y con ello de la alimentación de las familias, objetivo en sí mismo de largo plazo en poblaciones excluidas como éstas. 5.3.2. Utilización de recursos Las desviaciones entre los presupuestos presentados y concedidos, una vez separada la propuesta inicial en fases, son pequeñas, por lo que en principio no afectan al global de lo presupuestado. Los recursos disponibilizados a través del proyecto se utilizaron de la forma prevista. El informe de auditoría del proyecto encargado por el Ayuntamiento de Madrid refleja una correcta utilización de los fondos respecto a lo aprobado, en la fase I (todavía no se ha realizado el de la fase II). La cofinanciación del proyecto incorporaba la valorización del hospital de la FAC en Ambato. Dado el emplazamiento del laboratorio en una sala pequeña y el limitado uso que ha debido hacerse de esa instalación durante el proyecto parece totalmente desproporcionado este cálculo. La utilización de recursos en función de las actividades realizadas parece adecuada. La única cuestión que puede plantearse es la del laboratorio, ya que las pruebas necesarias para la detección y comprobación del éxito del tratamiento de los 21 (dejando fuera los multiresistentes, que recibieron otro apoyo) no superaría los 5.000 euros, mientras que la dotación del laboratorio superó los 27.000 euros. La creación de esta capacidad instalada puede ser de gran interés; de hecho, actualmente tiene una actividad importante para los parámetros de este tipo de actividad de laboratorio en Ecuador, obviamente para un área de influencia mucho mayor que el cantón de Pangua. Debería haberse descrito en la propuesta, como se describió el coste-beneficio de la intervención en tuberculosis, sobre el que no se entrará a discutir en esta evaluación. También parecería lógico que se hubiera llegado a un acuerdo de uso o al menos de información del uso del laboratorio después del proyecto, al menos los dos primeros años, dentro de una relación transparente sobre la que pueden aprenderse muchas cosas para mejorar la orientación de la financiación al desarrollo y sobre las estrategias de gestión más exitosas de las organizaciones locales. Obviamente el financiador no realizó esta petición. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 171 Programa de Evaluaciones 2006-2007 5.3.3. Desviaciones temporales en la ejecución de las actividades No parecen haberse producido variaciones significativas en la ejecución de actividades, salvo las señaladas en el apartado 4 de este informe. Los plazos para que las actividades realizadas tuvieran efectos apreciables en los objetivos eran muy optimistas. Como también se ha señalado, no sólo debía tenerse en cuenta un mayor plazo, sino que deberían haberse definido variables e indicadores sensibles al corto y medio plazo, ya que el paso del tiempo no garantiza que el proceso lleve al objetivo. Las actividades que parecen haber presentado más variaciones respecto al cronograma previsto son las de formación y reflexión sobre el plan de actuación en salud. 5.3.4. Organización de la ejecución La organización de la ejecución ha tenido un protagonismo total de la contraparte local, Fundación Alli Causai (FAC). Tanto la dirección de la FAC como los técnicos puestos a disposición del proyecto han demostrado una competencia muy importante, siendo uno de los principales activos del proceso de intervención en la zona. La coordinación con la Fundación Paz y Desarrollo ha sido periódica y la información fluida aunque, a juzgar por la información contenida en los informes y la recibida a través de preguntas durante la visita, los técnicos sobre el terreno manejan mucha información relevante para la descripción y evaluación del proceso que no se recoge por escrito. La formulación de la propuesta provenía de un periodo previo de contacto con el territorio y sus gentes, que favoreció sin duda la elección de la zona de intervención aunque también pudo limitar algunas decisiones iniciales en este sentido. 5.4. Impactos 5.4.1. Contribución de las intervenciones al logro de los objetivos generales No ha resultado posible para la presente evaluación identificar impactos consistentes del proyecto en el objetivo general. Esto es especialmente complejo porque confluyen varias circunstancias: • Objetivos generales y operativos de ambas fases con pequeñas diferencias en la redacción, que dificultan priorizar sobre qué impactos serían más relevantes. • Objetivos difíciles de evaluar, con indicadores a veces insuficientemente precisos y otras veces poco relevantes para el objetivo. • Durante la visita de evaluación se han percibido unos planteamientos de fondo por parte de la organización muy arraigados pero que dificultan la comprensión de los significados que hay detrás de algunos conceptos clave del proyecto, como el de “modelo de atención primaria integral”. • Proyectos excesivamente cercanos al presente como para identificar impactos y ausencia de descripción de la intervención más allá del proyecto, que pueda orientar suposiciones sobre grado de impacto futuro de la intervención. • Naturaleza de la evaluación que se ha realizado, que dificulta la generación de información independiente para evaluar impactos. • Informaciones insuficientes sobre línea de base y de situación final. Cooperación Ciudad de Madrid 171 12671 Colombia (FF) 172 3/3/08 13:30 Página 172 Informes de evaluación. Ecuador En todo caso, la visita de evaluación ha podido constatar que se han producido efectos positivos derivados del proyecto y de la actividad del equipo de la FAC en la zona. 5.4.2. Principales efectos positivos Los principales efectos positivos de la intervención que han podido ser constatados a través de la evaluación son los siguientes: • Introducción de la perspectiva del sistema local de salud entre los agentes sociales y técnicos. • Sensibilización de una parte de la población sobre la importancia de la salud y de la relación entre comportamientos individuales y colectivos y salud. • Consolidación de intervenciones de menor escala realizadas en el pasado. • Proceso de detección de casos y curación en una zona del cantón y evolución hacia una perspectiva cantonal e incluso provincial. • Posicionamiento de la FAC como referente en tuberculosis en medio rural y con laboratorio propio. • Inicio de una actitud positiva de la Administración local hacia la inversión en salud. • Incorporación de los maestros a una perspectiva de promoción de la salud. • Refuerzo de acciones sanitarias con población escolar. 5.4.3. Posibles efectos negativos No se han identificado efectos negativos derivados directamente del proyecto. 5.5. Viabilidad 5.5.1. Políticas de apoyo La participación creciente de las Administraciones y los servicios públicos en la zona hace pensar que van a mantenerse las políticas de apoyo al proceso, siendo esta línea una de las claves para el proceso a largo plazo. 5.5.2. Aspectos institucionales La FAC ha tenido en cuenta el plano institucional en el entorno de esta intervención, tanto a nivel local como supramunicipal. La participación en el desarrollo de la estratega DOTS en la provincia de Cotopaxi y la presencia en reuniones a nivel nacional es en sí una fuente de conocimientos y posicionamiento para reforzar su estrategia de permanencia a largo plazo en la zona. La coordinación de las instituciones trabajando en la zona debe mejorar mucho. El punto de partida durante el proyecto no fue todo lo bueno que cabría esperar (la dificultad para encontrar formas de formación adecuadas a los objetivos y factibles para el personal sanitario, los servicios sanitarios no hacían en sus centros lo que estaba haciendo la FAC en algunas comunidades, sólo había promotores de salud). Sin embargo, el espacio de mutuo interés para la coordinación está aumentando y posiblemente lo seguirá haciendo en el futuro. La alianza con la Red de Escuelas Bilingües resulta también una apuesta institucional importante de cara al futuro y dado el bajo nivel de organización de muchas de las comunidades del cantón, donde no se ha trabajado en tuberculosis. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 173 Programa de Evaluaciones 2006-2007 5.5.3. Aspectos socioculturales La organización de la ejecución se ha basado en aspectos muy cercanos a la perspectiva de los beneficiarios, por los que la viabilidad desde este aspecto parece un punto fuerte del proyecto. La salud no parece tener un nivel de prioridad relevante en algunas comunidades, sobre todo en comparación con el interés por la mejora de las actividades productivas. 5.5.4. Enfoque de género El enfoque de género no ha tenido una línea identificada de acción desde la formulación hasta el informe final, pero durante la visita se ha podido constatar que el papel de las mujeres es ya significativo. Según afirman diversas personas en la zona, el papel público de la mujer en la sociedad rural de la zona es todavía muy limitada, habiendo presión social para las mujeres que entran en la esfera pública. Por otra parte, las actividades del proyecto han intentado favorecer la participación equitativa de todas las personas. Ello implica de facto no acabar de reconocer completamente la necesidad de discriminación positiva de la mujer para poder acortar los plazos de limitación de algunas de las principales diferencias de género presentes en la zona. 5.5.5. Factores tecnológicos La tecnología utilizada por el proyecto no es sostenible en términos económicos por los beneficiarios, pero la estructura de intervención en la zona parece que permitirá en el futuro el mantenimiento y reposición de los equipos necesarios (laboratorio, vehículo...). Un aspecto tecnológico poco frecuente pero relevante para un proyecto de este tipo es la “tecnología de servicios”. Efectivamente, la utilización de soportes de la información y formatos para la discusión y toma de decisiones comunitarias son elementos clave para el éxito de componentes que impliquen participación social. No se han analizado en esta evaluación, pero deben tenerse muy en cuenta como factor de viabilidad. 5.5.6. Factores ambientales El proyecto no tiene efectos ambientales, pero sí se ve afectado por la evolución del medio ambiente en tanto que generador de riesgos y condicionantes para la salud. La calidad del agua de uso humano o la concentración de focos de infección serán en el futuro un componente muy importante para la evolución de las enfermedades en el área, ya que el cambio de hábitos es difícil e incompleto y el incremento de la cobertura y calidad de atención sanitaria a corto plazo parecen difíciles. En este contexto la evolución de los factores medioambientales de riesgo para la salud cobran una gran importancia. 5.5.7. Factores económico-financieros El mantenimiento de la capacidad de pruebas de laboratorio y la presencia en la zona de la FAC parecen favorecer los factores económicos de viabilidad del componente de tuberculosis. Otros componentes no tienen las mismas condiciones de viabilidad económica, por cuanto algunos como el modelo de atención requerirán de pasar de una fase de reflexión y diseño a otra de ejecución. De todas formas, la evolución de la financiación de los servicios públicos y la evolución de la renta familiar en la zona serán factores críticos. Cooperación Ciudad de Madrid 173 12671 Colombia (FF) 174 3/3/08 13:30 Página 174 Informes de evaluación. Ecuador La actividad de escuelas saludables no tiene factores especialmente críticos en el nivel económico, en el sentido que el programa de alimentación se debería mantener en el medio rural y que la motivación de los profesores por trabajar en promoción de la salud es alta. Desde la FAC, la perspectiva de actividad en la zona y en la mayoría de componentes del proyecto parece buena. Se presenta resumida en la siguiente tabla. Actores Financiamiento Tiempo MUNICIPIO DE PANGUA Financia el profesional odontólogo para la rehabilitación oral de 1.000 niños. 12.000 dólares 1 año MSP AREA 6 Materiales odontológicos requeridos para resolver un promedio de 6 piezas por niño, valor estimado de anterior trabajo fac 6 dólares por niño. 6.000 dólares 1 año MINISTERIO DE EDUCACIÓN Red Cantonal Bilingüe Pangua 16 profesores que mantienen la aplicación del proceso de formación. Se realiza el cálculo con una base de 160 dólares sueldo mínimo. 30.720 dólares por año Indefinido MINISTERIO DE EDUCACIÓN Profesores hispanos 16 profesores que mantienen la aplicación del proceso de formación. Se realiza el cálculo con una base de 160 dólares como sueldo mínimo vital. 30.720 dólares por año Indefinido FUNDACIÓN ALLI CAUSAI 25 dólares diarios por uso de vehículo, más 20% de costo por uso de equipo como depreciación. 7.200 dólares 1 año CARE FONDO MUNDIAL TB Capacitación, seguimiento, evaluación, implementación (de DOTS). 10.000 dólares 3 años Proyecto financiado por PASSE Financiado por la UE para atención en salud en Cotopaxi, Bolívar, y Chimborazo. 80.000 dólares 2 años Proyecto presentado por el Ayuntamiento de Málaga para el control de TB en la provincia de Bolívar. 68.000 dólares 1año Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 175 Programa de Evaluaciones 2006-2007 6. PRINCIPALES CONCLUSIONES De forma sintética se presentan las principales conclusiones de la evaluación, que han sido desarrolladas en este documento, como un esquema que facilite la discusión. Fortalezas 1. Buen conocimiento de temas de salud y de tuberculosis por parte de la FAC. 2. Contacto previo con las comunidades y, en cierta medida, con técnicos de la Administración. 3. Fuerte visión de los objetivos a largo plazo para el desarrollo de la salud, con una perspectiva muy arraigada. 4. Capacidad de la FAC de generar alianzas en ámbitos diversos, desde la universidad hasta las comunidades. 5. Equipo de técnicos de la FAC consolidado en el territorio. 6. Existencia de comunidades activas y organizadas, receptivas a planteamientos de promoción de la salud, y actitud positiva en el mismo sentido de los profesores. 7. Existencia de potencialidades en el territorio. 8. Creciente compromiso de la Administración pública. 9. Realizado un primer análisis sobre los problemas de salud y de prestación de servicios sanitarios en la zona. 7. RECOMENDACIONES Debilidades 1. Zona con muchas carencias en servicios básicos, servicios públicos y situación económica de la población. 2. Cambios muy lentos en la disposición de las autoridades sanitarias y políticas para la dotación de recursos y el trabajo coordinado. 3. Limitada capacidad de la intervención para producir cambios importantes en el perfil de salud de la población. 4. Necesidad de un planteamiento estratégico a largo plazo que combine promoción de la salud, prevención y curación. 5. Situación económica muy mala para una parte de la población del cantón. 6. Proyecto gestionado por fases. 7. Falta todavía de muchos recursos y organización para la mejora de la calidad en la prestación de servicios sanitarios. QUE PUEDEN EXTRAERSE DE LA EXPERIENCIA • Es posible aplicar programas verticales que incidan de manera efectiva en el control de enfermedades prevalentes y hacerlo desde una participación relativamente limitada de los profesionales sanitarios, dando importancia a la participación comunitaria. Esto requiere una precisa documentación de lo realizado y las principales decisiones tomadas, para poder valorar el efecto y la posibilidad de aplicarlo en otras zonas. • El inicio de un desarrollo de la atención primaria que cuente con todos los actores, no sólo con los profesionales, y permita identificar la esfera de lo que aporta cada uno, es posible si se consigue la participación de todos. Sólo tiene sentido si se orienta efectivamente a la mejora de la salud de la población y eso también es mejora en términos epidemiológicos. Ello implica procesos largos y complejos, que deben tener una estrategia clara y objetivos a corto, medio y largo plazo. • La colaboración con los servicios sanitarios públicos debe orientarse a la corresponsabilización en objetivos, actividades y medios e incorporar elementos de apoyo técnico en los establecimientos sanitarios. • La utilización del entorno escolar como espacio de trabajo en salud es interesante por cuanto permite simultáneamente actividades curativas, preventivas y de promoción de la salud sobre un colectivo prioritario (los niños) y con una exposición diaria y de largo plazo a los mensajes. A tener en cuenta que por sus características, puede no ser un espacio de trabajo orientado a los niños con mayores problemas de salud en esa población. Cooperación Ciudad de Madrid 175 12671 Colombia (FF) 176 3/3/08 13:30 Página 176 Informes de evaluación. Ecuador • Parece necesario incorporar al territorio a otros actores especializados que aborden temas que afectan a la salud pero que se gestionan de forma muy diferente (especialmente desarrollo de actividad agropecuaria). Anexo. Enfoque Sector Salud* Teniendo en cuenta que en el caso de Ecuador pudo efectuarse un cierto enfoque sectorial de la evaluación, en las conclusiones y recomendaciones se plantearon algunos temas generales sobre el sector salud que son los que se indican a continuación. Tema 1. Sistemas locales de salud En Ecuador y en otros muchos países la descentralización de la Administración pública es un proceso potenciado por los organismos internacionales y los Gobiernos nacionales, con un doble objetivo de democratización y de mejora de la gestión de los servicios públicos. La asunción por parte de los Gobiernos locales de competencias en materia de salud, y la creación o dinamización de espacios de participación ciudadana en salud son elementos que están teniendo una enorme heterogeneidad tanto en su despliegue como en su impacto en la salud de la población. En todo caso, cabe señalar que estos procesos tienen como uno de los hitos básicos la elaboración de un diagnóstico de salud y de un plan de salud. Ambos instrumentos suponen la concepción del territorio como espacio en el que se dan unos condicionantes y unas necesidades de salud, y donde existen una serie de agentes de salud, tanto públicos como privados y comunitarios, que operan juntos como un sistema. En definitiva, la generación de un espacio de planificación local en salud requiere de la construcción de la perspectiva de sistema local de salud. Esta perspectiva se halla apoyada por el Gobierno ecuatoriano y representa un paso adelante respecto a las políticas públicas y de cooperación en salud. Algunos aspectos que han aparecido en las visitas a proyectos realizadas son los siguientes: • Identificación de necesidades de salud: objetivas/subjetivas. Las necesidades de salud en entornos académicos pueden plantearse exclusivamente en términos epidemiológicos, y en otros entornos se corre el riesgo de plantearlo exclusivamente en términos de necesidades sentidas por la población. Es necesario y efectivo complementar ambas perspectivas sobre las necesidades de salud “objetivas” (situaciones de salud con indicadores peores que la media del país o los estándares regionales) y “subjetivas” (las derivadas de tener en cuenta el concepto de salud-enfermedad de la población y sus prioridades en la mejora de su bienestar). • Identificación de respuestas a las necesidades de salud. La identificación de respuestas a las necesidades de salud es un elemento que, incluido en el análisis de proveedores sanitarios, o analizado de forma específica, nos da la dimensión de la oferta en salud que estamos considerando como parte del sistema local que estamos definiendo. Si consideramos o no los productores de alimentos a una industria contaminante o a la red local de agua canalizada, por ejemplo, nos da la medida de hasta qué punto se pretende (y se puede) intervenir sobre los condicionantes de la salud. Parece razonable incluir en el diagnóstico todos aquellos elementos que inciden * Correspondiente a los tres primeros informes de evaluación de Ecuador. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 177 Programa de Evaluaciones 2006-2007 en el territorio como condicionantes de la salud específicos. Sin embargo, en el sistema local de salud sólo podrán aparecer los agentes con los que se pueda trabajar en un momento dado, con el objetivo de ir incluyendo a todos los relevantes durante el proceso. En todo caso, deberán incluirse todas las respuestas curativas, preventivas y de promoción de la salud presentes en el territorio, así como los instrumentos de control ciudadano o técnico que existan. • Proveedores de servicios sanitarios: público/privado. El análisis de las organizaciones que prestan servicios sanitarios en el territorio es un aspecto ineludible para un planteamiento de sistema local de salud. Y ello en una doble perspectiva. Por un lado, como manifestación de lo que la población utiliza (la demanda efectiva de servicios sanitarios) y, por otro, como caracterización de la oferta disponible y sus condicionantes (localización, precios, cartera de servicios). El sistema sanitario público es el que ofrece mayores posibilidades de accesibilidad y lucha contra la inequidad en salud. Sin embargo, la sistemática insuficiencia presupuestaria y las rigideces organizativas dan un papel muy relevante al sector privado, tanto el social (ONG, instituciones religiosas, etc.) como el lucrativo. La mezcla público-privado de oferta que exista en un momento debe considerarse un dato, fruto de decisiones públicas y privadas en la oferta y de la respuesta de los pacientes. Sin embargo, resulta de enorme relevancia que esa oferta funcione en la medida de lo posible como un sistema, compartiendo información y tomando decisiones de inversión y oferta de servicios de forma coordinada, siempre con la función reguladora del Estado como garante de la consideración de la salud como bien público y de la vigilancia sobre la actuación de los agentes privados dentro de la legalidad. • Papel de los agentes comunitarios de salud: espacio de apoyo a otros proveedores/espacio propio. Los agentes comunitarios de salud son un agente más del sistema local de salud. Su situación actual es fruto de una serie de sucesivas iniciativas gubernamentales, de ONG y de las propias comunidades pero, sobre todo, de las necesidades de salud no cubiertas por el sistema. Estos agentes pueden cumplir tres funciones diferentes, combinadas o de forma específica: - Agentes de apoyo al sistema. La falta de accesibilidad geográfica del sistema sanitario público fundamenta un papel de apoyo a los servicios sanitarios (campañas, derivaciones, urgencias). - Agentes de promoción de la salud. La existencia de factores de riesgo para la salud, tanto culturales como ambientales, produce la necesidad de un contacto continuado con acciones de promoción de la salud. - Proveedores de servicios sanitarios. Las prácticas de salud tradicionales tienen una demanda, en algunos casos importante, de las poblaciones, que requiere no de su sustitución, sino de su mejora a través del reconocimiento de la función para el sistema de los agentes que la practican. La inclusión de las prácticas de salud tradicionales dentro de los programas de desarrollo en salud ha suscitado un importante debate desde hace años. Las posturas sobre efectividad de las intervenciones y tratamientos tradicionales o el papel de agentes tradicionales de salud suscitan el recelo de muchos profesionales sanitarios. Por otro lado, en muchos países el acceso de amplios sectores de la población a servicios sanitarios de calidad no es posible, ni lo será a corto plazo. Ello produce una necesidad de mutuo entendimiento. Por un lado, los responsables de la planificación sanitaria deben tener en cuenta que muchas prácticas tradicionales tienen efectos positivos en salud y que son accesibles, tanto económica como culturalmente, a poblaciones de áreas poco o nada cubiertas por la red sanitaria pública. Por otro lado, la recuperación del uso de plantas medicinales o la incorporación de agentes comunitarios al sistema sanitario debe cumplir unos inevitables criterios de efectividad, calidad y reporte de actividad que son obligatorios para poder evaluar el impacto real en la salud de las poblaciones. La coordinación entre ambos espacios, el comunitario y el profesional, resulta fundamental para conseguir un impacto conjunto relevante en la salud de la población. Plantear hoy por hoy programas que pivoten sobre agentes comunitarios en salud sin un adecuado seguimiento, formación continua y reporte de actividad puede ser lógica en algún contexto, pero su incorporación a un planteamiento de sistema local de salud no es posible sin Cooperación Ciudad de Madrid 177 12671 Colombia (FF) 178 3/3/08 13:30 Página 178 Informes de evaluación. Ecuador esos requisitos. Los riesgos de medicalización sin control de estos agentes o de impacto nulo en las prácticas de riesgo de la población son suficientemente importantes y probables como para abordar de forma consistente estas figuras, por otro lado tan importantes en áreas específicas. Algunas preguntas que suscitan estas figuras: • Parteras tradicionales. ¿Qué coordinación tienen con los hospitales? ¿Cuál les gustaría? ¿Qué problemas y enfermedades tienen las mujeres durante la gestación? ¿Cuáles tratan ellas? De su actividad, ¿qué informaciones y cómo deberían reflejarse en un sistema de información sanitario para todos? ¿Qué informaciones les gustaría saber a ellas sobre la atención a las mujeres en los hospitales? • Promotores o agentes de salud. ¿Cómo trabajan? ¿Qué problemas de salud les llegan? ¿Qué cosas resuelven ellos? ¿Qué aspectos de la medicina tradicional utilizan? ¿Qué conocen de la percepción de salud y del uso de los servicios sanitarios que hacen las personas de su comunidad? ¿Qué hacen con los profesionales sanitarios? ¿Qué percepción tienen sobre su propio trabajo? Si su trabajo es gratis, ¿cómo combinan eso con ganarse la vida? • Participación ciudadana. Hay un cierto consenso en que la participación ciudadana aporta consistencia y efectividad a los procesos de planificación sanitaria, tanto en la definición y priorización de las necesidades como en la valoración y el control de los servicios sanitarios. Sin embargo, también parece resultar difícil poner en práctica procesos participativos que produzcan resultados adecuados con medios abordables. Los diferentes proyectos evaluados aportan elementos interesantes, en uno u otro sentido. Las diferentes organizaciones apuestan por procesos de participación en los que la población respalda, con o sin matices, las propuestas de los técnicos o por procesos de empoderamiento en los que el esquema de participación traslada a los ciudadanos un espacio en la definición de objetivos y en poder de decisión en temas que les resultan relevantes. Ambos esquemas tienen pros y contras, pero siempre resulta necesario poner de manifiesto por cuál se ha optado. • Sistemas de información. Objetivo e instrumento. El sistema de información es un elemento de apoyo indispensable en un sistema local de salud, por cuanto nos permite conocer con un cierto grado de precisión informaciones básicas para la planificación y la evaluación del sistema y de sus componentes. Puede plantearse en una doble perspectiva: - Como objetivo: desarrollar un sistema de información aceptable, asumible y consistente para el sistema de salud. - Como instrumento: definir el sistema de información (organización, necesidades técnicas y presupuestarias) en relación al seguimiento de las prioridades, de la práctica clínica y de la evaluación de resultados de la atención y en la salud de la población. Tema 2. Escuelas saludables Todos los proyectos analizados planteaban en una u otra medida el trabajo en las escuelas como espacio de salud, básicamente en tres dimensiones: diagnóstico médico y dental (y en algunos casos tratamiento), promoción de la salud y acciones de mejora física del entorno (principalmente construcción y rehabilitación de letrinas). Dos de los proyectos tenían como una de las líneas de trabajo las “escuelas saludables”. Con este planteamiento se recogía un planteamiento de la Organización Panamericana de la Salud que había tenido un importante éxito entre Gobiernos y organizaciones en los países de América Latina. Este planteamiento de utilizar la escuela como espacio de mejora de las condiciones de vida de la población escolar y, especialmente, incorporar el aprendizaje de conceptos y prácticas saludables por parte de los niños, tenía la novedad de abrir muchas posibilidades nuevas a la promoción de la salud en población infantil, un abordaje hasta entonces muy poco desarrollado. En concreto, las escuelas saludables aportaban el mantenimiento del foco en salud infantil (prioridad para los sistemas de salud en América Latina), incorporaban a la escuela al Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 179 Programa de Evaluaciones 2006-2007 aprendizaje y la reflexión sobre la vida saludable y representaban un nuevo enfoque para el abordaje de factores medioambientales de salud. Pero cuando ésta y otras iniciativas de promoción de la salud pueden fracasar es cuando se les utiliza como mecanismo para conseguir objetivos en salud que van más allá de sus posibilidades. En este sentido, no cabe esperar a corto plazo un cambio de perfil epidemiológico de la población a partir del trabajo en escuelas saludables. Si además no se definen los instrumentos que se utilizan ni la evaluación de los efectos es imposible saber si a largo plazo tendrá algún efecto en la salud de la población. La OMS ha hecho reiteradas llamadas a la mejora en la definición y evaluabilidad de los programas de promoción de la salud. Varios elementos pueden tenerse en cuenta en este sentido: • Si no cambia la exposición de los niños a factores de riesgo como el no tener acceso al agua potable, a jabón o a letrinas es muy difícil que la disponibilidad de letrinas en la escuela y la sensibilización sobre higiene que allí se trabaje tengan un efecto a largo plazo sobre la salud de esos niños. La capacidad de que niños sensibilizados hagan mejorar de manera sostenida las prácticas de higiene de su entorno es cuestionable en muchas culturas. • El efecto de la promoción de la salud en la escuela sobre los comportamientos de la población estudiantil cuando se hace adulta no tiene estudios concluyentes y, en todo caso, parece verse limitada por factores económicos y culturales. El espacio de mejora de los contenidos y de los soportes de la información/sensibilización parece amplio. • En todo caso, el interés de las escuelas saludables está, entre otras cosas, en la posibilidad de trabajar comportamientos saludables en los niños y abrir un espacio de reflexión para los adultos a cargo de esos niños. Y es en ese sentido muy relevante. Pero la promoción de la salud no debe ser la única vía de mejora de la salud para los pobres. Los programas de prevención, la mejora de los servicios sanitarios o los programas de canalización de aguas (para consumo humano y aguas residuales) son insustituibles para la mejora de la salud de la población. En concreto, surgen preguntas sobre las posibilidades de las escuelas: • Como espacio de promoción de la salud. ¿En qué medida lo que se trabaja en la escuela se traslada al conocimiento de los alumnos? ¿Y a las prácticas? ¿En qué condiciones? ¿Con qué metodología? ¿Cómo se mide? • Como espacio de mejora de la salud infantil. ¿Qué problemas de salud se pueden detectar en la escuela? ¿Se detecta a la población más vulnerable? ¿Quién puede hacer ese diagnóstico: brigadas de profesionales sanitarios, promotores comunitarios, maestros? ¿Puede intervenir la escuela en la curación y su seguimiento? El trabajo en áreas rurales, muchas veces con problemas de acceso y especificidades culturales de la población, es una actividad compleja y esforzada que debe ser reconocida y valorada por parte de todos. La promoción de la salud en estos contextos requiere el aprovechamiento de todo espacio y reconocer a todo aliado posible. Pero nunca puede obviarse el sencillo ejercicio empírico de preguntarnos ¿qué podemos esperar de esto? y respondernos de forma realista. A partir de ahí, valorar el uso alternativo que podemos dar a los recursos que pensemos destinar a ese propósito y, si decidimos hacer esa actividad, dejar el suficiente rastro de ella como para poder incorporarla a las buenas prácticas o detectar qué hizo que no funcionara según lo previsto. Tema 3. Copago y sostenibilidad La sostenibilidad de la prestación de servicios basada en el copago depende de que un número suficiente de personas paguen una cantidad suficiente para retribuir los costes fijos de la institución Cooperación Ciudad de Madrid 179 12671 Colombia (FF) 180 3/3/08 13:30 Página 180 Informes de evaluación. Ecuador y los costes variables del conjunto de intervenciones y procedimientos que dicha institución realice en un periodo determinado. Esas personas serán exclusivamente pacientes solventes, salvo que la institución reciba aportaciones complementarias de organizaciones públicas o privadas. Si nos fijamos en los diferentes elementos que pueden afectar a la sostenibilidad de una institución que presta servicios sanitarios, podemos decir que ésta tiene un componente importante de organización y eficiencia de la atención sanitaria. Cómo se organiza la atención y qué servicios se prestan son elementos claramente importantes para poder ofrecer servicios a precios adecuados y, al mismo tiempo, ofrecer servicios con suficiente demanda entre la población. Asimismo, ofertar servicios sanitarios no restringidos a la demanda solvente, sino con voluntad de servicio a personas que no pueden pagar la totalidad del coste, requiere, por un lado, que la institución tenga capacidad para discriminar capacidad de pago real de los pacientes y, por otro lado, que sea capaz de captar demanda solvente, pacientes que pueden pagar precios por encima del coste imputable a la atención (variable y fijo). Ambos son elementos en buena medida ajenos a la organización de la prestación de servicios. Tienen que ver con elementos como la existencia de una red de información fiable para identificar correctamente a los pacientes con dificultades económicas (en el nivel comunitario y en el nivel asistencial), pero también tiene que ver con que haya un poder adquisitivo suficiente entre los pacientes potenciales y una preferencia suficiente de éstos por ese prestador de servicios sanitarios. Tener un sistema no costoso de identificar correctamente pacientes no solventes es un factor clave de éxito y, por los sobrados ejemplos generados por las experiencias de copago, extremadamente difícil de conseguir. Pero este dispositivo no sirve de nada si no hay dinero para pagar los costes de la atención que esas personas no puedan asumir. Es una obviedad pero muchas veces no se analiza por falta de capacidad o interés en ese análisis. Parece evidente que una organización ineficiente y poco orientada al usuario producirá unos servicios y unos precios que no serán interesantes para un número suficiente de pacientes como para mantenerse en el mercado. Al mismo tiempo, un entorno social excesivamente deprimido difícilmente podrá permitir por sí solo el mantenimiento de la institución. Lo mismo sucederá si la demanda solvente existe pero se orienta hacia otros prestadores de servicios. En este sentido, la imagen de calidad que de la institución tenga esa población es fundamental para que dirijan su demanda a esa institución y no a otra, al menos en una proporción suficiente. En definitiva, captar un porcentaje significativo de la demanda solvente de servicios sanitarios en la zona es un factor clave para la supervivencia del servicio, dado que del margen global generado dependerá la capacidad de la institución para ofertar servicios sanitarios de promoción y prevención, así como asistencia sanitaria a personas que no pueden pagar el coste de la atención. En todo caso, la provisión de servicios sanitarios mediante copago produce sistemáticamente una oferta insuficiente (subóptimo) de servicios para la población de referencia, especialmente en zonas deprimidas, por lo que resulta muy importante el desarrollo de servicios sanitarios públicos que complementen esta demanda. Si no se produce ese desarrollo paralelo del sector público, amplias capas de población pueden quedar fuera de la atención sanitaria, incluso con orientación social, por lo que se habrá aumentado la calidad de la atención pero habrá aumentado la inequidad en el acceso. Si en cambio se produce una mejora paralela de los servicios sanitarios públicos, la institución que oferta con copago desde una perspectiva social produce un efecto positivo al incidir tanto en la limitación de los precios de oferta de servicios sanitarios privados como en la calidad de referencia para los servicios sanitarios públicos. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 4 13:30 Página 181 Informe de evaluación Proyecto sobre manejo de granjas agroecológicas altoandinas de la provincia de Cotopaxi Convocatorias: 2002 Área de actuación: desarrollo agropecuario Localización: provincia de Cotopaxi, Ecuador Fechas de inicio: prevista: 24 abril 2003; real: 23 julio 2004 Fechas de finalización: 23 abril 2005 Coste total: 294.098,22 euros Aportación del Ayuntamiento de Madrid: 149.347,00 euros ONG responsable: Paz y Desarrollo Socio local: Unión de Sectores Urbanos y Rurales del cantón Llaktarkunda Otras entidades participantes: - 1. BREVE DESCRIPCIÓN DE LAS INTERVENCIONES La Unión de Sectores Urbanos y Rurales del cantón de Llaktarkunda es una organización de base (organización de segundo nivel) relacionada con la evolución del movimiento indígena y campesino de la sierra de la provincia de Cotopaxi. Su trayectoria de organización y apoyo a las comunidades de la zona se vio impulsada cuantitativamente por el proyecto objeto de la evaluación. Esto supuso además un salto cualitativo en el tipo de actividades y en la orientación de las mismas, sin abandonar su estrategia de apoyo a la organización de las comunidades, más allá de la gestión de proyectos. La satisfacción de los participantes ha llevado a la incorporación de nuevas zonas, a petición de sus habitantes. La imposibilidad de iniciar el proyecto con la contraparte Instituto de Estudios Ecuatorianos supuso para la Unión de Sectores Urbanos y Rurales del cantón de Llaktarkunda una oportunidad importante de añadir un instrumento de crédito a su labor por el desarrollo humano y ambiental en la zona. Cooperación Ciudad de Madrid 12671 Colombia (FF) 182 3/3/08 13:30 Página 182 Informes de evaluación. Ecuador Las actuaciones que se analizan se refieren a la organización y participación comunitaria en torno a la gestión de microcréditos y al desarrollo de actividades económicas de producción agropecuaria, con un componente de sensibilización medioambiental (con efectos sobre las granjas y sobre los usos de terrenos de páramo de la zona). La sensibilización medioambiental se plantea a la vez como una línea de actividad del proyecto y como un criterio de elegibilidad de los participantes en los microcréditos. 2. DESCRIPCIÓN DE LA ESTRUCTURA DE INTERVENCIÓN EN LA QUE SE INSERTA EL PROYECTO El proyecto financiado por el Ayuntamiento de Madrid se inserta en un contexto de trabajo de la ONG española Asociación Paz y Desarrollo en la zona sur de la provincia de Cotopaxi. A esta intervención se añadió posteriormente otra, en la zona relativamente cercana del cantón de Pangua. Esta continuidad geográfica pertenece a la estrategia de la ONG en el país, aunque no supone directamente una continuidad estratégica entre las intervenciones. La presente evaluación no ha identificado relación directa entre esta actuación y la propuesta para la tercera fase de la intervención en Pangua (con financiación todavía no asegurada y objetivos que incluyen el desarrollo de la capacidad productiva de la zona). Se trata de dos procesos independientes sin relación constatada entre ellos. Ello no afecta a la pertinencia de las intervenciones, tan sólo expone la dificultad de identificar una conexión estratégica entre ambas, no pudiéndose hablar de que pertenezcan a una misma estrategia de desarrollo local. La contraparte en el proyecto (Llaktarkunda) es una organización de base, contrastada en su historia de organización de la población de esa zona, cercana a sus necesidades e intereses. La aceptación de la intervención entre la población es consecuencia directa de esta relación de identidad más que de proximidad. La intervención asociada al proyecto se benefició de un proceso previo de identificación técnica de problemas y posibles soluciones y el proceso ha reforzado sin duda la capacidad técnica de la organización, aunque no se ha podido identificar la magnitud de esta mejora y sus implicaciones para la organización de las comunidades asociadas. El diseño inicial del proyecto se inscribe en la relación del Instituto de Estudios Ecuatorianos (IEE) y organizaciones de base en la zona como Llaktarkunda. Los proyectos realizados por el IEE con la Asociación Paz y Desarrollo en la zona se presentan en la siguiente tabla, por cuanto muestran una dinámica de trabajo de la que se ha visto beneficiada Llaktarkunda para la ejecución del proyecto. Título Lugar Plazo Fortalecimiento de la capacidad productiva Cantón Saquisilí, provincia Cotopaxi y organizativa de indígenas en el cantón Saquisilí. Agosto 2000-Agosto 2001 Desarrollo rural comunitario para indígenas del cantón Saquisilí. Comunidad Toldo Hurco, cantón Saquisilí, provincia Cotopaxi Marzo 2000-Marzo 2001 Mejora de los niveles de producción agrícola y pecuaria en el cantón de Guamote. Cantón Guamote, provincia Chimborazo Enero 2000-Enero 2002 Desarrollo rural comunitario para indígenas del cantón Saquisilí. Comunidad Chilla-Chico-San Antonio, provincia Cotopaxi Marzo 2001-Marzo 2002 Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 183 Programa de Evaluaciones 2006-2007 Finalmente el proyecto aprobado no pudo llevarse a cabo con la ONG local Instituto de Estudios Ecuatorianos (IEE). Esto llevó a la Asociación Paz y Desarrollo (ApyD) a cambiar de contraparte, realizando un acuerdo con una de las dos organizaciones de base con las que el IEE había definido el proyecto. La situación obligaba a un cambio muy importante para el éxito del proyecto, pero la propuesta de ApyD contó con las suficientes garantías como para ser aprobada por el Ayuntamiento. El cambio de contraparte planteaba un nuevo reto para el proyecto: que una organización de base gestionara directamente un proyecto de un volumen importante de fondos. Al mismo tiempo, se generaba la posibilidad de obtener un beneficio adicional de la ejecución del proyecto: el fortalecimiento técnico, organizativo y social de la organización de base. Adelantando una valoración sobre la contraparte, podemos decir que ésta ha aprovechado eficazmente el proyecto para consolidar su presencia y modelo de intervención con las comunidades de la zona. Dicho esto, se plantea la reflexión sobre la intervención de la organización en la zona. Respecto a ese punto, la intervención de Llaktarkunda en la zona es estable desde hace años y se mantiene actualmente. Después de la finalización del proyecto se continúa la relación entre las comunidades gestoras de créditos y la organización, que se apoya en una estructura consolidada de miembros activos y de comunidades vinculadas. Se trata por tanto de una estructura de intervención con una todavía limitada capacidad de captación de recursos financieros y técnicos externos pero con una alta capacidad de movilización y acompañamiento organizativo a las comunidades. Las condiciones de asociación y el volumen de población asociada muestra que el proyecto se insertó en una dinámica de trabajo a largo plazo que permite proyectar el efecto del proyecto sobre el futuro, asegurando un impacto a largo plazo sólo limitado por la gestión futura de los fondos para crédito que, de forma independiente, realicen las comunidades beneficiarias del proyecto. Esta estructura de intervención se halla a su vez inscrita en un proceso amplio de desarrollo en la zona potenciado por otras organizaciones, que comparten beneficiarios y estrategias sin que se conozca el grado de interacción y coordinación entre ellas. 3. V ALORACIÓN DE LOS DOCUMENTOS DE FORMULACIÓN 3.1. Formulación inicial del proyecto La fundamentación de la intervención que aparece en los documentos de formulación parece muy buena para definir el problema sobre el que se plantea dicha intervención. Tanto la descripción que se realiza como el hecho de que se haya realizado un estudio en profundidad (Instituto de Estudios Ecuatorianos con la participación de los campesinos de la zona), dan consistencia al análisis del problema de los habitantes dedicados a la producción agropecuaria y del ecosistema en el que se realizan esas actividades. La definición del plan de ejecución, con su matriz de objetivo, resultados e indicadores parece adecuadamente orientada a la consecución del objetivo específico. La coherencia entre objetivo específico y actividades es buena aunque no lo es tanto la relación entre el árbol de objetivos y la definición del proyecto. Cooperación Ciudad de Madrid 183 12671 Colombia (FF) 184 3/3/08 13:30 Página 184 Informes de evaluación. Ecuador Los problemas a los que se pretende dar respuesta y los objetivos señalados en el árbol de objetivos presentan unas conexiones entre factores medioambientales, de gestión de suelos y producción de animales, de comercialización y de ingresos de las familias, que parecen consistentes pero que requieren de unas suposiciones muy estrictas para conseguir que unos elementos lleven a los otros. Por otra parte, parece muy difícil que el proyecto consiga por si solo y en el plazo de ejecución previsto producir la dinámica de mejora que plantea el árbol de objetivos. Esto no es un problema en sí, pero sí lo es el hecho de que no se acote en la formulación del proyecto el efecto esperado de este en la dinámica de problemas y mejoras que presentan los árboles de problemas y objetivos. Como se ha señalado, los árboles de problemas y objetivos señalan la confluencia de elementos ligados a la renta de las familias, a la forma en que producen y al deterioro del ecosistema páramo. El objetivo de desarrollo se centra en la mejora de las condiciones de vida, y deja el desarrollo sostenible como contexto: “Mejoradas las condiciones de vida y fortalecida la autogestión de las comunidades campesinas beneficiarias gracias a prácticas agroecológicas en el marco de un desarrollo sostenible.” Esto supone una focalización de la intervención, que refuerza su sentido y aumenta su evaluabilidad, aunque debilita en parte el impacto previsible del proyecto en el árbol de problemas identificado en la formulación del proyecto. La formulación de la necesidad que motiva el proyecto es la siguiente: “Implementadas granjas familiares agroecológicas rentables y respetuosas para el ecosistema páramo y de altura.” La formulación del proyecto hace un excelente análisis de los problemas de renta de un población y de la presión sobre un ecosistema frágil y la coherencia entre el objetivo y las actividades es buena. Sin embargo, la formulación del proyecto no contiene suficientes elementos (indicadores y análisis de riesgos) como para evaluar el impacto del proyecto en la mejora de la gestión del ecosistema. 3.2. De la formulación inicial a la ejecución Como consideraciones principales para la valoración de los documentos de formulación se han señalado hasta ahora lo relativo a la definición del proyecto que se presentó para su financiación al Ayuntamiento de Madrid. Con posterioridad a su aprobación, dos elementos fundamentales en la formulación cambiaron, motivando una reformulación: el presupuesto aprobado y la contraparte local. La gestión del cambio por parte de la ONG española parece haber sido muy adecuada. La importancia de los cambios hubiera requerido un documento de reformulación más vinculado a la estrategia de implementación del proyecto. Aunque estas modificaciones parecieron aparecer en el orden descrito, se tratan brevemente en orden inverso. 3.2.1. Cambio de contraparte El cambio de contraparte es una situación que se da con relativa frecuencia en los proyectos de desarrollo, y que la experiencia muestra que es un elemento de riesgo para la ejecución del proyecto. La elección de la contraparte parece un acierto tanto conceptualmente como por las impresiones obtenidas en la visita de evaluación. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 185 Programa de Evaluaciones 2006-2007 Se pasó a trabajar directamente con una organización de base de la zona, implicada en el proceso de diseño, o al menos de recogida de información sobre la visión de las comunidades sobre el problema de la renta y el medio ambiente. Esta fortaleza debió sin duda aprovecharse compensando la falta de experiencia de la organización en gestión de proyectos. Ese proceso de reconceptualización del proyecto para su ejecución por personas que no lo habían diseñado hubiera sido muy útil reflejarlo en el documento de reformulación. 3.2.2. Reducción presupuestaria La aprobación del proyecto supuso un 80% menos de presupuesto. El documento de reformulación abordó exclusivamente el cambio presupuestario, realizando una redistribución del presupuesto y una reducción de actividades. Esto era obviamente necesario, pero se realizó meramente una reducción lineal de los resultados esperados. Hubiera sido interesante un análisis más profundo de esa reducción. En todo caso, la ejecución del proyecto compensó buena parte los problemas de inicio y de recorte del diseño del proyecto. Con la reformulación se produjo una diferencia cuantitativa limitada en las actividades pero importante en el plazo de ejecución, que provocó que la consecución del objetivo se limitara o no pudiera comprobarse satisfactoriamente en algunos aspectos clave, como la comercialización o la aplicación de la formación sobre gestión de suelos. En la reformulación se redujeron los objetivos cuantitativos del componente de capacitación en la misma proporción que el de beneficiarios de las granjas (de 345 a 276 familias). Esto parece haber seguido la lógica de que la capacitación incluía el apoyo en la fase inicial del manejo de las granjas. Esta lógica no es la única posible, ya que se podría aducir que la capacitación teórico-práctica, sin el apoyo en las granjas, tiene unos costes fijos que permitirían con el mismo coste y formato formar a las familias previstas inicialmente. De hecho, en el informe final se utiliza otra vez ese criterio porque, de hecho, todas las familias previstas inicialmente participaron en la formación (también las que no se beneficiaron de microcréditos). Lo más significativo para el proyecto de los cambios producidos fue el abandono del componente de comercialización, un elemento clave del árbol de problemas inicial. Éste sería el punto a reflexionar, tanto para este como para otros proyectos similares, en un doble sentido: • ¿Cómo los diferentes componentes de la ejecución del proyecto afectan al abandono o pérdida de un determinado componente? En este caso, la reflexión debería realizarse en torno al papel de tres elementos en el componente comercialización: plazo de ejecución (tiempo necesario para completar el ciclo hasta la comercialización), presupuesto (fondos para apoyar la comercialización) y competencias de la contraparte (experiencia en comercialización). ¿Qué influyó más para que no se pudiera abordar este componente? ¿Cómo se hubiera podido evitar? • En un proyecto que produce el inicio de un proceso a largo plazo, a través de la reinversión en la comunidad de los préstamos devueltos, ¿en qué medida es mejor que el proyecto aborde con efectos demostrativos la totalidad del proceso, desde la producción hasta la comercialización? ¿O es mejor concentrar el presupuesto en producir el máximo número posible de beneficiarios iniciales? Ambas respuestas pueden ser afirmativas. Cumplir el ciclo completo del proyecto hubiera sido la mejor opción para la lógica del proyecto. Conseguir el máximo número de beneficiarios iniciales era seguramente la prioridad de las comunidades y, por tanto, de la organización de base que ejecutó el proyecto. Cooperación Ciudad de Madrid 185 12671 Colombia (FF) 186 3/3/08 13:30 Página 186 Informes de evaluación. Ecuador 4. VALORACIÓN DE LOS PERIODOS DE EJECUCIÓN La ejecución del proyecto ha cumplido con la fecha prevista de finalización, pese al gran retraso que sufrió el inicio de la ejecución del proyecto debido a los problemas derivados del cambio de contraparte. El retraso en el inicio del proyecto no ha afectado a la realización del tipo y volumen de las actividades previstas, aunque sí a su seguimiento. La reducción de tiempo se compensó con la ejecución con mayor intensidad, apoyada en la contratación de más personal del previsto inicialmente en el proyecto. La reducción del periodo de ejecución ha sido muy importante (el periodo final ha quedado reducido a menos de la mitad del planteado inicialmente) y en productivos agropecuarios puede afectar al plazo de acompañamiento de la asistencia técnica a las nuevas producciones. En proyectos como éste, que incorpora sensibilización y medidas sobre medio ambiente, entre las que se incluye la siembra de plantas no productivas y la reforestación, el tiempo es un factor clave para consolidar el cambio de comportamientos y el desarrollo de las nuevas plantas. Al mismo tiempo, las actividades de apoyo técnico a los productores eran un elemento fundamental del proyecto, que ha quedado a cargo de la contraparte pero fuera del contexto especialmente favorable que genera la ejecución del proyecto. Resulta en todo caso difícil identificar el efecto de la reducción del plazo efectivo de ejecución en el impacto de las actividades del proyecto, pero dada su naturaleza cabe pensar que haya habido un cierto impacto negativo. 5. CRITERIOS DE EVALUACIÓN 5.1. Pertinencia 5.1.1. Adecuación del proyecto a prioridades Este proyecto se ejecutó antes de la entrada en vigor del Plan Estratégico de Actuación en Ecuador, del Ayuntamiento de Madrid. A pesar de ello, tanto el área geográfica como las líneas de actuación incluidas en el proyecto están muy alineadas con el plan. En relación a las prioridades planteadas en el Plan Estratégico de Actuación, el proyecto se alinea con los Objetivos del Milenio y las estrategias definidas para su consecución en el plan, fundamentalmente con: • Objetivo 1 (erradicar la pobreza extrema y el hambre), con elementos de dos estrategias (desarrollo rural y seguridad alimentaria). • Objetivo 7 (garantizar la sostenibilidad del medio ambiente), con la mayoría de las estrategias relacionadas con la meta 9 (incorporar los principios del desarrollo sostenible en las políticas y los programas nacionales y revertir la pérdida de recursos del medio ambiente). La situación de la región de Cotopaxi es definida como prioritaria en el propio Plan Estratégico y en otros documentos de organismos internacionales y ecuatorianos. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 187 Programa de Evaluaciones 2006-2007 La financiación en la región, tanto del Ayuntamiento de Madrid como la gestionada por la Asociación Paz y Desarrollo, muestran un elevado grado de prioridad de la zona y de la temática del proyecto. El proyecto incorporaba las cartas de compromiso de las organizaciones inicialmente implicadas y cartas de apoyo de las autoridades locales (no directamente implicadas en la ejecución del proyecto). No ha sido posible analizar el grado de compromiso efectivo en el desarrollo del proyecto. Para realizar los trabajos de capacitación técnica, la organización Llaktakunga ha gestionado la coordinación y colaboración con otras instituciones tales como es el Ministerio de Agricultura y Ganadería, la diócesis de Latacunga con el eje productivo, la Universidad de Cotopaxi y la Politécnica Salesiana para fortalecer y ampliar las capacitaciones y hacer posible la continuidad y sostenibilidad del proyecto. Dada la naturaleza de la contraparte local, su prioridad y su razón de ser son las comunidades de la zona. Éste, por tanto, es un agente de prioridad absoluta sobre las poblaciones del territorio, pero no de prioridad relativa, ya que no interviene en otras zonas. Están iniciando el apoyo a zonas limítrofes, pero en el contexto de apoyo a emigrantes internos provenientes del área inicial de influencia de la Llaktacunga. La situación en la zona del proyecto, tanto en relación con las poblaciones (pobreza, analfabetismo y bajo apoyo estatal) como con el ecosistema (presión sobre el ecosistema del páramo y problemas de gestión de la tierra destinada a usos agrícolas), se halla muy bien fundamentada en el documento de formulación del proyecto, definiendo una pertinencia prioritaria del área y el objetivo del proyecto. La prioridad en la zona que muestra la historia de trabajo de la organización que realizó la propuesta (IEE) es un elemento de pertinencia añadido, aunque no se haya vinculado a la ejecución del proyecto. Otras organizaciones están trabajando en la zona y al menos dos de ellas han trabajado o lo están haciendo en el ámbito productivo y organizativo de las comunidades. La visita de evaluación ha permitido constatar sobre el terreno la situación de la población y el impacto negativo de la gestión agropecuaria sobre el páramo. No ha sido posible analizar en profundidad el impacto positivo del proyecto en el páramo, por lo que la visión que sobre la pertinencia del proyecto puede aportar esta evaluación queda algo limitada en el sentido de la relación entre la problemática y la lógica de la intervención puesta en práctica. 5.1.2. Origen de la iniciativa La iniciativa surge en el contexto de trabajo de la organización Instituto de Estudios Ecuatorianos (IEE) con las comunidades de la zona y con el desarrollo económico comunitario. Asimismo, está en conexión con el Plan de Desarrollo de la Jatum Cabildo-COJACAP en el cantón de Pujilí y en el que se realizó a finales de los noventa un proceso de diagnóstico participativo con 69 de las 75 comunidades que formaban la organización de segundo grado de Pujilí. Este plan es a su vez consecuencia del proceso de años de las comunidades indígenas y campesinas de la zona por la mejora de sus condiciones de vida y de lucha por sus intereses, durante años polarizados por el acceso a las tierras. La preocupación de las comunidades por la imposibilidad de mejorar sus ingresos económicos y la degradación del medio en el que esos ingresos se estaban produciendo motivó el interés de las organizaciones de base en el análisis del ciclo productivo, apoyadas en el contexto de planificación para el desarrollo que posibilitó el proyecto PRODEPINE (Proyecto de Desarrollo de los Pueblos Indígenas y Negros del Ecuador). Sin embargo, este proyecto, financiado por el Banco Cooperación Ciudad de Madrid 187 12671 Colombia (FF) 188 3/3/08 13:30 Página 188 Informes de evaluación. Ecuador Mundial y el Fondo Iberoamericano de Desarrollo, y con participación del Gobierno ecuatoriano, fue cuestionado en cuanto a su capacidad de neutralizar otras tendencias de empobrecimiento y producir un verdadero desarrollo de las comunidades indígenas (de hecho, el porcentaje de pobreza pasó del 84 al 90% durante el periodo del proyecto). La CONAIE (Confederación Nacional de Indígenas de Ecuador) se negó a participar en la continuación del proyecto. Hubo acusaciones de utilizar los fondos para la captación de votos, entre otras zonas en Pujilí, en un contexto político nacional tumultuoso, con tres cambios de presidente de la República incluidos. Finalmente, con la llegada del Gobierno de Correa, el proyecto PRODELINE II fue paralizado, dentro de una estrategia gubernamental de cambio de relación con el Banco Mundial y de replanteamiento del desarrollo rural. Lo que sí parece haber posibilitado el PRODELINE es un análisis en profundidad de la problemática de las zonas habitadas por indígenas, especialmente en la sierra, y el surgimiento de procesos de participación ciudadana en la dinámica local de desarrollo y de la Administración pública. De este proceso complejo surge la necesidad de recentrar las iniciativas sobre lo local, lo organizativo y lo productivo. Se elaboró un diagnóstico de la problemática de la zona, con participación de las comunidades y con apoyo en experiencias previas de la organización en desarrollo rural. Este diagnóstico identificó una serie de elementos problemáticos y sus interconexiones. A juzgar por la información recabada durante la evaluación, el grado de prioridad máximo para los beneficiarios es el de la construcción de granjas y su gestión para obtener alimentos e ingresos. En un segundo término figuraría el incorporar elementos no agresivos con el medio ambiente a la gestión de su producción, como el abono por compostaje de subproductos de la cría de animales o la delimitación por plantas no productivas. Esto no es así en todos los casos, pero sí parece haberse incorporado al menos por los beneficiarios que tienen huerto asociado al proyecto. El tercer grado de prioridad para los beneficiarios parecen ser las actividades relacionadas con la mejora del ecosistema de páramo en zonas comunitarias. Se han realizado actividades de reforestación, especialmente en zonas de fuentes de agua, y parece haberse generado una cierta sensibilidad hacia la necesidad de mantener los factores que hacen que el páramo mantenga su función de captación de agua en la zona. Este esquema de prioridades hace pensar que la participación de los beneficiarios en el diseño del proyecto no les ha hecho asumir de forma completa los objetivos del mismo, aunque ha habido un significativo proceso de participación inicial. Resulta muy difícil incorporar acciones de impacto positivo sobre la presión ejercida sobre ecosistemas en peligro. Un caso paradigmático en Ecuador es la presión sobre el ecosistema de selva en la provincia de Orellana. Parece muy importante intentarlo, pero debe hacerse un mayor esfuerzo en generar mecanismos que afecten a las decisiones individuales y colectivas, incorporando las consideraciones de bien público y beneficio a largo plazo. Las estrategias a corto plazo son muy poderosas (las de supervivencia en el páramo o las de beneficio empresarial en la selva). Por tanto, la identificación de los beneficiarios con el proyecto es muy amplia en cuanto a la producción y a la gestión de los créditos. No ha sido posible en esta evaluación analizar su identificación con el componente medioambiental de este proyecto, en su versión más significativa: Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 189 Programa de Evaluaciones 2006-2007 en qué medida los productores propietarios de terrenos en el páramo se han sumado a la propuesta y en qué medida han reducido el impacto negativo de sus actividades en el mismo. Lo que podemos decir es que tal y como se originó la iniciativa y se definió el proyecto pueden no haberse abordado algunas de las claves principales para una reducción significativa de la presión sobre el ecosistema páramo. Ello podría requerir abordar con la mayoría de los productores de ese ecosistema la problemática medioambiental y cómo pueden obtener beneficio individual a la vez que se obtiene un beneficio social derivado de una recuperación del ecosistema y de su función reguladora en el ciclo del agua. Si se hiciera esto o se reflejara mejor lo que se ha conseguido en este sentido, este proyecto podría ser referencia para otras intervenciones productivas con un componente ecológico. El componente comercialización, que como se ha dicho no se incluyó en el proyecto por un conjunto de motivos que no son exclusivamente económicos, es muy fuerte en el interés de los beneficiarios, aunque la dimensión de producción ecológica no se asocia a la comercialización con la claridad con la que se describe en el proyecto. Esto debe estar también relacionado con el proceso que dio lugar al proyecto, además de con las limitaciones de la demanda de productos ecológicos en Ecuador, y las necesidades de certificación que no abordó el proyecto. 5.1.3. Complementariedad con otras acciones El proyecto se enmarca en una estrategia de apoyo organizativo a las comunidades campesinas e indígenas de la zona. Llactakunga es una de las organizaciones campesinas fuertes y activas de la provincia de Cotopaxi y su interés por el desarrollo comunitario incorpora elementos de organización y lucha por los derechos de los campesinos. Dentro de esta estrategia, el componente de crédito ha sido posible por la organización de las comunidades y al mismo tiempo ha supuesto un refuerzo a las estructuras de representación y decisión colectiva presentes en las comunidades. Como se ha señalado, existen en la zona otras intervenciones de diferentes ONG y organismos públicos (tanto específicos para los pueblos indígenas como las Administraciones locales) en el terreno del refuerzo de la organización comunitaria, en la producción y refuerzo de la seguridad alimentaria, algunos significativos que incorporan microcréditos, así como en otros sectores. La evaluación no ha permitido identificar las interconexiones entre estas intervenciones, tanto desde la perspectiva de las organizaciones ejecutantes como desde la perspectiva de las organizaciones de base y comunidades beneficiarias. 5.1.4. Valoración de los colectivos beneficiarios y cobertura de la intervención Los beneficiarios del proyecto están claramente identificados, aunque presentan dos elementos que inciden en el impacto del proyecto en el análisis de la problemática de la zona. Por un lado, los beneficiarios son todos de la zona, pero no todos producen en zona de páramo. Por otro lado, no consta al evaluador que sean los más pobres de entre las comunidades. En el primer caso, ésta es una consecuencia lógica de la búsqueda de comunidades que colaboren. Las poblaciones son libres de participar en proyectos de cooperación. En el segundo caso, los criterios de elección de los beneficiarios directos garantizan el éxito del crédito y del manejo de las granjas. Esto puede hacer que una parte de los beneficiarios no pertenezca al percentil de población más pobre. Aunque la gestión comunitaria parece garantizar una óptima relación entre capacidad y necesidad de las familias beneficiarias, la orientación a prestar a familias que devuelvan el crédito puede hacer más difícil a los más pobres beneficiarse directamente del proyecto. Cooperación Ciudad de Madrid 189 12671 Colombia (FF) 190 3/3/08 13:30 Página 190 Informes de evaluación. Ecuador La cobertura de la intervención no figura claramente descrita en la documentación revisada. La población de los cantones de Pujilí y Latacunga eran el año 2000 44.343 y 117.603 habitantes respectivamente. Sabemos que la situación de la población es mayoritariamente de pobreza, especialmente en el medio rural. Esto refuerza la pertinencia del proyecto pero al mismo tiempo provoca la necesidad de identificar estratos dentro de la pobreza. En este sentido, no se incluye un análisis de vulnerabilidad de la población y su relación con los beneficiarios, por lo que no resulta posible identificar la cobertura de la población más desfavorecida conseguida a través del proyecto. Los beneficiarios individuales del proyecto hasta la fecha de la evaluación podrían situarse entre 1.500 y 2.000 personas. Hay familias que han sido beneficiarias de granjas (producción agropecuaria) y otras sólo de producción pecuaria. Con la información disponible resulta difícil conocer el grado en que los diferentes beneficiarios se han beneficiado del proyecto. La información recabada durante la evaluación muestra que se ha intervenido en muchas comunidades, por lo que los efectos de sensibilización e interés por las actividades del proyecto han alcanzado a una población superior a la de beneficiarios directos del proyecto. 5.1.5. Correspondencia entre los objetivos de los proyectos y algunos problemas existentes en la realidad El árbol de objetivos del proyecto corresponde a un árbol de objetivos de una intervención a largo plazo en la zona. Resulta muy pertinente aunque no parece posible que el proyecto por sí mismo pueda permitir alcanzar los objetivos. Aceptado que es muy necesario conseguir los objetivos pero que no es esperable conseguirlo sólo con el proyecto, parece una debilidad el hecho de que no se defina claramente cómo lo que puede hacerse a corto plazo (en el marco del proyecto) afectará a ese árbol de objetivos. Esto afecta a la pertinencia del proyecto a través de una mejorable relación entre objetivos y actividades. Como se ha señalado anteriormente, la pertinencia del proyecto es extremadamente alta pero no puede eludir las limitaciones de provenir de un proceso muy fuerte e institucionalizado de participación y diagnóstico, pero que no ha conseguido producir efectos significativos en las comunidades. Truncado el proceso macro en el que se podía inscribir este proyecto, resta por ver cómo la evolución futura de las organizaciones de segundo grado que han continuado trabajando en la zona consigue mantener la pertinencia de sus acciones, no sólo en el plano técnico, sino en el social, concretando iniciativas realmente sentidas por la población y reforzando mutuamente proyectos de desarrollo y organización comunitaria, sin que el proyecto cree a la organización ni que la organización se desentienda de los proyectos, una vez concluida su financiación. En todo caso, este proyecto parece reforzar su pertinencia en este sentido. 5.2. Eficacia 5.2.1. Adecuada definición del objetivo específico y los resultados La formulación del proyecto presenta una estructura de objetivo, resultados, indicadores y fuentes de verificación consistente internamente, aunque dicha estructura se orienta exclusivamente a la realización de las actividades y tiene una relación difusa con el análisis previo de problemas. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 191 Programa de Evaluaciones 2006-2007 La lógica de la intervención de la propuesta inicial se presenta en el siguiente cuadro: Objetivo específico Implementadas granjas familiares agroecológicas rentables y respetuosas para el ecosistema páramo y de altura Indicadores 1. 345 granjas agroecológicas implementadas en los dos años de ejecución del proyecto. 2. 345 familias implementan actividades productivas no agresivas con sus respectivos entornos al final del segundo año. 3. Garantizado el intercambio justo de al menos el 50% de los productos obtenidos a partir del primer año. 4. Implementada la seguridad alimentaria de al menos 345 familias en la zona de intervención del proyecto. 5. Al menos 345 nuevas explotaciones pecuarias familiares en los cantones Pujilí y Latacunga con criterios de sustentabilidad ecológica, al final del segundo año. 6. Formados al menos tres técnicos locales en Cotopaxi con capacidad de ejecutar acciones sostenibles en el área de influencia del proyecto, el proceso de capacitación se efectuará durante los dos años de duración del proyecto. 7. Fomentado un mínimo de diez intercambios de confrontación de experiencias anual entre las organizaciones de usuarios ancestrales del manglar y las organizaciones indígenas de la sierra. Indicadores RE1.1. Implementados 20 invernaderos familiares de 46 m2 cada uno. RE1.2. Implementados 50 huertos familiares de cultivos andinos. • Construcción. • Inicio devolución • crédito. • Cantidad • producida. Fuentes de verificación • Observación. • Facturas. • Registros de • microcréditos • y producción. RE2. Implementadas 50 cuyeras familiares. RE3. Implementados 30 gallineros familiares. RE4. Implementadas 20 unidades pecuarias ovinas familiares. RE5. Implementadas 20 hectáreas de cultivos andinos familiares. RE6. Implementados cinco apiarios familiares. RE7. Capacitados los beneficiarios en la actividad productiva correspondiente. • Realización. • Registros. Cooperación Ciudad de Madrid 191 12671 Colombia (FF) 192 3/3/08 13:30 Página 192 Informes de evaluación. Ecuador La reducción de presupuesto aprobado motivó una disminución proporcional de todas las actividades. La debilidad principal de la lógica de intervención es que la realización de las actividades cumple los resultados y todos son medibles a través de indicadores que reflejan la actividad realizada, pero no se puede decir en qué medida el objetivo se ha conseguido. Se echan en falta verdaderos indicadores del objetivo, ya que los que hay no son propiamente indicadores, apuntan más a objetivos unos y a actividades otros. Específicamente en el indicador 1.6.: “Formados al menos dos técnicos locales en Cotopaxi con capacidad para ejecutar acciones sostenibles en el área de influencia del proyecto”, no parece adecuado que una actividad del proyecto sea un indicador de cumplimiento del objetivo. En relación al indicador 1.3.: “Garantizado el intercambio de justo de al menos el 50% de los productos obtenidos a partir del primer año”, el enunciado no es de indicador, salvo que se haya medido que efectivamente el 50% de los productos obtenidos en el primer año se han dedicado al intercambio justo (cuyo concepto debería definirse para que fuera operativo). Pero no se ha hecho eso, sino que se ha definido una actividad que justifica el indicador, reproduciendo el esquema de resultado y actividad para lograrlo. Finalmente, la actividad es la emisión por radio de información sobre el proyecto de granjas agroecológicas, pero no se ha medido el impacto en la población, esto es, su disposición a comprar productos agroecológicos. Sorprende la elección de ese indicador cuando habría indicadores posibles más sencillos de calcular y más alineados con lo que se pretendía, ya que el componente de comercialización se abandonó entre la propuesta y la implementación del proyecto. Sin embargo no se eliminó en la reformulación. A modo de ejemplo, algunos indicadores del objetivo que parecen al evaluador en la línea del excelente análisis de partida y de la voluntad de ejecución del proyecto serían: • • • • • Superficie de páramo recuperada para una producción sostenible. Comunidades que han realizado acciones de mejora medioambiental de sus prados comunes. Evolución de la producción en las granjas. Evolución de los ingresos mensuales de las granjas. Variación en la dieta de las familias (características de la producción dedicada a autoconsumo y cambios en la dieta fruto de intercambio o compra de nuevos productos). Algunos de estos indicadores pueden no presentar valores relevantes en el momento de finalización del proyecto pero, si miden elementos relevantes para el análisis de la problemática y el contenido del proyecto (los propuestos u otros indicadores), la dificultad será debida al diseño del proyecto, pero no pueden ser rechazados. Esto es, la eficacia del proyecto dependerá de que la problemática que se identifique se relacione con un objetivo específico que, a través de unos resultados esperados y en un plazo determinado, pueda deducirse que se ha conseguido y que, por tanto, se ha dado un paso hacia la mejora de la situación que se pretendía mejorar. 5.2.2. Nivel de logro de los objetivos y resultados El nivel de logro de los resultados es muy alto, por cuanto se realizó un esfuerzo muy importante de realizar todas las actividades previstas en la reformulación. Incluso se mantuvo finalmente el número de personas formadas, con lo que el indicador redefinido presentó un grado de cumplimiento superior al 100%. Como se ha comentado en el inicio de esta evaluación, el grado Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 193 Programa de Evaluaciones 2006-2007 de cumplimiento debiera haber sido del 100% y no superior, ya que lo que la formación que se realizó fue posible con los mismos costes. Dicho de otro modo, la formación sin supervisión en granja no debería haberse reducido en el resultado previsto, ya que no se veía afectada por la reducción presupuestaria. A través de la visita a la zona de intervención se ha podido constatar algunos aspectos que dan una cierta perspectiva de los logros conseguidos por el proyecto: • Las familias beneficiarias continúan con la producción, aunque parecen haberse producido algunos cambios una vez finalizado el proyecto. • La organización de las comunidades en torno a los microcréditos se mantiene. Hay personas a cargo de la gestión de los microcréditos. La comunidad valora la gestión y apoya en la presión sobre los que no quieren pagar. La comunidad participa en las decisiones sobre los créditos y los problemas de pago que puedan surgir. • La gestión de los microcréditos sigue siendo buena. La tasa de impagos se mantiene en el 1%, los intereses se mantienen muy bajos, el volumen de los fondos no ha disminuido, los intereses generados se reinvierten en microcréditos, los microcréditos son conocidos y valorados por los vecinos de los beneficiarios en todas las comunidades. • El esquema de microcréditos iniciado con el proyecto parece estar saturado en sus posibilidades de dar acceso a la población más cercana a los actuales beneficiarios y que reuniría condiciones de elegibilidad. La alternativa que se han planteado (reducir a la mitad el préstamo a los nuevos peticionarios) puede dar respuesta a este problema, pero crea al menos dos posibles riesgos: a) esos préstamos pueden no ser suficientes para conseguir un mínimo nivel de rentabilidad que beneficie de forma apreciable a la familia y asegure el pago del préstamo y b) puede generar un sesgo hacia los peticionarios relativamente menos pobres, con recursos para complementar el microcrédito, si éste no es suficiente para obtener una producción rentable. • Como resultado del proyecto la contraparte se ha desarrollado y es hoy un mejor agente en el desarrollo del territorio. Sin embargo, parece tener algunas limitaciones para liderar con las comunidades la estrategia de desarrollo, escalado cuantitativo y orientación comercial que la dinámica de microcréditos parece demandar. • Existe un discurso sobre medio ambiente sencillo pero bastante apropiado y que los beneficiarios de créditos consideran compatible con su actividad. • Una parte de los beneficiarios tienen su producción en la zona de páramo. 5.2.3. Comportamiento de riesgos y presunciones El proyecto buscaba la mejora simultánea de la renta real disponible de las familias (monetariamente o en términos de seguridad alimentaria mejorada) y la mejora en la tendencia de explotación no adecuada del ecosistema de páramo. En un proyecto como éste, donde muchos factores pueden quedar fuera de la actividad del proyecto pero influir en sus resultados, el análisis de riesgos y presunciones es un elemento enormemente importante. Debe permitir, durante su ejecución, ajustar expectativas y actividades, en función de la evolución del contexto y, a posteriori, para analizar correctamente lo que ha sucedido y valorar en su justa medida lo que se ha conseguido. Esto, que es así en todos los proyectos, adquiere especial relevancia en un proyecto como éste, con dos componentes en el objetivo que pueden no evolucionar favorablemente en el mismo grado o pueden llegar incluso a ser contradictorios en función del contexto. En ausencia de un adecuado análisis de riesgos y una clara definición de presunciones, el proyecto puede no Cooperación Ciudad de Madrid 193 12671 Colombia (FF) 194 3/3/08 13:30 Página 194 Informes de evaluación. Ecuador conseguir orientar los dos componentes de forma que se complementen y que no haya información suficiente para saber por qué eso ha sido así. Específicamente sobre el componente medioambiental, la presión sobre el ecosistema de páramo debe ser fruto de un conjunto de factores. Neutralizar factores relevantes a través del proyecto parece la única manera de conseguir una mejora significativa sobre el ecosistema. Suponiendo que esto se consigue en la formulación del proyecto, identificar los factores relevantes que quedan fuera de la incidencia del proyecto es clave para evaluar la probabilidad de consecución del objetivo y analizar posteriormente los resultados. Un problema sobre un factor interno puede ser que el plazo del proyecto no sea suficiente. Un problema sobre factores externos puede ser que sólo un número insuficiente de productores participe o que el cambio en la producción no elimine todas las prácticas agresivas con el ecosistema. Y éstos son riesgos externos próximos a la ejecución del proyecto, pero podrían aparecer otros, desde efectos del cambio climático hasta cambios en estrategias políticas o empresariales. En relación a la mejora de las condiciones de vida de la población podrían señalarse diferentes riesgos, como la evolución del precio de la leche de vaca en la zona de producción o la caída de la tasa de devolución de los préstamos (por motivos ajenos al proyecto). 5.3. Eficiencia 5.3.1. Realización de actividades Las actividades realizadas durante la ejecución del proyecto fueron las previstas y se realizaron además en un tiempo mucho menor del previsto, con los consiguientes esfuerzos logísticos y organizativos que a buen seguro eso debió comportar. Las actividades productivas se redujeron para ajustarse al monto del proyecto finalmente aprobado. Las actividades de formación alcanzaron al total de beneficiarios previstos inicialmente. Esto es consistente con el interés de la población en acceso a créditos y con la posibilidad de que la recuperación de créditos alcanzase a los beneficiarios inicialmente previstos, aunque en un periodo temporal mayor, por lo que fue posible y a la vez aceptado por los beneficiarios el que algunos de ellos sólo recibieran formación durante el proyecto. La reducción del presupuesto entre lo previsto y lo aprobado, del 20%, no afectó a la estrategia de intervención ni a la eficiencia del proyecto, de forma apreciable. Quizá señalar que el dispositivo puesto en marcha para la gestión del proyecto puede considerarse mayoritariamente un coste fijo, de forma que la reducción del presupuesto supuso que cada dólar estadounidense dedicado a préstamos y actividades de formación soportó un coste algo mayor de “gastos fijos” que si se hubiera aprobado el total del presupuesto, por lo que podría valorarse que las actividades asociadas al presupuesto inicial hubieran sido algo más eficientes. La reducción del plazo de ejecución del proyecto afectó a diferentes actividades, tanto algunas actividades productivas como a otras de seguimiento y comercialización, aunque estas últimas tenían problemas derivados de la formulación del proyecto. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 195 Programa de Evaluaciones 2006-2007 5.3.2. Utilización de recursos El informe de auditoría del proyecto encargado por el Ayuntamiento de Madrid refleja una correcta utilización de los fondos respecto a lo aprobado, tanto la distribución presupuestaria en capítulos como en las aportaciones de cofinanciación. La utilización de recursos en función de las actividades realizadas parece adecuada. La utilización de fondos provenientes de la evolución favorable de los tipos de cambio permitió ampliar un trimestre la ejecución de las tareas de seguimiento. 5.3.3. Desviaciones temporales en la ejecución de las actividades Como se ha señalado, las actividades sufrieron al mismo tiempo un retraso y una reducción del plazo muy importantes. Estos retrasos fueron producidos por el cambio en la contraparte ecuatoriana. 5.3.4. Organización de la ejecución La organización de la ejecución ha tenido un protagonismo inicial muy importante de la ONG española que debió reconducir la situación inicial hasta la realización del proyecto con una contraparte diferente de la inicialmente prevista y con un plazo muy inferior al inicialmente previsto. La formulación de la propuesta había estado liderada por otra organización, de forma que la complejidad de la puesta en marcha debe resaltarse, máxime cuando la organización de la ejecución ha conseguido realizar satisfactoriamente las actividades previstas. En este contexto resulta también remarcable la capacidad para mantener el papel de las comunidades en la valoración, la toma de decisiones y la generación de mecanismos de organización y control de los créditos. La opción ha sido muy cercana a las comunidades y ello ha permitido que éstas se apropiaran de un proceso, al menos de los componentes prioritarios para ellos, que de otra manera no hubiera sido posible. La capacidad organizativa de esas comunidades ha dado consistencia a la organización del proyecto, seriamente amenazada por las condiciones de ejecución. 5.4. Impactos 5.4.1. Contribución de las intervenciones al logro de los objetivos generales No ha resultado posible para la presente evaluación identificar impactos consistentes del proyecto en el objetivo. La definición del objetivo general y del específico no hacían posible la medición de impactos en los objetivos (no así para los resultados y las actividades, que presentaban indicadores precisos, como ya se ha indicado anteriormente). El objetivo general del proyecto: “Mejoradas las condiciones de vida y fortalecida la autogestión de las comunidades campesinas beneficiarias gracias a prácticas agroecológicas en el marco de un desarrollo sostenible” estaba en relación y encajaba mejor en el proceso de planificación participada del desarrollo rural a nivel comunitario que se venía produciendo en la zona en los años anteriores a la realización de la propuesta. Su concreción a través del objetivo específico dejaba Cooperación Ciudad de Madrid 195 12671 Colombia (FF) 196 3/3/08 13:30 Página 196 Informes de evaluación. Ecuador un espacio de indefinición que sólo podría cubrirse mediante indicadores adecuados del objetivo específico. Si sabemos en qué medida las granjas son alternativas y no complementos a la actual forma de gestión productiva de suelos del páramo, en qué medida la producción mejora la alimentación y produce ingresos para las familias, a qué ritmo aumenta la cobertura de población pobre con crédito, cómo mejora la autogestión de las comunidades u otros indicadores que pudieran definirse, podríamos decir en qué medida el proyecto aporta algo significativo al objetivo general. Un paso intermedio imprescindible sería la definición operativa de los conceptos incluidos en el objetivo, para poder definir los indicadores más correctos. Por ejemplo, ¿qué define más adecuadamente la mejora de la autogestión de las comunidades, el número de temas sobre los que toman decisiones o el número de organizaciones con las que tienen proyectos? La relación entre componentes a nivel estratégico de plan de desarrollo es diferente al que se produce en el nivel de proyecto. Por eso resulta mejor en muchos sentidos que un proyecto se inscriba en un programa o plan de desarrollo. En este caso, la confluencia en el objetivo general de condiciones de vida, desarrollo organizativo, producción ecológica y desarrollo sostenible define unas dimensiones que el proyecto no puede responder en toda su complejidad. Las características del proyecto y su apuesta prioritaria por actividades de mejora de las condiciones de vida a través de la producción hace que el impacto sobre el desarrollo sostenible pueda haber sido más limitado. 5.4.2. Principales efectos positivos Los principales efectos positivos de la intervención que han podido ser constatados a través de la evaluación son los siguientes: • Consolidación de un modelo de gestión comunitaria apoyado en una importantísima tradición indígena y en la capacidad de gestionar un recurso prioritario para ellos de forma autónoma (los créditos). • Producción agropecuaria mejorada en productores pobres de la zona. • Producción agropecuaria con elementos de gestión ecológica. • Aumento de ingresos monetarios de las familias beneficiarias, especialmente en productores de vacuno. • Granjas equilibradas en su producción, tanto para el mercado como para la alimentación de los productores, aunque en un número muy pequeño y con un volumen de producción muy limitada. • Formación en técnicas de cultivo y producción pecuaria, con altas posibilidades de diseminación en las comunidades beneficiarias. • Seguimiento técnico a las producciones durante un año. • Se han realizado acciones de sensibilización medioambiental, con algunas acciones llevadas a cabo por las comunidades en las zonas comunales. 5.4.3. Posibles efectos negativos No se han identificado efectos negativos derivados directamente del proyecto. Si se produjera alguno quizá podría encontrarse en problemas derivados de la aplicación de los criterios para la adjudicación de créditos. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 197 Programa de Evaluaciones 2006-2007 5.5. Viabilidad 5.5.1. Políticas de apoyo La política del nuevo Gobierno en relación con las capas más pobres de la población, el mundo rural y los indígenas parece haber entrado en una nueva fase, con gestos positivos pero a falta de ver consecuencias efectivas en el ámbito local. En cualquier caso, la evolución de la política nacional y el proceso de descentralización administrativa pueden, si no beneficiar directamente a corto plazo, sí al menos generar un entorno más propicio para el desarrollo del movimiento indígena sobre bases más independientes y sobre objetivos más concretos de mejora de las condiciones de vida y promoción social. 5.5.2. Aspectos institucionales Este proyecto tiene un punto fuerte en la organización de las comunidades y en su participación conjunta en procesos de reflexión y orientación estratégica en la zona. Los comités de gestión de los créditos son un elemento más de este proceso, pero el que quizá ha generado más directamente el proyecto. La coordinación con otras instituciones trabajando en la zona en desarrollo económico y organizativo, así como con otras organizaciones de base, parece una necesidad quizá no excesivamente sentida por los protagonistas, pero que sin duda debería abordarse a medio plazo para reforzar la viabilidad de este proceso. 5.5.3. Aspectos socioculturales La organización de la ejecución se ha basado en aspectos muy cercanos a la perspectiva de los beneficiarios, por los que la viabilidad desde este aspecto parece un punto fuerte del proyecto. El grado de prioridad que la población daba al componente de protección medioambiental no parecía del mismo nivel que el componente productivo, aunque existen aspectos socioculturales que pueden hacer a los beneficiarios sensibles a esos temas, siempre y cuando se compatibilicen con su deseo prioritario de obtener más recursos para vivir más dignamente. 5.5.4. Enfoque de género La producción agropecuaria de huerto y ganado menor pertenece a la órbita de trabajo tradicional de las mujeres, por lo que el proyecto mejoraba la posición de las mujeres dentro de sus funciones en la sociedad. Al mismo tiempo, la elevada participación de las mujeres en los comités de gestión y como sujetos de crédito ha supuesto un posicionamiento diferente de la mujer en la comunidad. Queda fuera de esta evaluación el análisis de las relaciones de género y los roles masculino y femenino en estas comunidades, por lo que no se pueden dimensionar efectos del proyecto, sino más bien hablar de impresiones, pero el peso de las mujeres en el proyecto parece muy significativo. 5.5.5. Factores tecnológicos La apuesta del proyecto por una producción ecológica pone los factores tecnológicos en el centro del éxito del proyecto. La construcción y la producción se han planteado buscando el empleo de tecnologías adecuadas para el medio y para la cultura de los beneficiarios. Sin Cooperación Ciudad de Madrid 197 12671 Colombia (FF) 198 3/3/08 13:30 Página 198 Informes de evaluación. Ecuador embargo, queda la duda de si buena parte de lo ecológico de la producción no se debe a falta de recursos para abordar producciones más lucrativas y más agresivas con el medio ambiente. Tomando un ejemplo, todos los beneficiarios valoraban como positivo la utilización del compostaje para eliminar residuos y mejorar la calidad de los suelos de cultivo, pero la mayoría de los productores de leche parecían preferir una producción con establo y uso intensivo de antibióticos y complementos para el ganado y el único factor limitante parecía ser el económico. Al margen de los graves riesgos empresariales en los que estas personas incurrirían si pudieran adoptar esa forma de producción, el planteamiento parece indicar una limitada valoración de la producción ecológica y una cierta aceptación de la tecnología adecuada a sus posibilidades. 5.5.6. Factores ambientales Los principales factores ambientales que pueden afectar la viabilidad del proyecto son la evolución del ecosistema de páramo y la evolución de los suelos actualmente cultivados por debajo del páramo. 5.5.7. Factores económico-financieros Un primer factor económico-financiero es el acceso al crédito. Hasta la fecha el microcrédito “informal”, gestionado por organizaciones en el marco de proyectos de desarrollo, parece el único mecanismo de acceso al crédito de estas poblaciones, por lo que los factores relacionados con la gestión y demanda de estos créditos pueden ser los más relevantes, tanto los derivados de la continuación de los fondos de este proyecto como los derivados de otros proyectos similares. Sin embargo, no deben descartarse otras fuentes de crédito, ya sean privadas o públicas, que podrían entrar en “competencia” con los microcréditos como este proyecto u ofertar productos a proyectos algo mayores, como los de cooperativas de comercialización, caso de que los productores alcanzaran ese nivel. Otro factor es el de la gestión económica de las unidades de producción, que puede presentar problemas a medio plazo, especialmente con producciones pequeñas. El proyecto planteaba que la situación económica de las familias mejoraría extraordinariamente cuando terminaran de pagar sus préstamos. Sin embargo, a medio plazo las explotaciones familiares de tamaño reducido, como son la mayoría de las financiadas en este proyecto, pueden presentar problemas para la reinversión en el ciclo productivo y la pequeña amortización que sea requerida. Este uso para el margen comercial va a entrar en competencia con otros gastos familiares, así como la producción tiene los usos alternativos de vender en el mercado o alimentar a la familia. Un tercer elemento económico es el del apoyo técnico. El proyecto generó unos técnicos locales que apoyaron el inicio de las actividades agropecuarias durante el proyecto. Posteriormente, su salario no puede ser retribuido por las comunidades y difícilmente puede financiarse por pago de servicios por parte de los productores. El mantenimiento de una cierta capacidad de apoyo técnico resulta necesaria todavía y sólo parece en posición de abordarlo la Asociación Llaktakunda, para lo que debería gestionar fondos de proyectos con los que dotarse de ese instrumento de apoyo técnico a las comunidades. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 199 Programa de Evaluaciones 2006-2007 6. PRINCIPALES CONCLUSIONES De forma sintética se presentan las principales conclusiones de la evaluación, que han sido desarrolladas en este documento, como un esquema que facilite la discusión. Fortalezas 1. 2. 3. 4. 5. 6. 7. 8. 9. 7. Concentración de Llaktakunda en el área geográfica del proyecto. Estrategia de Llaktakunda de trabajo cercano con las comunidades. Refuerzo institucional y organizativo de Llaktakunda y las comunidades. Proceso de análisis previo en clave de plan de desarrollo participado. Alta pertinencia del área y los beneficiarios. Confluencia de prioridades de las comunidades y el proyecto en torno a producción y microcréditos. Componente de formación y apoyo técnico realizado adecuadamente. Muy buena gestión de microcréditos. Incorporación de acciones de sensibilización sobre el medio ambiente. RECOMENDACIONES Debilidades 1. Debilidades en el diseño de indicadores. 2. En las actividades, insuficiente abordaje del componente medioambiental y su relación con el productivo. 3. Mejorable relación entre la definición de beneficiarios y actividades. 4. Abandono del componente comercialización y excesivo enfoque en la producción ecológica. 5. Apoyo técnico no garantizado. 6. Mecanismo lento de acceso a microcréditos. 7. En algunos casos, explotaciones generadas peligrosamente pequeñas. QUE PUEDEN EXTRAERSE DE LA EXPERIENCIA • El diseño de proyectos debe clarificar los componentes que figuran prioritariamente entre las prioridades de los beneficiarios y los que son prioridades técnicas, que deberán dimensionarse correctamente y definir un proceso acertado de incorporación a las prácticas de los beneficiarios, para que continúen después del proyecto. • La formulación de un proyecto como éste debe reforzarse, para aprovechar la capacidad organizativa de las comunidades ampliando el capital disponible para préstamos sin aumentar los gastos de gestión. • A valorar la posibilidad de volver sobre este proyecto analizando su impacto, reforzando el componente medioambiental si fuera posible y ampliando el volumen de crédito disponible. Estas dos líneas de trabajo pueden plantearse por separado, ya que son objetivos difícilmente compatibles en el corto plazo y en el nivel de proyecto. La mejora en la gestión productiva del ecosistema páramo es un proceso muy importante para la zona que quizá no puede abordarse exclusivamente a través del microcrédito y la sensibilización a las comunidades. Por otra parte, existen en la zona un importante número de comunidades que podrían verse beneficiadas de un acceso a crédito social con gestión comunitaria, a través de un proyecto. • Parece de interés retomar la perspectiva de desarrollo local integrado pero apropiándosela las organizaciones de base, que sean protagonistas y con ellas la población, de forma que sin temor a quedar relegados, puedan buscar el apoyo de las Administraciones locales, la complicidad de ONG internacionales y, en la medida de lo posible, del Estado. Cooperación Ciudad de Madrid 199 12671 Colombia (FF) 3/3/08 13:30 Página 200 12671 Colombia (FF) 3/3/08 13:30 Página 201 Informes de evaluación. Marruecos 12671 Colombia (FF) 3/3/08 13:30 Página 202 12671 Colombia (FF) 3/3/08 1 13:30 Página 203 Informe de evaluación Proyecto de mejora de la situación educativa de los menores de la comunidad rural de Rouadi Convocatoria: 2003 Área de actuación: socioeducativa Localización: comuna rural de Rouadi, provincia de Alhucemas. Norte de Marruecos Fecha de inicio: 1 enero 2004 Fecha de finalización: 31 de diciembre 2004 Coste total: 188.437 euros Aportación del Ayuntamiento de Madrid: 127.050 euros ONG responsable: ejecución directa por el MPDL (Movimiento por la Paz, el Desarrollo y la Libertad) en colaboración con la comuna rural de Rouadi Otras entidades participantes: Asociación de Padres de Alumnos del centro de enseñanza secundaria de Rouadi; Delegación Provincial de Educación de Alhucemas 1. BREVE DESCRIPCIÓN DE LAS INTERVENCIONES El proyecto pretende mejorar las condiciones socioeducativas de la comunidad de Rouadi mediante la construcción de un internado para los alumnos y alumnas de secundaria, de modo que se facilite su acceso a la educación y la continuidad de sus estudios. Debido a las largas distancias que deben recorrer y a la inexistencia de medios de transporte adecuado, muchos alumnos y, sobre todo, muchas alumnas no siguen sus estudios de educación secundaria. Aunque otras acciones del MPDL en la comuna de Rouadi han complementado esta actuación, el proyecto evaluado ha consistido en la construcción y puesta en marcha del internado. Los trabajos fueron concluidos en diciembre de 2004 con un pequeño retraso debido, entre otras razones, al terremoto que asoló Alhucemas en febrero de dicho año y que obligó a una reformulación del proyecto. La residencia comenzó a prestar servicio en el curso escolar 2005-2006 a un 75% de su capacidad que llegó al 100% en el curso 2006-2007. Cooperación Ciudad de Madrid 12671 Colombia (FF) 204 3/3/08 13:30 Página 204 Informes de evaluación. Marruecos El proyecto ha sido objeto de un minucioso sistema de seguimiento, auditoría y evaluación tanto internamente como por parte del Ayuntamiento de Madrid. La evaluación realizada por nosotros no entra según sus TdR en los aspectos de auditoría, pero no puede dejar pasar por alto su desacuerdo con algunas de las , a nuestro juicio, injustificadas valoraciones de la evaluación técnica e informe de auditoría realizado en el año 2006 por la UTE entre Agroconsulting y KPMG. En diversos apartados de este informe haremos referencia a ello. 2. DESCRIPCIÓN DE LA ESTRUCTURA DE INTERVENCIÓN EN LA QUE SE INSERTA EL PROYECTO La intervención evaluada se enmarca dentro de la actividad del MPDL en la región de Alhucemas y, muy especialmente, en las actuaciones en la comuna de Rouadi con la que se han desarrollado y siguen realizándose diversos proyectos y programas. El MPDL inicia su presencia en Marruecos en 1997 a raíz de la intervención de emergencia en la localidad de Ben Karrich (Tetuán) afectada por fuertes inundaciones. Esta operación fue financiada por la UE. A partir de esta operación se identificó un proyecto de desarrollo rural integral en la comuna rural de Beni Hadifa (Alhucemas) financiado por la AECI en 1998. Con esta iniciativa se lleva a cabo la apertura de una misión en la ciudad de Alhucemas donde se instala un expatriado. Desde ese momento, en esta provincia se han desarrollado la inmensa mayoría de los proyectos de la organización en Marruecos y es aquí donde se cuenta con una presencia estable y una oficina operativa. Durante estos años el MPDL ha elaborado diversos documentos de estrategia para su actuación en el país y, especialmente, para su trabajo en Alhucemas, ya que es allí donde se concentran gran parte de sus acciones. Territorialidad (oncentración en una zona) y sectorialización han marcado el enfoque estratégico de la ONG. Líneas de trabajo desarrolladas por el MPDL en el país: • Ayuda humanitaria/emergencia: - Asistencia en las inundaciones de Ben Karrich (Tetuán) en 1997. - Asistencia a los damnificados por el terremoto de Alhucemas de febrero de 2004. • Cooperación al desarrollo: - Desarrollo rural (agricultura, infraestructuras, formación profesional, turismo, cooperativismo, artesanía). - Género. - Educación. - Sociedad Civil. - Medio ambiente. - Codesarrollo. • Derechos humanos: - Género (proyecto de alfabetización y sensibilización jurídica en la medina de Rabat). Centros de asistencia a mujeres maltratadas (Rabat, Casablanca y Kenitra). Para llevar adelante sus proyectos, el MPDL ha diversificado sus fuentes de financiación que han sido hasta la fecha básicamente: • Agencia Española de Cooperación Internacional (AECI). • Ayuntamiento de Madrid. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 205 Programa de Evaluaciones 2006-2007 • • • • • Comunidad de Madrid (CM). Junta de Comunidades de Castilla la Mancha (JCCLM). Diputación de Sevilla. Fundación Biodiversidad. Unión Europea. ECHO. Esta diversificación de las fuentes de financiación es uno de los puntos fuertes del MPDL en la región y ha hecho que la solidez de su trabajo y sus lazos con las entidades contrapartes hayan alcanzado bastante estabilidad. Es de destacar que en estos años el trabajo del MPDL ha ido experimentando una cierta evolución conceptual y se ha ido adecuando a nuevas necesidades y demandas lo que refleja una cierta madurez. Así, de intervenciones puntuales al inicio ha pasado a acciones más globales como los actuales proyectos de codesarrollo o las acciones integrales en el Parque Nacional de Alhucemas. En el caso de la comuna de Rouadi, junto a el proyecto objeto de esta evaluación, se ha desarrollado una acción más ambiciosa y de mayor envergadura: “Programa para la mejora de las condiciones económicas y la generación de ingresos de la población de la comunidad rural de Rouadi, Alhucemas, fortaleciendo el movimiento asociativo comunitario e institucional” financiada por la CM y que al haber sido objeto de una reciente evaluación nos ha permitido analizar posibles sinergias e interacciones sobre la comunidad. Por tanto, el proyecto evaluado se inserta de modo coherente dentro del trabajo del MPDL en el país y la región y complementa otras actuaciones de más envergadura que la ONG ha emprendido desde su presencia en el país. Sin embargo, como citaremos a continuación, no ha existido una verdadera lógica de planificación en cascada: plan, programa, proyectos... que hubiera dado aún mayor consistencia a este proyecto. Lamentablemente, durante muchos años, la lógica de financiación de los donantes ha sido la de apoyar únicamente proyectos de duración anual o bianual, lo que ha condicionado, de facto, la posibilidad de emprender estrategias de planificación más ambiciosas como las que se sugieren. En cualquier caso, la evaluación quiere destacar que el proyecto evaluado debe ser entendido como algo más que la mera construcción de una residencia escolar y ser analizado en el conjunto de la actividad de la ONG en la comuna y la región. Por tanto, pese al ser este proyecto una acción puntual, debe analizarse en el contexto de la acción global del MPDL en la comuna. Desde la perspectiva organizativa, el MPDL cuenta con un sólido equipo de personal local y expatriado en Alhucemas y con lazos y acuerdos estables con las comunas en las que trabaja y, en este caso, con la de Rouadi que analizaremos posteriormente. Durante el periodo de ejecución del proyecto y en el trabajo del MPDL en la región ha habido varios cambios de personas y en el organigrama en función del volumen y tipo de proyectos. En todos los periodos la participación de personal local en los proyectos ha sido bastante elevada y el trabajo de terreno ha recaído en buena medida sobre los trabajadores locales. En el caso del proyecto evaluado, la mayor parte de los gastos de personal local fueron asumidos por las contrapartes locales o por el propio MPDL, contribuyendo el Ayuntamiento de Madrid a la financiación del expatriado. Es de destacar que los cambios en el personal habidos durante el periodo de trabajo del MPDL en Alhucemas no han afectado a la continuidad de sus proyectos y el traspaso de funciones Cooperación Ciudad de Madrid 205 12671 Colombia (FF) 206 3/3/08 13:30 Página 206 Informes de evaluación. Marruecos parece haberse realizado de modo adecuado y sin traumas organizativos. Durante la visita al proyecto estuvo con los evaluadores el coordinador del MPDL en Marruecos en la época de ejecución del proyecto. No olvidemos que se trata de un proyecto que fue finalizado en el año 2004 y que en muchas ocasiones, debido a los cambios de personal en las ONG, no es posible contar con los responsables de primera mano de su gestión. 3. VALORACIÓN DE LOS DOCUMENTOS DE FORMULACIÓN En los documentos de formulación, los apartados dedicados a exponer los antecedentes, contexto y justificación aparecen adecuadamente documentados y se explica de forma convincente la situación-punto de partida y las razones que han motivado las decisiones tomadas. El profundo conocimiento que el MPDL tiene de la zona de intervención así como su relación con la comuna de Rouadi ha permitido un planteamiento serio desde el inicio en el diseño de la intervención. Insistimos en este hecho, pues la simplicidad del proyecto, construcción de una residencia, puede ocultar que se trata de algo que toma su sentido en el contexto más amplio de trabajo de la ONG en la zona. En el documento de formulación se hace referencia a que en el trabajo con la comuna se ha identificado como problema focal la “deficiente calidad de vida de la población rural” que se desglosa en cuatro ramas dentro de un hipotético árbol de problemas: • • • • Deficitario acceso al agua potable. Bajo acceso a la atención primaria de salud. Elevados niveles de analfabetismo. Limitadas condiciones económicas y de generación de ingresos. La elección de centrarse en los elevados niveles de analfabetismo y, en general, en los aspectos educativos, se justifica en la formulación por el hecho de trabajar en otros proyectos de agua o desarrollo económico con otros financiadores: Comunidad de Madrid y Junta de Andalucía. En cualquier caso, aun siendo una decisión razonable desde la perspectiva del trabajo con diversos financiadores, hubiera sido muy bueno el dar mayor coherencia al proyecto, enmarcándolo mejor en el nivel superior y explicitando una lógica de planificación que, aunque tal vez implícita, no aparece explicitada en el documento. Al no hacerse así, tiende a romperse la lógica de la planificación en cascada, que se refleja en el siguiente gráfico usado habitualmente en la planificación de intervenciones de desarrollo: Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 207 Programa de Evaluaciones 2006-2007 PLAN Objetivo general PROGRAMA Objetivo específico Objetivo general PROYECTO Resultados Objetivo específico Objetivo general Actividades Resultados Objetivo específico Actividades Resultados Actividades En este sentido, hubiera sido conveniente una mayor explicación de los criterios para la selección de esta alternativa y este tipo de proyecto y un mínimo análisis de otras posibilidades, si las hubo, contempladas. En un proyecto simple desde la perspectiva formal como es éste, y bien justificado, aparece clara desde el principio la intención y los objetivos que se pretenden. No obstante existen algunos problemas en la formulación que habría que citar: • El objetivo general (OG) elegido “mejoradas las condiciones sociales y educativas de los habitantes de la Comunidad Rural de Rouadi” es de una excesiva generalidad y aunque suelen usarse, demasiado, OG de este tipo, son muy poco útiles para las tareas de evaluación. • En el formulario de identificación aparece como objetivo específico (OE) “reducidos los niveles de fracaso escolar entre la población infantil y juvenil de la comunidad rural de Rouadi”, que pasa a ser “escolarizar y ofrecer una formación continua de secundaria a estudiantes que viven dispersos en los douares de Rouadi mediante la construcción de una residencia de alumnos en el Instituto de Rouadi” en el documento de seguimiento semestral y resto de documentos generados por el proyecto. • Evidentemente, pese a tener claro que el proyecto consistirá en la construcción de una residencia no es lo mismo formular el OE de modo ambicioso y general como “reducidos los niveles de fracaso...” , que centrado en el servicio que se quiere ofrecer de “escolarizar... mediante la construcción...”. En cualquier caso, debería haberse explicado y explicitado el porqué del cambio. • La formulación de uno u otro modo del OE afecta al resto de componentes de la matriz de planificación del proyecto (MPP). Si el OE fuera el de “reducidos los niveles de fracaso escolar...”, los datos de la Delegación de Educación serían muy relevantes y el tipo de trabajo para conseguir esos datos, muy diferente de si el OE se centra en la construcción de una infraestructura. Cooperación Ciudad de Madrid 207 12671 Colombia (FF) 208 3/3/08 13:30 Página 208 Informes de evaluación. Marruecos Lógica de intervención primer documento Lógica de intervención segundo documento Objetivo general Mejoradas las condiciones sociales y educativas de los habitantes de la comunidad rural de Rouadi. Mejoradas las condiciones sociales y educativas de los habitantes de la comunidad rural de Rouadi. Objetivo específico Reducidos los niveles de fracaso escolar entre la población infantil y juvenil de la comunidad rural de Rouadi. Escolarizar y ofrecer una formación continua de secundaria a estudiantes que viven dispersos en los douares de Rouadi mediante la construcción de una residencia de alumnos en el Instituto de Rouadi. Resultados Se habrá construido y equipado una residencia de estudiantes de 402 m2 en el centro de la comuna rural de Rouadi. Se habrá construido y equipado una residencia de estudiantes de 402 m2 en el centro de la comuna rural de Rouadi. 40 chicos continúan sus estudios de secundaria en el colegio de secundaria de la comunidad rural de Rouadi. 40 chicos continúan sus estudios de secundaria en el colegio de secundaria de la comunidad rural de Rouadi. Los proyectos cuentan con indicadores y fuentes de verificación adecuados y se ha hecho un importante esfuerzo para establecer sistemas de comprobación que permitan valorar los logros alcanzados. De todas maneras, a menudo esos indicadores tienden a valorar más el desempeño que los efectos logrados por lo que el segundo OE elegido facilita este uso de los indicadores para el seguimiento y la evaluación. La lógica de la intervención está clara y el encadenamiento medios-fines también. Las actividades previstas permiten la obtención de resultados y éstos, del OE. Desde la presentación del proyecto a la convocatoria de 2003 del Ayuntamiento de Madrid, los presupuestos fueron modificados de manera importante pasando la subvención del Ayuntamiento de Madrid de 193.418 euros a 127.050 euros lo que supone el 65,69% del presupuesto inicial, debido a que se redujo de forma drástica el monto de la subvención solicitada. Evidentemente, esa reformulación afectó a lo inicialmente previsto pasando de 750 m2 a 402 m2 la superficie construida. El equipo de evaluación desconoce las razones técnicas de tales recortes y los criterios utilizados para realizarlas, debiendo valorar de forma crítica una decisión que impide el correcto funcionamiento de lo previsto y condiciona el logro de los objetivos inicialmente planificados. En cualquier caso, tanto el MPDL como la comuna de Rouadi se adaptaron a esos cambios del mejor modo posible, de modo que no afectará mucho al espíritu inicial de la propuesta. El análisis de riesgos resulta insuficiente en el proyecto. El desgraciado terremoto que afectó a la zona en febrero de 2004 y que evidentemente retrasó el desarrollo del proyecto pone de manifiesto que este apartado de la MPP, que suele ser infravalorado, cobra especial importancia en casos como éste. Hay que decir que los formularios de proyecto normalmente utilizados minusvaloran o simplemente no consideran este componente y que ello puede tener efectos muy perjudiciales. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 209 Programa de Evaluaciones 2006-2007 4. VALORACIÓN DE LOS PERIODOS DE EJECUCIÓN La ejecución del proyecto se ha llevado a cabo, a nuestro juicio, de manera satisfactoria. Los retrasos ocasionados por la reformulación y recortes presupuestarios, primero, y por los efectos del terremoto de febrero de 2004 pueden considerarse menores en un contexto como el de la región. El que un proyecto de la convocatoria de 2003, ejecutado en 2004 y habiéndose visto afectado por un seísmo que afectó gravemente a la provincia de Alhucemas, comenzaráa a prestar sus servicios el curso escolar 2005-2006, nos parece del todo razonable. Por ello, no coincidimos con la dureza las conclusiones del Informe de auditoría de KPMG y Agroconsulting de mayo de 2006 en esta materia y con las conclusiones sobre pertinencia, eficacia y eficiencia que de los retrasos del proyecto se extraen. Analizándolo en perspectiva, valorando las dificultades reales sobre el terreno para la ejecución de este tipo de obras, considerando el efecto del seísmo..., en definitiva, tratando de contextualizar el proyecto en su terreno, nuestra valoración es más positiva sobre los plazos de ejecución del mismo. Por el carácter de la evaluación y al haberse realizado otras acciones de seguimiento y verificación anteriormente por el Ayuntamiento, no hemos entrado en el análisis en profundidad de la calidad de la obra, la licitación de la misma, los contratos con el constructor y otros aspectos de índole similar. 5. CRITERIOS DE EVALUACIÓN 5.1. Pertinencia 5.1.1. Adecuación del proyecto a prioridades En términos generales, puede considerarse que el proyecto presenta un elevado nivel de pertinencia en lo que hace referencia a su adecuación a las prioridades de la población, en términos de desarrollo, así como a las de las diferentes entidades implicadas en su puesta en marcha. El área de intervención es una zona con elevados índices de pobreza y graves carencias en necesidades básicas y especialmente en educación para las niñas. Los principales actores de la cooperación para el desarrollo, incluyendo al Ayuntamiento de Madrid y a la propia cooperación española, asumen como propios los Objetivos del Milenio y plantean como su horizonte estratégico su contribución a la erradicación de la pobreza extrema. Asumiendo que los documentos de estrategia con los que contamos en la actualidad son posteriores al momento de la preparación y ejecución de los proyectos evaluados, pueden reseñarse los siguientes datos: • Marruecos era y es un país prioritario para la estrategia de cooperación del Ayuntamiento de Madrid que cuenta con un Plan Estratégico de Actuación en Marruecos. El plan toma como colectivos de atención fundamental mujeres y menores. Entre 1995-2005, el 4% del monto total de los proyectos subvencionados por el Ayuntamiento de Madrid (alrededor de 5 millones de euros) se dirigió a este país. De ellos un elevado porcentaje (18%) a la provincia de Alhucemas. • Marruecos aparece definido como país prioritario en el Plan Director de la Cooperación Española y cuenta con un Documento de Estrategia País que prioriza las actuaciones en esta zona y sector. Cooperación Ciudad de Madrid 209 12671 Colombia (FF) 210 3/3/08 13:30 Página 210 Informes de evaluación. Marruecos • En el Plan Director de la Cooperación Española se indica que, al menos, un 20% de los recursos comprometidos deben dirigirse a la cobertura de necesidades sociales básicas. Por lo que hace referencia al MPDL el proyecto está en consonancia con su estrategia para el país y para Alhucemas y es coherente con la misma. El proyecto también es considerado muy pertinente desde el punto de vista de las autoridades locales de la comuna de Rouadi. La tasa de abandono de las chicas es muy elevada y previamente al proyecto tan sólo el 29% del alumnado del instituto de secundaria eran chicas. Por todo ello, el proyecto también es considerado muy necesario y pertinente por las familias y la Asociación de Padres de Alumnos. Las relaciones con las autoridades educativas son complejas y su nivel de implicación ha sido y es escaso. Se cuenta con las necesarias autorizaciones para llevar adelante el proyecto, pero no parece existir una alta implicación de los responsables educativos zonales. Respecto de la dirección del instituto, la opinión es más variable y aunque se coincide en la pertinencia de la construcción de la residencia, algún responsable cuestiona la adecuación del tipo de residencia finalmente construida. Debido a los recortes presupuestarios fue preciso eliminar alguna de las zonas comunes previstas (sala de reuniones, biblioteca) lo que ha hecho que las condiciones de la residencia sean muy limitadas y eso hace que algunos consideren inadecuada la opción elegida. Este subcomponente de la pertinencia, la adecuación, es el más problemático a la hora de valorar la bondad de la opción elegida. La construcción de la residencia, tal y como se ha realizado, sirve para satisfacer la necesidad de alojamiento de los niños y niñas de secundaria de la comuna. Pero lo hace de una forma muy básica y precaria que ha planteado otros problemas y que ha hecho más patentes las limitaciones del proyecto. La mayor parte de los entrevistados apoyan la pertinencia del proyecto y valoran positivamente la construcción, considerándola adecuada, pero algunos manifestaron su convicción de que el hecho de contar con una residencia “que no es un internado comme il faut” puede impedir que se construya uno mejor a medio plazo y eximir a la Delegación de Educación de sus responsabilidades. El tema de la carencia de armarios donde guardar las cosas que comentaremos luego es una de las carencias más claras que algunos argumentan como fruto de un planteamiento inadecuado y demasiado “espartano”. Esta ausencia de armarios ha ocasionado pequeños hurtos y la necesidad de mantener cerradas las instalaciones en algunos momentos del día, lo que dificulta su adecuada utilización. Con todos estos datos, la evaluación cree que el proyecto era y es pertinente y adecuado aunque plantea que deben resolverse algunos de los problemas puestos de manifiesto al comenzar la residencia su funcionamiento. 5.1.2. Origen de la iniciativa La iniciativa del proyecto surge de la propia comunidad y del trabajo del MPDL en la misma. Era una demanda sentida por las familias y por los líderes comunales y, en este sentido, el MPDL actuó de catalizador de la misma. La Delegación Provincial de Educación apoyó la iniciativa desde el inicio aunque con un grado de compromiso escaso que ha afectado, como veremos, a alguno de los componentes del proyecto. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 211 Programa de Evaluaciones 2006-2007 5.1.3. Complementariedad con otras acciones Un proyecto como éste se complementa con el “Programa de mejora de las condiciones económicas condiciones económicas y la generación de ingresos de la población de la comunidad rural de Rouadi, Alhucemas, fortaleciendo el movimiento asociativo comunitario e institucional” financiado por la Comunidad de Madrid y con otras acciones del MPDL en la región y en la comuna a lo largo de los años. Éste es un aspecto muy positivo que da coherencia a un proyecto tan específico como éste que ha redundado en la elevada apropiación por parte de la comuna y en la viabilidad del proyecto. 5.1.4. Valoración de los colectivos beneficiarios y cobertura de la intervención En todos los casos, la valoración de los colectivos beneficiarios (alumnos y alumnas, padres, líderes comunitarios, autoridades educativas, cooperación española) sobre la pertinencia del proyecto ha sido muy favorable. Respecto a la cobertura, en el momento de la evaluación residían en el internado 42 niños y 31 niñas lo que supone haber superado la capacidad inicialmente prevista y haber logrado un acceso del colectivo femenino muy elevado. Según datos de la dirección del centro, no quedaron niñas sin acoger de las que así lo solicitaron. Las inscripciones y resto de trámites se realizan por la Delegación de Educación y la dirección del centro y los criterios son transparentes y comunes a toda la provincia. Según nuestros datos y el resultado de las entrevistas no hay ningún sesgo a favor del colectivo masculino y aunque existe una diferencia entre los niños y niñas residentes, ésta es muy inferior a la que existía anteriormente o a la que sigue siendo evidente en la zona norte de Marruecos. 5.1.5. Correspondencia entre los objetivos de los proyectos y algunos problemas existentes en la realidad En comunas como la de Rouadi los problemas, necesidades y demandas son abundantes. Aun no existiendo una línea de base clara sobre la que trabajar, todas las fuentes indican que la necesidad de garantizar el seguimiento de sus estudios a los alumnos de secundaria es una de las más sentidas. Estamos convencidos que desde esta perspectiva, el proyecto es de una gran pertinencia. Al contribuir el proyecto a una mayor participación de los niños y especialmente de las niñas en el proceso educativo el proyecto aborda uno de los problemas clave puestos de manifiesto en todos los estudios realizados en esta zona de Marruecos. 5.2. Eficacia 5.2.1. Definición del objetivo específico y los resultados Con la visión que da el haber visitado el proyecto más de dos años después de su finalización, parece claro que la eficacia del proyecto ha sido alta y que tanto sus objetivos como resultados se han alcanzado. En este sentido la eficacia puede calificarse como muy elevada. Y ello, a pesar de que la definición formal de objetivos a la que hicimos referencia sea mejorable. Cooperación Ciudad de Madrid 211 12671 Colombia (FF) 212 3/3/08 13:30 Página 212 Informes de evaluación. Marruecos 5.2.2. Nivel de logro de los objetivos y resultados Objetivo específico Escolarizar y ofrecer una formación continua de secundaria a estudiantes que viven dispersos en los douares de Rouadi mediante la construcción de una residencia de alumnos en el instituto de la comuna rural de Rouadi. Indicadores Los alumnos de los colegios satélites que están dispersos en los douares de la comuna de Rouadi continúan sus estudios de secundaria en el colegio de Rouadi. El OE medido por el indicador objetivamente verificable (IOV) se ha alcanzado sobradamente y la residencia está sirviendo para facilitar el acceso a la educación de niños y niñas que, en otro caso, habrían abandonado los estudios. En principio, puede afirmarse que el nivel de realización de las diferentes actividades previstas ha sido muy adecuado y que éstas se han llevado a cabo sin grandes desviaciones con respecto a lo planificado inicialmente. Del mismo modo, los dos resultados previstos fueron logrados: “se habrá construido y equipado una residencia de estudiantes de 402 m? en el centro de la comuna rural de Rouad”; “40 chicos continúan sus estudios de secundaria en el colegio de secundaria de la comunidad rural de Rouadi”. Ambos resultados se han conseguido e incluso se aumentó el número de plazas reales del internado. En este sentido, nuestra valoración vuelve a discrepar con la realizada por KPMG y Agroconsulting en mayo de 2006 a la que hemos hecho anteriormente referencia que calificaba de mediabaja la eficacia del proyecto. En nuestra opinión, la eficacia es más que razonable y tanto los resultados como el OE han sido conseguidos en un porcentaje elevado. 5.3. Eficiencia 5.3.1. Realización de actividades Las actividades se han ejecutado de una manera claramente satisfactoria y, de acuerdo, en lo esencial, a lo programado. Los informes de seguimiento y las supervisiones efectuadas desde el Ayuntamiento de Madrid así lo ratifican y el equipo de evaluación no ha centrado sus indagaciones en esta cuestión que ya había sido suficientemente respondida con anterioridad. 5.3.2. Utilización de recursos El proyecto sufrió desde su primera formulación un elevado recorte presupuestario que implicó una reducción de la superficie construida, que ha afectado a otros criterios de evaluación pero al que la ONG evaluada ha sabido adaptarse. El equipo de evaluación no ha centrado su análisis en esta cuestión que ya había sido tratada en otros informes de seguimiento Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 213 Programa de Evaluaciones 2006-2007 y supervisión realizados por el Ayuntamiento y en los que quedaba clara la buena gestión de los recursos. Una consideración que cabría hacer en este apartado es que tras el ajuste presupuestario del proyecto, el porcentaje de gastos de personal directamente imputables al proyecto es elevado, en torno al 25%, lo que puede considerarse elevado al ser, además, en una gran medida el coordinador expatriado. No obstante, teniendo en cuenta el resto de tareas del coordinador del proyecto, estimamos justificable este porcentaje. 5.3.3. Desviaciones temporales en la ejecución de las actividades El proyecto tuvo un pequeño retraso, como ya se ha comentado, debido al terremoto de Alhucemas. Este retraso no afectó a la entrada en funcionamiento de la instalación el curso 20052006 y a su pleno rendimiento el 2006-2007. Pensamos que algunas de las previsiones iniciales de poder iniciar el internado en el curso 2004-2005 eran muy optimistas y poco adaptadas a contextos como el de Alhucemas. No estimamos que esta desviación haya sido grave ni afectado la eficiencia del proyecto de modo relevante. Ya hemos comentado anteriormente nuestras consideraciones a este respecto y nuestro análisis más contextual y no simplemente “formal” en términos de cumplimiento de calendarios previstos. Si acaso, sería objetable el optimismo de la ONG a la hora de plantear los plazos del proyecto. 5.3.4. Organización de la ejecución La coordinación general de todo el proyecto y la dirección recayeron básicamente sobre el MPDL que fue quien impulsó la relación con la comuna rural de Rouadi y la Delegación Provincial de Educación. A tales efectos, el MPDL suscribió un Convenio de Colaboración (Convention de Partenariat) con ambas entidades tratando de dejar claro los compromisos mutuos. También se firmó un Acuerdo Marco de colaboración entre el MPDL y la comuna rural de Rouadi. No se firmó ningún tipo de documento con la Asociación de Padres de Alumnos. Tampoco se creó una estructura estable para la gestión del proyecto. La principal conclusión que puede extraerse, una vez finalizada la ejecución y pasado un cierto tiempo, es que esos acuerdos de colaboración son de índole demasiado general lo que hace que algunas cuestiones se hayan interpretado de modo diferente y afectado a algunos componentes del proyecto. Así, al decir el Convenio de Colaboración que la “construcción del proyecto es financiada exclusivamente por el Ayuntamiento de Madrid por medio del MPDL y el equipamiento asegurado por la Delegación de Educación” (artículo 3 del convenio) no queda claro quién se hace responsable de los armarios (ya que depende de si uno interpreta que son parte de la construcción o no) y eso ha hecho hasta el día de hoy, que no haya armarios lo que afecta gravemente la calidad de vida de los niños y niñas residentes. No ha quedado clara, de todas formas, la estructura de ejecución del proyecto y el papel de las organizaciones de los beneficiarios durante esta etapa. La participación de los beneficiarios parece haber sido menor de lo deseable y no se ha creado un comité de gestión que contribuyera de manera clave al sostenimiento de los efectos generados. El hecho de que parte de los gastos de mantenimiento recaigan sobre la comuna es algo positivo desde la perspectiva de la eficiencia del proyecto. Cooperación Ciudad de Madrid 213 12671 Colombia (FF) 214 3/3/08 13:30 Página 214 Informes de evaluación. Marruecos 5.4. Impactos 5.4.1. Contribución de las intervenciones al logro de los objetivos generales Hay que asumir que cuando el objetivo general queda enunciado de una forma genérica (“mejora de las...”) y no se ofrecen mayores precisiones al respecto a través de algún tipo de indicadores verificables, la posibilidad de indagar los posibles impactos que la intervención ha generado resulta prácticamente muy compleja: ¿qué se entiende por condiciones sociales?, ¿cuáles eran esas condiciones antes de las intervenciones?, ¿cómo son ahora?, ¿cómo serían en caso de no haberse ejecutado las intervenciones?, ¿en qué medida se querían mejorar?, ¿cuánto del cambio puede ser atribuido a las intervenciones? No obstante, más allá de estas consideraciones, puede asumirse que el proyecto analizado ha tenido efectos en el área de intervención, más allá del logro de resultados y objetivos específicos que ya se comentaron con anterioridad y que la mayoría de estos efectos han sido positivos. 5.4.2. Principales efectos positivos Pueden citarse algunos efectos generados que van más allá del propio logro de la puesta en marcha del proyecto. Entre éstos los más significativos son los siguientes: • Fortalecimiento de las organizaciones de los colectivos beneficiarios fundamentalmente de la comuna rural de Rouadi. El mantenimiento de los servicios creados precisa de un cierto nivel de organización comunitaria. Ese efecto parece haberse conseguido y representa una condición básica para abordar nuevas acciones en el futuro. • El grado de apropiación del proyecto por parte de la comuna es también muy elevado. • Un planteamiento activo respecto a sus derechos y al apoyo que pueden encontrar en la cooperación española. En una zona tan abandonada tradicionalmente por el gobierno de Rabat e históricamente ligada a nuestro país, comunas como Rouadi han comenzado a ver que el apoyo externo les puede servir para mejorar su situación, pero que más allá de eso, les ayuda a resolver necesidades y para sentirse apoyados en sus relaciones con órganos de la Administración marroquí. • Una mejora en las condiciones de vida de los niños y niñas que acceden a la residencia. El hecho de no tener que retornar cada día a sus lejanas viviendas ha mejorado su situación. • Un avance en la percepción y concepción del derecho de las niñas a la educación. Más allá del efecto directo del proyecto en el aumento de niñas que están cursando secundaria parece haber avanzado esta visión más igualitaria sobre el derecho a la educación. • Una reducción de los gastos familiares. No hemos podido establecer un criterio de contabilización pero en las entrevistas aparecía con claridad. • El fortalecimiento de relaciones entre las comunidades y las autoridades municipales y provinciales anteriormente bastante débiles. También el refuerzo de las relaciones ente la comunidad y la Delegación de Educación aunque en este caso sea más problemática. • Una asunción por parte de algunos enseñantes (y de los equipos directivos de los centros) de nuevas competencias hasta ahora poco consideradas (búsqueda de recursos para proporcionar desayunos o almuerzos, colaboración en iniciativas, etcétera). 5.4.3. Posibles efectos negativos No se han identificado efectos negativos generados directamente por las intervenciones evaluadas. Tal vez, el único efecto negativo fuerahaya sido el que al haberse construido la residencia por una institución ajena a la Delegación de Educación y, aunque estaal no disponer Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 215 Programa de Evaluaciones 2006-2007 de las instalaciones óptimas, dicha la Delegación de Educación se desentienda de las mejoras que aún son necesarias, como la citada instalación de armarios. Desde una perspectiva de medio plazo y en esta misma línea, que la Delegación de Educación no se plantee la homogenización de las condiciones de los internados y residencias y aborde este tema en Rouadi. 5.5. Viabilidad 5.5.1. Políticas de apoyo La visita de evaluación se realizó casi tres años después de finalizado el proyecto y la financiación del Ayuntamiento y el hecho de que la residencia continúe funcionando con normalidad es buena muestra de que el proyecto es viable. No parece que se presenten especiales problemas de viabilidad en lo referente a la actitud y los compromisos de las autoridades locales hacia el proyecto, aunque sí pequeñas disfunciones. Hay que reconocer que, en términos generales, la comuna ha cumplido sus compromisos en el mantenimiento, mientras que la Delegación de Educación no ha cumplido adecuadamente los suyos en materia de equipamiento. De todas formas, pueden efectuarse algunas precisiones al respecto: • Sería necesaria una mayor implicación de la comuna y de la Asociación de Padres de Alumnos en la gestión de la residencia y en la exigencia a la Delegación de Educación. A corto plazo es preciso resolver el tema de los armarios ya que mantiene de modo injustificado la precariedad de las instalaciones y dificulta su uso por parte de los alumnos y alumnas. • Durante la visita de evaluación se trataron con la Delegación de Educación los compromisos firmados con el MPDL e incumplidos. o de apoyar a la Comuna y al MPDL en la presión sobre la Delegación de EducaciónY aunque ésta se comprometió a revisar los acuerdos firmados, pero, es preciso confirmar su cumplimiento de los compromisos. 5.5.2. Aspectos institucionales La transferencia de la residencia se ha efectuado de una manera adecuada. La residencia pertenece ahora al Ministerio de Educación Nacional y Juventud a través de la Delegación Provincial de Educación. Aparentemente, se hará cargo de los costes de operación y mantenimiento del centro en el futuro, excluida la limpieza que es asumida por la comuna. 5.5.3. Aspectos socioculturales La apropiación por parte de la comunidad del internado ha sido muy elevada, ya que representa una aspiración tradicional. La participación de los beneficiarios en la preparación y en la ejecución ha sido adecuada aunque podría haberse enfatizado la de los padres de familia y su asociación. No se detectan problemas especiales que, desde el punto de vista cultural, puedan afectar a la sostenibilidad de las intervenciones. La mejora de las condiciones de la residencia con sala de reuniones, de lectura..., así como de posibilidad de práctica religiosa, redundaría en esta mejora de los aspectos socioculturales. Cooperación Ciudad de Madrid 215 12671 Colombia (FF) 216 3/3/08 13:30 Página 216 Informes de evaluación. Marruecos 5.5.4. Enfoque de género El impacto de género ha sido muy positivo y las cifras de niñas asistentes al internado así lo muestran. En todas las entrevistas con los diversos implicados este tema fue abordado de modo recurrente habiendo una gran coincidencia sobre los impactos positivos en este aspecto. La evaluación no ha podido hacer uso de indicadores más desagregados por género salvo el número de niños y niñas residentes en el internado. 5.5.5. Factores tecnológicos No se han detectado problemas especiales de sostenibilidad derivados de factores tecnológicos. 5.5.6. Factores ambientales Tampoco se han observado cuestiones destacables en esta materia. 5.5.7. Factores económico-financieros El proyecto se ha sostenido y se sostiene de modo adecuado con las aportaciones de la comuna (personal de limpieza y pequeño mantenimiento) y de la Delegación de Educación (mobiliario, personal directivo). Ahora bien, como se ha dicho, la redacción del Convenio de Colaboración es demasiado general y ha planteado ya problemas de interpretación, por lo que sería conveniente avanzar hacia una pequeña estructura estable de seguimiento del proyecto. 6. PRINCIPALES CONCLUSIONES De manera sumamente esquemática se presentan ahora las principales conclusiones que pueden extraerse del ejercicio de evaluación realizado. Esas conclusiones surgen de los datos y evidencias que se presentan en las páginas anteriores. El propósito esencial en este caso es ofrecer de una manera sintética un resumen operativo de las conclusiones más relevantes que pueden proponerse. Se espera que ellas justifiquen las recomendaciones que se incluyen en el siguiente capítulo. Fortalezas 11. La concentración geográfica de las intervenciones y la voluntad de permanencia en el área. El compromiso del MPDL por mantener su trabajo en una zona concreta y perseguir efectos de largo plazo da coherencia a las pequeñas intervenciones con objetivos limitados, como es ésta. 12. El análisis y conocimiento de la situación de la zona y de los problemas, necesidades y demandas de la población. En términos generales los diagnósticos son sólidos con algunas limitaciones de concreción. Cooperación Ciudad de Madrid Debilidades 11. La participación de los beneficiarios en el conjunto del proceso ha sido menor de lo que sería deseable. 12. La inexistencia de una línea de base más detallada que permitiera valorar con más rigor los efectos del proyecto. 13. Algunos problemas de formulación dificultan analizar el logro de objetivos y resultados. 14. Se han tenido en cuenta pocos riesgos que pueden afectar las lógicas de intervención planteadas, lo que genera incertidumbres sobre la posibilidad de logro de los objetivos planteados. 12671 Colombia (FF) 3/3/08 13:30 Página 217 Programa de Evaluaciones 2006-2007 Fortalezas 13. Alta pertinencia del área de intervención y de los colectivos beneficiarios. Se trata de zonas y grupos sociales con importantes carencias y necesidades que justifican la oportunidad del proyecto puesto en marcha. 14. Inserción de los proyectos evaluados en una orientación estratégica de largo plazo. La existencia de un Plan Estratégico establece un marco coherente para el diseño de intervenciones concretas. 15. Complementariedad con otras acciones de la ONG en la zona positiva. 16. Diversificación de fuentes de financiación para las acciones de la ONG que redunda en una mayor estabilidad y posibilidad de mantener el compromiso en la región. 17. Solidez del equipo de la ONG tanto en los expatriados como en los locales. Adecuada gestión de los cambios en el personal que no han afectado a la continuidad de los proyectos. 18. Establecimiento de redes y alianzas con organizaciones de la zona. 19. Lógica de intervención clara pese a los aspectos de formulación más débiles. 10. Adecuada ejecución del proyecto evaluado, pese al retraso. Inexistencia de desviaciones importantes con respecto a lo originalmente planificado. 11. Buena capacidad de respuesta y adaptación por parte de la ONG. 12. Buenas perspectivas de viabilidad. 7. RECOMENDACIONES Debilidades 15. La implicación de las autoridades educativas ha sido menor de lo que sería deseable lo que plantea riesgos sobre la viabilidad. 16. Falta de concreción en algunos aspectos formales de los convenios que facilita el incumplimiento por parte de la Delegación de Educación. 17. Inexistencia de mecanismos de evaluación interna más allá del un seguimiento de actividades que concluye al finalizar el proyecto. Necesidad de incorporar la evaluación al ciclo de gestión. 18. Procedimiento de gestión tras la finalización del proyecto demasiado poco concreto con los riesgos que eso implica para la viabilidad. QUE PUEDEN EXTRAERSE DE LA EXPERIENCIA Se incluyen, a continuación, algunas recomendaciones que pueden extraerse de la experiencia efectuada. De la misma forma que en el capítulo anterior, estas recomendaciones se enuncian de forma voluntariamente esquemática, con el propósito de facilitar su discusión y generar enseñanzas que puedan ser útiles en el trabajo futuro. Para el MPDL: • En primer lugar, las características de la comuna de Rouadi y la situación de los grupos beneficiarios, y especialmente los problemas educativos, parecen justificar la conveniencia de continuar trabajando en esa zona, ya que se ha iniciado un proceso de desarrollo que no parece conveniente abandonar en estos momentos. • Deberían reforzarse los procesos participativos a la hora de identificar y diseñar los futuros proyectos. No se trata sólo de la comuna sino de organizaciones de padres, los profesores y personal del centro educativo y los propios alumnos y alumnas. Cooperación Ciudad de Madrid 217 12671 Colombia (FF) 218 3/3/08 13:30 Página 218 Informes de evaluación. Marruecos • Dado que se dispone de un diagnóstico bastante completo de situación, parece conveniente sistematizar una línea de base que permita valorar los efectos generados en las siguientes etapas de actuación. • Es deseable efectuar un esfuerzo de concreción de los objetivos y resultados de futuros proyectos, estableciendo indicadores operativos y mejorando la calidad de la formulación. También parece importante contemplar un análisis más detallado de los posibles riesgos a los que podría enfrentarse cada intervención. • Sería conveniente dedicar algún esfuerzo mayor a la evaluación interna de los proyectos que fuera más allá del seguimiento en la realización de actividades y ampliar la actividad de seguimiento más allá de la finalización de los proyectos, sobre todo teniendo en cuenta que el MPDL tiene una estrategia de intervención en la zona.. • Es necesario reforzar la estrategia de colaboración con otras organizaciones e instituciones poniendo énfasis en los aspectos formales de esta colaboración y no sólo en el espíritu sino en la letra de estos convenios. En esta línea, debe presionarse a la Delegación de Educación para que cumpla sus compromisos en materia de equipamiento de la residencia. • Debe reforzarse el trabajo con las organizaciones y autoridades locales incluso después de la finalización de los proyectos. Su implicación resulta básica para ampliar las posibilidades de sostenibilidad de los proyectos evaluados. Una adecuada apropiación no implica que la ONG ejecutora deba retirarse. Un adecuado proceso de acompañamiento de cara sobre todo a las autoridades parece razonable. • Sería conveniente reforzar el enfoque de género en futuros proyectos, asumiendo que el trabajo con mujeres es insuficiente para garantizar que las intervenciones contribuyan a generar procesos de igualdad en el acceso a la educación. Así, se deberían pensar actividades de sensibilización en este terreno para padres, hermanos, etc. y en una labor más proactiva en materia de género. Para el Ayuntamiento: • Participar más en la discusión previa a la aprobación de los proyectos, exigiendo más rigor en los diagnósticos, en la elaboración de líneas de base y en el análisis de las alternativas de intervención. En esta línea, analizar las propuestas de modo más contextual profundizando en el compromiso de la ONG con la zona y valorando sus componentes estratégicos. • Ser muy riguroso en el establecimiento de criterios que puedan llevar a reducciones y modificaciones presupuestarias. El efecto de estos recortes sobre proyectos diseñados de modo ajustado es muy grande y puede mermar el logro de los objetivos. • Unificar el procedimiento de seguimiento y evaluación que se realiza desde el Ayuntamiento estableciendo criterios comunes y reduciendo la duplicidad y redundancia de algunas acciones con componentes evaluativos. En cualquier caso, parece conveniente poner más el énfasis en el logro de resultados que en el seguimiento de procedimientos. • En esta línea, se debe potenciar la realización de evaluaciones tanto internas como externas por parte de las ONG e incorporarlas como actividad del proyecto con una lógica complementaria a las evaluaciones que se emprendan en ciertos casos desde el Ayuntamiento. • Establecer medidas para la devolución de los Informes de evaluación y potenciar la discusión de los mismos por todos los actores involucrados. 8. ALGUNAS LECCIONES APRENDIDAS Aunque en este caso se trate de una acción, del análisis de la misma y relacionándola con el conjunto del trabajo del MPDL y del Ayuntamiento de Madrid en la zona, se pueden extraer algunas enseñanzas: Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 219 Programa de Evaluaciones 2006-2007 • Es preciso potenciar aún más el que los proyectos se enmarquen dentro de acciones (ya sean programas o planteamientos estratégicos de otro tipo) tanto de la ONG involucrada como del Ayuntamiento e incluso de la cooperación española. La coherencia y congruencia con los Planes Estratégicos de país o, si los hubiere, de la zona, es fundamental. • Hay que apoyar el trabajo y la permanencia, mientras los indicadores lo hagan necesario, de aquellos actores —en este caso el MPDL— que por su trayectoria y relación con las comunidades y autoridades garantizan un trabajo serio y eficaz. Es necesario avanzar en esta concepción de “asociación” o partenariado más estable entre actores de diversos tipos con objetivos complementarios de desarrollo en una región. • Sería necesario prestar más atención a los aspectos formales de esta colaboración y ser más exigente en el cumplimiento de compromisos interinstitucionales. En este sentido, debe prestarse más atención a los convenios, a los mecanismos de seguimiento colectivos, a la elaboración de informes intermedios o actas de reunión, etcétera. • Pequeñas acciones aparentemente sencillas como la construcción de la residencia en Rouadi o el microbús escolar en Izemouren pueden tener un elevado impacto si se insertan, como ha sido el caso, en planteamientos más globales de desarrollo. Ambas acciones pueden ser replicables. Cooperación Ciudad de Madrid 219 12671 Colombia (FF) 3/3/08 13:30 Página 220 12671 Colombia (FF) 3/3/08 2 13:30 Página 221 Informe de evaluación Proyecto de desarrollo socioeducativo de la comuna rural de Izemouren, con enfoque de género y protección medioambiental Convocatorias: 2002 Área de actuación: socioeducativa Localización: comuna de Izemouren, provinica de Alhucemas. Norte de Marruecos Fecha de inicio: 1 de abril de 2003 Fecha de finalización: 31 de marzo de 2004 Coste total: 172.184,72 euros Aportación del Ayuntamiento de Madrid: 128.404 euros ONG responsable: ejecución directa por el MPDL (Moviemiento por la Paz, el Desarrollo y la Libertad) en colaboración con la comuna de Izemouren y la Asociación de Izemouren para el Desarrollo y la Cooperación (AIDC) Otras entidades participantes: Delegación provincial de Educación de Alhucemas, Delegación de Agua y Bosques, Asociación de Padres de Alumnos de Izemouren, RODPAL (Red de Organizaciones de Desarrollo del Parque Nacional de Alhucemas) 1. BREVE DESCRIPCIÓN DE LAS INTERVENCIONES El proyecto consiste en diversas acciones que inciden en el ámbito socioeducativo desde diversos enfoques: alfabetización de mujeres, apoyo a la escolarización de niños y niñas de secundaria mediante el apoyo al transporte escolar y de formación para jóvenes ligada a las nuevas posibilidades que abre la creación del Parque Nacional de Alhucemas. Estas acciones se complementan con otras intervenciones en materia medioambiental consistentes en la plantación de árboles y otras de mejora del acceso a algunas áreas. La mayor parte de componentes del proyecto se realizaron sin alteraciones excepto la rehabilitación de la pista inicialmente prevista que al haber sido incluida entre sus prioridades por otras entidades de la Administración marroquí, se realizó con otros fondos, por lo que se eligió otra opción. Cooperación Ciudad de Madrid 12671 Colombia (FF) 222 3/3/08 13:30 Página 222 Informes de evaluación. Marruecos El proyecto ha sido a lo largo de todo su desarrollo de un minucioso proceso de seguimiento y evaluación, incluyendo visitas in situ. Por ello, los TdR de esta evaluación, tres años después de finalizado el proyecto, se centran en aspectos de viabilidad, impacto y en la extracción de enseñanzas. No obstante, la evaluación debe hacer algunos comentarios sobre estos ejercicios de evaluación anteriores al actual ya que, en algunos casos, sus conclusiones no coinciden con las nuestras o son a nuestro juicio inadecuadas. 2. DESCRIPCIÓN DE LA ESTRUCTURA DE INTERVENCIÓN EN LA QUE SE INSERTA EL PROYECTO La intervención evaluada se enmarca dentro de la actividad del MPDL en la región de Alhucemas y, muy especialmente, en las actuaciones en la comuna rural de Izemouren con la que se han desarrollado y siguen realizándose diversos proyectos y programas. El MPDL inicia su presencia en Marruecos en 1997 a raíz de la intervención de emergencia en la localidad de Ben Karrich (Tetuán) afectada por fuertes inundaciones. Esta operación fue financiada por la UE (ECHO). A partir de esta operación se identificó un proyecto de desarrollo rural integral en la comuna rural de Beni Hadifa (Alhucemas) financiado por la AECI en 1998. Con esta iniciativa se lleva a cabo la apertura de una misión en la ciudad de Alhucemas donde se instala un expatriado. Desde ese momento, en esta provincia se han desarrollado la inmensa mayoría de los proyectos de la organización en Marruecos y es aquí donde se cuenta con una presencia estable y una oficina operativa. Durante estos años el MPDL ha elaborado diversos documentos de estrategia para su actuación en el país y, especialmente, para su trabajo en Alhucemas ya que es allí donde se concentran gran parte de sus acciones. Territorialidad (concentración en una zona) y sectorialización han marcado el enfoque estratégico de la ONG. 2.1. Líneas de trabajo desarrolladas por el MPDL en el país • Ayuda humanitaria/emergencia. - Asistencia en las inundaciones de Ben Karrich (Tetuán) en 1997. - Asistencia a los damnificados por el terremoto de Alhucemas de febrero de 2004. • Cooperación al desarrollo. - Desarrollo rural (agricultura, infraestructuras, formación profesional, turismo, cooperativismo, artesanía). - Género. - Educación. - Sociedad civil. - Medio ambiente. - Codesarrollo. • Derechos humanos. - Género (proyecto de alfabetización y sensibilización jurídica en la medina de Rabat). Centros de asistencia a mujeres maltratadas (Rabat, Casablanca y Kenitra). Para llevar adelante sus proyectos, el MPDL ha diversificado sus fuentes de financiación que han sido hasta la fecha básicamente: Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 223 Programa de Evaluaciones 2006-2007 • • • • • • • Agencia Española de Cooperación Internacional (AECI). Ayuntamiento de Madrid. Comunidad de Madrid (CM). Junta de Comunidades de Castilla la Mancha (JCCLM). Diputación de Sevilla. Fundación Biodiversidad. Unión Europea. ECHO. Esta diversificación de las fuentes de financiación es uno de los puntos fuertes del MPDL en la región y ha hecho que la solidez de su trabajo y sus lazos con las entidades contrapartes hayan alcanzado bastante estabilidad. Es de destacar que en estos años el trabajo del MPDL ha ido experimentando una cierta evolución conceptual y se ha ido adecuando a nuevas necesidades y demandas lo que refleja una cierta madurez. Así, de intervenciones puntuales al inicio ha pasado a acciones más globales como los actuales proyectos de codesarrollo o las acciones integrales en el Parque Nacional de Alhucemas. En el caso de la comuna de Izemouren, junto al proyecto objeto de esta evaluación, se está desarrollando una acción más ambiciosa y ligada al fortalecimiento institucional de la AIDC. 2.2. Lista de proyectos MPDL Marruecos. Mayo 2007 Desarrollo integral de la comuna rural de Bni Boufrah con preservación del suelo / 013-126905 JCCLM Programa de apoyo a la reconstrucción de viviendas afectadas por el terremoto en el pueblo de Tazagine JCCLM Fortalecimiento de la Red de Asociaciones del Parque Nacional de Alhucemas a través de una acción concertada de desarrollo y consolidación de su estructura / 008-125805 CM Mejoras socioeconómicas y desarrollo rural sostenible de la comuna rural de Bni Boufrah CM Desarrollo integral de la comuna rural de Bni Boufrah con preservación del suelo / 004-125004 AECI Acción concertada en el Parque Nacional de Alhucemas preservando el medio ambiente y mejorando las condiciones de vida de la población / 004-125705 AECI Programa integral de codesarrollo en Marruecos, Mali, Níger y países limítrofes / 06-CO1-032 AECI Propuesta integral de codesarrollo entre la provincia de Alhucemas y la ciudad de Madrid fase II Ayuntamiento de Madrid Programa de codesarrollo a favor de los potenciales inmigrantes marroquíes / 014-121605 Ayuntamiento de Madrid Cooperación Ciudad de Madrid 223 12671 Colombia (FF) 224 3/3/08 13:30 Página 224 Informes de evaluación. Marruecos Desde la perspectiva organizativa, el MPDL cuenta con un sólido equipo de personal local y expatriado en Alhucemas y con lazos y acuerdos estables con las comunas en las que trabaja y, en este caso, con la de Izemouren que analizaremos posteriormente. Durante el periodo de ejecución del proyecto y en el trabajo del MPDL en la región ha habido varios cambios de personas y en el organigrama en función del volumen y tipo de proyectos. En todos los periodos la participación de personal local en los proyectos ha sido bastante elevada y el trabajo de terreno ha recaído en buena medida sobre los trabajadores locales. En el caso del proyecto evaluado, la mayor parte de los gastos de personal local fueron asumidos por las contrapartes locales o por el propio MPDL, contribuyendo el Ayuntamiento de Madrid a la financiación de gastos de personal expatriado. Es de destacar que los cambios en el personal habidos durante el periodo de trabajo del MPDL en Alhucemas no han afectado a la continuidad de sus proyectos y el traspaso de funciones parece haberse realizado de modo adecuado y sin traumas organizativos. Por tanto, con todas estas consideraciones, pese a ser este proyecto un conjunto de acciones puntuales, debe analizarse en el contexto de la acción global del MPDL en la comuna. 3. VALORACIÓN DE LOS DOCUMENTOS DE FORMULACIÓN Dentro de este trabajo del MPDL en la comuna de Izemouren, el proyecto objeto de la evaluación es en realidad la suma de tres tipos de actividad a las que se trata de dotar de una cierta coherencia dentro del trabajo de la ONG con la comuna. La evaluación no puede dejar pasar por alto que esto, pese a ser muy frecuente, no es lo correcto desde una perspectiva de rigor metodológico que toma el proyecto como unidad de análisis. Al mismo tiempo reconocemos que analizados estos tres tipos de actividad en el contexto de la intervención del MPDL en la región, la lógica de las mismas es suficiente y el propósito que se pretende aparece también bastante claro. El objetivo general (OG) marcado dentro del formulario de este proyecto es “mejorar las condiciones socioeconómicas de los habitantes de la comunidad rural de Izemouren, con especial atención hacia la mujer”, priorizando el apoyo de ciertas necesidades detectadas en la comunidad. Por ello, tanto a través de la alfabetización, escolarización y capacitación laboral, como a través de la puesta a disposición de medios e infraestructuras y la mejora del entorno medioambiental en la zona, se ha pretendido alcanzar el objetivo marcado. Como se ha dicho en numerosas ocasiones, esta manera de formular el OG es demasiado genérica y plantea problemas para su seguimiento y evaluación. Entendemos, no obstante, que al tratarse de un proyecto “paraguas” de diversas actividades este tipo de fórmula es inevitable. El objetivo especifico (OE) fijado en la matriz de planificación de proyecto y el formulario del Ayuntamiento es, “ofrecer una formación educativa y profesional por medio de la alfabetización, escolarización y capacitación laboral en la comuna rural de Izemouren, así como la puesta a disposición de medios e infraestructura y la mejora de su entorno medioambiental”. De modo similar al OG, este OE está formulado más en términos de las acciones a realizar (ofrecer, poner a disposición...) que desde la perspectiva de un verdadero objetivo como estado alcanzado tras la ejecución del proyecto. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 225 Programa de Evaluaciones 2006-2007 Para su medición se plantean los siguientes indicadores: • IOV1. El 100% de las familias de Izemouren mejoran sus condiciones socioeducativas. • IOV2. Mejora la autoestima de la mujer y la participación de ésta en el desarrollo de la comuna. • IOV3. Aumento de los espacios reforestados en la comuna rural y su entorno medioambiental. Volvemos a insistir en que, desde una perspectiva formal, estos indicadores son débiles y no concretan el grado necesario de cumplimiento del OE. Hubiera sido preciso concretar algunos aspectos cuantitativos (tiempo, espacio, colectivo específico...) así como cualitativos (qué es mejorar la autoestima, qué variables medimos, cómo lo hacemos...). Resultado 1 Se habrá alfabetizado a 120 niñas/mujeres, ofrecido escolarización o continuación de estudios y dado una formación profesional a 50 beneficiarios de la comuna rural de Izemouren para optar a un mercado laboral. • IOV1. 120 mujeres de la comuna de Izemouren serán beneficiarias de los cursos de alfabetización en los douares de Tafensa e Igaddaren. • IOV2. Los estudiantes de la comuna de Izemouren podrán continuar con sus estudios de primaria y de secundaria con la adquisición de un microbús para transporte escolar. • IOV3. Se formará a 50 beneficiarios en cursos de hostelería y turismo rural. Resultado 2 Se habrán mejorado las infraestructuras de Izemouren y aumentado el turismo rural de la comuna rural. • IOV2.1. Se habrán rehabilitado 4 km del camino rural Tala Youssef-Bouscour. Resultado 3 Se habrán reforestado 25 hectáreas de monte desfavorecido por la erosión con algarrobos y mejorado los recursos hidráulicos del douar de Tafensa. • IOV3.1. Se habrá disminuido la erosión del suelo en la comuna rural. • IOV3.2. Se habrán reforestado con algarrobos 25 hectáreas de monte en peligro de desertificación. En este caso tanto los resultados como sus IOV están, en general, mejor definidos aunque alguno de ellos (erosión) sigue siendo ambiguo e insuficiente, como lo demuestra el que no se haya formulado ningún IOV que corresponda al resultado “mejorado los recursos hidráulicos del douar de Tafensa”. Los apartados dedicados a los antecedentes y justificación aparecen bien documentados y tanto la situación punto de partida como las razones para la intervención y las opciones tomadas parecen adecuadas. La lógica del proyecto dentro del conjunto de actividades del MPDL en la comuna parece también clara. La ONG sabe lo que quiere hacer y lo explica suficientemente. Cooperación Ciudad de Madrid 225 12671 Colombia (FF) 226 3/3/08 13:30 Página 226 Informes de evaluación. Marruecos No obstante, como ya recogimos en la evaluación del proyecto anterior, desde un planteamiento formal insistimos en que los documentos de formulación tienen ciertas carencias que, si bien no han impedido el buen desarrollo del proyecto, sí que reflejan un uso demasiado ligero de los instrumentos de planificación y en especial de los sistemas de indicadores y fuentes de verificación siguiendo el Enfoque del Marco Lógico. Por ello, en la evaluación —máxime cuando se ha realizado tres años después de finalizado el proyecto— no hemos podido basarnos en muchos de esos datos, sino en otras fuentes y en las propias entrevistas con el equipo de la ONG y las contrapartes. En una evaluación de este tipo hubiera sido muy útil haber tenido este tipo de datos y haber avanzado más rápido en sus análisis. Los propios informes de la ONG y de las visitas de seguimiento técnico del Ayuntamiento de Madrid son sólo parcialmente útiles pues dan una visión demasiado administrativa y en algunos casos superficial de los logros y de la marcha del proyecto. En efecto, así como en el caso del otro proyecto evaluado en la comuna rural de Rouadi hemos llamado la atención sobre nuestra discrepancia con las bajas valoraciones emitidas en los informes de seguimiento, auditoría y evaluación realizados desde el Ayuntamiento, en este caso debemos hacerlo en sentido contrario. Así, el informe de verificación técnica y financiera sobre el informe final realizado por GPI Consultores y DBF Audifor en mayo de 2005 es excesivamente optimista respecto del logro de algunos de los resultados y puntúa los cinco criterios de evaluación clásicos de una manera, a nuestro entender, excesivamente generosa. 4. VALORACIÓN DE LOS PERIODOS DE EJECUCIÓN La ejecución del proyecto ha seguido con pocas modificaciones el calendario previsto y los proyectos se ha llevado a cabo de manera satisfactoria. Incluso el terremoto acontecido en febrero de 2004 sólo tuvo un pequeño impacto ya que la mayor parte de las actividades del proyecto estaban finalizadas. Este acontecimiento sí ha tenido una influencia muy relevante sobre uno de los componentes del proyecto, la reforestación, en la medida en que los agricultores no pudieron cuidar adecuadamente los plantones de algarrobo u olivo, lo que ocasionó grandes pérdidas y una baja tasa de éxito en la repoblación. Los periodos de ejecución parecen por tanto razonables. En el apartado de eficiencia desarrollaremos más este punto. 5. CRITERIOS DE EVALUACIÓN 5.1. Pertinencia 5.1.1. Adecuación del proyecto a prioridades En términos generales, puede considerarse que el proyecto presenta un elevado nivel de pertinencia, en lo que hace referencia a su adecuación a las prioridades de las diferentes entidades implicadas en su puesta en marcha. El área de intervención es una zona con elevados índices de pobreza y graves carencias en necesidades básicas y especialmente en educación para las niñas. Los principales actores de la Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 227 Programa de Evaluaciones 2006-2007 cooperación para el desarrollo, incluyendo al Ayuntamiento de Madrid y la propia Cooperación Española, asumen como propios los Objetivos del Milenio y plantean como su horizonte estratégico su contribución a la erradicación de la pobreza extrema. Asumiendo que los documentos de estrategia con que contamos en la actualidad son posteriores al momento de la preparación y ejecución de los proyectos evaluados, pueden reseñarse los siguientes datos: • Marruecos es un país prioritario para la estrategia de cooperación del Ayuntamiento de Madrid que cuenta con un Plan Estratégico de Actuación en Marruecos. El plan toma como colectivos de atención fundamental mujeres y menores. Entre 1995-2005, el 4% del monto total de los proyectos subvencionados por el Ayuntamiento de Madrid (alrededor de 5 millones de euros) se dirigió a este país. De ellos un elevado porcentaje (18%) a la provincia de Alhucemas. • Marruecos aparece definido como país prioritario en el Plan Director de la Cooperación Española. • En el Plan Director de la Cooperación Española se indica que, al menos, un 20% de los recursos comprometidos deben dirigirse a la cobertura de necesidades sociales básicas. Respecto a las prioridades de la comuna rural de Izemouren y sus autoridades, el proyecto, la suma de acciones del mismo, eran también prioritarias y se enmarcan dentro de las iniciativas que se han ido tomando por la comuna en materia educativa, medioambiental o de infraestructuras. Por lo que hace referencia al MPDL, el proyecto está en consonancia con su estrategia para el país y para Alhucemas y es coherente con la misma. Al mismo tiempo, la comuna de Izemouren es una de las que se está viendo beneficiada del enfoque de concentración iniciado tanto por el Ayuntamiento de Madrid como por el MPDL y en ella se están desarrollando diversos proyectos financiados, también, por otros donantes. El proyecto se adecuaba, por tanto, a las prioridades sectoriales y geográficas marcadas por las distintas entidades participantes en el proyecto: Ayuntamiento de Madrid, Association de Izemouren pour le Developpement et la Cooperation (en adelante AIDC), Delegación de Aguas y Bosques, Delegación del Ministerio de Educación, el MPDL y otros agentes sociales. 5.1.2. Origen de la iniciativa El MPDL lleva trabajando en la comuna rural de Izemouren desde el año 2000 y en ese tiempo ha realizado diversos proyectos. Fruto de esa cooperación y, sobre todo, de los fuertes lazos y la solidez de la AIDC, surgió la iniciativa del proyecto. Hay que reseñar que el proyecto finalmente presentado a la convocatoria del Ayuntamiento de Madrid es un conjunto de actuaciones con una cierta coherencia pero que no toman la forma stricto sensu de un proyecto. En cualquier caso, durante la evaluación apareció claramente que las actividades del proyecto respondían a demandas por parte de los beneficiarios que surgían de necesidades insatisfechas y de problemas sentidos por la comunidad. 5.1.3. Complementariedad con otras acciones La sinergia entre este proyecto y otras acciones del MPDL —y también en menor medida de otras ONG en la comuna— es muy elevada y es, tal vez, uno de los puntos fuertes del proyecto. La capacidad de gestión de la AIDC, su liderazgo dentro de los diversos douares de la comuna, han Cooperación Ciudad de Madrid 227 12671 Colombia (FF) 228 3/3/08 13:30 Página 228 Informes de evaluación. Marruecos garantizado una gran complementariedad entre diversas acciones y han contribuido a la viabilidad e impacto, como luego veremos, de las mismas. Es más, algunas de las actividades del proyecto han estado en el origen de otros proyectos de más envergadura iniciados por el MPDL en Izemouren y que han contado con el apoyo de otros financiadores. 5.1.4. Valoración de los colectivos beneficiarios y cobertura de la intervención El proyecto pretendía llegar a diversos colectivos de beneficiarios, definidos en unos casos con más rigor y en otros con menor concreción. Todos ellos pueden considerarse sectores vulnerables con diversos grados y especificidad de sus necesidades. La definición de los colectivos beneficiarios presenta algunas dificultades que se derivan de la diversidad de los resultados incluidos en la planificación inicial. En principio, es preciso reconocer que todos los grupos beneficiarios pertenecen a sectores de exclusión que los convierten en claramente prioritarios y que esa adecuada identificación representa uno de los primeros puntos fuertes de las actuaciones. También se ha indicado con anterioridad que el MPDL ha realizado un importante esfuerzo para disponer de buenos diagnósticos generales sobre la situación de desarrollo de la zona, pese a lo cual no se contaba con una línea de base sólida. El principal problema a la hora de valorar la adecuación de los colectivos beneficiarios aparece cuando se intentan precisar los criterios de selección de éstos en cada uno de los componentes considerados. Así, desagregando mucho esos componentes, pueden realizarse las siguientes consideraciones: • Componente de alfabetización de mujeres. El proyecto ha pretendido llegar a todas las mujeres necesitadas de alfabetización de la comuna. Los resultados obtenidos —más de 120 mujeres participantes en las actividades— son sin duda alentadores, pero muchas mujeres han quedado fuera por no ser autorizadas por sus maridos o padres a ir a las clases de alfabetización. Al equipo de evaluación le ha sido imposible tener datos que permitieran comparaciones con otros proyectos similares en otras comunas pero, tras las entrevistas y las tendencias expresadas por las propias mujeres en ellas, creemos que este componente, desde la perspectiva de la participación y cobertura se ha desarrollado adecuadamente. • Componente de transporte escolar. La compra del microbús escolar ha beneficiado a todos los niños y niñas necesitados de este servicio en la comuna de un modo óptimo. La cobertura de este servicio es hasta ahora muy elevada. • Componente de formación en hostelería y turismo rural así como de inserción laboral. Aquí la cobertura ha sido media pero no así, como veremos, el impacto de este componente, que ha sido bajo. • Componente de mejora de infraestructuras. La sustitución de la rehabilitación de la pista de Tala Yuouseff Bouscour por el acceso al douar de Tifard puede considerarse pertinente y desde la perspectiva de aumento del número de beneficiarios también lo es. De hecho, la modificación refleja la capacidad de adaptación de la ONG a los cambios, aunque se pierde la vinculación con el fomento del acceso al Parque Nacional y el turismo rural que se pretendía. • Componente de reforestación. Se aumentó la superficie plantada de acuerdo con las demandas de los beneficiarios y los criterios de los técnicos. Los criterios para la selección de los beneficiarios, ya que se trata de terrenos privados, fueron adecuados y se cumplieron con rigor. Además, han sido criterios surgidos de los técnicos locales y coherentes con el tipo de políticas de apoyo que hay en la zona. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 229 Programa de Evaluaciones 2006-2007 5.1.5. Correspondencia entre los objetivos de los proyectos y algunos problemas existentes en la realidad Aun no existiendo una línea de base solidamente construida previa al diseño del proyecto, como se ha dicho, todos los datos disponibles nos indican que la elección en esa zona de proyectos con componentes socioeducativos para mujeres, apoyo al sistema educativo y el acceso a la educación y cuestiones ambientales son adecuados. 5.2. Eficacia 5.2.1. Adecuada definición del objetivo específico y los resultados En la formulación del proyecto evaluado ha existido una definición demasiado amplia y ambiciosa del OE lo que hace que el proyecto sea una suerte de suma de actividades, sin duda importantes para la comuna, pero que no guardan una gran coherencia dentro de un mismo proyecto. Del mismo modo, algunos de los resultados formalmente expresados en el proyecto son demasiado genéricos y poco adecuados a lo que realmente el proyecto pretende y puede conseguir. Así, el resultado 2 definido como “se habrán mejorado las infraestructuras de Izemouren y aumentado el turismo rural de la Comuna Rural” cuyo IOV es “se habrán rehabilitado 4 km del camino rural Tala Youssef- Bouscour” está inadecuadamente planteado ya que nada en el proyecto y en las actividades para este resultado guarda relación con el turismo rural. Menos aún cuando la pista inicialmente planteada fue sustituida por otra. De igual modo, en lo que afecta al resultado 2 “se habrán reforestado 25 hectáreas de monte desfavorecido por la erosión con algarrobos y mejorado los recursos hidráulicos del duar de Tafensa”, la alusión a la mejora de los recursos hidráulicos de Tafensa parece excesivamente ambiciosa y fuera del alcance del proyecto, máxime cuando, como ya se ha señalado, en el diseño no se ha definido ningún indicador ligado a él. Lo mismo sucede con algunos de los indicadores que resultan de muy difícil, por no decir imposible, verificación dentro del alcance del proyecto y en plazo razonable. De este modo, por ejemplo, el IOV3.1. “se habrá disminuido la erosión del suelo en la comuna rural” es más un deseo que un indicador bien formulado, mientras que el IOV3.2. “se habrán reforestado con algarrobos 25 hectáreas de monte en peligro de desertificación” está correctamente formulado y es verificable. Del análisis de estas cuestiones, pueden extraerse algunas consideraciones: • El objetivo específico no representa el efecto de las actividades ejecutadas y de los resultados alcanzados, sino que constituye un resumen de lo que pretende llevarse a cabo. Esto es particularmente evidente en la formulación, donde el objetivo “describe” los diferentes componentes de la intervención. • Los indicadores del objetivo específico son difícilmente verificables; resulta complejo atribuir su cumplimiento a la ejecución de las actividades previstas y, en cualquier caso, hacen referencia a algunos de los diferentes componentes de los proyectos y no al “efecto” esperado, común de todos ellos. 5.2.2. Nivel de logro de los objetivos y resultados Con las consideraciones formales hechas anteriormente, la evaluación ha tratado de valorar la eficacia del proyecto tratando de recuperar el OE del proyecto y no centrándose únicamente en los indicadores de éste que, como dijimos, son en algún caso difíciles de medir. Cooperación Ciudad de Madrid 229 12671 Colombia (FF) 230 3/3/08 13:30 Página 230 Informes de evaluación. Marruecos Así, si el OE era “ofrecer una formación educativa y profesional por medio de la alfabetización, escolarización y capacitación laboral en la comuna rural de Izemouren, así como la puesta a disposición de medios e infraestructura y la mejora de su entorno medioambiental”, nuestra indagación ha tratado de valorar este objetivo en sus diversos componentes, no centrándose necesariamente en los indicadores propuestos por el proyecto: • IOV1. El 100% de las familias de Izemouren mejoran sus condiciones socioeducativas. Variables como la mejora de las condiciones socioeducativas son excesivamente genéricas y no ha existido una fuente de verificación directa para esto. Si tratamos de valorar esta componente del proyecto con los indicadores de resultado relacionados, es decir: • IOV1.1. 120 mujeres de la comuna de Izemouren serán beneficiarias de los cursos de alfabetización en los duares de Tafensa e Igaddaren. • IOV1.2. Los estudiantes de la comuna de Izemouren podrán continuar con sus estudios de primaria y de secundaria con la adquisición de un microbús para transporte escolar. • IOV1.3. Se formará a 50 beneficiarios en cursos de hostelería y turismo rural. El análisis de esos tres IOV muestra que se han cumplido. De aquí podemos concluir que el cumplimiento de este componente es muy elevado. Ahora bien, hubiera hecho falta algún indicador más cualitativo sobre el grado de aprendizaje de las y los asistentes, su evaluación, etcétera. • IOV2. Mejora la autoestima de la mujer y la participación de ésta en el desarrollo de la comuna. Tampoco ha existido una fuente de verificación directa para este indicador y, como es habitual, formulaciones como “mejora de la autoestima” o similares suelen plantear problemas para la evaluación. Recurriendo a formas de indagación indirecta y a las propias entrevistas del equipo evaluador se puede inferir que se ha mejorado la participación y, en una medida no mesurable, se ha podido influir sobre la autoestima, con lo que la eficacia también en este caso sería medio alta. • IOV3. Aumento de los espacios reforestados en la comuna rural y su entorno medioambiental. Este indicador en su aspecto cuantitativo ha sido más fácilmente medible y el número de hectáreas plantadas, según el seguimiento y visita de verificación anterior, fue muy superior. No obstante, y pese a que anteriores ejercicios de seguimiento y evaluación valoraban la eficacia en términos cuantitativos en el 100%, debemos ser más modestos y menos optimistas en nuestra valoración. La plantación de algarrobos y olivos fue un éxito pero, por diversas razones, entre ellas el terremoto de febrero de 2004 y la sequía del mismo año y de 2005, así como el que los campesinos estuvieron ocupados en otras tareas, la cifra de éxito de los plantones ronda el 30% tan sólo. Llega al 50% en los platones de olivo por haber sido sembrados más cerca de las viviendas de la comuna y es bastante inferior en el algarrobo. Por ello, valoramos que la eficacia de este componente ha sido medio baja, aun teniendo en cuenta el impacto del seísmo en la zona. 5.2.3. Comportamiento de riesgos y presunciones Los análisis de riesgos incluidos en los documentos de formulación resultan claramente superficiales, ya que apenas se tuvieron en cuenta factores externos. El caso del terremoto, varias veces citado, es evidente, pero tal vez se debieran haber incluido más referencias a otros factores de índole social o cultural como la negativa a “dejar” participar a las mujeres en las actividades de alfabetización u otras. Del mismo modo, en lo referente al componente de reforestación Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 231 Programa de Evaluaciones 2006-2007 debería haberse considerado la posible sequía y haber planificado más adecuadamente las fechas de plantación, el cuidado posterior, etcétera. No obstante, la capacidad de adaptación de la ONG, el hecho de que tras el terremoto iniciará otros proyectos e incluso ejerciera un papel coordinador en la respuesta al mismo debe valorarse muy positivamente. 5.3. Eficiencia 5.3.1. Realización de actividades Las actividades se han ejecutado de una manera claramente satisfactoria y de acuerdo en lo esencial a lo programado. Los informes de seguimiento y las supervisiones efectuadas desde el Ayuntamiento de Madrid así lo ratifican y el equipo de evaluación no ha centrado sus indagaciones en esta cuestión que ya había sido suficientemente respondida con anterioridad. El MPDL ha adquirido una amplia experiencia de trabajo en el área y en algunos de los componentes más “clásicos” de las intervenciones analizadas, lo que ha contribuido a que la ejecución se haya llevado adelante sin especiales problemas de gestión. 5.3.2. Utilización de recursos También esta variable ha sido analizada en los documentos de seguimiento y supervisión anteriores y parece claro que los recursos del proyecto se han utilizado de modo muy apropiado, buscando incluso formas de aumentar su eficiencia. El caso del mayor número de hectáreas plantadas o la mejora en la pista de Tifard así lo evidencian. Nos remitimos a esos informes para esta cuestión. Los gastos de personal adscrito al proyecto, sumados a los gastos indirectos de gestión, suponen un porcentaje elevado (más del 30% de los gastos financiados por el Ayuntamiento) aunque parece justificado en un proyecto de estas características. En algunos casos la eficiencia es muy grande debido a una gestión muy cuidadosa y al aumento (tal vez con otros riesgos) del número de niños y niñas que viajan en el microbús. Pese a que en Marruecos existe todavía una gran “tolerancia” respecto al número de personas que viajan de pie en los autobuses, y más aún en los de transporte escolar, la evaluación no puede dejara pasar por alto este aspecto que plantea riesgos evidentes para los niños y niñas que lo utilizan. 5.3.3. Desviaciones temporales en la ejecución de las actividades No se han descrito desviaciones temporales significativas en la ejecución de las actividades pese al pequeño retraso por el seísmo de Alhucemas. A partir de las informaciones reunidas por el equipo de evaluación no se ha detectado ningún elemento que haya podido distorsionar de forma importante los plazos de ejecución inicialmente previstos. 5.3.4. Organización de la ejecución Desde el inicio del proyecto las relaciones entre el MPDL y la organización contraparte AIDC han sido muy fluidas y han seguido el convenio de colaboración firmado entre ambas instituciones que aclara y ordena las funciones de cada una de ellas. La coordinación general del proyecto ha recaído sobre el MPDL y sobre los técnicos contratados al efecto, asumiendo la AIDC la gestión Cooperación Ciudad de Madrid 231 12671 Colombia (FF) 232 3/3/08 13:30 Página 232 Informes de evaluación. Marruecos del microbús escolar. Las reuniones periódicas han funcionado correctamente y ambas entidades han acudido de modo coordinado a las reuniones con entidades públicas como la comuna rural de Izemouren, la Delegación Provincial de Educación o la Delegación de Aguas y Bosques. El fortalecimiento de la AIDC, que ha sido apoyado con fondos de la Junta de Comunidades de Castilla la Mancha, ha redundado sobre el desarrollo de este proyecto y sobre todas las actividades conjuntas MPDL-AIDC. Para los evaluadores, la organización de la ejecución de este proyecto ha sido excelente. 5.4. Impactos 5.4.1. Contribución de las intervenciones al logro del objetivo general Más allá de las consideraciones metodológicas o formales a que hemos hecho referencia, puede asumirse que el proyecto analizado ha tenido efectos en el área de intervención, más allá del logro de resultados y objetivos específicos que ya se comentaron con anterioridad y que la mayoría de estos efectos han sido positivos. 5.4.2. Principales efectos positivos Los efectos positivos que pueden atribuirse a las iniciativas puestas en marcha deben organizarse en torno a los principales componentes abordados, lo que corrobora la idea de que cada uno de ellos tiene una entidad propia y constituye, en sí mismo, un “mini” proyecto: • Componente de alfabetización de mujeres: - La consolidación de la actividad de alfabetización de mujeres dentro de la comunidad y la creciente participación en la misma. - La propia discusión entre los diversos grupos de la comunidad sobre este tema y otros vinculados con el género. • Componente de transporte escolar: - Fortalecimiento de la organización de los colectivos beneficiarios. El mantenimiento de los servicios creados precisa de un importante nivel de organización comunitaria. Ese efecto parece haberse conseguido y representa una condición básica para abordar nuevas acciones en el futuro. - Una reducción de los gastos familiares ligados al transporte escolar y, en general, a la educación de los niños y niñas. - Apertura y fortalecimiento de relaciones entre las comunidades y las autoridades anteriormente bastante débiles. • Componente de formación en hostelería y turismo rural así como de inserción laboral: - El surgimiento de nuevos temas de trabajo vinculados con el Parque Nacional de Alhucemas. - La creación de alguna asociación y pequeños emprendimientos en esta línea. • Componente de mejora de infraestructuras: - Dinamización del douard de Tifard. • Componente de reforestación: - Mejora de las condiciones ambientales. Evidentemente, aunque aún resulte difícil de valorar, el impacto a medio plazo será positivo. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 233 Programa de Evaluaciones 2006-2007 5.4.3. Posibles efectos negativos No se han identificado efectos negativos generados directamente por las intervenciones evaluadas. Teniendo el tipo de iniciativas puestas en marcha, no parece probable que existan impactos negativos considerables, al menos en el seno de los colectivos beneficiarios. Al no disponer de un análisis de la participación donde se identifiquen posibles perjudicados, poco puede decirse al respecto. En algunas entrevistas y reuniones o talleres con beneficiarios y beneficiarias era evidente una “generación de expectativas”, un cierto “síndrome de dependencia” o de peticiones algo fuera de lugar. “Necesitamos otro microbús” o cosas de ese tipo, que sin ser generalizadas reflejan un cierto riesgo de dependencia que el MPDL deberá afrontar no generando más expectativas de las que pueda honestamente asumir. Unido a esto, el proyecto evaluado y otros proyectos ejecutados por el MPDL con otros financiadores en la comuna están sirviendo para dar empleo y evidentemente promocionar a los sectores más dinámicos de la misma y a aquellos que se mueven en torno de la AIDC. Ese aspecto, aun siendo positivo, plantea ciertos riesgos de futuro al no haberse conseguido aún una autonomía económica que pueda garantizar la viabilidad de esta cuestión a medio largo plazo. 5.5. Viabilidad 5.5.1. Políticas de apoyo No parece que se presenten especiales problemas de viabilidad en lo referente a la actitud y los compromisos de las autoridades locales y provinciales hacia los proyectos. Hay que reconocer que, en términos generales, no ha existido un compromiso muy concreto por parte de ninguna de las autoridades concernidas, pero tampoco han tenido una influencia negativa. De todas formas, pueden efectuarse algunas precisiones al respecto: • Respecto a la comuna rural de Izemouren el apoyo es total y muy claro. • Sería deseable contar con una mayor implicación de la Delegación de Aguas y Bosques y con la Dirección del Parque Nacional de Alhucemas para el sostenimiento de las actividades de promoción del turismo rural y, en general, para las de la RODPAL. Aunque no tiene que ver sólo con este proyecto, sino con otras acciones del MPDL y con las actividades globales de RODPAL, es claramente perceptible la existencia de discrepancias entre las ONG y las autoridades del parque que, sin haber llegado a afectar al proyecto evaluado, son preocupantes para el futuro. • De igual modo, de la Delegación de Educación y de otras iniciativas de fomento del desarrollo humano emprendidas desde el Gobierno central y la Fundación Mohamed V que se están poniendo en marcha en la zona. 5.5.2. Aspectos institucionales La transferencia de los activos se ha efectuado de una manera adecuada. El microbús es gestionado de modo eficiente por la AIDC y la propia solidez de ésta es un aval para el futuro. 5.5.3. Aspectos socioculturales La participación de los beneficiarios en la preparación y en la ejecución del proyecto ha sido bastante protagonista y no han existido especiales problemas en este sentido. En otras ocasiones, su función se ha limitado a proporcionar información, sin ocupar un lugar protagonista en la Cooperación Ciudad de Madrid 233 12671 Colombia (FF) 234 3/3/08 13:30 Página 234 Informes de evaluación. Marruecos identificación de su situación y en la priorización de posibles soluciones pero sin especiales cuestiones a destacar. No se detectan problemas especiales que, desde el punto de vista cultural, puedan afectar a la sostenibilidad de las intervenciones. 5.5.4. Enfoque de género Varios de los componentes incluidos en los proyectos pretenden resolver problemas que afectan de una manera particular a las mujeres. En ese sentido, puede asumirse que las intervenciones han generado algunos efectos positivos sobre los colectivos de mujeres, aunque no existen datos concluyentes al respecto, sobre todo si se tiene en cuenta que se han formulado indicadores específicos de género. En cualquier caso, no se dispone de un análisis detallado de las relaciones de género ni se han incluido actuaciones que tiendan a mejorar, de manera específica, la situación de las mujeres salvo en su dimensión alfabetizadora y de aumento de su autoestima. No se dispone, para el resto de indicadores, desagregación por género. Las impresiones recogidas durante la visita de evaluación, obviamente significativas pero limitadas al carecer de línea base, nos dirían que el impacto respecto a la continuidad en la escolarización de las niñas ha sido elevado y respecto a la incorporación de las mujeres a nuevas funciones y su avance a través de la alfabetización, también pero en menor medida. 5.5.5. Factores tecnológicos No se han detectado problemas especiales de sostenibilidad derivados de la tecnología transferida. 5.5.6. Factores ambientales Como se ha dicho, pese a que este componente ha tenido menor eficiencia de la esperada, el impacto global del proyecto sobre el medio ambiente es claramente positivo y la plantación que ha resistido estos años parece progresar adecuadamente y ser viable. 5.5.7. Factores económico-financieros La evaluación ha constatado que el proyecto ha resultado viable y sus diversos componentes han podido continuar. Los aspectos de alfabetización de mujeres han seguido realizándose con financiación de otras agencias. El microbús es viable con las cuotas y aportaciones de la asociación y ha podido asumir el coste de los alumnos que no puedan pagar. De hecho, la gestión del microbús es un modelo para otros proyectos. El componente ambiental no depende ya de factores económicos. 6. PRINCIPALES CONCLUSIONES De manera sumamente esquemática se presentan ahora las principales conclusiones que pueden extraerse del ejercicio de evaluación realizado. Esas conclusiones apenas se justifican, ya que los argumentos y datos que las sustentan se presentan en las páginas anteriores. El propósito esencial en este caso es ofrecer de una manera sintética un resumen operativo de las conclusiones más relevantes que pueden proponerse. Se espera que ellas justifiquen las recomendaciones que se incluyen en el próximo capítulo. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 235 Programa de Evaluaciones 2006-2007 Fortalezas 11. La concentración geográfica de las intervenciones y la voluntad de permanencia en el área. El compromiso de MPDL por mantener su trabajo en una zona concreta y perseguir efectos de largo plazo facilita la posibilidad de proponer un trabajo de desarrollo transformador. 12. Conocimiento amplio de la realidad de la zona y capacidad para adecuarse a las necesidades y demandas planteadas por la comunidad y los beneficiarios. 13. Pertinencia elevada en función de diversos criterios (área de intervención, colectivos beneficiarios...). Se trata de zonas y grupos sociales con importantes carencias y necesidades que justifican la oportunidad de los proyectos puestos en marcha. 14. Inserción de los proyectos evaluados en una orientación estratégica de largo plazo. La existencia de un Plan Estratégico de la ONG y de una buena inserción en planes del Ayuntamiento de Madrid o la AECI establece un marco coherente para el diseño de intervenciones concretas. 15. Establecimiento de redes y alianzas con organizaciones comunitarias. Los lazos con la AIDC y la comuna son muy valiosos. 16. Logros significativos en los componentes de educación, especialmente en el tema del transporte escolar donde la actuación se ha convertido casi en “modelo” para otras comunas. 17. Logros más limitados pero positivos en el componente de alfabetización de mujeres y en la reforestación. 18. Adecuada ejecución de los proyectos evaluados, sin retrasos importantes ni desviaciones importantes con respecto a lo originalmente planificado. 19. Excelente gestión por parte de la AIDC de su parte del proyecto. 10. Efectos positivos derivados de la experiencia de la intervención: fortalecimiento de las organizaciones comunitarias, establecimiento de relaciones entre las autoridades locales y las comunidades, reducción de los gastos familiares. 11. Buenas perspectivas de viabilidad en el componente de transporte y razonables en el resto. Debilidades 11. El proyecto presenta una diversidad excesiva de componentes, lo que dificulta establecer cuál es el efecto conjunto (objetivo específico) que se espera alcanzar. 12. Formulación del proyecto insuficiente desde una perspectiva técnica. 13. En ocasiones, los beneficiarios están definidos de una manera excesivamente genérica, lo que dificulta focalizar las intervenciones. 14. Los objetivos planteados en el proyecto son excesivamente genéricos y resulta difícil valorar el nivel de logro alcanzado. En muchas ocasiones, los resultados y objetivos son demasiado ambiciosos, teniendo en cuenta las actividades previstas. Muchos indicadores tienen poca vinculación con objetivos o resultados. 15. Se han tenido en cuenta pocos riesgos que pueden afectar las lógicas de intervención planteadas, lo que genera incertidumbres sobre la posibilidad de logro de los objetivos planteados. 16. Deberían haberse planeado actividades de seguimiento a medio plazo de la reforestación así como elegido mejor las fechas de siembra. 17. El componente de formación profesional e inserción laboral no parece haber alcanzado los propósitos previstos. 18. La implicación de las autoridades provinciales ha sido menor de lo que sería deseable. Esto es especialmente preocupante en el caso de las de Aguas y Bosques y el Parque Nacional de Alhucemas. Cooperación Ciudad de Madrid 235 12671 Colombia (FF) 236 3/3/08 13:30 Página 236 Informes de evaluación. Marruecos 7. R ECOMENDACIONES QUE PUEDEN EXTRAERSE DE LA EXPERIENCIA Se incluyen, a continuación, algunas recomendaciones que pueden extraerse de la experiencia efectuada. De la misma forma que en el capítulo anterior, estas recomendaciones se enuncian de forma voluntariamente esquemática, con el propósito de facilitar su discusión y generar enseñanzas que puedan ser útiles en el trabajo futuro. Para el MPDL: • En primer lugar, las características de la comuna rural de Izemouren y la situación de los grupos beneficiarios parecen justificar la conveniencia de continuar trabajando en esa zona, ya que se ha iniciado un proceso de desarrollo que no parece conveniente abandonar en estos momentos. Debiera incluso buscarse un mayor enfoque estratégico y persuadir a los diversos financiadores de la conveniencia de la concentración. • Dado que se dispone de un diagnóstico bastante adecuado, pero parcial, de la situación, parece conveniente sistematizar una línea de base que permita valorar los efectos generados en las siguientes etapas de actuación. • Desde la perspectiva de la formulación y, en general, de la calidad formal de los proyectos, es deseable efectuar un esfuerzo de concreción de los objetivos y resultados de futuros proyectos, estableciendo indicadores operativos y reduciendo los componentes a abordar. También parece importante contemplar un análisis más detallado de los posibles riesgos a los que podría enfrentarse cada intervención. • Debería impulsarse la participación de los beneficiarios en las tareas de diagnóstico y formulación de modo más riguroso tratando de dar mayor coherencia a sus demandas y a su percepción de los problemas prioritarios. Sólo así se evitaría el que los proyectos fueran un “cajón” de diversas peticiones. • Podría pensarse en la conveniencia de sistematizar las experiencias más exitosas, en concreto las llevadas adelante en materia de transporte escolar ya que de ellas se derivan enseñanzas útiles para otras intervenciones que compartan características con éstas. • La experiencia de fortalecimiento de la AICD es en sí misma una buena práctica muy valiosa que convendría analizar más a fondo para extraer enseñanzas. • Sería conveniente reforzar el enfoque de género en futuros proyectos, asumiendo que el trabajo con mujeres es insuficiente para garantizar que las intervenciones contribuyan a generar procesos de igualdad en el acceso a los recursos y beneficios generados y en la toma de decisiones entre hombres y mujeres. Componentes de sensibilización de los varones de la comuna, con las dificultades que eso conlleva, deberían estudiarse. • Para las acciones de reforestación o similares, debería planificarse con más detalle las fechas de plantación y el seguimiento de los plantones para aumentar la tasa de éxito de los mismos. • Debería vincularse más el componente de formación profesional con el apoyo a iniciativas laborales en el Parque Nacional. • Las relaciones con las autoridades provinciales (Aguas y Bosques, Delegación de Educación) deben incentivarse pese a lo laborioso y aparentemente poco útil que ha resultado hasta ahora. Especial relevancia debe darse a las del Parque Nacional de Alhucemas. Para el Ayuntamiento: • Participar más en la discusión previa a la aprobación de los proyectos, exigiendo más rigor en los diagnósticos, en la elaboración de líneas de base y en el análisis de las alternativas de intervención. En esta línea, analizar las propuestas de modo más contextual profundizando en el compromiso de la ONG con la zona y valorando sus componentes estratégicos. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 237 Programa de Evaluaciones 2006-2007 • Junto a esto, ser más vigilante de los aspectos de formulación y exigir una mayor coherencia en la lógica de intervención de los proyectos tratando de que sean más que una suma de actividades. • Unificar el procedimiento de seguimiento y evaluación que se realiza desde el Ayuntamiento estableciendo criterios comunes y reduciendo la duplicidad y redundancia de algunas acciones con componentes evaluativos. En cualquier caso, parece conveniente poner más el énfasis en el logro de resultados que en el seguimiento de procedimientos. • En esta línea, se debe potenciar la realización de evaluaciones tanto internas como externas por parte de las ONG e incorporarlas como actividad del proyecto con una lógica complementaria a las evaluaciones que se emprendan en ciertos casos desde el Ayuntamiento. • Establecer medidas para la devolución de los informes de evaluación y potenciar la discusión de los mismos por todos los actores involucrados. 8. ALGUNAS LECCIONES APRENDIDAS Aunque en este caso se trate de una acción, del análisis de la misma y relacionándola con el conjunto del trabajo del MPDL y del Ayuntamiento de Madrid en la zona, se pueden extraer algunas enseñanzas: • Es preciso potenciar aún más el que los proyectos se enmarquen dentro de acciones (ya sean programas o planteamientos estratégicos de otro tipo) tanto de la ONG involucrada como del Ayuntamiento e incluso de la cooperación española. La coherencia y congruencia con los Planes Estratégicos de país o, si los hubiere, de la zona, es fundamental. • Hay que apoyar el trabajo y la permanencia, mientras los indicadores lo hagan necesario, de aquellos actores —en este caso el MPDL— que por su trayectoria y relación con las comunidades y autoridades garantizan un trabajo serio y eficaz. Es necesario avanzar en esta concepción de “asociación” o “partenariado” más estable entre actores de diversos tipos con objetivos complementarios de desarrollo en una región. • Sería necesario prestar más atención a los aspectos formales de esta colaboración y ser más exigente en el cumplimiento de compromisos interinstitucionales. En este sentido, debe prestarse más atención a los convenios, a los mecanismos de seguimiento colectivos, a la elaboración de informes intermedios o actas de reunión, etcétera. • Pequeñas acciones aparentemente sencillas como la construcción de la residencia en Rouadi o el microbús escolar en Izemouren pueden tener un elevado impacto si se insertan, como ha sido el caso, en planteamientos más globales de desarrollo. Ambas acciones pueden ser replicables. Cooperación Ciudad de Madrid 237 12671 Colombia (FF) 3/3/08 13:30 Página 238 12671 Colombia (FF) 3/3/08 13:30 Página 239 Informes de evaluación. Perú 12671 Colombia (FF) 3/3/08 13:30 Página 240 12671 Colombia (FF) 3/3/08 1 13:30 Página 241 Informe de evaluación Programa integral de apoyo a las familias asentadas en las ladrilleras de Huachipa (fases II y III) Convocatorias: 2002 y 2003 Áreas de actuación: socioeducativa y sociosanitaria Localización: asentamientos de San Francisco, Nievería y Huachipa, Cono Este, Lima (Perú) Coste total: 300.203,00 euros + 335.033,00 euros Aportación del Ayuntamiento de Madrid: 170.071,00 euros + 250.560,08 euros ONG responsable: CESAL Socio local: Suyasun y CESAL Perú Otras entidades participantes: Universidad Católica Sedes Sapienteae (UCSS), Instituto de Desarrollo Urbano CENCA, Visión Solidaria, CDM 1. B REVE DESCRIPCIÓN DE LAS INTERVENCIONES CESAL comenzó a trabajar en el área de intervención en 1998, colaborando con la OIT en un programa de erradicación del trabajo infantil. En un primer momento se construyó un puesto de salud y un centro comunal. Esta primera intervención permitió a CESAL conocer la realidad de la zona e identificar nuevas necesidades y recursos de la población. A continuación se elaboró el “Programa integral de mejora de la calidad de vida de las familias asentadas en las ladrilleras de Huachipa” apoyado por la Unión Europea dentro del proyecto “Training for technical staff and institutional reinforcement for formulating intervention programs for eradicating urban poverty”. Este programa consolidó la presencia de CESAL en el área y supuso el inicio de los ejes de acción, que en la actualidad continúan en Nievería y San Francisco, extendiendo su intervención a Jicamarca, Cajamarquilla y Huachipa. A finales de 2002 se elaboraron las directrices del Plan de Desarrollo Social en dichos asentamientos, en las que se proponen acciones integradas dirigidas a la reducción de la pobreza de la población. Cooperación Ciudad de Madrid 12671 Colombia (FF) 242 3/3/08 13:30 Página 242 Informes de evaluación. Perú Los principales componentes de las intervenciones evaluadas son los siguientes: agua potable y saneamiento básico, salud y nutrición, educación y atención a la infancia, formación profesional y generación de ingresos y creación de una oficina de desarrollo comunitario. 2. DESCRIPCIÓN DE LA ESTRUCTURA DE INTERVENCIÓN EN LA QUE SE INSERTA EL PROYECTO La intervención evaluada en sus fases II y III forma parte de una estrategia más ambiciosa que ha ido definiéndose desde que CESAL comenzó a actuar en la zona. A principios de los 90 se inicia el trabajo de CESAL en Perú, apoyando el crecimiento y la consolidación de centros educativos en zonas urbano-marginales de Lima, Arequipa y algunas poblaciones costeras. A finales de 1997 se crea la sede de CESAL Perú y se establecen como líneas prioritarias de actuación las siguientes: • Apoyo al crecimiento microempresarial. • Mejora del nivel educativo. • Apoyo al acceso de servicios de saneamiento básico. En el caso de Huachipa, las actuaciones comenzaron en el año 1998 con la presentación de un proyecto al Ayuntamiento de Madrid dirigido a la erradicación progresiva del trabajo infantil en las ladrilleras de la zona. Desde ese momento, la presencia de la organización en el área no ha dejado de crecer. Se presenta a continuación una breve descripción de la secuencia de trabajo llevada a cabo: Año Principales actuaciones 1999 Inicio de la ejecución del proyecto para la erradicación progresiva del trabajo infantil (Ayuntamiento de Madrid). Presencia de personal de CESAL en los asentamientos de Nievería y San Francisco (coordinador del proyecto y médico de la posta de salud). 2000 Finalización del proyecto. Presentación del “Programa integral de apoyo a las familias asentadas en las ladrilleras de Huachipa” (Comunidad de Madrid). Presentación del proyecto “Training for technical staff and institutional reinforcement for formulating intervention programs for eradicating urban poverty” (Unión Europea). 2001 Inicio del proyecto cofinanciado por la CM. Formación de los miembros del equipo de CESAL en Brasil. Realización de un diagnóstico con apoyo de técnicos de CDM. 2002 Presentación de la fase II del “Programa integral de apoyo a las familias asentadas en las ladrilleras de Huachipa” (Ayuntamiento de Madrid). Inauguración del Centro de Atención Infantil. Inauguración del sistema de agua potable intermedio (piletas públicas). Seminario Internacional de Nutrición Infantil. Segunda etapa para la elaboración del diagnóstico (CDM). Inicio de la fase II del “Programa integral de apoyo a las familias asentadas en las ladrilleras de Huachipa”, con apoyo de los Ayuntamientos de Madrid, Pozuelo, Tres Cantos y la Diputación de Cáceres. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 243 Programa de Evaluaciones 2006-2007 Año Principales actuaciones 2003 Presentación del “Plan de Desarrollo Social de las comunidades de Huachipa”. Presentación de la fase III del “Programa integral de apoyo a las familias asentadas en las ladrilleras de Huachipa”. Inicio del "Programa de alfabetización para padres de familia". Puesta en marcha del “Programa promoción de la mujer en torno a la infancia en Huachipa” (Ayuntamiento de Madrid). Inicio de la construcción de un taller de costura para madres (Ayuntamiento de Tres Cantos). Implementación del sistema de conexiones domiciliarias y saneamiento básico para los Topacios de Nievería (Ayuntamiento de Madrid). “Programa de becas para la formación profesional de jóvenes de Huachipa.” Puesta en marcha de una Unidad de Nutrición dentro del Centro de Atención Infantil (Ayuntamiento y Comunidad de Madrid). “Programa de fortalecimiento de los centros educativos de Huachipa” (Comunidad de Madrid). 2004 Capacitación de promotoras nutricionales y de salud. Ampliación del Centro de Atención Infantil. Inicio de la ejecución de la fase III del “Programa integral de apoyo a las familias asentadas en las ladrilleras de Huachipa”. El “Plan integral de reducción de la pobreza urbana para la comunidad de Huachipa” constituye el marco general en el que se incluyen todas las intervenciones mencionadas en el cuadro anterior. La elaboración de este plan se basa en los diagnósticos realizados en los años 2001 y 2002 y en la experiencia del personal de CESAL que trabaja en el área de actuación. Las líneas de actuación que se incluyen en el plan son las siguientes: • • • • • • Agua potable y saneamiento. Educación. Salud. Formación de jóvenes y actividades productivas. Desarrollo social y comunitario. Otras: educación de adultos, ordenamiento territorial y mejora de la vivienda. Las principales instituciones participantes que han cofinanciado componentes concretos de este plan son: • • • • • • • Ayuntamiento de Madrid. Comunidad de Madrid. Ayuntamiento de Móstoles. Diputación de Cáceres. Ayuntamiento de Tres Cantos. Ayuntamiento de Pozuelo. Empresa Ferrovial. En la memoria 2004 de CESAL se incluye una relación de las intervenciones llevadas a cabo por la organización en la zona. Se incluye a continuación un listado de aquellas que tienen una relación directa con los proyectos evaluados: Cooperación Ciudad de Madrid 243 12671 Colombia (FF) 244 3/3/08 13:30 Página 244 Informes de evaluación. Perú Título Lugar Beneficiarios Programa integral de apoyo a las familias asentadas en las ladrilleras de Huachipa (fases II y III). Cono Este de Lima Desarrollo y ampliación del Centro de Atención Infantil de los asentamientos humanos de Nievería y San Francisco. Socio(s) Monto (€) Cofinanciadores 1.975 habitantes Agua y saneamiento, educación, salud, desarrollo social, formación profesional, atención infantil Suyasun, CENCA, Universidad Católica Sedes Sapientiae, CESAL Perú 651.376 Ayuntamiento de Madrid, Ayuntamiento de Tres Cantos Cono Este de Lima 120 niños y niñas Atención infantil CESAL Perú 145.677 Ayuntamiento de Pozuelo Atención sanitaria de los niños del Centro de Atención Infantil de Huachipa y sus familias y construcción de un taller de costura para mujeres. Cono Este de Lima 57 niños y niñas Educación, salud y 30 mujeres CESAL Perú 124.000 Ferrovial “Crecer para crecer”. Intervención en el Centro de Atención Infantil Alecrim y el Centro de Apoyo Escolar, Huachipa. Cono Este de Lima 160 niños y niñas Educación CESAL Perú 17.302,72 Ayuntamiento de Tres Cantos Centro de Atención Infantil Cono Este Alecrim. Educando a los de Lima padres y a las madres de las familias asentadas en las ladrilleras de Huachipa. 110 familias Educación Universidad Católica Sedes Sapientiae, CESAL Perú 116.460 Ayuntamiento de Villanueva de la Cañada Mejora de la calidad de atención de salud y lucha contra la desnutrición y tuberculosis maternoinfantil. Cono Este de Lima 235 habitantes Salud y 20 promotores de salud CESAL Perú 17.994,67 Ayuntamiento de Las Rozas Mejora de la atención Cono Este médica y educación para de Lima la salud en los asentamientos de Huachipa. 3.765 habitantes Salud CLAS Nievería de la Dirección de Salud de Lima Este 89.144,40 Fundación El Monte Cooperación Ciudad de Madrid Sector 12671 Colombia (FF) 3/3/08 13:30 Página 245 Programa de Evaluaciones 2006-2007 Título Lugar Beneficiarios Sector Abastecimiento de agua potable, fortalecimiento de la gestión comunitaria y educación higiénicosanitaria de Las Flores, Nuevo Paraíso y San Francisco. Cono Este de Lima 400 familias Agua potable, Instituto de saneamiento básico Desarrollo Urbano CENCA, CESAL Perú 121.409 Generalitat Valenciana Programa de formación laboral y búsqueda de empleo para los desocupados de Nievería y San Francisco. Cono Este de Lima 70 jóvenes Formación de jóvenes CESAL Perú 111.200 Diputación de Cáceres Programa para la mejora de la calidad de la educación en los centros educativos de áreas deprimidas de Perú y Honduras. Cono Este de Lima 257 docentes Educación y profesionales en atención a la infancia y 90 niños y niñas CESAL Perú 170.000 Consejería de Educación de la Comunidad de Madrid Mejora de la atención sanitaria materno-infantil, recuperación de la calidad educativa, formación juvenil e inserción laboral, apoyo a la generación de ingresos y desarrollo productivo agrícola en áreas periurbanas de los conos Norte y Este de Lima. Cono Este de Lima, Cono Norte de Lima 6.960 niños y niñas, 1.712 madres gestantes, 158 docentes y profesionales, 1.450 jóvenes y 1.300 familias CESAL Perú 238.000 Comunidad de Madrid Educación, salud y agricultura Socio(s) Monto (€) Cofinanciadores Puede señalarse, por tanto, que los proyectos evaluados se insertan con claridad en una estructura de intervención más ambiciosa que es, en última instancia, la que les otorga su coherencia. En cualquier caso, hay que reconocer que el Plan de Reducción de la Pobreza de Nievería y San Francisco se ha ido construyendo a medida que las diferentes intervenciones iban perfilando y definiendo las prioridades de actuación y que entre éstas existen diferentes niveles de avance y coherencia. Nos encontramos, por tanto, ante una intervención de vocación integral, aunque con claros énfasis en los componentes de agua y saneamiento y atención a la infancia (educación y nutrición fundamentalmente) y un menor desarrollo en los casos de formación profesional, inserción laboral y generación de ingresos. Aunque las primeras actuaciones llevadas a cabo se centraron en la construcción de un centro de salud, ha sido el centro de atención infantil la intervención que ha permitido dar continuidad a la presencia de CESAL en la zona. En la actualidad se ha puesto en funcionamiento una Oficina de Desarrollo Comunitaria que pretende dar continuidad al trabajo emprendido. Cooperación Ciudad de Madrid 245 12671 Colombia (FF) 246 3/3/08 13:30 Página 246 Informes de evaluación. Perú 3. VALORACIÓN DE LOS DOCUMENTOS DE FORMULACIÓN En los documentos de formulación, los capítulos dedicados a exponer los antecedentes y justificación aparecen adecuadamente documentados y se explica de forma convincente la situación-punto de partida y las razones que han motivado las priorizaciones efectuadas. El profundo conocimiento que CESAL tienen de la zona de intervención ha permitido presentar esas informaciones. Por lo que hace referencia a la lógica de las intervenciones, hay que comenzar insistiendo en que la coherencia de los proyectos evaluador es preciso buscarla en un “nivel superior”, ya que éstos constituyen acciones que se enmarcan dentro de una visión estratégica de largo plazo. De todas maneras, la opción seguida en la formulación de las dos intervenciones objeto de esta evaluación presenta algunas debilidades que vamos a intentar poner de manifiesto. Frente a un Plan de Reducción de la Pobreza con una serie de componentes claramente definidos, se ha optado por el diseño de una serie de intervenciones que responden al mismo esquema general, en vez de profundizar en algunos de los resultados/componentes del plan. En el fondo, cada una de esas intervenciones puede ser vista como una suerte de plan operativo que establece una programación de actividades con carácter anual o bianual. De esta manera, tiende a romperse la lógica de la planificación en cascada, que se refleja en el siguiente gráfico: PLAN Objetivo general PROGRAMA Objetivo específico Objetivo general PROYECTO Resultados Objetivo específico Objetivo general Actividades Resultados Objetivo específico Actividades Resultados Actividades De esa manera, los documentos analizados presentan unos resultados sumamente variados y con relativamente pocas actividades en cada caso. En el primero de los documentos analizados (fase II) aparecen cinco resultados (sistema de conexiones de agua domiciliaria y de saneamiento; creación de un área verde irrigada; fortalecimiento de las organizaciones comunitarias; mejora de la situación de las mujeres y los jóvenes respecto a su formación, capacitación y perspectiva laboral y ampliación de la capacidad del centro de atención infantil poniendo en marcha un programa de nutrición y un programa de atención en salud), mientras que en el segundo los resultados incluidos son también cinco. Se trata de los siguientes: funcionamiento de un sistema de saneamiento alternativo en la zona de viviendas de La Huerta y Los Jardines de Nievería; mejora de la calidad de los centros educativos de infantil, primaria y secundaria de la zona; programa integral de reforzamiento educativo y nutricional para los escolares; programa de formación laboral y búsqueda de empleo para los desocupados y puesta en marcha de una oficina de desarrollo comunitario. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 247 Programa de Evaluaciones 2006-2007 Resultados en el primer documento Resultados en el segundo documento Sistema de conexiones de agua domiciliaria y de saneamiento. Funcionamiento de un sistema de saneamiento alternativo en la zona de viviendas de La Huerta y Los Jardines de Nievería. Creación de un área verde irrigada. Mejora de la calidad de los centros educativos de infantil, primaria y secundaria de la zona. Fortalecimiento de las organizaciones comunitarias. Programa integral de reforzamiento educativo y nutricional para los escolares. Mejora de la situación de las mujeres y los jóvenes respecto a su formación, capacitación y perspectiva laboral. Programa de formación laboral y búsqueda de empleo para los desocupados. Ampliación de la capacidad del centro de atención infantil poniendo en marcha un programa de nutrición y un programa de atención en salud. Puesta en marcha de una oficina de desarrollo comunitario. Es cierto que en las reformulaciones posteriores, algunos de esos resultados fueron modificados o, incluso, suprimidos, pero eso no invalida la opinión acerca de la excesiva dispersión de intervenciones relativamente modestas en recursos y que plantean una excesiva amplitud de componentes. Esa amplitud provoca, inevitablemente, una cierta indefinición de los objetivos de los proyectos, ya que el efecto común de resultados tan diversos sólo puede buscarse en niveles muy elevados (“mejora de la calidad de vida”) o en la mera repetición de los resultados situados en el nivel inferior. En el primero de los proyectos los objetivos son los que se señalan a continuación: • Objetivo general o de desarrollo: “Mejora de las condiciones de vida en los asentamientos humanos de Nievería y San Francisco insertos en la zona de las ladrilleras de Santa María de Huachipa”. • Objetivo específico del proyecto: “Fortalecimiento del patrimonio de 283 familias pertenecientes a los asentamientos de Nievería y San Francisco en los componentes de vivienda, salud, educación, relaciones familiares y organización comunitaria”. En el segundo de los proyectos el objetivo específico, por su parte, queda enunciado como sigue: “Mejora del capital humano y social y de los servicios de agua y saneamiento para 283 familias que habitan en los asentamientos humanos de Nievería y San Francisco.” Cooperación Ciudad de Madrid 247 12671 Colombia (FF) 248 3/3/08 13:30 Página 248 Informes de evaluación. Perú Lógica de intervención primer documento Lógica de intervención segundo documento Objetivo general Mejora de las condiciones de vida en los asentamientos Mejora de las condiciones de vida en los asentamientos humanos de Nievería y San Francisco insertos en la humanos de Nievería y San Francisco insertos en la zona de zona de las ladrilleras de Santa María de Huachipa. las ladrilleras de Santa María de Huachipa. Objetivo específico Fortalecimiento del patrimonio de 283 familias pertenecientes a los asentamientos de Nievería y San Francisco en los componentes de vivienda, salud, educación, relaciones familiares y organización comunitaria. Mejora del capital humano y social y de los servicios de agua y saneamiento para 283 familias que habitan en los asentamientos humanos de Nievería y San Francisco. Resultados Sistema de conexiones de agua domiciliaria y de saneamiento. Funcionamiento de un sistema de saneamiento alternativo en la zona de viviendas de La Huerta y Los Jardines de Nievería. Creación de un área verde irrigada. Mejora de la calidad de los centros educativos de infantil, primaria y secundaria de la zona. Fortalecimiento de las organizaciones comunitarias. Programa integral de reforzamiento educativo y nutricional para los escolares. Mejora de la situación de las mujeres y los jóvenes respecto a su formación, capacitación y perspectiva laboral. Programa de formación laboral y búsqueda de empleo para los desocupados. Ampliación de la capacidad del centro de atención infantil poniendo en marcha un programa de nutrición y un programa de atención en salud. Puesta en marcha de una oficina de desarrollo comunitario. La amplitud de las estrategias de intervención y la dificultad para establecer efectos concretos (objetivos) de las acciones puestas en marcha, tienen su reflejo en la débil precisión de los colectivos beneficiarios. Del análisis presentado en los documentos de formulación, y la experiencia del equipo de evaluación así lo ratifica, se justifica la pertinencia del trabajo en el área, ya que se trata de una zona con elevados índices de pobreza y significativas carencias. La concentración del trabajo en un área homogénea y el compromiso de continuidad asumido por CESAL deben ser valorados como elementos claramente positivos, pero la dispersión de las acciones emprendidas impiden definir para cada proyecto un grupo homogéneo de beneficiarios. De hecho, cada componente presenta un grupo meta diferente. Éstos, además, son a menudo definidos de una manera excesivamente genérica (“los jóvenes”, “las mujeres”, “los niños”, etc.), cuando es posible que existan dentro de esos grandes grupos diferencias significativas que justificarían una identificación más precisa. Los proyectos cuentan con indicadores y fuentes de verificación y se ha hecho un importante esfuerzo para establecer sistemas de comprobación que permitan valorar los logros alcanzados. De todas maneras, a menudo esos indicadores tienden a valorar más el desempeño que los efectos logrados (“30 profesores... han recibido formación...”; “al menos 40 jóvenes y adultos... han sido capacitados...”; “al final del proyecto se habrá actualizado el censo-diagnóstico de la zona”, etc.). En otras ocasiones la propia indefinición de los colectivos beneficiarios dificulta la medición de los indicadores (“se reducen en un 30% el porcentaje de enfermedades al año para los Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 249 Programa de Evaluaciones 2006-2007 niños menores de 5 años”; “al finalizar el proyecto se ha disminuido la tasa de repetición en un 20% en el alumnado en...”). Por último hay algunos casos en el que las variables de los indicadores resultan difícilmente verificables (“11 organizaciones comunales se han fortalecido orgánicamente y tienen una apuesta de desarrollo local”). Los presupuestos fueron modificados de manera importante en los dos casos, debido a que el Ayuntamiento de Madrid redujo de forma drástica (33% y 30% respectivamente) el monto de la subvención solicitada. Evidentemente, esas reformulaciones han afectado a la coherencia interna de las intervenciones, suprimiendo actividades e, incluso, resultados. El equipo de evaluación desconoce las razones técnicas de tales recortes y los criterios utilizados para realizarlas, debiendo valorar de forma negativa un proceder que desvirtúa la lógica y coherencia de las intervenciones propuestas. El análisis de riesgos resulta insuficiente en los dos casos analizados. En el primero de ellos se incluyen únicamente dos posibles riesgos (“la diferencia de culturas entre las comunidades beneficiarias de Nievería y San Francisco de Pipera y los agentes impulsores no permite alcanzar los resultados esperados” y “los beneficiarios del proyecto no consiguen dominar el uso y la gestión de los nuevos sistemas de agua y saneamiento y no se consigue la reducción prevista en el porcentaje de enfermedades gastrointestinales”), cuando los componentes incluidos en la intervención inciden en ámbitos como la provisión de agua, el saneamiento, la inserción laboral, el fortalecimiento institucional, la desnutrición y la salud. Existen estudios de viabilidad, cuya consistencia varía en función de los diferentes componentes incluidos en los proyectos aunque, en general, pueden considerarse suficientes teniendo en cuenta los contenidos del formulario de proyectos. 4. VALORACIÓN DE LOS PERIODOS DE EJECUCIÓN La ejecución de los proyectos se ha llevado a cabo de manera satisfactoria. La creación de la sede de CESAL Perú en Lima y el establecimiento de una oficina de desarrollo en Huachipa han facilitado la creación de equipos de trabajo consolidados y con experiencia en el terreno, lo que sin duda ha contribuido a un adecuado manejo de los recursos disponibles. Más difícil resulta pronunciarse sobre el resto de las organizaciones socias que han participado en la ejecución de los proyectos. Los tiempos disponibles para el ejercicio de evaluación impiden pronunciarse de manera inequívoca al respecto. La estructura de ejecución refleja la diversidad de los componentes incluidos en las dos intervenciones evaluadas. CESAL ha asumido de manera directa la ejecución de algunas actividades o resultados, mientras que en otros casos se ha recurrido a especialistas. La participación de estas organizaciones en la definición de las estrategias de intervención ha sido también variable. En general, puede señalarse que parece haberse establecido una adecuada relación entre los diferentes socios. En el caso del componente de agua y saneamiento se ha llegado a una elevada eficiencia, ya que se cuenta con una importante experiencia acumulada y se dispone de datos muy fiables sobre fortalezas y debilidades de las diferentes opciones técnicas, costes, tiempos de ejecución, etc. En otros ámbitos de la intervención, dadas sus características y la menor experiencia acumulada, no se dispone de datos tan ajustados. Es posible que sea en el componente de formación profesional e inserción laboral donde la sistematización resulte menor. Cooperación Ciudad de Madrid 249 12671 Colombia (FF) 250 3/3/08 13:30 Página 250 Informes de evaluación. Perú Por lo que hace referencia a los beneficiarios, es discutible que haya existido una participación efectiva en la definición de la estrategia de intervención. Se ha realizado un serio esfuerzo de diagnóstico y se han reunido informaciones muy detallados sobre la situación de los colectivos beneficiarios. También se han efectuado algunos talleres participativos con personas seleccionadas de la comunidad, pero no queda claro hasta qué punto se ha contado con las organizaciones vecinales para la preparación de las intervenciones ni si se han respetado las prioridades de éstas. La participación de los beneficiarios en las diferentes actividades impulsadas desde los proyectos es también variable e indica diferentes niveles de apropiación. La dispersión de propósitos hace sumamente difícil pronunciarse sobre la cuestión. 5. C RITERIOS DE EVALUACIÓN 5.1. Pertinencia 5.1.1. Adecuación del proyecto a prioridades En términos generales, puede considerarse que el “Programa integral de apoyo a las familias asentadas en las ladrilleras de Huachipa” presenta un elevado nivel de pertinencia, en lo que hace referencia a su adecuación a las prioridades de las diferentes entidades implicadas en su puesta en marcha. El área de intervención es una zona con elevados índices de pobreza y graves carencias en necesidades básicas. Los principales actores de la cooperación para el desarrollo, incluyendo al Ayuntamiento de Madrid y a la propia cooperación española, asumen como propios los Objetivos del Milenio y plantean como su horizonte estratégico su contribución a la erradicación de la pobreza extrema. Asumiendo que los documentos de estrategia con que contamos en la actualidad son posteriores al momento de la preparación y ejecución de los proyectos evaluados, pueden reseñarse los siguientes datos: • Perú es un país prioritario para la estrategia de cooperación del Ayuntamiento de Madrid. Entre 1995 y 2004, el 20% del monto total de los proyectos subvencionados por el Ayuntamiento de Madrid (alrededor de 18,5 millones de euros) se dirigió a este país. • Entre 2000 y 2004 en el área de Lima se ejecutaron 26 proyectos apoyados por el Ayuntamiento de Madrid, por un monto de más de 3,7 millones de euros, lo que supuso el 37% del total de los recursos asignados al Perú. • Dentro de las prioridades geográficas incluidas en el PEA Perú presentado por el Ayuntamiento de Madrid se incluye Lima metropolitana (conos) y los departamentos de Cuzco y Cajamarca. Dentro de los conos limeños se incluye el distrito de Lurigancho/Chosica, donde se ejecutaron las dos intervenciones evaluadas. • Perú aparece definido como país prioritario en el Plan Director de la Cooperación Española. • En el Plan Director de la Cooperación Española se indica que, al menos, un 20% de los recursos comprometidos deben dirigirse a la cobertura de necesidades sociales básicas. • La Unión Europea ha ejecutado en el área considerada el “Programa de lucha contra la pobreza en Lima” (PROPOLI), lo que indica la prioridad otorgada al área. Por lo que hace referencia a CESAL, en la memoria 2004 se indica que en Sudamérica esta organización ha trabajado en Perú, Paraguay y Brasil y dentro del primero de los países en los conos Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 251 Programa de Evaluaciones 2006-2007 de Lima y en el departamento de Andahuaylas. Para el cuatrienio 2005-2008 los países priorizados en el continente sudamericano son Perú y Paraguay. Los sectores de intervención más importantes son los siguientes: educación, salud, desarrollo urbano, agua y saneamiento, desarrollo agropecuario y fomento del empleo. El Plan de Acción CESAL 1998-2004 muestra el compromiso de la organización con las iniciativas llevadas en el área de intervención. La elaboración del “Plan integral de reducción de la pobreza de Nievería y San Francisco” es, en sí misma, una prueba de la implicación institucional en esa zona. Las orientaciones estratégicas de las distintas líneas de actuación incluidas en el Plan son las siguientes: • Agua potable y saneamiento. Extender los servicios de agua potable y saneamiento básico al total de las comunidades pertenecientes al ex fundo Nievería, que comprende los centros poblados de Nievería, San Francisco, Las Flores de Nievería, Nuevo Paraíso y Media Luna. • Educación. Fortalecimiento de la calidad educativa de los centros educativos y disminución del abandono escolar de los centros educativos de Cajamarquilla, Jicamarca, Huachipa y Nievería de la UGEL VI y XV. • Salud. Favorecer el crecimiento y desarrollo temprano: disminuir la desnutrición maternoinfantil, el alto índice de enfermedades y déficit adquiridos del desarrollo a través de la vigilancia comunitaria y fortalecer y apoyar los servicios de salud de la DISA IV Lima Este del Ministerio de Salud de la zona. • Formación de jóvenes y desarrollo de actividades productivas. Contribuir a la inserción sociolaboral de los jóvenes de Nievería, San Francisco y centros poblados aledaños, impulsando su acceso al mercado laboral de Lima. Asimismo se fortalecerá la actividad agropecuaria en la zona, como principal fortaleza de la zona, mejorando los niveles de producción, mercado e ingreso de las familias de Huachipa, mejorando a su vez la disponibilidad, acceso y utilización de los recursos alimentarios y capacidades locales. • Desarrollo social y comunitario. Dentro de este ámbito, CESAL busca establecer un trabajo coordinado y concertado entre todas las ONG, instituciones públicas y organizaciones de base de la zona. Asimismo pretende contribuir en el fortalecimiento institucional de la municipalidad de Lurigancho-Chosica y UGEL VI Ate-Vitarte, con el fin de promover el desarrollo integral de Huachipa, compartiendo las responsabilidades y logros. Más difícil es pronunciarse con respecto a las prioridades de las autoridades locales. En principio, se asume que SEDAPAL, la empresa pública responsable del abastecimiento de agua y saneamiento, no dispone de los recursos necesarios para garantizar la cobertura de agua y saneamiento en la zona hasta, por lo menos, el horizonte 2015. La paralización del “Programa Japón-Perú de agua potable” ha provocado esta situación, lo que justifica plenamente la iniciativa puesta en marcha por CESAL. Se han firmado convenios de colaboración con el “Programa de Agua y Saneamiento del Banco Mundial” y con el “Programa PROAGUA” impulsado por GTZ. Las relaciones con las autoridades educativas son complejas, dada la alta rotación de éstas. Se cuenta con las necesarias autorizaciones para llevar adelante el “Programa de mejora de la calidad educativa”, pero no parece existir una alta implicación de los responsables educativos zonales. Como puede suponerse, resulta más fácil establecer una coordinación eficaz con las direcciones de los centros educativos, aunque en estos casos existe una enorme variabilidad de situaciones. Por lo que hace referencia a las municipalidades de la zona, las relaciones tienden a ser positivas, aunque sus aportaciones a las intervenciones evaluadas son, en general, escasas. Se detectan algunos problemas de competencias, ya que no en todos los casos se encuentran claramente Cooperación Ciudad de Madrid 251 12671 Colombia (FF) 252 3/3/08 13:30 Página 252 Informes de evaluación. Perú definidos los límites de las diferentes Administraciones locales. Sería deseable una mayor implicación de las autoridades municipales en los proyectos puestos en marcha. 5.1.2. Origen de la iniciativa Tal y como se ha señalado, los proyectos evaluados tienen su origen en una colaboración con el “Programa IPEC de erradicación del trabajo infantil” llevado a cabo por la OIT durante el año 1998. Esa primera iniciativa consistió en la construcción de un puesto de salud y un centro comunal. Esta intervención permitió a CESAL entrar en contacto con la realidad de la zona e identificar nuevas necesidades y recursos de la población. CESAL ha realizado, con apoyo de algunas organizaciones afines, unos diagnósticos bastante exhaustivos sobre la realidad del área y cuenta con una información muy detallada de la situación de esas comunidades. De todas formas, los beneficiarios parecen haber sido, básicamente, “proveedores de información”, sin que su participación en la ordenación de esa información y en la toma de decisiones sobre las acciones que era conveniente poner en marcha haya sido muy significativa. Evidentemente, el nivel de prioridad con relación a las demandas de la población local varía en función de cada uno de los componentes incluidos en los dos proyectos evaluados. Así, en el caso del agua y el saneamiento, parece existir un consenso generalizado sobre su importancia, mientras que sobre los otros resultados se plantean mayores interrogantes. En muchas de las comunidades de la zona existen comités de desarrollo que tienen diferentes niveles de representatividad y de capacidad de actuación y con los que sería conveniente contar para la puesta en marcha de nuevas iniciativas. No puede, por tanto, afirmarse que la totalidad de los componentes incluidos en las intervenciones evaluadas hayan surgido de una demanda de los beneficiarios o de sus organizaciones de base. Aunque se han efectuado algunos talleres participativos, éstos no parecen haber sido decisivos a la hora de tomar las decisiones acerca de “qué hacer” y “cómo debía hacerse”, sino que se han tratado de meros ejercicios de recogida de información y, como mucho, de priorización de posibles soluciones, sin una definición más precisa. Teniendo en cuenta el nivel de compromiso adquirido por CESAL en la zona y el buen trabajo llevado a cabo hasta ahora, sería conveniente que, en las próximas fases del trabajo, se intentara otorgar mayor protagonismo a los colectivos beneficiarios, fortaleciendo sus organizaciones de base. El papel de las organizaciones locales (de los beneficiarios o de entidades públicas) presenta grandes diferencias en cada uno de los componentes evaluados. Así, en el caso de la educación, se ha decidido (de manera adecuada, según la opinión del equipo evaluador) reforzar las capacidades locales (los centros públicos existentes en la zona), contando con el apoyo de las autoridades educativos de la UGEL. Por el contrario, no se siguió esa estrategia en el caso del centro de atención infantil, ya que se creó un centro nuevo ad hoc en vez de fortalecer los ya existentes. En el caso del componente de agua y saneamiento el papel de las organizaciones locales es clave para asegurar el funcionamiento y el mantenimiento de las infraestructuras creadas. 5.1.3. Complementariedad con otras acciones El “Plan integral de reducción de la pobreza de Nievería y San Francisco” contempla un conjunto de acciones complementarias, cuyo propósito final es contribuir al desarrollo humano en el área de intervención. La metodología de trabajo de CESAL favorece el establecimiento de alianzas estratégicas (“queremos que las contrapartes de nuestros proyectos no sean meros Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 253 Programa de Evaluaciones 2006-2007 intermediarios o ejecutores de determinadas acciones sino que se erijan en verdaderos motores de desarrollo implicando a los distintos actores sociales y autoridades locales presentes”) y el partenariado (“el partenariado deriva de la aplicación del principio de subsidiariedad. Se parte de un sujeto existente que implica a las Administraciones locales, a las fuerzas sociales y a las instituciones internacionales, según sus respectivas tareas, en la cooperación para responder a las necesidades con las que se encuentra”). De hecho, una de las características más llamativas de los proyectos evaluados es la multiplicidad de actores que colaboran en la ejecución de los diferentes componentes. Así, en el caso del agua y saneamiento desempeña un papel central el Instituto de Desarrollo Urbano CENCA, en el de educación la Universidad Católica Sedes Sapientiae y en la formación profesional e inserción laboral de jóvenes las ONG Suyasun y Visión Solidaria. Todos estos actores desarrollan acciones en el área de intervención de carácter complementario a las aquí analizadas. Más allá de esto, hay que recordar que los dos proyectos evaluados forman parte de un conjunto de intervenciones cuya coherencia debe buscarse en el seno del “Plan integral de reducción de la pobreza”. De hecho, la complementariedad de acciones y de entidades participantes constituye uno de los rasgos más significativos de la experiencia llevada a cabo por CESAL en Huachipa. Ya se ha indicado con anterioridad la existencia de una gran diversidad de instituciones financiadoras que han aportado recursos para actuaciones más o menos puntuales que se insertan en esta estrategia. En ese sentido, hay que asumir que la concentración geográfica aparece como una de las principales fortalezas de la experiencia analizada, ya que ha permitido establecer una planificación de carácter estratégico y dotar de coherencia a intervenciones relativamente puntuales. También se ha señalado que en el área de intervención, o en zonas muy próximas, es posible identificar otras acciones planificadas que, de alguna manera, contribuyen o han contribuido a reforzar los efectos esperados de los proyectos evaluados. Inicialmente, en la zona trabajó la OIT con su “Programa IPEC de erradicación del trabajo infantil”. Ha habido también grandes coincidencias con el Programa PROPOLI de la Unión Europea, así como con actuaciones dirigidas a ampliar la cobertura de los servicios de agua y saneamiento del Banco Mundial y de la GTZ. Por lo que hace referencia a la Cooperación Española, el equipo de evaluación no ha conocido que, en esa zona, esté apoyando proyectos de ejecución directa, aunque sí apoya algunos programas de ONGD. En concreto, en la zona existe un centro educativo de Fe y Alegría que se encontraba incluido en el “Programa de educación popular de calidad para la inclusión social de sectores empobrecidos de seis países sudamericanos” promovido por Entreculturas, cofinanciado por AECI. Ese centro también ha participado en las acciones del componente educativo de las intervenciones evaluadas. 5.1.4. Valoración de los colectivos beneficiarios y cobertura de la intervención La definición de los colectivos beneficiarios presenta algunas dificultades que se derivan de la diversidad de los resultados incluidos en la planificación inicial. En principio, es preciso reconocer que todos los grupos beneficiarios pertenecen a sectores de exclusión que los convierte en claramente prioritarios y que esa adecuada identificación representa uno de los primeros puntos fuertes de las intervenciones evaluadas. También se ha indicado con anterioridad que CESAL ha realizado un importante esfuerzo para disponer de buenos diagnósticos que le permiten contar con una línea de base muy sólida. El principal problema a la hora de valorar la adecuación de los colectivos beneficiarios aparece cuando se intentan precisar los criterios de selección de éstos en cada uno de los componentes considerados. Así, pueden realizarse las siguientes consideraciones: Cooperación Ciudad de Madrid 253 12671 Colombia (FF) 254 3/3/08 13:30 Página 254 Informes de evaluación. Perú • Componente de agua y saneamiento. En principio, los criterios de selección no presentan ninguna dificultad. No existe en el área ningún sistema de abastecimiento de agua ni de saneamiento, por lo que todos los habitantes de estas comunidades presentan una situación idéntica en ese sentido. La pretensión de CESAL es cubrir, en la medida en que disponga de recursos suficientes, a toda la población de las áreas de intervención. En un primer momento se seleccionaron dos zonas (45 familias y 95 familias respectivamente), donde se han implementado dos sistemas diferentes de saneamiento (ecológico y condominial), en función, básicamente, de las características del terreno. Existen ya estudios para ampliar el sistema de saneamiento a otras 700 familias. Puede, por tanto, asumirse que en este caso existe una nítida definición de los grupos beneficiarios y que el sesgo de la cobertura ha venido motivado por los recursos disponibles y por la necesidad de comprobar el funcionamiento de diversas soluciones técnicas. Aunque la tasa de cobertura no es todavía muy elevada, existen previsiones de ampliarla y, de hecho, ya se han iniciado intervenciones en ese sentido en otras zonas de la comunidad (financiadas por la Generalitat Valenciana). • Componente de atención infantil. La solución adoptada (creación de un centro ad hoc que se ha transferido a la UCSS) establece un modelo cuyo replicabilidad resulta complicada. En un primer momento, se ha intentado incidir en los colectivos más carenciados (niños y niñas con altos niveles de desnutrición, con padres trabajadores en las ladrilleras, etc.), pero parece que son razones de proximidad o el interés y compromiso de los padres los que determinan el ingreso de los niños. En la guardería se atiende a unos 60 niños. En la zona existen otras guarderías comunitarias (PRONOEI), en muchas peores condiciones, con personal con bajas cualificaciones y un reducido apoyo estatal. • Componente de mejora de la calidad educativa. En este caso se ha optado por reforzar las estructuras existentes, incidiendo en los centros educativos públicos existentes en la zona. En este caso, los beneficiarios son, evidentemente, los niños escolarizados. El problema en este caso no atañe tanto a la definición del colectivo beneficiario (que resulta claro), sino a la posibilidad de alcanzar el objetivo ya que asumir que se logrará un incremento de la calidad educativa (con indicadores referidos a la reducción del fracaso escolar) incidiendo únicamente en la mejora de la docencia (y esperando que ésta se produzca a partir de la impartición de algunos cursos para maestros) resulta, cuando menos, aventurado. Dentro de este componente se han incluido también algunas actividades de refuerzo escolar, con clases impartidas en el centro de atención infantil. No quedan claros cuáles son los criterios que han llevado a poner en marcha esa estrategia que, en cualquier caso, tiene un alcance muy limitado. • Componente de nutrición. Hasta ahora se han venido llevando a cabo algunas actividades tendentes a mejorar la situación nutricional de los niños y niñas de las comunidades beneficiarias. Aunque en los proyectos evaluados esas actividades no tenían un gran alcance, puede señalarse que se ha tratado de actuaciones tanto en el centro de atención infantil (donde se dispone de sistema de comedor, nutricionista y un programa de atención a los niños), como de charlas específicas para los maestros en el componente de mejora de la calidad educativa. Se ha adquirido una buena experiencia en ese sentido y está prevista la puesta en marcha de intervenciones que intenten proponer soluciones frente a este problema. La idea es trabajar con los comedores populares (PRONA) y con los colegios de la zona. • Componente de formación profesional e inserción laboral. La determinación de los beneficiarios en este caso ha sido muy poco precisa. Frente a un problema sumamente grave en la zona (desempleo y subempleo crónico), las soluciones adoptadas hasta ahora no han tenido una orientación consistente. Se han otorgado algunas becas de formación, se ha puesto en marcha (“de manera un tanto casual”) un taller de confección donde se prepara a los alumnos para el trabajo en las industrias textiles y se ha llevado a cabo una Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 255 Programa de Evaluaciones 2006-2007 experiencia de acompañamiento con un grupo de beneficiarios para facilitarse su acceso al mercado de trabajo. No están claros los criterios manejados para la selección de los colectivos beneficiarios en cada uno de los casos y no parece que, con independencia del taller de confección, se hayan logrado resultados muy apreciables hasta el momento. 5.1.5. Correspondencia entre los objetivos de los proyectos y algunos problemas existentes en la realidad Tal y como se ha indicado reiteradamente, CESAL ha efectuado un importante esfuerzo para disponer de un diagnóstico de situación que le ha permitido conocer el estado en que se encuentra el área de intervención. Aunque el equipo de evaluación no ha entrado a valorar en profundidad ese diagnóstico da la sensación que, en ocasiones, se dispone de un exceso de información que no resulta operativa para los propósitos previstos (diseñar y ejecutar intervenciones de desarrollo que resulten eficaces a la hora de resolver los problemas identificados). En términos generales, puede afirmarse que existe un conocimiento adecuado de la zona en la que se han llevado a cabo los proyectos y que éstos responden a problemas existentes en la realidad. Esa correspondencia entre los diferentes componentes incluidos en el “Programa integral de apoyo a las familias asentadas en las ladrilleras de Huachipa”, fases II y III y algunos de los problemas más significativos del área constituye uno de los más claros puntos fuertes de las intervenciones evaluadas. En el otro extremo de la valoración, se pueden señalar como las mayores debilidades de la intervención a este respecto la dispersión de acciones contempladas en las intervenciones y una cierta “pérdida” del propósito original de la intervención tendente en un principio a la contribución a la erradicación del trabajo infantil. 5.2. Eficacia 5.2.1. Adecuada definición del objetivo específico y los resultados En la formulación de los dos proyectos evaluados (de hecho, dos fases de una misma intervención) se ha intentado mantener la estructura de un plan integral de reducción de la pobreza, “disminuyendo” la ambición de los resultados, pero sin concretar la estrategia de intervención en el logro de un objetivo concreto. Esto ha hecho que los proyectos sean una suerte de pequeño plan de desarrollo, ya que mantienen su misma concepción (integrando prácticamente todas las líneas de acción de aquél), aunque con un nivel de ambición mucho menor, y circunscritos a un periodo temporal mucho más limitado (un año en cada caso). Desde el punto de vista de la formulación, esta opción presenta claros problemas. Por un parte, la relación resultados-objetivo resulta dudosa, ya que el efecto común de unos componentes muy diversos es preciso buscarla en un nivel superior sobre el que apenas se tiene incidencia. Desde el punto de vista de la planificación “en cascada” resulta mucho más lógico que los resultados (denominados en este caso líneas de acción) del plan se conviertan en objetivos de proyectos concretos y no que los proyectos reproduzcan el mismo esquema del plan. Esta deficiencia hace que sea difícil valorar los niveles de logro alcanzados por las intervenciones. Cooperación Ciudad de Madrid 255 12671 Colombia (FF) 256 3/3/08 13:30 Página 256 Informes de evaluación. Perú La lógica de intervención presentada en el primero de los proyectos es la que se describe a continuación1: Objetivo específico “Fortalecimiento del patrimonio de 283 familias pertenecientes a los asentamientos de Nievería y San Francisco en los componentes de vivienda, salud, educación, relaciones familiares y organización comunitaria”. Indicadores Reducción del índice de enfermedades gastrointestinales de la población en general un 40% y de los menores de 5 años en un 65% un año después de la finalización del proyecto. Incremento en un 20% de los menores de seis años que ingresan en la escuela el año después de la finalización del proyecto y reducción del fracaso escolar de esa generación en un 50% en los años siguientes. Aumento en un 10% de la media de la tasa ocupacional de las familias beneficiarias un año después de la finalización del proyecto. • • • • • R1: Sistema de conexiones de agua domiciliaria y saneamiento. R2: Creación de un área verde. R3: Fortalecimiento de las organizaciones existentes en la comunidad. R4: Mejora de la formación y la perspectiva laboral de mujeres y jóvenes. R5: Ampliación de la capacidad del centro de atención infantil, con un programa de nutrición y un programa de atención de la salud. La lógica de intervención del segundo de los proyectos se resume en el cuadro siguiente: Objetivo específico “Mejora del capital humano y social y de los servicios de agua y saneamiento para 283 familias que habitan en los asentamientos humanos de Nievería y San Francisco”. Indicadores Al finalizar el proyecto se habrá alcanzado el 30% de cobertura de sistema de saneamiento domiciliario en los AA.HH. de Nievería y San Francisco. Al finalizar el proyecto habrá disminuido en un 30% la tasa de repetición escolar de los menores en edad de primaria y secundaria en los AA.HH. de Nievería y San Francisco. A los dos años de acabar el proyectos el 50% de los 119 desempleados de Nievería y San Francisco posee un empleo. 1 En la reformulación motivada por la aprobación de una subvención menor de la solicitada se suprimieron algunos resultados y actividades. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 257 Programa de Evaluaciones 2006-2007 • • • • • R1: Sistema de saneamiento alternativo. R2: Mejora calidad centros educativos de infantil, primaria y secundaria de la zona. R3: Programa integral de reforzamiento educativo y nutricional para los escolares. R4: Programa de formación laboral y búsqueda de empleo para los desocupados. R5: Oficina de desarrollo comunitario que actualice el censo, evalúe el impacto y planifique las siguientes fases. Del análisis de estos esquemas, pueden extraerse algunas consideraciones: • Los objetivos específicos no representan el efecto de las actividades ejecutadas y de los resultados alcanzados, sino que constituyen un resumen de lo que pretende llevarse a cabo. Esto es particularmente evidente en la primera de las formulaciones, donde el objetivo “describe” los diferentes componentes de la intervención. • Los indicadores de los objetivos específicos son difícilmente verificables, resulta complejo atribuir su cumplimiento a la ejecución de las actividades previstas y, en cualquier caso, hacen referencia a algunos de los diferentes componentes de los proyectos y no al “efecto” esperado, común de todos ellos. • La indefinición es también significativa en los resultados, con indicadores que, en ocasiones, son muy similares a los situados en el nivel superior (algunos ejemplos servirán para ilustrar esta afirmación). Así, en la primera formulación se incluye en el resultado 5 el siguiente IVO: “Se reducen en un 30% el porcentaje de enfermedades al año para los niños menores de cinco años”, mientras que en el OE se incluyó este otro: “Reducción del índice de enfermedades gastrointestinales de la población en general un 40% y de los menores de cinco años en un 65% un año después de la finalización del proyecto”. En la segunda formulación, el resultado 2 se medirá con un IVO que indica que “al finalizar el proyecto se ha disminuido la tasa de repetición en un 20%...”, mientras que en el OE se habla de que “al finalizar el proyecto habrá disminuido en un 30% la tasa de repetición escolar de los menores en edad de primaria y secundaria en los AA.HH. de Nievería y San Francisco”. 5.2.2. Nivel de logro de los objetivos y resultados Teniendo en cuenta las debilidades comentadas en el apartado anterior, resulta difícil pronunciarse sobre el nivel de logro de los diferentes objetivos y resultados que aparecen en las dos formulaciones. En principio, puede afirmarse que el nivel de realización de las diferentes actividades previstas ha sido muy adecuado y que éstas se han llevado a cabo sin grandes desviaciones con respecto a lo planificado inicialmente. Hay algunos resultados sobre los que resulta más fácil pronunciarse. Son los casos de los referentes al abastecimiento de agua y saneamiento, a la ampliación de la capacidad del centro de atención infantil y a la inserción laboral. En los dos primeros casos puede afirmarse que se han alcanzado las metas previstas, mientras que en el tercero se plantean muchos más interrogantes. Los otros resultados son muy difíciles de valorar, ya que presentan indicadores que tienen poca relación con las actividades realizadas. Así, por ejemplo, es imposible vincular la reducción del fracaso escolar (en sus dimensiones de repitencia o abandono) con las acciones llevadas a cabo por el proyecto (cursos de formación a docentes y asistencia técnica). En el mismo sentido, resulta imposible atribuir a los proyectos evaluados la reducción de los índices de desnutrición infantil en el área de intervención. La mayor parte de los efectos esperados deberían ser valorados a más largo plazo y dependerán de un conjunto de acciones complementarias que exceden con claridad a los dos proyectos evaluados. Cooperación Ciudad de Madrid 257 12671 Colombia (FF) 258 3/3/08 13:30 Página 258 Informes de evaluación. Perú Éstos presentan, por tanto, unos indicadores que, o bien representan más bien la propia gestión realizada (haciendo referencia a actividades que se han llevado a cabo), o bien incluyen un nivel excesivo de ambición. Esto es particularmente perceptible en el nivel de los objetivos específicos. 5.2.3. Comportamiento de riesgos y presunciones Los análisis de riesgos incluidos en los documentos de formulación resultan claramente superficiales, ya que apenas se tuvieron en cuenta factores externos. En muchos casos la lógica “actividades-resultados-objetivos” resulta débil, ya que no se han incluido los elementos del contexto (situaciones, acontecimientos o decisiones) que pueden considerarse imprescindibles para que ésta se sostenga. Para explicar esta valoración, puede ser útil presentar un ejemplo concreto. Así, el resultado 2 del segundo documento de formulación está expresado de la siguiente manera y presenta una lógica de intervención como la que se describe: Resultado 2 Se habrá mejorado la calidad de los centros educativos de infantil, primaria y secundaria de la zona. IVO 1. Al finalizar el proyecto se ha disminuido la tasa de repetición en un 20% en el alumnado de... 2. Al finalizar el proyecto, 100 docentes y 35 directores y personal administrativo han mejorado sus respectivos niveles profesionales. 3. 30 profesores de los centros educativos de educación infantil y PRONEII han recibido formación en... mejorando sus estrategias y recursos pedagógicos así como de atención a los niños y las familias que asisten a los centros educativos. • A1. Elaboración de un estudio diagnóstico del nivel educativo y de gestión de los centros. • A2. Firma de convenios CESAL-UCSS y con los centros educativos beneficiarios. • A3. Difusión y realización de los talleres de capacitación en calidad educativa para los profesores de primaria y secundaria. • A4. Difusión y realización de los talleres de capacitación de gestión para directores y personal de administración. • A5. Realización de un curso de formación de 160 horas compuesto por cinco módulos para los educadores de enseñanza infantil. • A6. Intercambio y acompañamiento a profesores y docentes. • A7. Asesoría especializada. • A8. Evaluación continua de la capacitación. • A9. Actividades de integración. • A10. Firma de convenio entre CESAL y el centro escolar 1224 de Paraíso para el desarrollo de un programa de estudios alternativos para adolescentes. Esta lógica de intervención establece una relación directa entre el incremento de capacidades del personal docente y administrativo de los centros escolares (a través de una estrategia basada en capacitaciones) y la calidad educativa (medida básicamente en la reducción de la tasa de repetición, ya que los otros dos indicadores hacen referencia a la ejecución de determinadas actividades —A3, A4 y A5 fundamentalmente—). Sin ánimo de exhaustividad, pueden indicarse otros muchos elementos que contribuyen a la calidad educativa. Entre éstos estarían los siguientes: Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 259 Programa de Evaluaciones 2006-2007 Incremento de la calidad educativa Personas capacitadas Personas estables Personas motivadas Adecuadas instalaciones y equipos Buen material docente Programa educativo adecuado Alumnos en buenas condiciones psicofísicas Padres interesados en la educación de sus hijos Asumiendo que la intervención trabaja casi exclusivamente en el primero de esos elementos y de forma muy limitada en el tercero, se identifican toda una serie de factores externos (estabilidad del personal en sus puestos de trabajo, calidad de las instalaciones y equipos, materiales escolares, programaciones educativas adecuadas a las particularidades de los alumnos, situación de éstos e implicación de padres y madres, cuando menos) que no han sido contemplados de ninguna forma y que representan claros riesgos que hacen que la consecución del objetivo esperado sea sumamente dudosa. Situaciones relativamente similares pueden ser comunes al resto de los resultados incluidos en los dos proyectos. En algunos casos (inserción laboral, en particular) los riesgos son incluso mayores a los aquí puestos de manifiesto. En este caso, el documento de formulación identifica cuatro posibles riesgos que resultan claramente insuficientes. Lo anterior indica las dificultades de atribuir los efectos en resultados debidos a las acciones de las intervenciones que se valoran, lo que hace muy difícil pronunciarse sobre la eficacia. Si bien existen las debilidades anteriormente comentadas en el nivel de lógica de intervención entre actividades y resultados, no parece que los factores externos en niveles inferiores hayan generado dificultades importantes sobre la ejecución de actividades. En general, el equipo de evaluación no ha constatado un comportamiento especialmente negativo de algún factor externo concreto. Al parecer, los cambios frecuentes del personal directivo de las instancias educativas regionales han tenido efectos significativos a la hora de poner en marcha las capacitaciones programadas, aunque finalmente éstas han podido ser realizadas. En otro orden de cosas, algunos propietarios han impedido que las conducciones de agua atraviesen sus terrenos, lo que puede obligar a modificar los diseños previstos. En cualquier caso, ese problema no ha afectado a los proyectos evaluados, si bien parece relevante en las actuales fases de ejecución de otras intervenciones. 5.3. Eficiencia 5.3.1. Realización de actividades Las actividades se han ejecutado de una manera claramente satisfactoria y de acuerdo, en lo esencial, a lo programado. Los informes de seguimiento y las supervisiones efectuadas desde el Ayuntamiento de Madrid así lo ratifican y el equipo de evaluación no ha centrado sus indagaciones en esta cuestión que ya había sido suficientemente respondida con anterioridad. CESAL ha adquirido una amplia experiencia de trabajo en el área y en algunos de los componentes más Cooperación Ciudad de Madrid 259 12671 Colombia (FF) 260 3/3/08 13:30 Página 260 Informes de evaluación. Perú “clásicos” de las intervenciones analizadas, lo que ha contribuido a que la ejecución se haya llevado adelante sin especiales problemas de gestión. Las fortalezas técnicas han permitido, incluso, que en el caso de los sistemas de abastecimiento de agua y saneamiento pudiesen plantearse soluciones alternativas cuando se produjo un significativo recorte de los recursos esperados. Se optó entonces por el sistema de alcantarillado condominial, valorando sus menores costes de instalación. Este sistema ha permitido adquirir una experiencia que puede resultar muy útil para futuras intervenciones. La opción de colaborar con organizaciones especialistas para la ejecución de los principales componentes de los dos proyectos evaluados ha contribuido a promover unos elevados niveles de eficiencia. En algunas ocasiones, particularmente en los casos de los sistemas de agua y saneamiento y quizá también en la atención infantil y en la lucha contra la desnutrición, las experiencias adquiridas deberían ser sistematizadas, ya que proporcionan una base que puede resultar muy útil para futuras iniciativas. Frente a estos casos ejemplares, se detectan otros componentes en los que los modelos de intervención se encontraban mucho menos consolidados, lo que ha provocado que se iniciasen experiencias que posteriormente han debido ser modificadas. Por ejemplo, la provisión de becas para la formación técnica no ha provocado los resultados esperados y se ha optado con posterioridad por otras estrategias para contribuir a la inserción laboral de los grupos beneficiarios. En otros casos, una cierta indefinición del colectivo beneficiario (como es el caso del programa de refuerzo escolar) puede tener consecuencias sobre la propia eficiencia. 5.3.2. Utilización de recursos Los dos proyectos evaluados comenzaron a ejecutarse después de haber sufrido una significativa reducción de los recursos solicitados. En el primer caso frente a 340.142,00 euros solicitados se obtuvieron únicamente 170.071,00, mientras que en el segundo la cantidad inicialmente solicitada era de 358.248,85 euros y la finalmente otorgada de 260.560,00. Estos recortes distorsionan claramente las iniciativas planificadas, especialmente porque no muestran un criterio explícito. No se trata de suprimir algún componente o actividad concreta, sino que se aplican de forma genérica y se solicita una reformulación que, en principio, no debe modificar el objetivo del proyecto. Evidentemente, se trata de una pretensión difícilmente comprensible, ya que si se reducen de manera significativa los recursos disponibles, no parece lógico suponer que puede tenerse el mismo efecto a la hora de transformar la realidad. Una vez efectuadas las correspondientes reformulaciones, los proyectos parecen haber utilizado los recursos disponibles de una manera satisfactoria. Existen mecanismos de control y supervisión establecidos por el Ayuntamiento de Madrid que justifican esta afirmación. El equipo de evaluación no ha efectuado una indagación particular en este sentido y se remite a los informes de seguimiento y a las comprobaciones realizadas para formular esta conclusión. Atendiendo al presupuesto ya reformulado del segundo de los proyectos evaluados, el resultado que más recursos consumió fue el primero (“sistema de saneamiento alternativo”), con el 22,3% del total. A continuación aparecen el resultado 3 (“programa de refuerzo escolar y nutricional”), con el 21,1%; el resultado 4 (“formación laboral y búsqueda de empleo”), con el 14%; el resultado 2 (“mejora de la calidad de los centros educativos”), con el 11,9% y el resultado 5 (“oficina de desarrollo”), con el 7,2%. Los porcentajes restantes corresponden al coordinador del proyecto (6,6%), personal expatriado (8,9%) y costes indirectos (8%). Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 261 Programa de Evaluaciones 2006-2007 Sin poder entrar a valorar estas cuestiones, parecería conveniente reforzar la utilización de recursos locales, comenzando por el propio personal adscrito a la intervención. También da la sensación de que los recursos dedicados a la creación de infraestructuras y equipamientos que se vinculan directa o indirectamente a la organización (concentrados en los resultados 3 y 5) son demasiado elevados. 5.3.3. Desviaciones temporales en la ejecución de las actividades No se han descrito desviaciones temporales significativas en la ejecución de las actividades. Ambos proyectos tenían una duración de 18 meses y se han ajustado de forma satisfactoria a los plazos disponibles. A partir de las informaciones reunidas por el equipo de evaluación no se ha detectado ningún elemento que haya podido distorsionar de forma importante los plazos de ejecución inicialmente previstos. En algunos casos, éstos habían sido valorados de forma excesivamente optimista (por ejemplo, se preveía la inserción laboral de los jóvenes ya capacitados en apenas tres meses), lo que no ha podido ser cumplido, afectando al logro de los resultados previstos. 5.3.4. Organización de la ejecución Ya se comentó que la organización de la ejecución ha presentado algunas particularidades destacables. CESAL ha optado por la creación de una red de organizaciones, recurriendo a especialistas para la ejecución (y en parte, el diseño) de algunos de los principales componentes de los dos proyectos evaluados. Esta opción ha tenido buenas consecuencias a la hora de incrementar la eficiencia en la ejecución de las actividades desarrolladas, ya que se contaba con personal capacitado y con experiencia para llevar adelante las propuestas de intervención. Como contrapartida, ha sido preciso reforzar la coordinación de los equipos de ejecución, lo que ha incrementado los costes de personal. La relativa autonomía de los distintos componentes incluidos en las formulaciones ha hecho que la coordinación entre los diferentes actores no haya sido fundamental y que se haya mantenido una cierta autonomía entre ellos. En cualquier caso, CESAL Perú ha debido mantener una visión global de los esfuerzos llevados a cabo, manteniendo la relación con el resto de los actores implicados. Las responsabilidades de ejecución se han llevado fundamentalmente por componentes. Los resultados deberían ser analizados para extraer conclusiones sobre aquellas organizaciones que han demostrado una mayor capacidad de gestión. Da la sensación de que en los componentes de agua y saneamiento y de mejora de la calidad educativa se dispone de socios con una alta capacidad de intervención, mientras que esa valoración resulta algo menos clara en otros resultados. CESAL ha asumido de manera directa la ejecución de componentes significativos del proyecto y ha ido consolidando un equipo de gestión que constituye una de las principales fortalezas de la organización en la zona. No ha quedado clara, de todas formas, la estructura de ejecución del proyecto y el papel de las organizaciones de los beneficiarios durante esta etapa. En ocasiones, da la sensación de que ha habido una especie de “subcontratación” por componentes con algunas de las organizaciones implicadas y que el papel de CESAL ha sido esencialmente el de supervisor de las actividades llevadas a cabo, mientras que en otros casos la implicación ha sido mucho mayor. El equipo de evaluación no ha revisado los documentos que fijaban las relaciones entre las diferentes entidades asociadas para la ejecución de estos proyectos y no puede pronunciarse al respecto. La participación de los beneficiarios parece haber sido menor de lo deseable en casi todos los casos, con excepción del componente de agua y saneamiento, donde se han creado unos comités de gestión que contribuyen de manera clave al sostenimiento de los efectos generados. Cooperación Ciudad de Madrid 261 12671 Colombia (FF) 262 3/3/08 13:30 Página 262 Informes de evaluación. Perú 5.4. Impactos 5.4.1. Contribución de las intervenciones al logro de los objetivos generales La indefinición de los objetivos generales en los dos proyectos evaluados y la ausencia de indicadores operativos (no solicitados por el financiador) hace casi imposible pronunciarse sobre la incidencia que las intervenciones llevadas a cabo han tenido entre los colectivos beneficiarios. Hay que asumir que cuando el objetivo general queda enunciado de una forma genérica (“mejora de las condiciones de vida en los asentamientos humanos de Nievería y San Francisco insertos en la zona de ladrilleras de Santa María de Huachipa”) y no se ofrecen mayores precisiones al respecto a través de algún tipo de indicadores verificables, la posibilidad de indagar los posibles impactos que la intervención ha generado resulta prácticamente imposible: ¿qué se entiende por condiciones de vida?, ¿cuáles eran esas condiciones antes de las intervenciones?, ¿cómo son ahora?, ¿cómo serían en caso de no haberse ejecutado las intervenciones?, ¿en qué medida se querían mejorar?, ¿cuánto del cambio puede ser atribuido a las intervenciones? Puede asumirse que los dos proyectos analizados han tenido efectos en el área de intervención, más allá del logro de resultados y objetivos específicos cuyos problemas ya se comentaron con anterioridad y que la mayoría de estos efectos han sido positivos, pero la propia concepción de los proyectos y la ausencia de algunos elementos imprescindibles (básicamente unos objetivos generales con un mínimo de precisión) para la valoración de los impactos impiden pronunciarse al respecto con alguna certidumbre. 5.4.2. Principales efectos positivos Los efectos positivos que, con bastante poca seguridad, pueden atribuirse a las iniciativas puestas en marcha deben organizarse en torno a los principales componentes abordados, lo que corrobora la idea de que cada uno de ellos tiene una entidad propia y constituye, en sí mismo, un proyecto. Vinculados al componente de agua potable y saneamiento, pueden citarse algunos efectos generados que van más allá del propio logro de la puesta en marcha de los respectivos sistemas. Entre éstos los más significativos son los siguientes: • Fortalecimiento de las organizaciones de los colectivos beneficiarios. El mantenimiento de los servicios creados precisa de un importante nivel de organización comunitaria. Ese efecto parece haberse conseguido y representa una condición básica para abordar nuevas acciones en el futuro. • Mejora de las condiciones ambientales. Evidentemente la canalización de las aguas residuales (ya sea a través del sistema seco/ecológico o del condominial) contribuye a reducir los niveles de contaminación (muy elevados) en el área. Los análisis de las aguas superficiales de las acequias de la zona avalan esta conclusión. • Una reducción de los gastos familiares. Cualquiera de los sistemas de abastecimiento de agua puestos en marcha (con piletas colectivas, inicialmente, y a través de conexiones domiciliarias, en una segunda etapa) tienen un coste mucho menor que la situación anterior, en las que las familias debían adquirir cilindros de agua a transportistas privados que abastecen la zona. • Una mejora de la salud. La mejor calidad del agua parece haber contribuido a una reducción de la incidencia de algunas enfermedades de transmisión hídrica, particularmente de diarreas. De los estudios realizados por CESAL se desprende que la incidencia en la reducción Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 263 Programa de Evaluaciones 2006-2007 de enfermedades parasitarias ha sido mucho menor, lo que sugeriría la importancia de profundizar en la mejora de los hábitos higiénicos y en las condiciones del entorno de las viviendas. • El surgimiento de nuevos temas de trabajo vinculados con el agua y su manejo. En particular, el tema de gestión de las basuras ha surgido como una cuestión relacionada con el mantenimiento de unas condiciones saludables en los diferentes asentamientos. • La apertura y fortalecimiento de relaciones entre las comunidades y las autoridades municipales anteriormente bastante débiles. Por lo que hace referencia al componente de mejora de la calidad educativa, algunos efectos que pueden señalarse son los siguientes: • La visualización de algunos problemas que afectan gravemente a los niños y que tienden a mantenerse ocultos. En particular se hizo referencia al maltrato infantil, a la violencia familiar (en ocasiones, también en la propia escuela) y a los abusos sexuales. • Una asunción por parte de los maestros (y de los equipos directivos de los centros) de nuevas competencias hasta ahora poco consideradas (búsqueda de recursos para proporcionar desayunos o almuerzos, actividades extraescolares, colaboración en iniciativas comunitarias, etcétera). • Un cierto aumento de la motivación de algunos maestros. • Intercambio de experiencias que refuerzan la práctica docente. En el componente de educación profesional e inserción laboral, se señalaron como posibles efectos inducidos los siguientes: • Creación de una asociación juvenil que refuerza la cohesión del colectivo de jóvenes desempleados, establece nuevos ámbitos de relación y unos niveles diferentes de integración comunitaria. • La voluntad de participar en la vida comunitaria. • Un mejor conocimiento del mercado de trabajo en Perú y de los requisitos para integrarse en él. Es sumamente aventurado pronunciarse sobre el impacto de género que los proyectos evaluados han contribuido a provocar. En el documento de formulación de la primera de las intervenciones se indicaba al respecto que “la ampliación del centro de atención infantil permitirá a un buen número de madres estar liberadas de la atención de parte de su prole durante un cierto número de horas al día... La implementación de conexiones domiciliarias... facilitará a las mujeres la realización de sus tareas domésticas... El programa de fortalecimiento de las capacidades de las mujeres busca reforzar la capacidad organizativa de las mujeres de la comunidad...”. Por último, se señala que “las mujeres tienen acceso y participación en la práctica totalidad de las actividades previstas en el proyecto, ya que la mayor parte de los resultados tienen un beneficio directo sobre ellas con prioridad a otros grupos de población...”. Aun reconociendo todos estos propósitos, el equipo de evaluación no tiene datos que le permitan señalar cuáles han sido los efectos generados por los proyectos para contribuir a la igualdad de oportunidades en el acceso a los beneficios generados y en la toma de decisiones entre hombres y mujeres. Teniendo en cuenta los contenidos de algunos de los componentes de las intervenciones no es aventurado suponer que haya tenido efectos positivos en la situación relativa de las mujeres, pero no se dispone de datos objetivos que permitan justificar esa opinión. La participación mayoritaria de mujeres en muchas de las actividades programadas no indica necesariamente que exista un impacto de género que pueda considerarse positivo. Cooperación Ciudad de Madrid 263 12671 Colombia (FF) 264 3/3/08 13:30 Página 264 Informes de evaluación. Perú 5.4.3. Posibles efectos negativos No se han identificado efectos negativos generados directamente por las intervenciones evaluadas. Teniendo el tipo de iniciativas puestas en marcha, no parece probable que existan impactos negativos considerables, al menos en el seno de los colectivos beneficiarios. Al no disponer de un análisis de la participación donde se identifiquen posibles perjudicados, poco puede al respecto (más allá de que, evidentemente, los vendedores de agua han perdido algunos clientes potenciales). 5.5. Viabilidad 5.5.1. Políticas de apoyo No parece que se presenten especiales problemas de viabilidad en lo referente a la actitud y los compromisos de las autoridades locales hacia los proyectos. Hay que reconocer que, en términos generales, no ha existido un serio compromiso por parte de ninguna de las autoridades concernidas, pero tampoco han tenido una influencia negativa. De todas formas, pueden efectuarse algunas precisiones al respecto: • Sería deseable contar con una mayor implicación de la municipalidad de Lurigancho/Chosica aunque, en cualquier caso, las relaciones parecen ser aceptables y no constituyen una amenaza para la sostenibilidad de los efectos generados. Dada la lejanía de la zona de intervención, no se ha tratado nunca de un área prioritaria para la alcaldía. Hasta ahora, esta alcaldía no ha aportado ningún recurso significativo para la ejecución de las actividades llevadas a cabo. CESAL está intentando involucrar a la alcaldía en las próximas fases del plan y parecen haberse logrado algunos avances en ese sentido. • Las relaciones con SEDAPAL, la empresa pública responsable del abastecimiento de agua y saneamiento, son cordiales, aunque no trabaja en la zona y, por lo tanto, tiene muy escasa incidencia en las intervenciones evaluadas. • Ha sido difícil establecer una colaboración estable con las autoridades educativas de la UGEL. Su participación resulta básica, ya que deben certificar los cursos impartidos para que éstos tengan un reconocimiento oficial y resulten interesantes para los docentes. La extremada rotación de los responsables educativos de área no ha facilitado el establecimiento de una relación fluida de trabajo. 5.5.2. Aspectos institucionales La transferencia de los activos se ha efectuado de una manera adecuada. El centro de atención infantil depende actualmente de la Universidad Católica Sedes Sapientiae (UCSS), aunque CESAL continúa aportando fondos esenciales para su mantenimiento. La evaluación no tiene información suficiente para poder dar una opinión sobre las relaciones e intereses de las dos organizaciones (UCSS-CESAL) en el mantenimiento del centro. Aparentemente, la UCSS se hará cargo de los costes de operación y mantenimiento del centro en el futuro, pudiendo favorecer las prácticas y el trabajo social de algunos de sus egresados y estudiantes de últimos cursos. El centro de refuerzo escolar continúa siendo gestionado directamente por CESAL, así como la propia oficina de desarrollo. En el caso de los sistemas de abastecimiento de agua y saneamiento se está considerando la posibilidad, junto al Instituto de Desarrollo Urbano CENCA, de crear una empresa comunal de servicio que asuma las tareas de gestión y mantenimiento de los Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 265 Programa de Evaluaciones 2006-2007 servicios creados. No existen otros activos significativos para los que sea preciso establecer mecanismos de transferencia. Para la gestión de los servicios de agua y saneamiento se han creado unos comités comunitarios que están operando de manera satisfactoria. Tal y como se indicó en las reuniones mantenidas en la zona “asumir el sistema de gestión ha sido relativamente fácil, ya que la situación anterior era mucho peor (en calidad del agua disponible) y su coste resultaba mucho más elevado”. La consolidación de una organización comunitaria eficaz puede considerarse un efecto fundamental inducido desde los proyectos evaluados. En los componentes educativos, los proyectos se han basado en los sistemas de educación pública existentes en la zona. La alta rotación del personal ha aconsejado concentrar esfuerzos en los equipos directivos, ya que ellos muestran una mayor estabilidad. 5.5.3. Aspectos socioculturales Los proyectos evaluados presentan diferentes niveles de prioridad para los colectivos beneficiarios. En principio, el agua y el saneamiento aparecen como una de las prioridades esenciales que se resaltan en todos los diagnósticos. La apropiación por parte de la comunidad de este componente ha sido muy elevada, ya que representa una aspiración tradicional en estas comunidades. En otras ocasiones, la problemática que ha dado origen a estas intervenciones no resultaba tan evidente para los grupos meta. Esto parece ser especialmente claro en los temas vinculados con la desnutrición, ya que muchas madres no consideran que sus hijos se encuentran en esa situación y deben ser, de alguna manera, “convencidas” de la gravedad del problema. La participación de los beneficiarios en la preparación y en la ejecución de los proyectos no ha sido todo lo intensa que sería deseable. En muchas ocasiones, su función se ha limitado a proporcionar información, sin ocupar un lugar protagonista en la identificación de su situación y en la priorización de posibles soluciones. No se detectan problemas especiales que, desde el punto de vista cultural, puedan afectar a la sostenibilidad de las intervenciones. 5.5.4. Enfoque de género Varios de los componentes incluidos en los proyectos pretenden resolver problemas que afectan de una manera particular a las mujeres, ya que ellos suelen tener responsabilidades especiales en la gestión del agua en los hogares y en la atención y cuidado de los niños. En ese sentido, puede asumirse que las intervenciones han podido generar algunos efectos positivos sobre los colectivos de mujeres, aunque no existen datos al respecto. Puede valorarse como positivo la parte de visitas domiciliarias que se incluyeron en las acciones de refuerzo escolar, que permitió detectar otro tipo de problemas y dar apoyo a las mujeres. En cualquier caso, no se dispone de un análisis detallado de las relaciones de género ni se han incluido actuaciones que tiendan a mejorar, de manera específica, la situación de las mujeres. No se dispone, en la mayor parte de las ocasiones, de indicadores desglosados por género. Cooperación Ciudad de Madrid 265 12671 Colombia (FF) 266 3/3/08 13:30 Página 266 Informes de evaluación. Perú 5.5.5. Factores tecnológicos No se han detectado problemas especiales de sostenibilidad derivados de la tecnología transferida. Desde CESAL se ha efectuado un notable esfuerzo para analizar las fortalezas y debilidades de los dos sistemas de saneamiento promovidos desde los proyectos, valorando sus costes de inversión y mantenimiento. En ese sentido, puede afirmarse que el sistema seco o ecológico presenta unos costes mayores de construcción (en torno a unos 650 dólares estadounidenses por vivienda), pero su mantenimiento resulta más fácil de asumir por los beneficiarios (siempre y cuando no se cuantifiquen los costes de mano de obra, ya que exige un mayor tratamiento individual). Por el contrario, el sistema de condominio resulta más eficiente (coste/vivienda), pero el tratamiento de las aguas resulta algo más caro (en aportaciones monetarias por familia). En cualquier caso, los dos sistemas están siendo mantenidos localmente por los beneficiarios sin especiales problemas. Se ha capacitado a todos los usuarios en el primero de los sistemas y a equipos seleccionados en el segundo y unos y otros están manteniendo adecuadamente las instalaciones. Consultados algunos miembros de las juntas comunales sobre la preferencia por cada uno de los sistemas, las respuestas resultaron de una absoluta racionalidad económica: aquellos que no disponían de ningún sistema preferían el sistema seco siempre que no tuviesen que pagar la inversión; en el momento que se les indicaba la necesaria aportación de parte de la inversión se inclinaban por el condominial. Por lo que hace referencia al resto de los componentes, no existen transferencias tecnológicas significativas que puedan constituir una amenaza para la sostenibilidad de los efectos generados. En el caso de los resultados que incorporan acciones de tipo formativo, hay que indicar que los materiales de los cursos de capacitación han sido diseñados por entidades locales conocedoras de la realidad del entorno y de los niveles de los participantes en los cursos. 5.5.6. Factores ambientales El principal recurso ambiental utilizado por el proyecto y que podría tener unas consecuencias importantes para la sostenibilidad es el agua. De los estudios realizados por SEDAPAL se desprende que existe agua en cantidades suficientes como para garantizar el abastecimiento de las poblaciones asentadas en el área de intervención. El problema ha surgido cuando se ha comprobado que los niveles de contaminación de ese agua eran superiores a los esperados, lo que ha encarecido los costes de mantenimiento de los servicios creados, al tener que incluir un sistema de potabilización. En el resto de los componentes de las dos intervenciones evaluadas no se realiza un uso significativo de recursos del entorno que puedan poner en peligro la sostenibilidad. 5.5.7. Factores económico-financieros Hay dos componentes básicos en los que los factores económicos y financieros resultan especialmente importantes a la hora de analizar las posibilidades de sostenibilidad. Se trata de los sistemas de abastecimiento de agua y saneamiento y del centro de atención infantil, junto a otros servicios asociados (programa de nutrición, centro de refuerzo educativo, biblioteca, etcétera). En el primero de los casos, existen unos costes del servicio (provisión del agua, recursos para el funcionamiento) y, también, debe preverse la reposición de equipos y maquinaría. Se han establecido Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 267 Programa de Evaluaciones 2006-2007 cuotas para los usuarios que son gestionados por comités comunitarios creados con ese propósito. Según las informaciones recibidas por el equipo de evaluación, esos equipos están funcionando de manera adecuada, recaudan las cuotas establecidas y gestionan satisfactoria el servicio y los recursos puestos a su disposición. Por lo visto, no se han producido hasta ahora retrasos importantes en el cobro de las tarifas ni hay un número significativo de morosos. Existe la idea de crear una empresa comunal de servicio que pueda centralizar la gestión de las infraestructuras creadas por el proyecto y que cuente con el apoyo y la asesoría de la ONG CENCA. De momento, esta idea se encuentra en una fase preliminar, pero parece una solución adecuada, teniendo en cuenta la amplitud de los servicios puestos en funcionamiento. La única duda actualmente al respecto de la sostenibilidad de este componente de agua y saneamiento se centra en que la inversión debe seguir siendo financiada por la cooperación internacional, mientras los costes de operación y mantenimiento serán competencia de los comités comunitarios o de la empresa comunal. Se espera que en un futuro la empresa SEDAPAL llegue a cubrir la zona de actuación, lo que bajará significativamente los costes de inversión mediante la instalación de colectores. Por lo que hace referencia al centro de atención infantil y al resto de iniciativas que se desarrollan en ese entorno hay que realizar varias precisiones respecto a sus posibilidades de sostenibilidad: • Se ha transferido el centro de atención infantil a la Universidad Católica Sedes Sapientiae, que asume parte de los gastos de funcionamiento. • El Ministerio de Educación asume los salarios de dos de las siete docentes que prestan servicios en el centro. • Un programa de apadrinamiento sostenido por una ONG italiana aporta 20 euros mensuales por cada niño. • Aparentemente, se presentan a financiación por parte de CESAL hacia la cooperación internacional nuevas fases de la intervención que posibilitarían mantener al personal de las acciones de nutrición y de capacitación. • Hay otra serie de actividades que se desarrollan en el centro de atención infantil que no parecen tener mayores problemas de sostenibilidad. Por ejemplo, el taller de costura parece que puede mantenerse al menos mientras sigan las mismas personas a su cargo. Esta situación permite el mantenimiento del centro y del resto de servicios ofrecidos pero, evidentemente, crea un modelo que no resulta replicable para el resto de los centros de educación infantil. Así, se plantea, por ejemplo, que el reforzamiento llegue en el futuro a 23 colegios de las tras zonas de intervención y en algunos de ellos ya se está trabajando con apadrinamientos, sin embargo, dada la estructura actual para la sostenibilidad del centro de atención infantil, parece difícil que el modelo se pueda replicar en otros centros. 6. PRINCIPALES CONCLUSIONES De manera sumamente esquemática se presentan ahora las principales conclusiones que pueden extraerse del ejercicio de evaluación realizado. Esas conclusiones apenas se justifican, ya que los argumentos y datos que las sustentan se presentan en las páginas anteriores. El propósito esencial en este caso es ofrecer de una manera sintética un resumen operativo de las conclusiones más relevantes que pueden proponerse. Se espera que ellas justifiquen las recomendaciones que se incluyen en el próximo capítulo. Cooperación Ciudad de Madrid 267 12671 Colombia (FF) 268 3/3/08 13:30 Página 268 Informes de evaluación. Perú Fortalezas 11. Concentración geográfica de las intervenciones y voluntad de permanencia en el área. El compromiso de CESAL por mantener su trabajo en una zona concreta y perseguir efectos de largo plazo facilita la posibilidad de proponer un trabajo transformador. 12. Diagnósticos de situación efectuados con rigor y profundidad (amplio conocimiento de los problemas de la zona). 13. Alta pertinencia del área de intervención y de los colectivos beneficiarios. Se trata de zonas y grupos sociales con importantes carencias y necesidades que justifican la oportunidad de los proyectos puestos en marcha. 14. Inserción de los proyectos evaluados en una orientación estratégica de largo plazo. La existencia de un Plan Estratégico de reducción de la pobreza establece un marco coherente para el diseño de intervenciones concretas. 15. Establecimiento de redes y alianzas con organizaciones especializadas en ámbitos concretos del trabajo de desarrollo (agua y saneamiento, educación, etcétera). 16. Solidez de algunos de los componentes incluidos en las lógicas de intervención. 17. Logros significativos en los componentes de abastecimiento de agua y saneamiento, atención a la infancia (nutrición, educación y salud) y capacitación del personal docente y de gestión de los centros educativos. 18. Adecuada ejecución de los proyectos evaluados, sin retrasos importantes ni desviaciones importantes con respecto a lo originalmente planificado. 19. La idea de asociación y partenariado puesta en marcha ha permitido contar con auténticos especialistas en muchos de los componentes incluidos en los proyectos, lo que ha contribuido a una adecuada ejecución. 10. Efectos positivos derivados de la experiencia de la intervención de agua y saneamiento: fortalecimiento de las organizaciones comunitarias, establecimiento de relaciones entre las autoridades locales y las comunidades, reducción de la incidencia de algunas enfermedades de transmisión hídrica, reducción de los gastos familiares. 11. Se ha demostrado la conveniencia de iniciar los procesos de desarrollo en la zona con actuaciones en el componente de agua y saneamiento, ya que se generan unas sinergias muy positivas con la población local. Cooperación Ciudad de Madrid Debilidades 11. En ocasiones, los beneficiarios están definidos de una manera excesivamente genérica, lo que dificulta focalizar las intervenciones. 12. La participación de los beneficiarios en la identificación de sus problemas y en la priorización de las soluciones ha sido menor de lo que sería deseable. 13. De alguna forma se ha perdido el propósito inicial que justificó la selección de la zona de intervención. El trabajo infantil sigue existiendo y las acciones que se plantean sólo inciden tangencialmente en este problema. 14. Los proyectos presentan una diversidad excesiva de componentes, lo que dificulta establecer cuál es el efecto conjunto (objetivo específico) que se espera alcanzar. Los proyectos reproducen, sin apenas modificaciones, el mismo esquema del “Plan integral de reducción de la pobreza”, sin establecer una adecuada planificación en cascada. 15. Los objetivos planteados en los proyectos son excesivamente genéricos y resulta difícil valorar el nivel de logro alcanzado. En muchas ocasiones, los resultados y objetivos son demasiado ambiciosos, teniendo en cuenta las actividades previstas. Muchos indicadores tienen poca vinculación con objetivos o resultados. 16. Se han tenido en cuenta pocos riesgos que pueden afectar las lógicas de intervención planteadas, lo que genera incertidumbres sobre la posibilidad de logro de los objetivos planteados. 17. Resulta casi imposible pronunciarse sobre los impactos de la intervención. Los objetivos generales son genéricos y no se dispone de un diseño adecuado para valorar los efectos generados más allá de los objetivos. 18. El componente de formación profesional e inserción laboral no parece haber alcanzado los propósitos previstos. 19. La implicación de las autoridades locales ha sido menor de lo que sería deseable. 10. El modelo ensayado con el centro de atención infantil no resulta replicable en el contexto, ya que se basa en aportaciones externas constantes. 11. Existen incertidumbres sobre la sostenibilidad de algunos componentes (nutrición, atención infantil, refuerzo escolar), ya que dependen de aportes externos. 12671 Colombia (FF) 3/3/08 13:30 Página 269 Programa de Evaluaciones 2006-2007 Fortalezas Debilidades 12. Los proyectos han contribuido a poner en evidencia algunos problemas importantes que permanecían relativamente ocultos. Ésos son los casos, entre otros, de la incidencia de la desnutrición entre la población infantil o el maltrato infantil en las familias o en las escuelas. 13. Razonables perspectivas de viabilidad en el componente de agua y saneamiento. 7. RECOMENDACIONES QUE PUEDEN EXTRAERSE DE LA EXPERIENCIA Se incluyen, a continuación, algunas recomendaciones que pueden extraerse de la experiencia efectuada. De la misma forma que en el capítulo anterior, estas recomendaciones se enuncian de forma voluntariamente esquemática, con el propósito de facilitar su discusión y generar enseñanzas que puedan ser útiles en el trabajo futuro: • En primer lugar, las características del área de actuación y la situación de los grupos beneficiarios parecen justificar la conveniencia de continuar trabajando en esa zona, ya que se ha iniciado un proceso de desarrollo que no parece conveniente abandonar en estos momentos. • Deberían reforzarse los procesos participativos a la hora de identificar y diseñar los futuros proyectos. Existen organizaciones comunitarias en los asentamientos humanos que constituyen los interlocutores privilegiados a la hora de poner en marcha nuevas intervenciones. • Dado que se dispone de un diagnóstico completo de situación, parece conveniente sistematizar una línea de base que permita valorar los efectos generados en las siguientes etapas de actuación. • Es conveniente, utilizando el “Plan integral de reducción de la pobreza de Nievería y San Francisco”, diseñar proyectos que contribuyan al logro de los distintos objetivos incluidos en las distintas líneas de actuación de aquél. No parece adecuado que los proyectos se diseñen como meras copias del plan de desarrollo, sino que deben poseer objetivos específicos que se inserten, de alguna manera, en la orientación estratégica que establece el plan. • Es deseable efectuar un esfuerzo de concreción de los objetivos y resultados de futuros proyectos, estableciendo indicadores operativos y reduciendo los componentes a abordar. También parece importante contemplar un análisis más detallado de los posibles riesgos a los que podría enfrentarse cada intervención. • Teniendo en cuenta la experiencia acumulada, es recomendable que las futuras intervenciones concentren sus esfuerzos en la ampliación de los servicios de agua y saneamiento y, quizá, en el componente de atención a la infancia y nutrición, mientras que otras líneas de trabajo deberían ser estudiadas con más detalle antes de tomar una decisión acerca de la conveniencia (o no) de llevarlas a la práctica (esto parece especialmente importante en el caso del componente de educación profesional e inserción laboral, donde parecen identificarse significativos factores externos que pueden afectar a esa estrategia). • En la misma línea anterior, no estaría de más realizar una nueva reflexión sobre la problemática del trabajo infantil en la zona. • Podría pensarse en la conveniencia de sistematizar las experiencias más exitosas, en concreto las llevadas adelante en los componentes de agua y saneamiento y atención a la infancia, ya que de ellas se derivan enseñanzas útiles para otras intervenciones que compartan características con éstas. Cooperación Ciudad de Madrid 269 12671 Colombia (FF) 270 3/3/08 13:30 Página 270 Informes de evaluación. Perú • Es adecuado reforzar la estrategia de colaboración con organizaciones especialistas en los diferentes componentes, ya que contribuye a una adecuada ejecución y permite basarse en capacidades locales. • Debe reforzarse el trabajo con las organizaciones y autoridades locales. Su implicación resulta básica para ampliar las posibilidades de sostenibilidad de los proyectos evaluados. Esto es particularmente significativo en los casos de agua y saneamiento (alcaldías) y de educación (UGEL). • Deben establecerse procedimientos claros de transferencia de los activos generados por los proyectos. Es importante que aquéllos puedan ser transferidos a entidades locales que puedan hacerse cargo de su mantenimiento en el futuro, para no caer en el error de que la inversión realizada derive en una suerte de “oficina de servicios sociales” en la zona donde la organización trabaje a “la demanda” de aquellos pobladores que resultan más “inquietos”. • Sería conveniente reforzar el enfoque de género en futuros proyectos, asumiendo que el trabajo con mujeres es insuficiente para garantizar que las intervenciones contribuyan a generar procesos de igualdad en el acceso a los recursos y beneficios generados y en la toma de decisiones entre hombres y mujeres. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 2 13:30 Página 271 Informe de evaluación Programa de capacitación Escuela Mayor de Gestión Municipal Convocatorias: 2000, 2001 Áreas de actuación: educación y formación profesional, asistencia técnica, fortalecimiento municipal/descentralización Localización: Maynas, Yurimaguas, Trujillo, Huancavelica, Huancayo, Huanuco, Ilo, Piura, Cusco, Arequipa, Tumbes y Puno Fechas de inicio: previsto inicialmente en enero de 2001 Realmente iniciado: 1 de mayo de 2001 Fechas de finalización: la finalización de la primera fase se estimó inicialmente en diciembre de 2002, aunque la fecha real de finalización fue el 30 de abril de 2002 Coste total: 233.079,38 euros + 152.879,75 euros (con datos de la “reformulación”) Aportación del Ayuntamiento de Madrid: 175.796,88 euros + 120.514,95 euros (con datos de la “reformulación”) Otras aportaciones: AIETI (1.202,02 euros + 1.502,53 euros) ONG responsable: Asociación de Investigación y Especialización sobre Temas Iberoamericanos (AIETI) Socio local: Escuela Mayor de Gestión Municipal (45.134,51 euros + 25.140,34 euros) Otras entidades participantes: Beneficiarios (10.946,07 euros + 5.721,64 euros) 1. BREVE DESCRIPCIÓN DE LAS INTERVENCIONES La Escuela Mayor de Gestión Municipal fue fundada en 1995, centrando sus actividades en la formación en Administración pública local, en el apoyo a la gestión municipal y en la defensa de la descentralización y de la autonomía municipal. Las áreas de actividad de la escuela son las siguientes: • Formación y capacitación. • Gestión del desarrollo. Cooperación Ciudad de Madrid 12671 Colombia (FF) 272 3/3/08 13:30 Página 272 Informes de evaluación. Perú • Género. • Juventud. Los proyectos evaluados se presentaron a las convocatorias del Ayuntamiento de Madrid de los años 2000 y 2001. Ambos forman parte de un Programa de Capacitación impulsado desde la Escuela Mayor de Gestión Municipal (EMGM) en dos diferentes fases. Los resultados esperados del primer proyecto son los que se indican a continuación: • Las municipalidades beneficiadas cuentan con planes de fortalecimiento institucional y personas capacitadas en este campo. • Las municipalidades beneficiadas cuentan con instrumentos de gestión interna y personas capacitadas en este campo que les permite estar mejor preparados para asumir sus competencias. • Se cuenta con una publicación especializada en asuntos de gestión para autoridades, funcionarios y expertos municipales. • Se habrá creado y puesto en funcionamiento un fondo para seguimiento y asistencia técnica de graduados del posgrado en Gestión Municipal y Desarrollo Local, que promueve la Escuela Mayor. • Existen procesos de planificación participativa del desarrollo local en los municipios seleccionados por el proyecto. • Las municipalidades beneficiadas que han realizado procesos de planificación participativa están gestionando y ejecutando sus planes de desarrollo. • Las municipalidades beneficiadas cuentan con planes de desarrollo económico local. Por su parte, los resultados esperados del segundo proyecto son: • Las municipalidades beneficiadas, Yurimaguas e Ilo, cuentan con personas capacitadas en gestión institucional y con planes de fortalecimiento institucional. • Las municipalidades beneficiadas, Iquitos y Arequipa, cuentan con personas capacitadas en desarrollo económico local y con sus respectivos planes. • Elaboradas y distribuidas publicaciones especializadas en asuntos de gestión para autoridades, funcionarios y expertos municipales dirigidas a incidir en los procesos de descentralización del país. • Fortalecidos procesos de desarrollo local a través de asistencia técnica a municipales que ya cuentan con planes de desarrollo... Se influye en el proceso de descentralización del Estado a través de un espacio de diálogo en las políticas institucionales del Estado y en los organismos descentralizados para que tomen en cuenta a las municipalidades como principales actores de la descentralización del país. 2. DESCRIPCIÓN DE LA ESTRUCTURA DE INTERVENCIÓN EN LA QUE SE INSERTA EL PROYECTO La primera colaboración de la Escuela Mayor de Gestión Municipal con la cooperación española tiene lugar en 1996 en el que la aprobación de una subvención de SECIPI a la ONGD AIETI que apoya la creación y puesta en marcha de la entonces denominada “Escuela Superior de Gerencia Municipal”, con la finalidad última de desarrollar “capacidades y competencias humanas para impulsar procesos democráticos y de desarrollo a nivel local”. Para ello, se indica que la entidad así creada “tiene como objetivo mejorar la formación de autoridades locales, trabajadores y funcionarios municipales y líderes locales”. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 273 Programa de Evaluaciones 2006-2007 Desde ese momento, se comienzan a preparar solicitudes de subvención que son presentadas a diferentes agencias, aprobándose una serie de operaciones anteriores a las que ocupan el presente análisis. Entre ellas destacan las siguientes: Intervención Periodo Financiador Escuela Superior de Gerencia Municipal 1997 - 1998 SECIPI Programa de Capacitación Escuela Mayor de Gestión Municipal fase II 1998 - 2000 AECI Los datos generales de esas intervenciones iniciales son los que se reflejan en el cuadro que se presenta a continuación: Título Escuela Superior de Gerencia Municipal Fase I y Fase II Convocatoria Entidad: AECI - Años: 1996 y 1997 Periodo de ejecución Fase I: 1 marzo 1997-1 junio 1998 Fase II: 15 noviembre 1998-15 septiembre 2000 Área geográfica País: Perú Presupuesto ejecutado Gasto ejecutado (fase I): (AECI + intereses): 23.911.084 pts. Gasto ejecutado (fase II): 52.905.083 pts. Provincias: Lima, Arequipa, Cuzco, Ilo, La Merced, Pevas y Moquegua, Piura, Trujillo, Chepen y Pacasmayo Localidad: 47 localidades Financiadores Fase I AECI: 23.560.000 pts. AIETI (consorcio): 420.000 pts EMGM y beneficiarios: 6.468.000 pts. Fase II AECI: 39.579.000 pts. EMGM: 8.800.000 pts. AIETI: 320.000 pts. Beneficiarios: 3.840.000 pts. Podemos considerar tres etapas por las que ha ido avanzando Escuela Mayor de Gestión Municipal: • Una primera etapa en la que tiene lugar su creación por parte de una plataforma de ONG peruana y AIETI con dos financiaciones sucesivas de la Agencia Española de Cooperación Internacional. Estas dos financiaciones de la Agencia Española de Cooperación InternacionalAECI permitieron la creación, reconocimiento y primeros pasos de EMGM como entidad privada sin ánimo de lucro. • Una segunda etapa con financiación del Ayuntamiento de Madrid y que se corresponde con las dos fases del proyecto evaluado. AIETI consideró la pertinencia de presentar al Ayuntamiento de Madrid en su convocatoria 2000, una nueva propuesta de intervención para la EMGM que permitiera su consolidación y la ejecución de algunas de sus primeras actividades. Cooperación Ciudad de Madrid 273 12671 Colombia (FF) 274 3/3/08 13:30 Página 274 Informes de evaluación. Perú La propuesta formulada era para un periodo de dos años, pero el Ayuntamiento de Madrid, por razones presupuestarias, redujo la subvención lo que llevó a presentar la segunda fase en la convocatoria siguiente. • La tercera etapa se corresponde con la elaboración del primer Plan Estratégico de Institucionalización de EMGM que se consolida como actor social y emprende nuevos proyectos con diversas subvenciones, entre ellas las del Ayuntamiento de Madrid que han permitido y permiten intervenciones focalizadas en zonas determinadas. Hay que entender que la EMGM tiene como finalidad esencial la prestación de servicios a las entidades locales de Perú y que esos servicios se canalizan fundamentalmente a través de estrategias de capacitación y asistencia técnica, junto a algunas otras herramientas, como las pasantías, becas, publicaciones, foros, etc. La EMGM goza de un merecido prestigio por el trabajo realizado y por la trayectoria de algunas de las personas que desarrollan en ella su actividad. 3. VALORACIÓN DE LOS DOCUMENTOS DE FORMULACIÓN A partir de 2000 se busca la cofinanciación del Ayuntamiento de Madrid en su convocatoria pública de proyectos, presentándose un documento denominado “Programa de capacitación Escuela Mayor de Gestión Municipal”. Se indica que esta intervención que se analiza inicialmente “capitaliza la experiencia de cuatro años de la Escuela Mayor de Gestión Municipal en formación y asistencia técnica para autoridades y funcionarios locales de diferentes ciudades del Perú”, en referencia a las dos intervenciones anteriores a la participación del Ayuntamiento de Madrid. La solicitud inicial fue admitida, si bien la subvención finalmente aprobada se limitó al 50% del importe exacto de lo inicialmente solicitado. Esta subvención parcial se realizó mediante un procedimiento denominado “reformulación”, por el cual, como se analizará posteriormente, se mantuvieron la mayoría de los objetivos y resultados planteados, recortando a la mitad el plazo de ejecución, la subvención solicitada y, en función de lo anterior, el alcance de algunas actividades y resultados. El ámbito de la presente indagación se refiere a una intervención inicial que tiene como propósito la formación y asistencia técnica para autoridades y funcionarios locales, su correspondiente “reformulación”, con el mismo propósito anterior y una segunda fase de la anterior con idéntica finalidad. Coste total Fase I Fase II Original Reformulado Solicitado Subvencionado PTA. € PTA. 76.406.370,00 38.781.163,00 459.211,53 233.079,48 58.500.280,00 29.250.140,00 351.593,76 29.250.140,00 175.796,88 29.250.140,00 175.796,88 25.437.000,00 152.879,45 20.052.000,00 120.514,95 20.052.000,00 120.514,95 Cooperación Ciudad de Madrid € PTA. € 12671 Colombia (FF) 3/3/08 13:30 Página 275 Programa de Evaluaciones 2006-2007 Aparentemente, la documentación consultada considera como beneficiarios de las intervenciones a los responsables y técnicos de las Administraciones locales, si bien en las descripciones contenidas en dichos estudios se refieren a la población total de las áreas de intervención seleccionadas. En términos cuantitativos se relacionan hasta 1.585 beneficiarios directos en la primera de las intervenciones (no se indica nada en la “reformulación” de que esa cifra variase) y 360 en la segunda fase1. Directos Indirectos Población total Fase I 1.585 3.000 3.088.512 Fase II 360 3.000 623.755 Como ya se indicó, no se ha podido consultar una descripción de estos beneficiarios ni los criterios para su selección. Incluso, no se han encontrado referencias a los criterios utilizados para seleccionar las áreas de intervención, aunque sí una descripción de dichas zonas. Según las organizaciones responsables de la puesta en marcha de estos proyectos, los criterios utilizados para establecer la selección de áreas de intervención son los siguientes: • Contar con la voluntad política del equipo de gobierno y tener la solicitud expresa de éstos para participar del mismo. • Contar con el compromiso municipal de ser contrapartes locales para la ejecución del proyecto y asumir responsabilidades específicas para su ejecución. • Ser zona con niveles de pobreza alto o medio. • Ser un lugar donde hayan experiencias o voluntad de proceso participativos en curso. Actualmente, la EMGM ha establecido un procedimiento de identificación situacional que podría ser utilizado para priorizar áreas de intervención y, según sus impulsores, como una herramienta para determinar las capacidades y potencialidades como un enfoque alternativo al árbol de problemas y de objetivos. Es el denominado “mapa de la riqueza”. Éste se define como una “representación gráfica de un región, provincia o distrito, con todo lo que ella contiene y hace su gente. Es el levantamiento de las riquezas y recursos, en la que se resalta el capital humano y social existentes en el lugar. El mapa de la riqueza trabaja en un espacio geográfico determinado sobre el cual se recoge toda la información de su gente: sus experiencias exitosas, sus valores, su ética, su mentalidad optimista, identidad, autoestima, la cultura, sus potencialidades, los conocimientos ancestrales existentes, etc. Asimismo, muestra las riquezas naturales, arqueológicas, abundancia de bienes, abundancia relativa de algunos recursos, aspectos singulares o conocimientos a partir de los cuales se puede generar economía, riqueza y desarrollo e incrementar las potencialidades humanas existentes y el bienestar de generaciones futuras”. La lógica del mapa de la riqueza se sistematiza en el gráfico siguiente: 1 En la matriz reformulada y en los informes finales se señala que el número de beneficiarios fue el siguiente: OE1.=180 personas capacitadas; OE2.=40 profesionales (con intervención en cuatro municipalidades). Cooperación Ciudad de Madrid 275 12671 Colombia (FF) 276 3/3/08 13:30 Página 276 Informes de evaluación. Perú CAPACIDADES Conocimientos y habilidades adquiridas anteriormente Conocimientos y habilidades adquiridas actualmente Conocimientos y habilidades por adquirir en el futuro Para saber aprovechar POTENCIALIDADES Definición de las ventajas relativas de la localidad contra los alrededores FÍSICA ECONÓMICA SOCIAL POTENCIAL DE DESARROLLO Con el mapa de la riqueza se pretenden identificar los potenciales de desarrollo, enfrentando de esa manera una visión centrada en las carencias y vulnerabilidades como la que es origen de otro instrumento mucho más utilizado que es el mapa de la pobreza. Este último es una herramienta para la priorización de áreas de desarrollo empleado frecuentemente por los ministerios encargados de los procesos de planificación. El mapa de la riqueza e instrumentos similares son métodos relativamente originales ya que, por ejemplo, el análisis de vulnerabilidades y capacidades utilizado por la Cruz Roja presenta muchas similitudes con esta herramienta y también el PNUD ha estado avanzando en instrumentos de este tipo, que pueden ser utilizados, también, para establecer criterios de priorización para la toma de decisiones. Su finalidad principal, se indica, es “brindar una herramienta que permita utilizar los recursos y potencialidades que tenemos y resaltar los aspectos positivos de nuestra localidad”. En cualquier caso, hay que asumir que no fue utilizado en el momento de la identificación de las intervenciones que se evalúan, ya que ha comenzado a ser aplicada a partir de 2004. En los documentos de formulación analizados no se cuenta con información sobre otros implicados, más allá de la relación de organizaciones que apoyaron inicialmente la creación de la escuela. Sorprende especialmente encontrar en la documentación tan pocas referencias a la entidad del Estado responsable de la descentralización o a los Gobiernos regionales. Tampoco se mencionan posibles asociaciones o agrupaciones municipales o instancias de coordinación y cooperación entre ellos2. 2 Se cita escuetamente el Instituto Nacional de Fomento Municipal, que se dice ya desactivado. Como respuesta a lo afirmado por el equipo de evaluación desde la EMGM se precisa lo siguiente: Al respecto, es necesario recordar el contexto nacional entre 1999 y 200, años en los que se elaboró y ejecutó el proyecto. En ese periodo el Perú estaba bajo el gobierno “fujimorista”, régimen dictatorial interesado en mantener el centralismo y recortar la autonomía de los Gobiernos locales y organizaciones y sociales. En ese entonces estaban en funcionamiento pleno los Concejos Transitorios de Administración Regional (CTARS) que desde 1992, por una política centralista, sustituyeron a los Gobiernos regionales incipientes cuyas autoridades eran elegidas a dedo por el Gobierno central. Asimismo se crearon instituciones públicas como el Ministerio de la Presidencia (MIPRE), FONCODES (Fondo de Cooperación para el Desarrollo Social), entre otras, que teóricamente tenían la responsabilidad de apoyar los procesos de desarrollo local pero realmente sirvieron para crear niveles de dependencia entre el Gobierno central y los locales. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 277 Programa de Evaluaciones 2006-2007 La definición de los problemas que afectan el sector resulta algo generalista y no se incorporan esquemas que faciliten el análisis, tipo árbol de problemas o similar. Así se hacen referencias del tipo: “subsisten aún, problemas de definición de competencias entre el nivel central y local”; ”débil estructura tributaria local”; “desigualdades intermunicipales”; “ausencia de descentralización fiscal redistributiva hacia las municipalidades”; “escasa tradición democrática y de gestión local”; “déficit de capacitación para la gestión de las autoridades locales”; “ausencia de instancias gubernamentales o privadas de asesoría e información”, etcétera. Es posible que la enorme amplitud del área de intervención inicial obligue a identificar problemas de carácter tan general como los citados, pero esta excesiva generalidad y la debilidad del esquema utilizado para ordenarlos hace surgir dudas sobre el impacto cuantitativo y cualitativo de la solución finalmente adoptada (capacitación y asesoría) y sobre las cuestiones que se pretenden resolver. Sobre este tema se abunda más adelante al valorar la lógica de intervención. Inicialmente, en el documento original de la primera fase, se establecía una lógica de intervención consistente en un objetivo general, dos objetivos específicos, siete resultados y 16 actividades de acuerdo con el siguiente esquema: PROGRAMA DE CAPACITACIÓN ESCUELA MAYOR DE GESTIÓN MUNICIPAL OG Contribuir a la descentralización nacional, promoviendo el fortalecimiento de los Gobiernos locales y la sociedad civil, generando procesos de promoción del desarrollo local y combate a la pobreza. OE1. Se habrá contribuido a elevar la calidad de la gestión de las municipalidades, especialmente en planificación participativa del desarrollo, administración, finanzas, acondicionamiento territorial y en promoción económica local. OE2. Se habrán disminuido los grados de vulnerabilidad de los Gobiernos locales, contribuyendo a generar y fortalecer los procesos locales de desarrollo. RE1.1. Las municipalidades beneficiadas cuentan con planes de fortalecimiento institucional y personas capacitadas en ese campo. RE1.2. Las municipalidades beneficiadas cuentan con instrumentos de gestión interna y personas capacitadas en este campo que les permite estar mejor preparados para asumir sus competencias. RE1.3. Se cuenta con una publicación especializada en asuntos de gestión para autoridades, funcionarios y expertos municipales. RE1.4. Se habrá creado y puesto en funcionamiento un fondo para seguimiento y asistencia técnica de graduados del posgrado en gestión municipal y desarrollo local que promueve la Escuela Mayor. En ese contexto era imposible pensar en políticas nacionales orientadas a fortalecer los Gobiernos locales, mejorar su eficiencia y promover la descentralización. Sin embargo, desde 1995 empezó una fuerte corriente nacional, descentralista y municipalista promovida principalmente por autoridades locales y instituciones sociales interesadas en recuperar la democracia, autonomía municipal y generar mejores capacidades en los trabajadores municipales, que empezó a enfrentarse al Gobierno central. En ese marco nace la Escuela Mayor y se elaboran proyectos de desarrollo, que lejos de guardar relación con las políticas de Estado de ese entonces, se orientaba a brindar herramientas a los Gobiernos locales que le permitieran realizar gestiones locales eficientes y autónomas, capaces de generar el desarrollo sin ser dependientes del Gobierno central. Cooperación Ciudad de Madrid 277 12671 Colombia (FF) 278 3/3/08 13:30 Página 278 Informes de evaluación. Perú PROGRAMA DE CAPACITACIÓN ESCUELA MAYOR DE GESTIÓN MUNICIPAL RE2.1. Existen procesos de planificación participativa del desarrollo local en los municipios seleccionados por el proyecto. RE2.2. Las municipalidades beneficiadas que han realizado procesos de planificación participativa están gestionando y ejecutando sus planes de desarrollo. RE2.3. Las municipalidades beneficiarias cuentan con planes de desarrollo local. A1.1.1. Taller con aplicación de un módulo de capacitación en tres municipalidades sobre formulación de planes. A1.1.2. Asistencia técnica a tres municipalidades. A1.1.3. Cuatro pasantías por año de dos personas por municipalidad durante tres días a municipalidades modelo. A1.2.1. Seis talleres por año sobre gestión interna con tres municipalidades. A1.2.2. Cuatro pasantías por año de dos personas a municipalidades exitosas en gestión. A1.3.1. Edición del boletín especializado sobre gestión municipal y guías de orientación a municipalidades. A1.4.1. Convenio con universidades para puesta en marcha de programa de posgrado. A1.4.2. Creación del fondo de seguimiento y asistencia a ex alumnos. A1.4.3. Funcionamiento del fondo de seguimiento y asistencia a ex alumnos. A2.1.1. Talleres con aplicación de un módulo de capacitación en cada una de las cuatro zonas por año. A2.1.2. Asistencia técnica a cuatro municipalidades por año en proceso de elaboración de planes de desarrollo. A2.2.1. Asistencia técnica a dos municipalidades por año que están ejecutando sus planes. A2.2.2. Dos talleres de capacitación a profesionales de ONG que colaboren en seguimiento. A2.2.3. Foro nacional sobre descentralización y Gobiernos locales. A2.3.1. Talleres de un módulo desarrollo económico local en dos zonas priorizadas. A2.3.2. Asistencia técnica a dos municipalidades por año en formulación y establecimiento de alianzas con entidades. La “reformulación” realizada no supuso grandes cambios en la lógica de intervención, más allá de reducir el alcance de los resultados; así, por ejemplo, donde inicialmente se indicaba que se trabajaría con dos poblaciones se reduce a una en el segundo documento o se reduce el periodo de intervención de dos a un año. La “reformulación” inducida desde el Ayuntamiento genera algunas incertidumbres, tanto desde la óptica del financiador, como desde la de las entidades gestoras: Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 279 Programa de Evaluaciones 2006-2007 • Por parte del financiador, es de suponer que recibe una solicitud de unos recursos cuya aplicación solucionaría de manera permanente un determinado problema. Si considera que ese problema es prioritario para su actuación debería financiar la intervención y si no lo es (o considera que en los términos planteados la posibilidad de resolver ese problema es muy escasa) parece que debería denegar la subvención. El recortar de una manera tan significativa la cantidad subvencionada parece sugerir que existe poca confianza en la resolución del problema originalmente identificado. • El receptor debe ser consciente de la enorme casualidad que supondría que si con “x” recursos se resuelve un problema, con el 50% de esos recursos se puede resolver exactamente la mitad del problema. Una posible explicación de las cuestiones planteadas hasta aquí puede derivarse del análisis de la estructura de objetivos e indicadores que se establecieron en estos documentos. OE E INDICADORES FASE I (sin reformular) OE1 Se habrá contribuido a elevar la calidad de la gestión de las municipalidades, especialmente en planificación participativa del desarrollo, administración, finanzas, acondicionamiento territorial y en promoción económica local. IOV1.1. Por lo menos 360 personas capacitadas. IOV1.2. Seis asistencias técnicas para la formulación de planes de gestión. IOV1.3. Cuatro municipalidades cuentan con planes de fortalecimiento municipal. IOV1.4. 16 pasantías de agentes municipales. IOV1.5. Al menos 60% de los capacitados ponen en marcha reformas en sus municipalidades. IOV1.6. 8 funcionarios y autoridades de las pasantías introducen cambios en sus programas. OE2 Se habrán disminuido los grados de vulnerabilidad de los Gobiernos locales, contribuyendo a generar y fortalecer los procesos locales de desarrollo. IOV2.1. Ocho municipalidades han generado procesos de planificación. IOV2.2. Cuatro municipalidades cuentan con planes de desarrollo. IOV2.3. 80 profesionales de ONG capacitados en temas municipales. IOV2.4. Líderes y ciudadanos de seis municipalidades reconocen que sus Gobiernos locales conciertan con ellos planes de desarrollo. OE E INDICADORES FASE II OE1 Se habrá contribuido a elevar la calidad de la gestión de las municipalidades, fortaleciendo los procesos de desarrollo local y aportando al desarrollo de capacidades profesionales relacionadas a las municipalidades seleccionadas. IOV1.1. Por lo menos el 80% de las personas capacitadas han mejorado su rendimiento laboral. IOV1.2. Dos planes de fortalecimiento institucional sistematizados. IOV1.3. Dos planes de desarrollo económico local sistematizados. IOV1.4. Ocho municipalidades están ejecutando planes de desarrollo. IOV1.5. 50% de municipalidades capacitadas invierten parte del presupuesto en lo indicado por el plan de desarrollo. IOV1.6. Hay una opinión favorable de la población acerca de los servicios que brindan las municipalidades capacitadas. Cooperación Ciudad de Madrid 279 12671 Colombia (FF) 280 3/3/08 13:30 Página 280 Informes de evaluación. Perú La expresión de los objetivos de la propuesta inicial hace que sólo se pueda concretar el alcance a través de indicadores (¿cómo contrastar sino que “se ha contribuido a elevar la calidad de la gestión” o que “se han disminuido los grados de vulnerabilidad”?). Sin embargo, resulta bastante claro que la mayoría de los indicadores del objetivo específico de la propuesta inicial son meras actividades, que no aportan nada a la medición de los objetivos. De esta forma, la débil formulación de los objetivos y el hecho de que ese problema no se subsane con unos indicadores suficientes para explicitar los objetivos hace que resulte prácticamente imposible pronunciarse sobre la eficacia del proyecto en este nivel, ya desde su formulación inicial. Este proceder presenta una gran ventaja para los decisores sobre la financiación: si se reduce la ambición de los indicadores (que en realidad son actividades) se puede reducir la aplicación de recursos para llegar al mismo objetivo, puesto que éste no se puede medir. De esta forma, los “reformuladores” sólo tienen que reducir (en tiempo, alcance y recursos) las actividades para contar con un “documento reformulado”. Para la fase II, el esquema ya ha variado. Esta estructura presenta un solo objetivo específico frente a los dos anteriores, aunque este objetivo adolece también de una formulación extraordinariamente débil (“se habrá contribuido a elevar la calidad de la gestión de las municipalidades”: obviamente, casi cualquier inversión que se realice contribuye en alguna medida a mejorar la gestión). Al menos la mitad de los indicadores tienen “aspecto” de tales, pero la otra mitad siguen siendo actividades. Nótese que si al igual que en la primera fase se desease hacer una “reformulación” (en realidad una reducción del 50% de la subvención solicitada), ya no bastaría con “recortar” los indicadores. Así, pensemos en el primero y el último de los que se presentan en la tabla de la fase II. Si sobre este esquema se quiere reducir el alcance de la intervención a la mitad, ¿cómo afecta esa decisión a que al menos el 80% de los capacitados mejoren su rendimiento laboral o a que la población de las municipalidades capacitadas tengan una opinión favorable de la prestación de servicios? En cualquier caso, hay que señalar las dificultades que para cualquier intento de evaluación tiene medir cuestiones como: los posibles cambios en el rendimiento laboral de unos trabajadores afectados por unas capacitaciones o asistencias técnicas o resolver el problema de la atribución de la opinión de una población receptora de servicios sobre las mismas actividades anteriores. ¿Qué han implicado este tipo de recortes en las estructuras lógicas de las intervenciones? En el siguiente esquema se han incorporado las tres lógicas de intervención en los casos de fase I, fase I “reformulada” y fase II en un esquema de árbol de objetivos. Esta estructura de árbol permite analizar con mayor facilidad las relaciones entre medios y fines que se incorporan en las formulaciones. Cooperación Ciudad de Madrid Taller con Asisten- Cuatro Seis cia pasantías talleres aplicación técnica en un de un en un a tres año de año sobre módulo de dos capacita- municigestión ción en tres palidades personas interna por municipacon tres munici- municilidades palidad palidades sobre durante formulatres días ción de a municiplanes palidades modelo Creación del fondo de seguimiento y asistencia a ex alumnos Existen procesos de planificación participativa del desarrollo local en los municipios seleccionados por el proyecto Talleres FuncioAsistencia con namiento técnica a del fondo aplicación dos de un de seguimunicipali miento y módulo dades en de asistencia un año en capacita- proceso de a ex ción en elaboración alumnos cada una de planes de las de cuatro desarrollo zonas por año Se habrá creado y puesto en funcionamiento un fondo para seguimiento y asistencia técnica de graduados del posgrado en gestión municipal y desarrollo local que promueve la Escuela Mayor Cuatro Edición del Convenio boletín pasantías con especializa universien un do sobre año de dades gestión dos para personas municipal puesta en a munici- y guías de marcha palidades orientade ción a exitosas programa municipali en de dades y posgrado gestión una guía Se cuenta con una publicación especializada en asuntos de gestión para autoridades, funcionarios y expertos municipales Asistencia técnica a dos municipalidades por año que están ejecutando sus planes Asistencia técnica a dos municipalidades por año en formulación y establecimiento de alianzas con entidades Las municipalidades beneficiarias cuentan con planes de desarrollo local Dos Talleres de Foro talleres de nacional un capacitamódulo sobre ción a de descentraprofesio- lización y desarrollo nales de Gobiernos de econóONG que mico local locales colaboren en dos en seguizonas miento priorizadas Las municipalidades beneficiadas que han realizado procesos de planificación participativa están gestionando y ejecutando sus planes de desarrollo 13:30 Las municipalidades beneficiadas cuentan con instrumentos de gestión interna y personas capacitadas en este campo que les permite estar mejor preparados para asumir sus competencias Se habrán disminuido los grados de vulnerabilidad de los Gobiernos locales, contribuyendo a generar y fortalecer los procesos locales de desarrollo 3/3/08 Las municipalidades beneficiadas cuentan con planes de fortalecimiento institucional y personas capacitadas en ese campo Se habrá contribuido a elevar la calidad de la gestión de las municipalidades, especialmente en planificación participativa del desarrollo, administración, finanzas, acondicionamiento territorial y en promoción económica local Contribuir a la descentralizacion nacional, promoviendo el fortalecimiento de los Gobiernos locales y la sociedad civil, generando procesos de promoción del desarrollo local y combate a la pobreza 12671 Colombia (FF) Página 281 Programa de Evaluaciones 2006-2007 Cooperación Ciudad de Madrid 281 Cooperación Ciudad de Madrid Seis Taller con Asisten- Cuatro cia aplicación pasantías talleres técnica en un de un en un a dos módulo de año de año sobre gestión capacita- municidos ción en dos palidades personas interna con tres municipapor lidades munici- municisobre palidad palidades formuladurante ción de tres días planes a municipalidades modelo Creación del fondo de seguimiento y asistencia a ex alumnos Existen procesos de planificación participativa del desarrollo local en los municipios seleccionados por el proyecto FuncioTalleres Asistencia namiento con técnica a del fondo aplicación cuatro de seguide un municipamiento y módulo lidades en asistencia de un año en a ex capacita- proceso de alumnos ción en elaboración cada una de planes de las de cuatro desarrollo zonas por año Se habrá creado y puesto en funcionamiento un fondo para seguimiento y asistencia técnica de graduados del posgrado en gestión municipal y desarrollo local que promueve la Escuela Mayor Edición de Convenio Cuatro pasantías un boletín con especiali- universien un año de zado sobre dades gestión dos para personas municipal puesta en a munici- y guías de marcha palidades orientade ción a exitosas programa municipaen de lidades gestión posgrado Se cuenta con una publicación especializada en asuntos de gestión para autoridades, funcionarios y expertos municipales Asistencia técnica a dos municipalidades por año que están ejecutando sus planes Asistencia técnica a dos municipalidades por año en formulación y establecimiento de alianzas con entidades Las municipalidades beneficiarias cuentan con planes de desarrollo local Dos Talleres de Foro talleres de nacional un capacitamódulo sobre ción a de descentraprofesio- lización y desarrollo nales de Gobiernos de econóONG que mico local locales colaboren en dos en seguizonas miento priorizadas Las municipalidades beneficiadas que han realizado procesos de planificación participativa están gestionando y ejecutando sus planes de desarrollo 13:30 Las municipalidades beneficiadas cuentan con instrumentos de gestión interna y personas capacitadas en este campo que les permite estar mejor preparados para asumir sus competencias Se habrán disminuido los grados de vulnerabilidad de los Gobiernos locales, contribuyendo a generar y fortalecer los procesos locales de desarrollo 3/3/08 Las municipalidades beneficiadas cuentan con planes de fortalecimiento institucional y personas capacitadas en ese campo Se habrá contribuido a elevar la calidad de la gestión de las municipalidades, especialmente en planificación participativa del desarrollo, administración, finanzas, acondicionamiento territorial y en promoción económica local 282 Contribuir a la descentralizacion nacional, promoviendo el fortalecimiento de los Gobiernos locales y la sociedad civil, generando procesos de promoción del desarrollo local y combate a la pobreza 12671 Colombia (FF) Página 282 Informes de evaluación. Perú Asistencia Dos talleres con aplicación técnica a las dos de un módulo municipalidad de es con un capacitación viaje de un día en dos a cada una y municipaliasesoría dades (Yurimaguas e permanente desde la sede Ilo) Cuatro pasantías, dos por municipalidad, de dos personas en visitas de tres días cada una Talleres de desarrollo económico local en cada una de las dos municipalidades Asistencia técnica a las municipalidades de Iquitos y Arequipa (1 viaje a cada zona) para alianzas con entiddes públicas y privadas Las municipalidades beneficiadas (Iquitos y Arequipa) cuentan con personas capacitadas en desarrollo económico local y con sus respectivos planes Diseño, edición y distribución de dos boletines especializados sobre gestión municipal Diseño, edición y distribución de una guía de diseño de gestión municipal Elaboradas y distribuidas publicaciones especializadas en asuntos de gestión para autoridades, funcionarios y expertos municipales dirigidas a incidir en los procesos de descentralización del país Asistencia técnica a las municipalidades de Iquitos y Arequipa que están en ejecución de sus planes de desarrollo Asesoría a Cuzco, Huánuco, Huancayo, Huancavelica, Trujillo y Piura Un taller de capacitación en Lima a ONGD Fortalecidos procesos de desarrollo local a través de asistencia técnica a municipalidades que ya cuentan con planes de desarrollo: Iquitos y Arequipa que han elaborado sus planes de desarrollo económico, y las seis municipalidades del primer año: Cuzco, Huánuco, Huancayo, Huancavelica, Trujillo y Piura, que están gestionando y ejecutando sus planes de desarrollo económico y de fortalecimiento institucional respectivamente Planificación, realización y sistematización de un foro nacinal de un día sobre descentralización Se influye en el proceso de descentralización del Estado a través de un espacio de diálogo en las políticas institucionales del Estado y en los organismos descentralizados para que se tomen en cuenta a las municipalidades como principales actores de la descentralización del país 13:30 Las municipalidades beneficiadas (Yurimaguas e Ilo) cuentan con personas capacitadas en gestión institucional y con planes de fortalecimiento institucional 3/3/08 Se habrá contribuido a elevar la calidad de la gestión de las municipalidades, fortaleciendo los procesos de desarrollo local y aportando al desarrollo de capacidades profesionales relacionadas a las municipalidades seleccionadas Contribuir a la descentralización nacional, promoviendo el fortalecimiento de los Gobiernos locales y la sociedad civil, generando procesos de promoción del desarrollo local y combate a la pobreza 12671 Colombia (FF) Página 283 Programa de Evaluaciones 2006-2007 Cooperación Ciudad de Madrid 283 12671 Colombia (FF) 284 3/3/08 13:30 Página 284 Informes de evaluación. Perú El primero de los esquemas (fase I) presenta un objetivo general, dos específicos y siete resultados. De alguna forma, lo que se intenta transmitir con esta estructura lógica es que: • Si se realizan talleres en dos municipios, se les provee de asistencia técnica y se realizan pasantías, esos municipios tendrán planes de fortalecimiento institucional. • Si se realizan seis talleres en tres municipalidades y se ofrecen pasantías, esas municipalidades contarán con instrumentos de gestión interna. • Si se editan boletines y guías se contará con una publicación especializada. • Si se firma un convenio con universidades, se crea un fondo de seguimiento y asistencia a ex alumnos y funciona el fondo de seguimiento, se habrá creado y puesto en marcha un fondo para seguimiento de egresados. De las cadenas lógicas marcadas como “c” y “d” se puede comentar que los medios y los fines son prácticamente lo mismo, lo que es especialmente notorio en el caso de los boletines y guías: obviamente si se editan se contará con ellas. Es habitual en este tipo de estructuras que cuando un fin cuenta sólo con un medio para alcanzarlo, el fin y el medio resultan similares. En cuanto al caso del fondo de seguimiento es más o menos la misma cuestión, ya que el resultado es la suma de las actividades, y no el producto de ellas tal y como se establece en estos esquemas de planificación: firmar un convenio, crear un fondo y hacerlo funcionar no tiene como producto “se habrá creado y puesto en funcionamiento un fondo”, simplemente el fin y la suma de los medios son la misma cosa. Por su parte, las cadenas lógicas “a” y “b” presentas estructuras muy débiles. Obviamente la realización de talleres, la asistencia técnica y las pasantías pueden contribuir en alguna medida a que los municipios cuenten con planes de fortalecimiento o con instrumentos de gestión interna, pero éstos son sólo algunos de los medios posibles para tales fines. La cuestión anterior resulta evidente si nos planteamos estas estructuras en forma de problemas; esto es, si nos preguntamos ¿por qué las municipalidades no cuentan con planes de fortalecimiento o con instrumentos adecuados de gestión interna? Obviamente, el desconocimiento de buenas prácticas en la materia (lo que se puede solucionar con capacitación, asistencia técnica y pasantías) puede ser una de las causas, pero probablemente sobre ese problema sea mayor la incidencia de cuestiones como la escasez de recursos humanos, de recursos financieros, la mala situación de las infraestructuras y equipos, la indefinición de competencias municipales, la inestabilidad de los recursos humanos, etcétera. En definitiva, la lógica que lleva desde medios como la asistencia técnica, la capacitación y las pasantías al fin de que se disponga en las municipalidades de instrumentos de gestión adecuados y de planes de fortalecimiento institucional está sujeto a una serie de factores externos que se han considerado de forma muy débil en las formulaciones iniciales. El análisis del otro sector del mismo árbol de objetivos lleva a conclusiones similares. Las lógicas implícitas indica que: • Si se realizan talleres con un módulo de capacitación y se realiza asistencia técnica existirán procesos de planificación participativa del desarrollo local. • Si se realiza asistencia técnica, se ponen en marcha dos talleres de capacitación para ONGD y se celebra un foro nacional sobre descentralización, las municipalidades que han realizado planificación participativa estarán gestionando y ejecutando sus planes de desarrollo. • Se si realizan talleres de desarrollo económico local y se efectúa asistencia técnica en formulación y establecimiento de alianzas con entidades, las municipalidades beneficiarias contarán con planes de desarrollo local. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:30 Página 285 Programa de Evaluaciones 2006-2007 Las debilidades de estas estructuras son similares a las del caso anterior, así es difícil pensar que las causas de que los municipios no cuenten con procesos de planificación participativa del desarrollo local, ni gestionen y ejecuten sus planes de desarrollo local son exclusivamente que no han contado con asistencia técnica ni han celebrado talleres. Esto puede ser cierto en buena medida en lo que respecta a que se disponga de esos planes, puesto que si la organización financia los talleres y la asistencia técnica en la redacción y edición es posible que se llegue a contar con “documentos plan”, pero es mucho más dudoso que estos planes se lleguen a ejecutar simplemente porque parte de la asistencia técnica se encamine a la formulación y el establecimiento de alianzas con entidades públicas y privadas. En este sentido, la intervención debería considerar como factor externo entre el medio de emplear asistencia técnica en la formulación de alianzas con diversas instituciones y el fin de que se cuente con planes de desarrollo cuestiones como la capacidad y la voluntad de aportar recursos por parte de esas entidades. En el siguiente nivel, de resultados a objetivos específicos, se establecen las siguientes lógicas, ya comentadas parcialmente en párrafos anteriores: • Si las municipalidades cuentan con planes de fortalecimiento institucional, con personas capacitadas, con instrumentos de gestión interna, con publicaciones especializadas y con un fondo de seguimiento de posgraduados, se habrá contribuido a elevar la calidad de la gestión de las municipalidades. • Si existen procesos de planificación participativa en los municipios seleccionados, si se cuenta con planes de desarrollo local y si se están gestionando y ejecutando los planes de desarrollo, se habrán disminuido los grados de vulnerabilidad de los Gobiernos locales. El análisis de estas lógicas permite establecer varias conclusiones: 1. Ya se ha indicado que la formulación de estos dos objetivos resulta muy débil y tampoco se aclara en unos indicadores que no son sino actividades: ¿qué significa contribuir a elevar la calidad de la gestión?, ¿qué entendemos por una gestión de calidad?, ¿cuál es el estándar de calidad actual y en cuánto se espera elevar?, etcétera. 2. En ocasiones se observa una relación de medios a fines entre los propios resultados; así, por ejemplo, que se realicen procesos participativos de desarrollo local es un medio para que se cuente con planes de desarrollo local y que se cuente con este tipo de planes parece que es un medio para que se ejecuten. En este tipo de esquemas lógicos empleados en la planificación de intervenciones de desarrollo, no pueden existir elementos con relaciones de medios a fines en un mismo nivel de las estructuras lógicas. La descripción de procesos debe tener en dichos esquemas u desarrollo vertical y no horizontal. 3. En este mismo sentido, las propias formulaciones de resultados y objetivos presentan similares problemas; así, por ejemplo, se indica que se habrán disminuido los grados de vulnerabilidad “contribuyendo” a generar procesos locales de desarrollo (parece que disminuir los grados de vulnerabilidad es un medio para generar procesos de desarrollo). Este fenómeno, conocido como jamming, afecta también a otros resultados, como en el caso del resultado que expresa que la capacitación es un medio para asumir competencias. En el caso del objetivo general se observan al menos tres niveles en la cadena causal: promover el fortalecimiento de los gobiernos locales → contribuir a la descentralización → generar procesos de desarrollo local → combatir la pobreza. 4. También en este nivel la lógica descrita está sujeta a una gran cantidad de factores externos, supuestos o hipótesis. Así, parece obvio que la baja calidad de la gestión municipal y la vulnerabilidad de los gobiernos locales es consecuencia de muchos más factores que el no disponer de planes de desarrollo, de instrumentos de gestión, de publicaciones especializadas, de fondos de seguimiento de posgraduados y de planes de desarrollo locales. Las dificultades Cooperación Ciudad de Madrid 285 12671 Colombia (FF) 286 3/3/08 13:30 Página 286 Informes de evaluación. Perú de las municipalidades para asumir compromisos recaudatorios, las dificultades de la población para hacer frente a los tributos municipales, la evasión de los si tienen capacidad de pago, la descoordinación con otras instancias de la Administración, el incumplimiento de compromisos financieros de la Administración central, etcétera, parece que son factores con mayor incidencia que los anteriores en la calidad de la gestión y la vulnerabilidad de los Gobiernos locales. Pretender que con capacitación, asistencia técnica y pasantías se contribuirá de manera significativa a mejorar la calidad de la gestión de las municipalidades y reducir la vulnerabilidad de los Gobiernos locales es bastante aventurado. Pero hay que tener en cuenta que es prácticamente imposible la contrastación de esos fines debido a la débil formulación de los objetivos y a la escasa calidad de los indicadores que deberían darles contenido. Adicionalmente, el documento establece unos criterios excesivamente genéricos para la selección de las áreas de intervención y tampoco aclara por qué se seleccionaron estas tres vías de actuación (capacitación, asistencia técnica y pasantías) frente a otras alternativas para la solución de una serie de problemas que muy probablemente son consecuencia de multitud de causas, algunas de las cuales pueden tener mayor incidencia que el desconocimiento de buenas prácticas que se intenta paliar con los medios citados. El documento de “reformulación” no aporta nada a lo ya comentado, pues como se puede observar en los cuadros anteriores, presenta una estructura idéntica al anterior, con la salvedad de que se “recortan” algunas actividades. El documento analizado para la fase II presenta una estructura lógica algo más sencilla, con sólo un objetivo específico, cinco resultados y 11 actividades, si bien adolece de buena parte de las cuestiones señaladas para el documento anterior. Los esquemas lógicos que incorpora se pueden resumir de la siguiente manera: 1. En el paso de actividades a resultados: • Si se realizan dos talleres en dos municipalidades, se realiza asistencia técnica a las mismas municipalidades (consistente en un viaje a cada una y asesoría desde la sede) y se efectúan cuatro pasantías (dos por municipalidad) de dos personas en visitas de tres días, las dos municipalidades beneficiadas tendrán personas capacitadas en gestión y planes de fortalecimiento institucional. • Si se realizan talleres de desarrollo económico local en dos municipalidades y se efectúa asistencia técnica a esas dos municipalidades (un viaje a cada zona), ambas municipalidades contarán con personas capacitadas en desarrollo económico local y con sus respectivos planes de desarrollo económico. • Si se diseñan, editan y distribuyen dos boletines especializados sobre gestión municipal y una guía de diseño de gestión municipal, se habrán elaborado y distribuido publicaciones especializadas. • Si se realiza asistencia técnica a dos municipalidades, asesoría a otras seis y se realiza un taller de capacitación con ONGD, se habrán fortalecido los procesos de desarrollo local. • Si se realiza un Foro Nacional de un día sobre descentralización se habrá influido en el proceso de descentralización del Estado. 2. Entre resultados y objetivo específico: • Si dos municipalidades beneficiadas tienen personas capacitadas en gestión y planes de fortalecimiento institucional, otras dos municipalidades cuentan con personas capacitadas en desarrollo económico local y con sus respectivos planes de desarrollo económico, se han elaborado y distribuido publicaciones especializadas, se han fortalecido los procesos de Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 287 Programa de Evaluaciones 2006-2007 desarrollo local y se ha influido en el proceso de descentralización del Estado, se habrá contribuido a elevar la calidad de gestión de las municipalidades. 3. Entre objetivo específico y objetivo general: • Si se ha contribuido a elevar la calidad de la gestión de las municipalidades se contribuye a la descentralización nacional, se promueve el fortalecimiento de los Gobiernos locales y la sociedad civil, se generan procesos de promoción de desarrollo local y se combate la pobreza. Como ya se indicó, las debilidades son muy parecidas al caso anterior, pudiendo resumirse en: • Objetivos con bajos niveles de definición y escasamente precisados por los indicadores (por ejemplo “fortalecidos procesos de desarrollo local”: ¿cuántos y cuánto se ha fortalecido cada uno, qué procesos, cuándo, con qué nivel de calidad, cómo se mide, cómo se puede atribuir el cambio a la intervención...?). • Existencia de cadenas lógicas en un mismo nivel de la lógica de intervención (por ejemplo: “se influye en el proceso de descentralización del Estado a través de un espacio de diálogo”). • Elementos en distintos niveles de la lógica de intervención que son la misma cosa (diseñar, editar y distribuir una publicación como actividad y que se haya elaborado y distribuido una publicación como resultado). • La existencia de numerosos factores externos, supuestos o hipótesis no contemplados o débilmente tratados en el análisis de riesgos. Por ejemplo: Lógica de intervención Posibles factores externos En el paso de actividades a resultados Si se realizan dos talleres, se realiza asistencia técnica a municipalidades y se efectúan cuatro pasantías, dos municipalidades tendrán personas capacitadas en gestión y planes de fortalecimiento institucional. Si se realizan talleres de desarrollo económico local y se efectúa asistencia técnica, ambas municipalidades contarán con personas capacitadas en desarrollo económico local y con sus respectivos planes de desarrollo económico. Si se diseñan, editan y distribuyen dos boletines y una guía, se habrán elaborado y distribuido publicaciones especializadas. Si se realiza asistencia técnica a dos municipalidades, asesoría a otras seis y se realiza un taller de capacitación con ONGD, se habrán fortalecido procesos de desarrollo local. Si se realiza un Foro Nacional sobre descentralización se habrá influido en el proceso de descentralización. • Recursos humanos suficientes en las municipalidades. • Los recursos humanos tienen incentivos para participar en capacitaciones. • Hay acuerdo político para aprobar los planes.. • Las competencias están bien definidas y se asumen con claridad. • Hay un cierto consenso entre los actores económicos. • Las infraestructuras y equipos de las municipalidades son suficientes para permitir la redacción de documentos. • Existe cierta estabilidad en el personal técnico de las municipalidades. • Existe un mínimo consenso político sobre las ventajas de la descentralización. Entre resultados y objetivo específico Si dos municipalidades tienen personas capacitadas en gestión y planes de fortalecimiento, otras dos cuentan con personas capacitadas en desarrollo económico local y con sus respectivos planes, si se han elaborado y distribuido publicaciones especializadas, si se han fortalecido los procesos de desarrollo local y se ha influido en el proceso de descentralización, se habrá contribuido a elevar la calidad de gestión de las municipalidades. • Recursos humanos suficientes en las municipalidades. • Cumplimiento de compromiso de cofinanciación del Estado y otros implicados. • Se pueden asumir las competencias en recaudación y se recauda. Cooperación Ciudad de Madrid 287 12671 Colombia (FF) 288 3/3/08 13:31 Página 288 Informes de evaluación. Perú Entre OE y OG 4. Lógica de intervención Posibles factores externos Si se ha contribuido a elevar la calidad de la gestión de las municipalidades se contribuye a la descentralización, se promueve el fortalecimiento de Gobiernos locales y sociedad civil, se generan procesos de promoción de desarrollo local y se combate la pobreza. • Capacidad y voluntad de pago por los servicios. • Voluntad política para la descentralización. • Recursos públicos para descentralización... VALORACIÓN DE LOS PERIODOS DE EJECUCIÓN Las intervenciones que se valoran en el presente documento se ponen en marcha debido a la voluntad de dos actores institucionales y de los responsables y técnicos municipales que actuaron como medio para alcanzar a los beneficiarios últimos. La Asociación de Investigación y Especialización sobre Temas Iberoamericanos (AIETI), fundada en 1981, viene trabajando en el marco de las relaciones entre España, la Unión Europea y América Latina, poniendo énfasis en tres áreas de trabajo: investigación, consultoría y formación; divulgación, difusión y publicaciones, y proyectos de cooperación para el desarrollo. Ha actuado como ONGD cofinanciadora y representante ante las autoridades municipales españolas. Por su parte, la Escuela Mayor de Gestión Municipal (EMGM) es una entidad conformada por un conjunto de profesionales ligados al quehacer municipal que busca contribuir al desarrollo a través del fortalecimiento y consolidación de los Gobiernos locales como actores de la vida pública del país y como agentes claves del proceso de descentralización, la consolidación de la democracia a partir de la regionalización y el desarrollo local. En las intervenciones analizadas actuó como agente de desarrollo responsable de la ejecución. Por lo que la evaluación entiende, el mecanismo de ejecución se iniciaba mediante la selección de unas municipalidades en función de unos criterios de demanda por parte de los responsables municipales y de la población y por la valoración que realizan los técnicos y responsables de la Escuela Mayor de Gestión Municipal sobre la voluntad política de esos municipios por incorporarse al proceso que se había diseñado. Una vez seleccionadas la municipalidades se procedía a la puesta en marcha de las principales actividades propuestas por las dos intervenciones que se analizan, que se pueden resumir en: • • • • Capacitación a técnicos y responsables de Gobiernos locales. Asistencia técnica, asesoría y acompañamiento de las municipalidades. Pasantías para técnicos y responsables de Gobiernos locales. Edición y distribución de boletines y guías. Así, contando ya con unas poblaciones meta de los diferentes componentes, se procedía a realizar las convocatorias de formación tras las cuales se celebraban los talleres y se ponía en marcha la fase de asistencia técnica. Paralelamente se realizaba la preparación, edición y distribución de los materiales. Los calendarios de ejecución que se presentan en los documentos resultan muy sencillos, motivado por las propias exigencias del Ayuntamiento. Se trata de unas actividades de capacitación Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 289 Programa de Evaluaciones 2006-2007 que ocupan dos meses consecutivos y se repiten una vez en el año; unas pasantías que en los calendarios coinciden con el último mes de cada una de las capacitaciones, asistencias técnicas que se ubican en el mes siguiente a cada una de las capacitaciones, asesoría permanente que se desarrolla en todo el periodo de ejecución de cada una de las intervenciones (un año), las publicaciones que aparentemente cada una de ellas consume entre tres y cuatro meses al año y se repite una vez al año y la realización de un foro nacional. La duración de las actividades no coincide con su ocupación del calendario debido a la simplicidad de éste. Así, por ejemplo, la documentación indica que las asistencias técnicas incluyen una visita de uno o dos días de duración, si bien gráficamente ocupan un mes de calendario. De igual forma, la duración del Foro Nacional es de un día, pero en el calendario se marcan cuatro meses, contando su preparación, ejecución y sistematización. La ejecución ya comenzó con un cierto retraso debido al propio procedimiento de “reformulación” a que se vio sometida la intervención, si bien parece que este periodo de retraso resultó breve. En el resto de la ejecución no parece que se sufriese ningún tipo de contingencias importantes, más allá de los ajustes realizados por las alteraciones en los tipos de cambio del periodo. Entre los riesgos y presunciones que se señalaban en el documento original se comentó que la intervención podía verse condicionada por el endurecimiento de lo que se denominaba “política centralista” por parte del Gobierno, cuestión que al parecer evolucionó desfavorablemente afectando a la cadena lógica entre las actividades previstas y los resultados esperados. Los responsables y técnicos de la EMGM indicaron que si bien es cierto que este factor evolucionó de manera escasamente favorable a los objetivos, el impacto no fue tan grave como se consideró inicialmente. Algo similar puede señalarse respecto al factor de riesgo considerado en la documentación en cuanto a que la desconcentración de determinados servicios públicos (salud y educación) no se haría sin soportes financieros. Por todo lo anterior, puede concluirse que la ejecución de las actividades discurrió con un cierto retraso frente a lo inicialmente previsto, pero que estos desfases ni se pueden considerar importantes ni tuvieron efectos significativos sobre los resultados previstos en los documentos de formulación. La evaluación fue informada por los responsables de la ejecución de que existieron ciertas dificultades en el periodo debidas a dos cuestiones fundamentales ya comentadas en la indagación sobre los factores externos en el capítulo destinado a la valoración del diseño, pero que se vuelven a comentar aquí por su influencia en el desempeño: • Las contingencias debidas a alteraciones en los tipos de cambio en el periodo de referencia, especialmente con el deslizamiento del dólar frente al euro, pero teniendo en cuenta que los primeros presupuestos se realizaron en dólares, traducidos a pesetas, “reformulados” en pesetas, “traducidos” nuevamente a dólares y gestionados con la referencia del euro. • El endurecimiento de la política centralista en el Perú en los primeros años de desempeño de las intervenciones. Los intentos descentralizadores propuestos por la EMGM encontraban un freno en las políticas estatales. Esto, más allá de las implicaciones que pueda tener sobre la pertinencia, ha podido entorpecer el desempeño. Cooperación Ciudad de Madrid 289 12671 Colombia (FF) 290 3/3/08 13:31 Página 290 Informes de evaluación. Perú 5. CRITERIOS DE EVALUACIÓN 5.1. Pertinencia 5.1.1. Adecuación del proyecto a prioridades El “Programa de capacitación de la Escuela Mayor de Gestión Municipal” presenta un elevado nivel de adecuación con las prioridades de la entidad cofinanciadora. Se trata de una Administración local que pretende, de alguna manera, singularizar el carácter de su ayuda, estableciendo algunos ejes particulares. Así, dentro de su actual Plan General de Cooperación, el objetivo estratégico 3 queda definido de la siguiente manera: “Haber contribuido a la mejora en la calidad de la cooperación” y “para ello se promueve una estrategia centrada en la gestión municipal, en el fortalecimiento de la sociedad civil, en la programación y en la evaluación”. Por lo que hace referencia a la mejora de la gestión municipal se comenta que se intenta mejorar “...la preparación y cualificación profesional de sus recursos humanos, así como la calidad de sus recursos materiales y técnicos”. Con mayor detalle, se indica que en los países del sur se atenderá a: • La mejora de la gestión en las Administraciones públicas municipales. • El apoyo al desarrollo de prácticas participativas, mecanismos descentralizados y asociaciones de municipios. • El apoyo a su papel como agentes del desarrollo económico. Aparte de esta prioridad temática o sectorial, hay que recordar que Perú aparece como uno de los países prioritarios dentro de la planificación estratégica del Ayuntamiento de Madrid y que hacia esta nación se dirigieron el 20% de todos los recursos de cooperación internacional desembolsados por el Ayuntamiento entre 1995 y 2004, lo que supuso unos 18,5 millones de euros. Ese carácter prioritario aparece también en el Plan Director de la Cooperación Española. En ese documento se considera que la descentralización y el fortalecimiento de las Administraciones locales debe ser “entendida como línea estratégica de prioridad para el conjunto de las actuaciones de la cooperación española”, señalando que “el ámbito municipal y regional constituyen escenarios idóneos para la ejecución de todas las políticas de desarrollo en general y, particularmente, de desarrollo institucional”. Se identifican dos líneas estratégicas básicas: El proceso de descentralización competencial del Estado hacia los entes locales, entendido como transferencia de poder y creciente capacidad política de gestión del gasto público. El fortalecimiento municipal, entendido como el apoyo a la generación de capacidades instaladas de tipo político y técnico en los entes locales. Las actuaciones prioritarias que se vinculan a esas dos líneas estratégicas son las siguientes: • El apoyo a los procesos de institucionalización democrática de los entes locales. • El apoyo a la planificación estratégica y gestión por resultados en el ámbito municipal o supramunicipal. • Fortalecimiento de las capacidades de control del suelo, ordenación territorial. • La mejora en la gestión de recursos públicos —humanos, financieros y tributarios— en la elaboración de políticas públicas. • Fortalecimiento de la ordenación urbanística, habitabilidad básica y desarrollo sostenible. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 291 Programa de Evaluaciones 2006-2007 • Promoción integrada de la economía local, aprovechando la capacidad de liderazgo de los municipios. • Fortalecimiento de servicios públicos esenciales y servicios sociales. • Apoyo a las mancomunidades para la gestión de servicios integrados. • Apoyo a la cultura como instrumento de desarrollo local. • Apoyo a la incorporación de las nuevas tecnologías del conocimiento en la Administración local. Todos estos datos indican, sin lugar a dudas, los elevados niveles de pertinencia que tienen los proyectos considerados en relación a las prioridades establecidas por el Ayuntamiento de Madrid y, adicionalmente, la coherencia existente con la propia cooperación española que también establece este tipo de intervenciones en la misma área geográfica como prioritarias. Por lo que hace referencia a la cooperación de la Comisión Europea, es significativo mencionar que en su documento de Orientaciones Plurianuales Indicativas (OPIN) del periodo considerado se señala como una de sus prioridades el “apoyo a la modernización y refuerzo del estado de derecho”, con dos aspectos clave: “apoyo a la Administración de la Justicia” y “apoyo a la descentralización y a la eficacia del aparato del Estado”. Si se analiza la pertinencia en relación a las prioridades de las ONGD implicadas no parece ofrecerse muchas dudas al respecto. Evidentemente, este tipo de actuaciones constituyen la esencia de la principal actividad de la propia Escuela Mayor de Gestión Municipal, cuyas funciones principales se centran “en el espacio de la formación en Administración pública local, en apoyo a las gestiones municipales, en la defensa de la descentralización y de la autonomía municipal”. En el mismo sentido, AIETI dentro de su área de desarrollo prioriza las siguientes líneas de trabajo: • • • • • Desarrollo local, buen gobierno, participación ciudadana. Capacitación no formal. Comunicación y género. Derechos humanos. Producción agrícola. Capacitación técnica. Dentro de la primera de estas áreas se señala como principales contenidos los siguientes: “Se contribuye a promover iniciativas y procesos para el desarrollo local y la descentralización nacional, mejorar la formación de autoridades locales, trabajadores y funcionarios municipales y líderes sociales”. Puede concluirse, por consiguiente, que existe una muy elevada adecuación del “Programa de capacitación Escuela Mayor de Gestión Municipal” con respecto a las prioridades de las dos ONGD implicadas en su preparación y ejecución. Muchas más dudas se plantean cuando se analiza esta cuestión vinculándola a las políticas puestas en marcha por las distintas autoridades públicas implicadas. La descentralización aparece como una de las cuestiones claves durante los últimos años dentro de las diferentes iniciativas de reforma del Estado peruano. Han existido varios intentos de modificar su estructura administrativa, con diferentes alcances y efectos. La realidad es que no parece haberse consolidado un modelo territorial en el que queden claramente identificadas las competencias que deben asumir las diferentes Administraciones. Por lo que hace referencia a las propias municipalidades, hay que reconocer que éstas no han sido capaces de establecer organismos de coordinación y representación de alcance nacional. Cooperación Ciudad de Madrid 291 12671 Colombia (FF) 292 3/3/08 13:31 Página 292 Informes de evaluación. Perú Durante un tiempo tuvo una significativa presencia la AMPE (Asociación de Municipalidades del Perú), pero en la actualidad se encuentra relativamente paralizada, pese a contar con personalidad jurídica. Al parecer, las diferencias políticas entre las distintas autoridades locales han impedido un funcionamiento regular de la asociación. Por lo que hace referencia a la Administración central, existe el Consejo Nacional de Descentralización (CND), que mantiene una relación técnica con la Escuela Mayor de Gestión Municipal y que certifica alguno de las diplomaturas de ésta. En cualquier caso, no parece que exista una orientación política homogénea en la que pueda ser enmarcada la actividad de la EMGM. Ésta es una entidad privada, cuyo patrimonio principal está formado por el prestigio de su personal (básicamente de su presidente) y por la calidad de las actividades que realiza, pero no posee (quizá porque las condiciones particulares de Perú lo hacen imposible en la actualidad) un ámbito de actuación que se encuentre amparado por alguna estructura pública o semipública (es decir, de la Administración o de alguna instancia de coordinación municipal)3. De alguna manera, puede pensarse que las fortalezas institucionales de la EMGM pueden ser, en otras circunstancias, auténticas debilidades, ya que puede existir una cierta identificación política de la Escuela que puede dificultar el cumplimiento de sus funciones. 5.1.2. Origen de la iniciativa Las iniciativas evaluadas se insertan con claridad en las actividades más o menos cotidianas de la EMGM y han estado en la base y origen de la institucionalización de la entidad, en la elaboración de su Plan Estratégico y en la creación de sus áreas de trabajo. Como ya se ha puesto de manifiesto se trata fundamentalmente de realizar capacitaciones, asistencias técnicas, pasantías, publicaciones y encuentros de autoridades y funcionarios municipales lo que, de alguna manera, constituye una seña de identidad del trabajo habitual de la propia escuela. Existe una demanda constante de las Administraciones locales para reforzar sus capacidades, pero no ha existido una demanda orgánica que se encuentre en el origen de esta iniciativa. La ausencia de entes de coordinación municipal hace extremadamente difícil que pueda articularse una demanda organizada sobre éstas y otras cuestiones de interés para los entes locales. Tampoco existe constancia de la realización de un taller participativo para la preparación de los citados proyectos. Dentro de la metodología de trabajo de la EMGM la participación (y particularmente los talleres participativos) constituyen una orientación transversal básica, así como una herramienta habitual. Esto permite que se disponga de un conocimiento profundo sobre la realidad y las necesidades de las Administraciones municipales del país y que ese conocimiento se encuentre en el origen de la preparación de los proyectos evaluados. En cualquier caso, hay que asumir que la responsabilidad última de la identificación y diseño (diagnóstico de necesidades, priorización de soluciones, determinación de soluciones, etcétera) de estas iniciativas ha correspondido, por tanto, al equipo técnico y los responsables de la Escuela Mayor de Gestión Municipal, con la asesoría y apoyo de AIETI. 3 Desde la EMGM se contesta esta afirmación señalando lo siguiente: Actualmente la Escuela Mayor indica que tiene relación con diversas instituciones privadas y públicas a nivel nacional. Hasta 2006 fue una de las instituciones que ejecutó el Programa de capacitación del CND (Consejo Nacional de Descentralización) dentro del Proyecto Bilateral Perú España 2003-2006 liderado por la presidencia del Consejo de Ministros. Por otro lado, tenemos una relación estrecha y fluida con el Congreso de la República con su Comisión de Descentralización, Gobiernos locales y regionales con quienes realizamos actividades permanentes. Asimismo, la escuela está registrada en el Agencia Peruana de Cooperación internacional (APCI) y es reconocida como una institución especializada en Gobiernos locales estando inclusive registrada en Consejo Superior de Contrataciones del Estado (CONSUCODE). Finalmente, mantiene estrecha relación también con diferentes asociaciones de municipalidades de carácter regional y municipal. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 293 Programa de Evaluaciones 2006-2007 5.1.3. Complementariedad con otras acciones En el documento de formulación del “Programa de capacitación-Escuela Mayor de Gestión Municipal” se indica taxativamente que “este proyecto no forma parte de ninguna otra iniciativa existente, sin embargo, en algunas de las zonas de intervención están siendo ejecutados otros proyectos orientados a diferentes áreas. El Proyecto Escuela Mayor de Gestión Municipal complementará sus acciones en dichas zonas”, señalando algunas iniciativas concretas impulsadas por Ayuda en Acción (Arequipa), CARE (Piura) y Separ (Huancayo y Huancavelica). Más que con éstas, la evaluación considera que debería existir una clara complementariedad de los proyectos evaluados con algún otro impulsado desde la cooperación española. En concreto ésta ha apoyado la creación de una escuela de formación municipal en Cuzco, con la colaboración con el Centro Guaman Poma de Ayala y la Universidad de Cuzco, con un presupuesto de 405.000 dólares estadounidenses. No parece que se hayan establecido las sinergias adecuadas entre estas dos actuaciones con tantos puntos en común4. Evidentemente, los proyectos evaluados tienen una gran complementariedad con otras iniciativas llevadas a cabo por la propia EMGM. En el área de formación y capacitación la EMGM imparte una Maestría Internacional en Desarrollo Dustentable (3ª edición), un Diploma de especialización “Gestores Municipales” (6ª edición), un Diplomado en Comunicación para el Desarrollo de la Amazonía, el “Programa de formación sin distancias Gestión Estratégica Municipal” y la Escuela Mayor Virtual de Gestión Municipal. Algunos de los materiales que se utilizan en estos cursos se han elaborado gracias a las aportaciones del Ayuntamiento de Madrid. 5.1.4. Valoración de los colectivos beneficiarios y cobertura de la intervención Los colectivos beneficiarios de las intervenciones consideradas se encuentran escasamente definidos y, además, no parecen existir unos criterios claros de selección. Existe una cierta confusión acerca de quién debe ser considerado como el beneficiario directo de los proyectos evaluados. En un plano inmediato aparecen caracterizados como beneficiarios los propios responsables y técnicos de las diferentes municipalidades involucradas en los procesos de capacitación. De todas formas, se hace referencia también a la población total de las áreas de intervención, lo que resulta, cuando menos, algo abusivo. Tal y como se señaló en el capítulo 3, se hace referencia a unos 1.585 beneficiarios directos en la primera de las intervenciones (no se indica nada en la “reformulación” de que esa cifra variase) y 360 en la segunda fase, mientras que se habla de 3.000 beneficiarios indirectos y una población “afectada” de 3.088.512 personas en el primer caso y de otros 3.000 beneficiarios indirectos y una población total en la zona de 623.755 personas en el segundo caso. Las áreas de intervención resultan sumamente variadas e incluyen departamentos (y municipios) de la selva, la sierra y la costa, es decir, de todo el país. Más allá de la opción por “no trabajar directamente en Lima”, los criterios de selección son muy generalistas. Da la sensación de que, finalmente, es el interés de las propias Administraciones locales en participar en la oferta formativa el elemento determinante que establece que se trabaje en unas zonas u otras. 4 El comentario anterior se refiere al periodo de ejecución de las intervenciones objeto de la evaluación. Actualmente, la EMGM participa en el “Programa de Fortalecimiento de Capacidades para el Proceso de Descentralización” (CAPRODES) de la AECI, que con un presupuesto de más de un millón de dólares USA pretende fortalecer las capacidades de los recursos humanos de los tres niveles de gobierno en el marco del Plan Nacional de Capacitación del Consejo Nacional de Descentralización. Cooperación Ciudad de Madrid 293 12671 Colombia (FF) 294 3/3/08 13:31 Página 294 Informes de evaluación. Perú Los criterios incluidos en los documentos de formulación (zonas de pobreza y grandes contrastes sociales, corredores económicos propicios para generar procesos de generación de riqueza, zonas de selva y fronterizas, con gran demanda de asistencia técnica, de factibilidad institucional y operativa, pobladores autoridades y líderes que han demostrado gran interés en participar y existe una demanda específica de las municipalidades para ingresar a trabajar en sus zonas) resultan tan genéricos que servirían para definir a todo Perú. Da la sensación que son, de hecho, los dos últimos (demanda específica del municipio e interés de autoridades y líderes) los que establecen en última instancia donde se trabaja de forma efectiva. 5.1.5. Correspondencia entre los objetivos y algunos problemas existentes en la realidad Ya se indicó en el capítulo destinado a la valoración de las estructuras lógicas de intervención, que las estrategias puestas en marcha en el seno de la EMGM han apostado por intentar solucionar una serie de problemas que parece que son sólo una pequeña parte entre aquellos que limitaban la contribución de los Gobiernos locales a la lucha contra la pobreza. Obviamente, la evaluación es consciente de que ni se puede ni se debe pretender solucionar problemáticas tan complejas mediante intervenciones de desarrollo de las que están al alcance de las agencias y organizaciones implicadas, sino que este tipo de intervenciones debe contribuir a solucionar esas problemáticas apoyándose en las potencialidades existentes (como acertadamente se indicó en la EMGM). Sin embargo, puede ser interesante establecer algún apunte sobre estas posibilidades de contribución. Descentralización y pobreza: canales de influencia5 Descentralización Impacto político Participación Impacto político Impacto económico Estabilidad de Gobiernos locales Eficiencia en el uso de los recursos Vulnerabilidad Mejora de la orientación de los recursos Acceso a los servicios públicos Pobreza 5 Traducido y adaptado de: CAD-OCDE (2004) Descentralistion and poverty in developing countries. Exploring the impact. París: DEV/DOC (2004)05. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 295 Programa de Evaluaciones 2006-2007 El Comité de Ayuda al Desarrollo de la OCDE establece un esquema de las posibles vías de influencia de los procesos de descentralización en la lucha contra la pobreza. Así, sostiene que la descentralización puede contribuir a reducir la pobreza por dos vías complementarias como son el impacto político y el impacto económico. • Por el lado del impacto político, estos efectos pueden aumentar la participación por un lado y apoyar la estabilidad de los Gobiernos locales. El incremento de la participación contribuirá a “dar voz” a los verdaderos protagonistas del proceso (los usuarios últimos de estos Gobiernos locales), mientras que la estabilidad de dichos Gobiernos reducirá la vulnerabilidad de dichos colectivos, cuestiones ambas que redundarán en una reducción de la pobreza. • Por la vía del impacto económico, la descentralización puede generar una mayor eficiencia en el uso de los recursos, al tiempo que favorece la orientación de dichos recursos hacia los más vulnerables. Ambas cuestiones (eficiencia y orientación a los más vulnerables) provocarán un mejor acceso a los servicios públicos lo que tenderá a eliminar pobreza entre los usuarios finales. Partiendo de este esquema “en positivo” se puede tratar de reconstruir una estructura de las causas de la pobreza que enfrentan los usuarios de servicios de los Gobiernos locales (los destinatarios últimos de las intervenciones que se proponen). Dicho esquema se centra en aquellas causas que tienen que ver con la actuación de los Gobiernos locales, agrupando todas las demás causas de la pobreza en un “problema genérico” que no es objeto de análisis por lo aquí interesa. La evaluación también es consciente de la simplicidad y escaso apego a la realidad que tienen este tipo de esquemas, que se propone aquí solamente para intentar establecer una posible cadena de efectos que permita hacer mucho más visible la relación entre la enorme problemática de la descentralización y los Gobiernos locales y las soluciones que intentó aportar la EMGM en el periodo analizado. Siguiendo el esquema del CAD se podría establecer que hay tres tipos causas de esa pobreza que tiene que ver con los Gobiernos locales: • Escasa participación en la esfera política de las entidades locales y sus representados. • Alta vulnerabilidad de las entidades locales. • Difícil acceso a los servicios públicos. A su vez, podemos pensar que cada una de estas cuestiones tiene su origen en una serie de causas que podríamos listar como: escasa coordinación entre implicados, conflictos en competencias, desconocimiento de las mejores prácticas en materia de gestión de Gobiernos locales, estructura organizativa y procedimientos inadecuados en los Gobiernos locales para el servicio a la población, inestabilidad de los recursos humanos en los Gobiernos locales, ineficiente uso de los recursos existentes en los entes territoriales descentralizados, deficiente orientación/distribución de los recursos entre los colectivos, incumplimiento del mandato por parte de la Administración central, debilidades en la planificación de la gestión municipal, recaudación insuficiente para cubrir el presupuesto, débil influencia en las entidades privadas, etcétera. Con estos problemas se puede intentar establecer un esquema de relaciones de causa efecto como el que sigue: Cooperación Ciudad de Madrid 295 Cooperación Ciudad de Madrid Estructura organizativa y procedimientos inadecuados Excesiva centralización de la acción del Estado Deconocimiento de las mejores prácticas Inestabilidad de los RR HH en los Gobiernos locales Ineficiente uso de los recursos Debilidades en la planificación Insuficiencia de recursos para la gestión de las entidades Incumplimiento del mandato por parte de la Administración central Recaudación insuficiente para cubrir el presupuesto Débil influencia en las entidades privadas Díficil acceso a los servicios públicos Insuficiente información sobre población Deficiente orientación/ distribución de los recursos Orden terrirorial confuso Otras cuestiones relacionadas con la vulnerabilidad de las poblaciones en los países en vías de desarrollo 13:31 Conflictos en competencias Alta vulnerabilidad de las entidades locales 3/3/08 Escasa coordinación entre implicados Escasa participación en la esfera política de las entidades locales y sus representados 296 Pobreza 12671 Colombia (FF) Página 296 Informes de evaluación. Perú 12671 Colombia (FF) 3/3/08 13:31 Página 297 Programa de Evaluaciones 2006-2007 Las lógicas de intervención de los documentos presentados a la cofinanciación del Ayuntamiento de Madrid por parte de la EMGM (fase I, fase I “reformulada” y fase II) establecen unas cadenas de efectos que puede representarse de manera simplificada como sigue: O. general • Lucha contra la pobreza O. específico • Elevada la capacidad de gestión de las municipalidades Resultados • • • • • Hay planes de mejora Hay planes de desarrollo Hay personas capacitadas Hay publicaciones Se influye en la descentralización Actividades • • • • • Asistencia técnica Capacitación Publicaciones Pasantías Foro Nacional FINES MEDIOS La lógica de intervención así esquematizada guarda bastante similitud conceptual con el árbol de problemas que se ha construido partiendo del gráfico de canales de influencia del CAD, si bien obviamente el segundo representa situaciones positivas alcanzadas y el primero son elementos negativos. La principal diferencia entre ellos es lo que podríamos denominar “alcance” de los elementos que contiene: el paso de niveles inferiores a superiores en el árbol de problemas contiene elementos mucho más amplios que la estructura lógica de los documentos de proyecto analizados. Así, esta estructura lógica establece que mediante asistencia técnica, capacitación, publicaciones, pasantías y la realización de un foro nacional sobre descentralización6 se conseguirá un efectivo significativo en la lucha contra la pobreza, mientras que el árbol de problemas elaborado a partir del CAD indica que para influir en la pobreza con medidas de este tipo será necesario tener en cuenta otra serie de elementos de enorme importancia, como son el ordenamiento territorial, la información sobre la estructura, composición, actitudes, etc. de la población, la suficiencia de los mecanismos locales de recaudación que permitan contar con una recaudación que complete los presupuestos de las entidades locales, el cumplimiento de mandatos legales por parte de la Administración central, la existencia de planificaciones adecuadas en los Gobiernos 6 Desde la EMGM se precisa que el foro tuvo como propósito esencial presentar y discutir sobre presupuestos participativos. Cooperación Ciudad de Madrid 297 12671 Colombia (FF) 298 3/3/08 13:31 Página 298 Informes de evaluación. Perú locales, la estabilidad y calidad de los recursos humanos, la adecuación de procedimientos y de la estructura organizativa en los Gobiernos locales, el conocimiento de buenas prácticas, la coordinación entre implicados, etcétera. De todo este conjunto de elementos las intervenciones puestas en marcha por la EMGM pueden incidir notablemente en el conocimiento de prácticas adecuadas y mejora de la planificación mediante asistencia técnica, capacitación y pasantías y en el apoyo a la coordinación entre implicados con las restantes actividades, pero esto parece insuficiente para tener un impacto significativo sobre cuestiones como la capacidad de gestión de las municipalidades y mucho menos sobre la reducción de la pobreza que se conseguirá facilitando el acceso a los servicios de manera descentralizada. En definitiva, de la amplia variedad de alternativas que se pueden tener en cuenta para intentar contribuir a la lucha contra la pobreza desde la descentralización, las intervenciones analizadas seleccionaron unos instrumentos (asistencia técnica, capacitación, pasantías, etc.) que si bien es seguro que en alguna medida contribuyen a los objetivos superiores, probablemente no lo hagan de manera muy significativa. Junto a esto, los indicadores en todos los niveles que se incorporan a los documentos, que sería la posible manera de medir esa contribución, no resultan todo lo operativos que sería deseable. En el lado positivo cabe indicar que, como se comentará más adelante, esta cierta “renuncia” a la adecuación de la solución a los problemas y al mayor impacto puede suponer mayor eficacia y viabilidad por tratarse de instrumentos relativamente sencillos y con los que la organización demuestra estar altamente especializada. Así, la capacitación de responsables y técnicos municipales, la asistencia técnica en la elaboración de planes, etcétera, es posible que generen menor impacto sobre la prestación de servicios por parte de los gobiernos locales que, por ejemplo, la ordenación del territorio, el apoyo a la recaudación de estos municipios, las medidas tendentes a el establecimiento de incentivos (más allá de la formación) que permitan la estabilidad del personal, el apoyo a la resolución legal de conflictos sobre competencias, la dotación de medios (infraestructuras, equipos, ...) a los Gobiernos locales, y otras medidas similares. Sin embargo, las acciones seleccionadas en las intervenciones probablemente ganan en eficacia, eficiencia y viabilidad lo que pierden en pertinencia e impacto, pues son más sencillas de gestionar, en general suponen menores costes en recursos financieros y en tiempo (que no en recursos humanos especializados) que las alternativas y es más inmediato la capacidad de asegurar la sostenibilidad futura de los logros que se vayan obteniendo. Se trata, por tanto, de una estrategia que renuncia en alguna medida a los efectos inmediatos a cambio de la continuidad en el trabajo. Pero este proceder tiene otro riesgo: transformar los proyectos sucesivos en un “servicio” a los Gobiernos locales. Frente a las características de los proyectos que pretenden lograr cambios sustantivos en las situaciones existentes, que cuentan con un periodo de tiempo determinado en su ejecución, que se dirigen a colectivos previamente definidos de beneficiarios y que actúan en áreas territoriales perfectamente delimitadas, la EMGM corre el peligro de convertirse en un centro de servicios a los Gobiernos locales, donde se ofrezca capacitación a los responsables y técnicos municipales y servicios técnicos de consultoría a partir de unos procedimientos estandarizados y reflejados en una serie de guías y manuales que establecen metodologías de intervención en cuestiones de Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 299 Programa de Evaluaciones 2006-2007 descentralización (servicios de consultoría que compiten en el mercado con otras entidades y que solicitan una contraprestación en forma de subvención para su acceso). En principio, la evaluación no valora de forma negativa que ese riesgo actual de que la EMGM se convierta en un centro que presta un servicio (con vocación de permanencia en el tiempo y para un colectivo escasamente definido, ya que en realidad serían todos los técnicos y responsables municipales del país que demanden el servicio), sino que se limita a dudar de la conveniencia futura, en el caso de que el riesgo se concrete, de apoyar la prestación de servicios de formación y consultoría de una entidad privada determinada mediante la resolución de una convocatoria de subvenciones en régimen de concurrencia competitiva. En definitiva, la EMGM, frente a la amplia problemática de la incidencia de la descentralización en la lucha contra la pobreza, ha apostado por una estrategia (basada fundamentalmente en la capacitación y la asistencia técnica) que renuncia en cierta a medida al impacto a cambio de la eficiencia y el trabajo permanente. La adopción de esta estrategia hace que resulte difícil distinguir el efecto de los proyectos de la actividad cotidiana del organismo de gestión, por lo puede generar confusiones entre el propio proyecto y el “servicio”7. Como se comentará posteriormente, es muy posible que este proceder tenga también incidencia en la valoración de los criterios de impactos y viabilidad de las intervenciones analizadas. 5.2. Eficacia 5.2.1. Adecuada definición del objetivo específico y de los resultados Ya se ha comentado sobradamente que la lógica de intervención de las intervenciones analizadas tiende a ser débil. La relación entre actividades-resultados-objetivos no resulta muy directa, encontrándose con complejas formulaciones de objetivos que tienden a contener relaciones de medios fines entre los elementos que los configuran y resultados que en muchos casos sólo son una nueva expresión de las actividades. Los proyectos carecen en la práctica totalidad de las ocasiones de indicadores operativos y en la mayor parte de los casos no incluyen hipótesis ni análisis de riesgos. Hay que reconocer, en cualquier caso, que la mayoría de estos temas era contemplado de una manera muy superficial en los propios formularios propuestas por el Ayuntamiento en aquel momento. 7 Ésta es una cuestión que se produce con relativa frecuencia en la cooperación internacional para el desarrollo. Así, por ejemplo, resulta una constante en las intervenciones de microfinanzas, estrategia que por definición suele confundir el servicio que presta la entidad gestora (institución financiera) con los destinos de los recursos con los que pone en marcha y financia las primeras etapas de su actividad: • “El servicio” consiste en facilitar de forma permanente el acceso de los más desfavorecidos a los recursos financieros y se supone que eso es algo que tiene rentabilidad financiera para la entidad, por lo que no necesita acudir a la financiación de la cooperación internacional. Su criterio de éxito es la eficiencia. • “El proyecto” es la inversión necesaria para que la institución financiera comience a prestar el servicio que permite que los más desfavorecidos accedan a los recursos. Su mayor criterio de éxito es el impacto: que el acceso a esos recursos contribuya en alguna medida a que los más desfavorecidos salgan de la pobreza. En este tipo de intervenciones se supone que la cooperación internacional se retira una vez que la organización que presta el servicio alcanza su rentabilidad financiera como una forma de no confundir la eficiencia de la gestión con el impacto en la lucha contra la pobreza. Sólo si la operación se quiere replicar en otras zonas, con otros colectivos, se prepara otro proyecto, de ahí la importancia de la definición de objetivos, áreas, tiempos y colectivos beneficiarios como elementos que delimitan el proyecto del servicio. Cooperación Ciudad de Madrid 299 12671 Colombia (FF) 300 3/3/08 13:31 Página 300 Informes de evaluación. Perú 5.2.2. Nivel de logro de los objetivos y los resultados En las circunstancias anteriores no resulta sencillo pronunciarse sobre el alcance de objetivos y resultados. Así, inicialmente se pueden apuntar dos cuestiones: • Valorar el alcance de objetivos como “se habrá contribuido a elevar la calidad de la gestión de las municipalidades” o “se habrán disminuido los grados de vulnerabilidad de los Gobiernos locales” es, además de difícil, escasamente enriquecedor. Obviamente, casi cualquier transferencia de recursos a los Gobiernos locales o de conocimientos a sus responsables y técnicos puede contribuir a elevar la calidad de su gestión y a reducir su vulnerabilidad, más si tenemos en cuenta que la profesionalidad de la entidad ejecutora y de sus técnicos no presenta la más mínima duda para la evaluación. • Pero lo que en este punto interesa es si las intervenciones alcanzaron sus objetivos, y dado el escaso nivel de definición de los objetivos: ¿cuál y cuánta era la calidad inicial?, ¿en cuánto lo queríamos mejorar?, y la debilidad de sus indicadores no se pueden establecer conclusiones al respecto. • Por otro lado, e insistiendo en lo anterior, la evaluación no tiene la más mínima duda sobre la ejecución de las actividades y, por tanto, teniendo en cuenta que la mayor parte de los indicadores no son sino expresiones de actividades (por lo menos 360 personas capacitadas, seis asistencias técnicas para la formulación de planes de gestión, cuatro municipalidades cuentan con planes de fortalecimiento municipal, 16 pasantías de agentes municipales, dos planes de fortalecimiento institucional sistematizados, dos planes de desarrollo económico local sistematizados, etc.), se podría valorar la eficacia de positiva. • Otra cosa es si realmente se pretende hacer una indagación sobre el alcance del objetivo(s) específico(s). Cierto que las actividades se han realizado y es de suponer que con un alto nivel de eficacia dada la calidad de los equipos que las pusieron en marcha pero, ¿realmente en qué medida han contribuido a mejoras en la calidad y a reducciones de una vulnerabilidad que ni estaban cuantificadas en sus niveles iniciales ni se habían fijado las metas que se buscaban?8. Resulta claro que el contraste entre indicadores no ayuda en el caso que nos ocupa a la valoración de la eficacia. En esta situación se puede acudir a métodos alternativos. Con la intención de superar el problema anterior se puede, por ejemplo, plantear si las tácticas empleadas (dentro de una estrategia que ya se ha valorado en el capítulo de la pertinencia como adecuada pero lógicamente “parcial” dentro de la problemática que enfrenta y más volcada a la eficiencia que al impacto) acostumbra a ser la utilizada para contribuir a los objetivos que se plantean o lo que es lo mismo, ¿qué acciones se consideran habitualmente en el contexto de Perú que son válidas con el fin de mejorar la calidad de la gestión de los Gobiernos locales y reducir su vulnerabilidad? El proceso de descentralización que se puso en marcha en los primeros años de ejecución de las intervenciones que se valoran otorgaba a los Gobiernos regionales la misión de organizar y conducir la gestión pública regional, de acuerdo a sus competencias exclusivas, compartidas y delegadas, todo ello en el marco de las políticas nacionales y sectoriales (Ley Nº 27867, Ley Orgánica de Gobiernos Regionales). 8 Desde EMGM se indica al respecto: “Creemos que sí se han logrado esos objetivos, no es en vano la valoración y reconocimiento que la escuela ha logrado en cinco años”. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 301 Programa de Evaluaciones 2006-2007 Por otro lado, los Gobiernos regionales y locales, por mandato expreso de la Ley de Bases de la Descentralización, estaban obligados a promover la participación ciudadana en la formulación, debate y concertación de sus planes de desarrollo y presupuestos y en general en la gestión pública. Para ello se debían generar espacios de consulta, coordinación, concertación y vigilancia ciudadana que garantizasen la participación de la ciudadanía y sus instituciones. La Ley de Bases de la Descentralización asignó al Consejo Nacional de Descentralización (CND) funciones de coordinación en los procesos de descentralización que incluso fueron incrementadas en el nuevo Reglamento de Organización y Funciones (ROF) del CND, donde se asigna a esta institución la función de “coordinar los planes de desarrollo nacional, regional y local”. En el marco descrito, se puso en marcha el denominado Plan Nacional de Capacitación y Asistencia Técnica en Gestión Pública para el Fortalecimiento de los Gobiernos Regionales y Locales, donde se indica que estos instrumentos, capacitación y asistencia técnica se consideraban, durante la ejecución de las intervenciones que nos ocupan, medios eficaces para el fortalecimiento de los Gobiernos locales y los procesos de descentralización9. Además de las autoridades peruanas, buena parte de las agencias donantes compartían esa opinión en esos momentos. Así, un estudio de los mismos autores del documento anterior analiza la presencia de agencias donantes en el sector de la descentralización, indicando que la mayor parte de los grandes donantes en Perú tienen en marcha iniciativas de ese tipo en el periodo. De esta forma, entre otras agencias10: • USAID tenía en marcha un “Programa de Fortalecimiento a los Procesos e Instituciones Democráticas”. • COSUDE una Acción para la Descentralización y Gobiernos Regionales. • BID un “Programa de modernización del Estado y descentralización”. • La cooperación alemana, por medio de la GTZ y el KFW, estaba en proceso de evaluación de un Proyecto de Apoyo al Proceso de Descentralización. Las acciones emprendidas no sólo se consideraban eficaces en el periodo de estudio, sino que actualmente siguen resultando prioritarias en el impulso a la descentralización. Así, en la Agenda de la Descentralización 2006-2011 para relanzar y desarrollar la descentralización se indica como actividad urgente “poner en marcha un efectivo Plan Nacional de Capacitación y Asistencia Técnica para desarrollar en los Gobiernos regionales y las municipalidades las capacidades necesarias para la mejor gestión de las competencias a ser transferidas”. Sobre este plan se indica que “su implementación ha de comprometer tanto al sector público como al privado, así como a centros académicos y organizaciones no gubernamentales”. En función de lo anterior, se puede apuntar que aparentemente la asistencia técnica a las municipalidades y la capacitación de sus técnicos y responsables son herramientas que en el contexto del sector se consideran eficaces en los procesos de descentralización. 9 Un análisis al respecto se puede consultar en Valderrama M. y Negrón F. (2003) Fortalecimiento de capacidades en la gestión y planificación descentralizada del desarrollo. Cooperación descentralizada: documento de trabajo nº 5. Grupo Propuesta Ciudadana y Fondo para el Proceso de Transición Democrática de la cooperación alemana: www.cooperaregion.org.pe. 10 Valderrama M. (2003) El rol de la cooperación internacional en el proceso de descentralización y el fortalecimiento de los Gobiernos regionales. Cooperación descentralizada: documento de trabajo nº 1. Grupo Propuesta Ciudadana y Fondo para el Proceso de Transición Democrática de la cooperación alemana: www.cooperaregion.org.pe. Cooperación Ciudad de Madrid 301 12671 Colombia (FF) 302 3/3/08 13:31 Página 302 Informes de evaluación. Perú 5.2.3. Comportamiento de riesgos y presunciones Se ha apuntado en el capítulo destinado a la valoración del diseño que la estrategia puesta en marcha presenta numerosos factores externos, supuestos o hipótesis en su estructura lógica. De entre estos supuestos algunos fueron considerados en los documentos de formulación y otros se obviaron inicialmente y la evolución de cada uno de ellos ha sido diferente. Entre los que originalmente se establecieron destacan: Elementos a los que afecta Considerados riesgos Resultados a objetivos. Revocatoria de alcaldes y regidores. Resultados a objetivos. Año electoral. Resultados a objetivos. Endurecimiento de la política centralista del Gobierno. Actividades a resultados. Desconcentración de servicios públicos sin soportes financiero. Considerados presunciones Actividades a resultados. Compromiso de contraparte para poner en marcha planes. Precondiciones. Receptividad y demanda a las acciones formativas. Precondiciones. Demanda de asistencia técnica. Precondiciones. Conciencia creciente de Gobiernos locales de papel impulsor del desarrollo. Como ya se indicó, la evolución de las condiciones previas ha resultado conforme a lo previsto, existiendo una demanda de asistencia técnica y formación y una conciencia en los Gobiernos locales incluso mejor que lo previsto. Una de las condiciones previas que inicialmente no se consideró fue la evolución de los tipos de cambio, que tras algunos periodos de incertidumbre finalmente parece que no resultó excesivamente negativa para las intervenciones. En cuanto a los factores en el nivel de actividades a resultados la evolución ha sido peor de lo previsto, si bien la EMGM indica que esa evolución no ha tenido un efecto excesivamente negativo en el alcance de los productos. La EMGM también informó que la evolución de algunos factores externos entre resultados y objetivos fue peor que lo previsto, ya que efectivamente el Gobierno endureció su política centralista en la primeras fases de las intervenciones. Sin embargo el proceso de revocatoria no resultó especialmente negativo y las elecciones incluso fortalecieron las intervenciones, por lo que no son estos probablemente los elementos que suscitan dudas sobre el alcance de objetivos. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 303 Programa de Evaluaciones 2006-2007 Pueden señalarse otra serie de factores externos que podrían tener incidencia en las lógicas señaladas y que no se tuvieron en cuenta en el momento de poner en marcha las intervenciones. Así, en el nivel entre resultados y objetivos (que el producto de la asistencia técnica, capacitación, publicaciones y foro asegure mejoras en la calidad de la gestión municipal y que ello contribuya a la lucha contra la pobreza) se pueden contemplar toda una serie de elementos cuya evolución podría afectar negativamente a esa cadena lógica: recursos humanos suficientes en las municipalidades, acuerdo político para aprobar los planes, competencias están bien definidas y se asumen con claridad, las infraestructuras y equipos de las municipalidades son suficientes, existe cierta estabilidad en el personal técnico de las municipalidades, cumplimiento de compromiso de cofinanciación del Estado y otros implicados, se pueden asumir las competencias en recaudación y se recauda, hay capacidad y voluntad de pago por los servicios entre los usuarios, etcétera. Sin disponer de indicadores operativos sobre los objetivos y contando con la débil formulación de aquéllos, poco se puede decir sobre el efecto de la evolución de estos factores externos; sin embargo, algunos técnicos y responsables municipales consultados comentaron (en un ámbito general, no referido exclusivamente a los efectos de las intervenciones que se valoran) cuestiones como que el personal técnico se forma a pesar de contar con escasos incentivos para ello pero la inestabilidad laboral no facilita la aplicación de lo aprendido; que las autoridades centrales siguen sin facilitar la asunción de competencias de los Gobiernos locales y plantean problemas a la hora de cumplir con sus compromisos; que la escasa recaudación y los ingresos propios no les permiten contar con infraestructuras y equipos que faciliten la aplicación de planes, etcétera. En definitiva, resulta muy difícil pronunciarse sobre la eficacia debido a la débil formulación de resultados y lo escasamente operativo de los indicadores, si bien todo apunta a que los resultados se alcanzaron a pesar de que algunos factores externos han tenido una evolución negativa. Mucho menos puede decirse, por las mismas razones, del alcance de los objetivos. En cualquier caso la propuesta de las intervenciones parece considerarse por parte de todos los implicados un medio eficaz para el fin perseguido. 5.3. Eficiencia 5.3.1. Realización de actividades En opinión de la evaluación las actividades se ejecutaron conforme a lo previsto e incluso puede indicarse que la profesionalidad de los equipos de trabajo parece indicar que con unos elevados índices de calidad. Si bien el análisis de los recursos empleados y su relación con las actividades no es una de las prioridades del presente proceso de indagación, la evaluación no tiene dudas sobre la eficiencia de la EMGM en la aplicación de los recursos necesarios para la ejecución de las actividades que conducen a los resultados esperados. De acuerdo con las formulaciones presentadas, las actividades previstas en el documento “reformulado” fueron las siguientes: Cooperación Ciudad de Madrid 303 12671 Colombia (FF) 304 3/3/08 13:31 Página 304 Informes de evaluación. Perú A1.1.1. A1.1.2. A1.1.3. Taller con aplicación de un módulo de capacitación en dos municipalidades sobre formulación de planes. Asistencia técnica a dos municipalidades. Cuatro pasantías en un año de dos personas por municipalidad durante tres días a municipalidades modelo. A1.2.1. A1.2.2. Seis talleres en un año sobre gestión interna con tres municipalidades. Cuatro pasantías en un año de dos personas a municipalidades exitosas en gestión. A1.3.1. Edición de boletín especializado sobre gestión municipal y guías de orientación a municipalidades y una guía. A1.4.1. A1.4.2. A1.4.3. Convenio con universidades para puesta en marcha de programa de posgrado. Creación del fondo de seguimiento y asistencia a ex alumnos. Funcionamiento del fondo de seguimiento y asistencia a ex alumnos. A2.1.1. A2.1.2. Talleres con aplicación de un módulo de capacitación en cada una de las cuatro zonas en un año. Asistencia técnica a dos municipalidades en un año en proceso de elaboración de planes de desarrollo. A2.2.1. A2.2.2. A2.2.3. Asistencia técnica a dos municipalidades en un año que están ejecutando sus planes. Dos talleres de capacitación a profesionales de ONG que colaboren en seguimiento. Foro nacional sobre descentralización y Gobiernos locales. A2.3.1. A2.3.2. Talleres de un módulo desarrollo económico local en dos zonas priorizadas. Asistencia técnica a dos municipalidades por año en formulación y establecimiento de alianzas con entidades. El taller, la asistencia técnica y las pasantías dirigidas al primero de los resultados se realizaron conforme a lo previsto. Lo mismo se puede decir de los talleres sobre gestión interna y las pasantías correspondientes. El boletín especializado y las guías se realizaron, editaron y distribuyeron tal y como ha podido comprobar la evaluación. La EMGM dispone en la actualidad y, desde hace varias ediciones, de un programa de posgrado universitario, que si bien no se originó en las intervenciones que se analizan, no hay duda de que han influido sobre su desarrollo. Los talleres y asistencias técnicas a municipalidades para la preparación de planes de desarrollo y para la puesta en marcha de otros que ya estaban preparados se llevó a cabo con el apoyo de la intervención. El Foro Nacional sobre presupuesto participativo cuenta con apoyo del proyecto. Finalmente los talleres y asistencia técnica para el establecimiento de alianzas también fueron realizados. Las actividades que se enmarcaron en la segunda fase son las siguientes: Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 305 Programa de Evaluaciones 2006-2007 A1.1. A1.2. A1.3. Dos talleres con aplicación de un módulo de capacitación en dos municipalidades (Yurimaguas e Ilo). Asistencia técnica a las dos municipalidades con un viaje de un día a cada una y asesoría permanente desde la sede. Cuatro pasantías, dos por municipalidad, de dos personas en vistas de tres días cada una. A2.1. A2.2. Talleres de desarrollo económico local en cada una de las dos municipalidades. Asistencia técnica a las municipalidades de Iquitos y Arequipa (un viaje a cada zona) para alianzas con entidades públicas y privadas. A3.1. A3.2. Diseño, edición y distribución de dos boletines especializados sobre gestión municipal. Diseño, edición y distribución de una guía de diseño de gestión municipal. A4.1. A4.2. A4.3. Asistencia técnica a las municipalidades de Iquitos y Arequipa que están en ejecución de sus planes de desarrollo. Asesoría a Cuzco, Huánuco, Huancayo, Huancavelica, Trujillo y Piura. Un taller de capacitación en Lima a ONGD. A5.1. Planificación, realización y sistematización de un Foro Nacional de un día sobre descentralización. Al igual que en el caso anterior, las asistencias técnicas, pasantías y formación dirigidas al primer resultado se ejecutaron con el apoyo del Ayuntamiento; lo mismo en cuanto a los talleres de desarrollo económico y la asistencia técnica para establecer alianzas que se dirigen al segundo de los resultados. En este periodo se siguieron editando la guía y los boletines. 5.3.2. Utilización de recursos Se comentó anteriormente que el análisis de los recursos ejecutados no es uno de los propósitos fundamentales de la evaluación, si bien se puede apuntar que en la visita realizada no se recibió ningún comentario acerca de cualquier posible dificultad en la aplicación de dichos recursos más allá de las cuestiones ya repetidas sobre las alteraciones en los tipos de cambio de las monedas. La evaluación tampoco entra a valorar la suficiencia o necesidad de los recursos para la ejecución de las actividades ni, por supuesto, la “mecánica” de las soluciones técnicas puestas en marchas (adecuación del modelo de talleres elegido, validez de las pasantías, calidad de la asistencia técnica, etc.) pues tampoco es propósito de la indagación, si bien nuevamente hay que insistir en la elevada profesionalidad y experiencia de los técnicos involucrados. 5.3.3. Desviaciones temporales en la ejecución de las actividades No se han detectado desviaciones temporales de mayor entidad en la ejecución de las principales actividades planteadas en los documentos de formulación. 5.3.4. Organización de la ejecución Una vez recibida la financiación por AIETI en Madrid se procedió a replantear las actividades, para lo que jugaban un papel importante tanto los responsables de la EMGM como el personal de AIETI en Lima. Cooperación Ciudad de Madrid 305 12671 Colombia (FF) 306 3/3/08 13:31 Página 306 Informes de evaluación. Perú La unidad de gestión de las intervenciones estaba compuesta por la dirección del proyecto, la coordinación educativa, la coordinación de asistencia técnica, el personal de administración y contaduría y el de secretaría y conserjería. La valoración de todos ellos, así como del personal expatriado de AIETI, resulta muy favorable en la medida en que su experiencia y profesionalidad han permitido la correcta ejecución de la mayor parte de las actividades. En conclusión, se puede apuntar que la eficiencia entendida como la transformación de los recursos en productos se valora en términos generales como elevada en lo que respecta a la EMGM. En esta línea sólo restaría hacer un comentario, que incluso puede tener mayor importancia en el capítulo siguiente: la evaluación valora muy positivamente la eficiencia de la EMGM, pero le resulta muy difícil pronunciarse sobre la eficiencia de los proyectos concretos que se analizan11. Esto es así por las siguientes razones: • Resulta prácticamente imposible pronunciarse sobre “productividad” en la transformación de los recursos para asistencia técnica, capacitación y demás en unos productos (mejora calidad de la gestión municipal) que tienen unos grados de definición muy escasos. Si en la eficacia se citó la dificultad de realizar este tipo de contrastes con los objetivos e indicadores con que se contaba, la eficiencia debe insistir en la misma línea. • La eficiencia de la EMGM, entendida como entidad privada que presta una serie de servicios, es, a juicio de las evaluación, muy elevada. La transformación de los recursos recibidos por la organización en actividades es muy eficiente: capacitaciones, asistencias técnicas, materiales, etc., mostrándose como una entidad muy válida para prestar servicios de apoyo a los Gobiernos locales. • Sin embargo, no se debe confundir la eficiencia de la organización con la del proyecto. En un proyecto de desarrollo los objetivos, y por tanto los resultados, están relacionados con el colectivo al que se dirigen y, en el caso que nos ocupa, será más eficiente en la medida en que la asistencia técnica, las capacitaciones, etc. se apliquen, tengan una utilidad para el usuario. O lo que es lo mismo, no sólo hay que valorar en qué medida los recursos se transforman en actividades, sino también en la transformación de éstas en resultados, y como se ha insistido repetidamente, poco se puede decir del alcance de resultados y objetivos dada su débil formulación y la escasa operatividad de los indicadores con los que cuentan ambos elementos. 5.4. Impactos 5.4.1. Contribución de las intervenciones al logro de los objetivos generales Nuevamente la evaluación se enfrenta al problema constantemente citado de la debilidad en la formulación de objetivos e indicadores. Resulta prácticamente imposible pronunciarse sobre la contribución de un objetivo como la mejora de la gestión de los Gobiernos locales a la lucha contra la pobreza cuando los indicadores que se proponen para contrastar tales objetivos son cuestiones como “seis asistencias técnicas para la formulación de planes de gestión”, “cuatro municipalidades cuentan con planes de fortalecimiento municipal”, “16 pasantías de agentes municipales”, etcétera. 11 La EMGM considera que el breve tiempo disponible para la realización de la evaluación es la causa principal que explica la dificultad para abordar un análisis en profundidad sobre la eficiencia. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 307 Programa de Evaluaciones 2006-2007 Aun suponiendo que se cumple el indicador (que, insistamos, en el fondo no es más que un “comprobante” de una actividad), ¿que se hayan realizado seis asistencias técnicas para la formulación de planes de gestión y 16 pasantías indica que se haya mejorado la calidad de la gestión municipal?, ¿y que se haya contribuido a la lucha contra la pobreza? La evaluación no puede dar un a opinión contrastada sobre este punto. A pesar de lo anterior, y basados en lo que parece ser la opinión general al respecto de los expertos en estas cuestiones, podría concluirse que, aparentemente, la realización de asistencias técnicas, capacitaciones y pasantías (entre otras cuestiones) puede llegar a contribuir a la descentralización y esto, si seguimos la doctrina oficial del CAD en la materia, puede llegar a tener algún efecto en la lucha contra la pobreza. En cualquier caso, la evaluación asume que no puede emitir una opinión irrefutable sobre el tema. Mas allá de la meta final del objetivo general que se presenta en los documentos, el objetivo específico contiene varios elementos: “contribuir a la descentralización nacional, promoviendo el fortalecimiento de los Gobiernos locales y la sociedad civil, generando procesos de promoción del desarrollo local y combate a la pobreza”. Las dificultades apuntadas sobre la contribución a la lucha contra la pobreza pueden hacerse extensibles a los restantes elementos que contiene el objetivo. 5.4.2. Principales efectos positivos En las reuniones y entrevistas mantenidas se apuntaron algunos posibles efectos de las intervenciones realizadas: • Partiendo de la distribución de las guías de orientación a las municipalidades y de la formación en gestión municipal parece que se ha constituido una red entre los anteriores participantes en estos componentes que se intercambian información sobre la materia objeto de sus estudios. • Teniendo en cuenta que en la reformulación del primer proyecto se suprimieron las actividades tendentes al apoyo de los ex alumnos, puede asumirse que esta red sea considerada como un efecto positivo no esperado de los componentes aludidos. • Tal vez el efecto más llamativo que se comentó, muy en la línea de la sostenibilidad de las acciones que se comentará posteriormente, es que algunos regidores asuman como programa de trabajo los planes de desarrollo aprobados y que han comenzado a trabajar sus predecesores, aunque incluso sean de diferentes grupos políticos. • Algunos alumnos de las primeras promociones y participantes en las primeras capacitaciones se han convertido en formadores sobre la materia, replicando la formación que habían recibido con otros técnicos y responsables de Gobiernos locales. • Si bien era un efecto esperado, se ha conseguido crear espacios de diálogo entre los Gobiernos locales y los empresarios y la sociedad civil. Estos espacios incluso han llegado a formalizarse y forman parte de los consejos de desarrollo local que se establecen en los diversos ámbitos descentralizados. • Parece que las intervenciones puestas en marcha han contribuido en alguna medida a incorporar de forma permanente la participación de los diferentes actores en la planificación de las iniciativas de desarrollo. Aparentemente, la participación ha sido un valor importante para los diferentes implicados en los primeros esfuerzos planificadores puestos en marcha por la EMGM y ha sido adoptado en los Gobiernos locales de referencia como un principio de la vida municipal y del desarrollo local. • En la misma línea de participación, la normativa indica que para que los Gobiernos locales puedan elaborar el preceptivo presupuesto participativo hay que tener aprobado el plan de Cooperación Ciudad de Madrid 307 12671 Colombia (FF) 308 3/3/08 13:31 Página 308 Informes de evaluación. Perú desarrollo municipal, también de forma participativa. La formación y asistencia técnica llevado a cabo en el marco de las iniciativas ha facilitado el conocimiento de estas técnicas y la posibilidad de que algunos municipios puedan operar con este tipo de presupuestos. • Los planes de desarrollo iniciales parecen haber impulsado la realización de otros planes sectoriales más especializados y así, por el momento, parece que se están realizando procesos de identificación y formulación de intervenciones en el sector del turismo. • Adicionalmente, el proceso puesto en marcha por estas intervenciones parece que ha tenido influencia en el desarrollo de instrumentos y metodologías de planificación en el seno de la propia EMGM; así, el proceso ha originado importantes insumos para el desarrollo de la herramienta denominada “mapa de la riqueza”. • Finalmente, y no menos importante, los planes municipales elaborados a partir del trabajo en el marco de las iniciativas se han convertido no sólo en precedente sino en modelo de una práctica que en estos momentos está regulada por ley, pero que la ley no ofrece ni un modelo ni un procedimiento para elaborarlo, por lo que en muchas ocasiones el sistema de elaboración a seguir es el propiciado por los proyectos de la EMGM. La evaluación no ha identificado efectos significativos de los proyectos para contribuir a la igualdad de oportunidades en el acceso a los beneficios generados y en la toma de decisiones entre hombres y mujeres. Se impartieron algunas capacitaciones para promover la igualdad de género; una de ellas fue dada por AIETI en Tarapoto en el marco del proyecto. También se incluyeron contenidos para promover la igualdad de género en la totalidad de las capacitaciones. La participación de mujeres en las actividades programadas, el uso de lenguaje no sexista en los materiales y otros indicios al respecto sí permiten determinar que esos efectos no han sido negativos. 5.5. Viabilidad Parece importante insistir aquí, en la misma línea en que se hacía en el capítulo de la eficiencia, en que una cosa es la viabilidad de la institución (EMGM) y otra es la viabilidad de los proyectos o, lo que es lo mismo, que la viabilidad a que nos referimos hay que buscarla en la sostenibilidad de los objetivos y efectos de los proyectos y no en la rentabilidad de la EMGM. Nuevamente, la evaluación no tiene ninguna duda sobre la viabilidad de la EMGM, pero resulta muy difícil pronunciarse sobre la sostenibilidad de los objetivos y efectos de los proyectos, ya que la definición de estos objetivos y efectos es muy débil. ¿Hasta qué punto es sostenible la supuesta mejora en la calidad de la gestión de los Gobiernos locales (objetivo específico) en que se ha intervenido?, ¿pueden o han podido ponerse en marcha los planes de desarrollo formulados (resultado)?, ¿es sostenible la influencia que se haya podido conseguir sobre el proceso de descentralización del Estado (resultado) mediante la celebración de los foros nacionales de descentralización (actividades)?12. 12 Desde la EMGM se considera que las intervenciones sí son sostenibles y se señalan algunos ejemplos que, a su juicio, así lo demuestran. Como ha sido comentado anteriormente, los planes que se elaboraron durante la ejecución del proyecto han sido utilizados por gestiones ediles posteriores a las que participaron en el proceso de elaboración. Estos planes han sido utilizados para la formulación de los presupuestos anuales presentados al Ministerio de Economía y Finazas (MEF). Varias propuestas y servicios que se identificaron como necesarias en el proyecto se implementaron posteriormente, después de terminada nuestra intervención. Detallamos algunos ejemplos: • En Canchis, en el proceso de fortalecimiento institucional, se modificó la estructura orgánica municipal, creándose la oficina de desarrollo económico local. Posteriormente se elaboraron los instrumentos de gestión complementarios (ROF, MOF) de manera participativa. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 309 Programa de Evaluaciones 2006-2007 La respuesta a estas preguntas no es nada fácil, puesto que otra vez hay que volver sobre una cuestión crucial: ¿qué se entendía por mejora de calidad de la gestión?, ¿“cuánta” era la mejora que se quería lograr?, ¿cuáles eran los niveles iniciales de calidad?, ¿“cuánta” influencia y con qué estándares de calidad en esa influencia se quería lograr?13. 5.5.1. Políticas de apoyo Se ha comentado en numerosas ocasiones a lo largo de este documento que la apuesta del Gobierno por mayores o menores niveles de descentralización en Perú es un importante factor para la viabilidad de las intervenciones puestas en marcha. Parece obvio que trabajar en el fortalecimiento de Gobiernos locales mientras la política general del Gobierno apuesta por la centralización de las decisiones resulta un obstáculo para la viabilidad de los objetivos de los proyectos. También se ha comentado que en los primeros años de intervención las expectativas no podían ser muy optimistas debido al giro centralista de las estrategias del Gobierno de Fujimori; sin embargo, en los momentos actuales, las expectativas son bastante más positivas. Con todo, no se puede obviar que los Gobiernos locales tienen, lógicamente, un marcado cariz político y que las posibilidades de que los Gobiernos centrales apoyen los avances en, por ejemplo, la ejecución de los planes de desarrollo estarán en alguna medida condicionadas por la inclinación política de unos y de otros. Éste parece un problema de difícil solución que sólo se resolverá, aunque sea parcialmente, si se da un apoyo incondicional del Estado central a los procesos de descentralización. Y el problema se complica si se tiene en cuenta la existencia de varias instancias en lo que se puede llamar los Gobiernos regionales y locales, con intentos de llegar a unidades administrativas más amplias, con asociaciones de municipios, con competencias no totalmente definidas, etcétera. • En Mancora trabajaron con fuerza el tema del turismo. Para ser más atractivos turísticamente se creó el mercado artesanal (con el objetivo de evitar la venta ambulatoria en la principal vía de comunicación que atraviesa esa ciudad, que es la Panamericana Norte), se mejoró la iluminación y se creo un bulevar peatonal. • En Yurimaguas se implementó el programa permanente de capacitación del personal, la participación a la misma fue obligatoria, especialmente con el personal permanente. • En el caso de Junín, es necesario recordar que esta zona fue duramente golpeada por la violencia terrorista, destruyéndose mucha infraestructura productiva, económica y social. En esa zona se logró que los pequeños productores locales nuevamente empezaran a reagruparse y empezaran pensar el la producción local. Actualmente en esa zona se ha conformado una importante asociación de productores locales. El haber logrado que los alcaldes y autoridades locales presten importancia al desarrollo local y económico ya es un gran cambio en la gestión local. Es importante recordar que en esos años muchos equipos ediles consideraban que sus funciones eran simplemente la de limpieza pública, parque y jardines y policía municipal. En ese aspecto la Escuela Mayor ha contribuido muy positivamente poniendo este tema en agenda que posteriormente es recogido en la reforma constitucional y las leyes orgánicas de Gobiernos locales y regionales a partir de 2004. 13 La evaluación no se refiere a que estos conceptos no sean cuantificables y “medibles”, que por supuesto sí que lo son, sino que quiere indicar que en el momento de formular las intervenciones no se prepararon para ser medidas. Así, la influencia en el proceso de descentralización se podría medir a través de, por ejemplo, el crecimiento en el porcentaje de fondos que se destinan desde el Gobierno central a los locales en determinados temas tratados en el foro, de la misma presencia y número de intervenciones de responsables del Estado central en el foro, de la toma de determinadas decisiones de descentralización, etc. Del mismo modo, es evidente que existen innumerables indicadores de la calidad de la gestión municipal, pero inicialmente no se estableció ninguno que la evaluación pueda contrastar. Cooperación Ciudad de Madrid 309 12671 Colombia (FF) 310 3/3/08 13:31 Página 310 Informes de evaluación. Perú La buena noticia podría ser que, como ya se señaló, parece existir un compromiso general de las agencias de cooperación internacional para el desarrollo en la apuesta por la descentralización, aunque como comenta un especialista, se trata de una buena voluntad de unos 300 millones de dólares frente a los 10.000 de responsabilidad del Estado14. 5.5.2. Aspectos institucionales Hay varios aspectos que permiten ser optimistas en cuanto al efecto del factor institucional en la sostenibilidad de las intervenciones que se analizan: • AIETI parece ser un referente en la materia y sus relaciones con el cofinanciador y la entidad de ejecución es excelente. Adicionalmente el contar con personal en el país es una garantía de continuidad de los esfuerzos. • La EMGM resulta una entidad estable que, al menos, mientras permanezcan sus responsables parece que continuará el apoyo de las iniciativas puestas en marcha. • La evaluación fue informada por los responsables de la EMGM que la situación general de los municipios en los que se ha trabajado no es peor que en periodos anteriores. • Las intervenciones realizadas no incorporan inversiones fuertes en activos materiales que podrían poner en entredicho su trasferencia y capacidad de gestión de los nuevos responsables. La mayor parte de los activos generados son intangibles (conocimientos, métodos y procedimientos). En cuanto a las guías y manuales se podrían considerar como elementos de consumo. La evaluación desconoce, más allá de algunos comentarios de los responsables de la EMGM, si los Gobiernos locales han sido capaces de poner en marcha los planes de fortalecimiento institucional y de desarrollo local que les han quedado como producto de las intervenciones. Los escasos ejemplos que la evaluación tuvo oportunidad de visitar llevan a pensar que si bien con dudas, retrasos y dificultades diversas, los municipios van, muy lentamente, aplicando las recomendaciones emanadas de dichos documentos. Obviamente, las principales dificultades se refieren a la disponibilidad de financiación para acometer los proyectos que se incluyen en las propuestas. Frente a esto, parte de la estrategia propuesta en las intervenciones por la EMGM consiste en establecer alianzas entre el sector público y el sector privado para la financiación de las acciones propuestas en la planificación municipal. Ésta es, sin duda, una propuesta realista y razonable, pero que debe ser manejada con gran cuidado y como los propios responsables de la EMGM comentaron a la evaluación que no debe olvidar un componente básico en esa propuesta (ya al que son más reacios los participantes) que es la distribución de los recursos. Así, las alianzas establecidas entre el sector público y el privado pueden ser una condición necesaria en el contexto que se analiza para poner en marcha los planes de desarrollo, pero no es una condición suficiente. Como es lógico, el interés de las entidades privadas es la maximización del beneficio, mientras los municipios están obligados a la prestación de una serie de servicios a la población que no son financieramente rentables, por lo que no interesan al sector privado. Solamente la distribución de recursos entre ambos sectores en la búsqueda del interés del ciudadanos puede completar satisfactoriamente el modelo. 14 Valderrama M. y Negrón F. (2003) Manual de gestión descentralizada de la cooperación internacional. Grupo Propuesta Ciudadana y Fondo para el Proceso de Transición Democrática de la cooperación alemana: www.cooperaregion.org.pe, p. 14. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 311 Programa de Evaluaciones 2006-2007 Ante las dificultades del sector público centralizado para transferir recursos a los gobiernos locales, la capacidad y voluntad de las partes en el establecimiento de las alianzas y en la distribución de recursos son los elementos clave para poder asegurar que los productos de la asistencia técnica se ponen en marcha. Y es en este aspecto en el que la evaluación identificó más dificultades15: • Existe la voluntad por establecer alianzas en ambos sectores (público y privado) pero los incentivos no son iguales para ambos y, en el contexto actual, sin la mediación de los responsables de la EMGM no parece que se avance significativamente (si bien en algunos casos el sector privado ha llegado a colaborar incluso en la dotación de los presupuestos participativos). • También parece existir voluntad en los Gobiernos locales por mejorar sus sistemas recaudatorios para completar sus finanzas, pero ni la capacidad de pago de muchos usuarios está asegurada, ni la voluntad de los más poderosos parece, según comentan los propios regidores, que favorezca este aspecto (adicionalmente existen otra serie de dificultades para mejorar esta parte de la gestión, como es la ausencia de control tecnológico del catastro o la escasez de personal). En definitiva, si bien hay que destacar la fortaleza de las entidades implicadas en la gestión (AIETI y EMGM, fundamentalmente), la capacidad de los municipios para replicar e incluso desarrollar los productos obtenidos de la asistencia técnica y la capacitación puesta en marcha por las iniciativas aquí analizadas parece que no alcanza los niveles deseables, por lo que la ejecución de programas de fortalecimiento y de desarrollo de los municipios se realiza con más dificultades de las previstas. 5.5.3. Aspectos socioculturales No parece que existan factores de índole sociocultural que pongan significativamente en peligro la posibilidad de desarrollar los planes municipales formulados con el apoyo de los proyectos. En cuanto a la capacidad de réplica de la formación y la trasmisión y puesta en valor de los conocimientos adquiridos en los procesos de capacitación, nuevamente parecen presentarse algunas dificultades. Según informaron algunos usuarios, tanto el procedimiento como los plazos necesarios para conseguir la formación que se impartía en el marco de los proyectos por parte de la EMGM hacen que el acceso les resulte complicado: • En primer lugar, debían acceder a la información sobre la existencia de la formación y postularse para su participación, lo que ya resultaba complicado para algunos técnicos que residían en lugares de difícil acceso. • Por otro lado, las primeras formaciones eran presenciales, con un ámbito regional que suponían un elevado coste de desplazamiento para parte del alumnado, teniendo en cuenta que el ciclo total de formación era de 18 meses, excesivo según se comentaba para algunos técnicos “no nombrados” (eventuales en sus puestos, que no podían ausentarse mucho tiempo de sus puestos). Aparentemente, esta situación ha mejorado con los cursos virtuales, pero los usuarios anteriores que la capacidad de replicar la formación desde sus municipios hacia otros que no participaron en la formación es totalmente inexistente. 15 La evaluación tuvo la oportunidad de mantener algunas breves reuniones con regidores y técnicos de algunos municipios del norte de Perú (Máncora, Tumbes, Puerto La Cruz). Cooperación Ciudad de Madrid 311 12671 Colombia (FF) 312 3/3/08 13:31 Página 312 Informes de evaluación. Perú De esta forma, parece que la posibilidad de extender la formación a nuevos técnicos y responsables de otros municipios pasa por una de las dos vías: o hacerla virtual o poner en marcha un nuevo proyecto que pague la inversión y la subvención del precio del usuario (para el usuario el precio resulta elevado aun cuando esté parcialmente subvencionado por la cooperación internacional), lo que no habla muy a favor de la sostenibilidad de la formación realizada. En cualquier caso, los participantes en la formación soportan toda una serie de costes que van desde las tasas por matrícula hasta el transporte, pasando por el coste de oportunidad del trabajo, alojamiento y alimentación, materiales, etcétera. Algo similar se puede decir del Foro nacional o las publicaciones: la evaluación no tuvo constancia de que los productos obtenidos de esas actividades se hayan replicado sin acudir a financiación de la cooperación internacional. 5.5.4. Enfoque de género Ya se señaló en el capítulo de los efectos que no se identificaron actuaciones tendentes a mejorar las relaciones de género, si bien tampoco parece que éste vaya a ser un factor que haga peligrar la sostenibilidad de los efectos generados. 5.5.5. Factores tecnológicos No se ha identificado ningún tipo de problema en cuanto a la transferencia de tecnología por parte de los proyectos. La tecnología en unas intervenciones que transfieren intangibles debe entenderse como métodos, procedimientos, sistemas, herramientas, en definitiva, maneras de hacer las cosas. Si bien la EMGM plantea unos contenidos y esquemas tanto de formación como de consultoría que se pueden considerar muy nuevos, no ha parecido existir ningún impedimento a su apropiación por parte de los Gobiernos locales. Sólo en algún caso se informó a la evaluación de la demanda por parte de algunos de los participantes para que los casos analizados y las pasantías resultaran más cercanas a la realidad de las comunidades donde se desempeñaban. En cuanto a la formación ofrecida por el proyecto ya se ha comentado que los principales comentarios se referían más a las dificultades de acceso por las barreras económicas y las dificultades de la titulación que a la apropiación de los contenidos. 5.5.6. Factores ambientales Al igual que en el epígrafe destinado al enfoque de género, no se ha identificado ningún elemento que pueda favorecer o perjudicar la viabilidad desde el punto de vista ambiental. La propuesta no incluía inversiones en activos, ni proponía actuaciones sobre el medio más allá de los contenidos habituales de los planes de desarrollo. 5.5.7. Factores económico-financieros En primer lugar hay que destacar que a pesar de la amplia información disponible en la EMGM sobre Gobiernos locales y municipios concretos, no parece que existan estudios de factibilidad de las propuestas sugeridas en los planes municipales, de fortalecimiento municipal o de desarrollo económico. Estos planes concretan una serie de propuestas de intervención en diversos campos y la recomendación de establecer alianzas público-privadas para su financiación, sin Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 313 Programa de Evaluaciones 2006-2007 entrar al análisis de las posibilidades de ponerlos en marcha. El terreno de la factibilidad de llevar a cabo las propuestas de desarrollo podría ser de interés para la EMGM. En otro orden de cosas hay que insistir en que la sostenibilidad se refiere a los proyectos que se analizan y no a la EMGM, que no es sino el medio para ponerlos en marcha. En principio, la EMGM tiene cinco áreas de actuación (formación y capacitación, equidad de género y desarrollo local, desarrollo económico local, gestión del desarrollo local en convenio con los municipios y jóvenes y desarrollo local), que se financian por tres vías: las cuotas de los alumnos de la formación, los pagos por consultoría de los Gobiernos locales y la cooperación internacional. Actividad de la EMGM Principal fuente de financiación • Formación y capacitación • Gestión del desarrollo local • Desarrollo económico local • Jóvenes y desarrollo local • Equidad de género y desarrollo local • Cuotas de participantes • Convenio con Gobiernos (consultoría) • Cooperación internacional Esta confluencia de actividades y fuentes de financiación genera que exista una cierta confusión entre la EMGM y las intervenciones, o lo que es lo mismo, entre los servicios y los proyectos: • Los proyectos deben presentar un objetivo específico, dirigirse a un colectivo previamente determinado de destinatarios, centrarse en un área geográfica definida, contar con una fecha concreta de comienzo y otra de finalización y, sobre todo, suponer una inversión que genere un salto cualitativo, cuantitativo y de carácter permanente de una situación no deseada en el momento de formularlo a una situación deseable en el futuro para ese colectivo concreto. Por ejemplo, un proyecto puede consistir en que los ciudadanos de un municipio concreto puedan acceder en un plazo específico a un servicio o una serie de servicios municipales definidos expresamente con determinadas condiciones de calidad. • Estos proyectos pueden contribuir a mejorar y reforzar los servicios prestados por la organización, dotando a ésta de mejores medios, financiando la adquisición de nuevas herramientas técnicas, facilitando el acceso de sus técnicos a los emplazamientos de los proyectos, etc. Un servicio puede ser prestar asistencia técnica a los municipios. • Si bien están interrelacionados, el proyecto y el servicio no pueden ser lo mismo. En el ejemplo anterior, el proyecto concreto puede incluir un componente destinado a que los técnicos de la entidad puedan prestar asistencia técnica a la municipalidad para que su prestación alcance los niveles de calidad establecidos, pero esa asistencia técnica sólo es una parte del proyecto. • Si los recursos aportados por los proyectos se destinan al funcionamiento de los servicios que presta la institución, esto quiere decir que esos servicios resultan insostenibles, es decir, que se está subvencionando desde la cooperación internacional una actividad que no resulta rentable a los precios que se presta. No se entra a valorar aquí la “bondad” del proceder16, simplemente 16 La evaluación considera que la cooperación internacional no debe ser una fuente de financiación de los servicios de la organización por la vía de los proyectos. Si se considera que la organización presta un servicio de interés para el financiador se debería subvencionar directamente a la organización mediante algún tipo de apoyo no finalista (a la organización, no al proyecto: fortalecimiento de la organización). Y si se considera que los proyectos son de interés para el financiador se deberían subvencionar al prestador (municipio) o al usuario, no a la organización. Cooperación Ciudad de Madrid 313 12671 Colombia (FF) 314 3/3/08 13:31 Página 314 Informes de evaluación. Perú se intentan poner de manifiesto algunas dudas sobre la viabilidad económica y financiera de los proyectos. 6. PRINCIPALES CONCLUSIONES Se incluyen a continuación, de una forma sintética, las principales conclusiones que el equipo de evaluación propone después del ejercicio realizado. No se añaden explicaciones especiales a esas conclusiones, ya que se considera que los argumentos y datos que las sustentan se encuentran incluidos en los capítulos precedentes. La pretensión actual es ofrecer de manera ágil y rápida una relación de los principales hallazgos de la evaluación realizada, con el propósito de proponer elementos para la discusión y el aprendizaje de todos los actores implicados en estos proyectos. Las recomendaciones que se propondrán en el próximo capítulo están directamente vinculadas con estas conclusiones. Fortalezas 11. El área de trabajo es de alta pertinencia para la entidad cofinanciadora. 1 El fortalecimiento de las Administraciones locales constituye un ámbito clave para la gobernanza democrática, la participación ciudadana y el desarrollo institucional, tal y como señala el Plan Director de la Cooperación Española, así como un elemento que podría contribuir a singularizar la cooperación para el desarrollo apoyada desde el Ayuntamiento de Madrid. 12. Elevada competencia técnica de la ONG responsable de la ejecución de los proyectos. La Escuela Mayor de Gestión Municipal constituye una entidad formada por profesionales de elevada cualificación y gran experiencia en el trabajo con las municipalidad peruanas. 13. Alta calidad de los materiales pedagógicos elaborados dentro de los proyectos evaluados. En particular, el “Programa de formación sin distancias Gestión Estratégica Municipal” dispone de unos módulos adaptados a las necesidades del personal técnico de los ayuntamientos peruanos. 14. Desarrollo de metodologías participativas para lograr el fortalecimiento municipal y la implicación de las poblaciones con sus Administraciones locales. La elaboración de los “mapas de la riqueza” ha actuado como un elemento dinamizador de la vida municipal, siendo una herramienta en la que se podría insistir. Cooperación Ciudad de Madrid Debilidades 11. Escasa definición de los criterios de selección de las áreas de intervención y de los colectivos beneficiarios. Finalmente, los proyectos han actuado en todo el país (con excepción de Lima), con independencia de sus niveles de desarrollo. 12. La Escuela Mayor de Gestión Municipal no se encuentra vinculada orgánicamente con alguna entidad pública o de coordinación municipal. La EMGM es una organización privada, sin una relación estable con la Asociación de Municipalidades de Perú (en la actualidad con bastante problemas de representatividad), con el Consejo Nacional de Descentralización o con alguna otra institución de esas características. 13. Los objetivos y resultados de los proyectos están definidos de manera excesivamente genérica, sus indicadores son, generalmente, meras descripciones de actividades y la lógica de intervención es débil. Cierto es que la calidad mejora en la segunda fase, pero continúa presentando elementos escasamente definidos. 14. El análisis de los posibles riesgos que pueden afectar al proyecto resulta demasiado superficial. 15. Existe una gran dificultad para diferenciar las actividades que forman parte de los proyectos evaluados y aquellas que constituyen parte de los servicios impulsados desde la institución. 12671 Colombia (FF) 3/3/08 13:31 Página 315 Programa de Evaluaciones 2006-2007 Fortalezas 15. El establecimiento de redes entre las Administraciones locales peruanas a través de encuentros, de intercambios de experiencias y pasantías para conocer experiencias de éxito parece ser un efecto claramente positivo originado por las intervenciones analizadas. 16. Se considera de enorme interés el apoyo para la elaboración de planes de desarrollo local y presupuestos participativos, lo que ha contribuido a legitimar a las Administraciones municipales. 17. La sostenibilidad de las propuestas formativas a través del pago de la capacitación y de los convenios con diferentes municipalidades es un recurso interesante. 18. Se valora de forma positiva la existencia de acuerdos con instituciones oficiales que certifican los títulos otorgados por la Escuela Mayor de Gestión Municipal. 7. RECOMENDACIONES Debilidades 16. La sostenibilidad de los efectos esperados se basa en unos supuestos que difícilmente pueden cumplirse. La continuidad del personal en sus puestos de trabajo presenta grandes incertidumbres, así como la transferencia de recursos y competencias desde la Administración central a los entes territoriales. 17. La implicación de las diferentes autoridades públicas concernidas por los proyectos evaluados no parece ser muy importante, ya que sus aportaciones a las iniciativas puestas en marcha por la organización tienden a ser escasas. QUE PUEDEN EXTRAERSE DE LA EXPERIENCIA Teniendo en cuenta las conclusiones incluidas en el capítulo anterior, se proponen a continuación algunas recomendaciones que contribuirían a mejorar el desempeño futuro de intervenciones de características similares a las de las evaluadas. Estas recomendaciones se plantean de manera esquemática, ya que con ellas se espera promover el debate y la generación de procesos de aprendizaje entre los diferentes actores implicados en la puesta en marcha de estos proyectos: • El fortalecimiento de las Administraciones locales constituye un ámbito de trabajo básico a la hora de promover la participación de los ciudadanos en la gestión pública y la democratización efectiva de las estructuras del Estado. La experiencia de la EMGM es muy importante en ese sentido y debería constituir una de las bases para definir una estrategia de trabajo particular del Ayuntamiento de Madrid en ese sentido. Podría ser interesante la organización y celebración de unas jornadas de reflexión sobre la cooperación para el desarrollo en el ámbito municipalista que aportase elementos para la definición de una estrategia sectorial impulsada desde el propio Ayuntamiento de Madrid. • Resulta conveniente que una entidad como la EMGM, que básicamente presta servicios de capacitación y asesoría técnica a las municipalidades, amplíe su legitimidad reforzando su vinculación con alguna institución pública de reconocido prestigio y con competencias en el ámbito municipal o, mejor aún, con alguna entidad de coordinación de las Administraciones locales peruanas que presente autonomía de acción y capacidad de decisión sobre cuestiones comunes a los municipios. • En la línea de las recomendaciones anteriores, puede ser interesante que el Ayuntamiento de Madrid impulse o fortalezca una entidad pública (pues sus “socios” serían instituciones públicas, aunque dicha entidad estuviese sujeta a derecho privado) de coordinación de las Administraciones locales peruanas. Para ello puede también coordinar el apoyo de otras entidades locales o autonómicas en España. En esta línea, la experiencia de AIETI y la disponibilidad de oficina y personal en Perú le valida suficientemente para actuar como transmisor entre las Cooperación Ciudad de Madrid 315 12671 Colombia (FF) 316 3/3/08 13:31 Página 316 Informes de evaluación. Perú • • • • • • • entidades españolas y las peruanas, en el caso de que el Ayuntamiento considere que dicho apoyo no se pueda o deba hacer en forma de “ejecución directa”. Si se insiste en trabajar esta cuestión de descentralización y apoyo a Gobiernos locales por la vía de convocatorias de proyectos, deben acotarse en el futuro las áreas de intervención de los proyectos. Los procesos de fortalecimiento institucional variarán en función de las zonas de trabajo. No parece conveniente que, en un proyecto concreto, se seleccionen áreas de intervención tan dispares. Aunque resulta difícil, es imprescindible diferenciar los proyectos de las actividades vinculadas a los diferentes servicios prestados por la EMGM. Los proyectos deben presentar un objetivo específico concreto, que contribuyan a mejorar y reforzar los servicios puestos en marcha, pero no pueden confundirse con la prestación de éstos. Es importante reforzar la participación de las autoridades locales en la identificación de su situación y en la elección de las posibles soluciones. Ya se ha avanzado en ese sentido, pero es preciso asegurar la primacía del enfoque de demanda en este tipo de intervenciones. Deben ser las propias municipalidades las que identifiquen y diseñen sus propios proyectos de fortalecimiento institucional, ya que de esa manera se favorecerá la apropiación y la eficacia de las acciones emprendidas y se aumentarán las posibilidades de sostenibilidad. Los servicios de asistencia técnica (consultoría) de la EMGM pueden centrarse en la aportación de herramientas metodológicas, gestión de los procesos participativos y análisis de factibilidad de las medidas propuestas, pero no deberían influir significativamente en las decisiones sobre terrenos de actuación, sectores de intervención o instrumentos para su puesta en marcha en los planes de desarrollo local. Los proyectos deben poseer objetivos cuyo logro pueda ser valorado de manera inequívoca. Los objetivos de los proyectos evaluados resultaban excesivamente genéricos y no expresaban un cambio en la realidad analizada. Deben reforzarse los análisis de riesgos. Evidentemente, unos proyectos como los evaluados presentan una multiplicidad de factores externos, muchos de ellos de tipo político, sobre los que se tiene una escasísima capacidad de incidencia. En cualquier caso, el análisis de esos riesgos constituye un requisito fundamental para valorar la solidez de los diseños propuestos. Debería intentarse la eliminación del procedimiento de “reformulación” de los proyectos, tal y como ha sido descrito en el presente informe. Cooperación Ciudad de Madrid 12671 Colombia (FF) 3/3/08 13:31 Página 317 12671 Colombia (FF) 3/3/08 13:31 Página 318 12671 Colombia (FF) 3/3/08 13:31 Página 319 12671 Colombia (FF) 3/3/08 13:31 Página 320