EVALUANDO PROYECTOS DE COOPERACIÓN TRIANGULAR

DOCUMENTO DE TRABAJO
EVALUANDO
PROYECTOS
DE COOPERACIÓN
TRIANGULAR
SANTIAGO, 23 DE OCTUBRE 2014
DOCUMENTO DE TRABAJO
EVALUANDO
PROYECTOS
DE COOPERACIÓN
TRIANGULAR
Los contenidos del documento son productos del taller “Evaluando Proyectos de Cooperación Triangular”
realizado en octubre de 2014 en Santiago de Chile.
INTRODUCCIÓN
La evaluación de proyectos de Cooperación Sur-Sur y
Triangular es una de las fases del ciclo de gestión de
proyectos sobre la que menos se ha avanzado a nivel
internacional. Existe escasa investigación académica al
respecto y tampoco hay muchos casos concretos de los
que extraer experiencias.
Por otro lado, la Agencia de Cooperación Internacional de
Chile (AGCI) se ha marcado como desafío, la incorporación
El taller reunió a los principales socios
triangulares de AGCI
de un sistema de seguimiento/monitoreo y evaluación a su
gestión de proyectos, el cual se articulará a través de la constitución de una Unidad específica para dicho fin.
Para lo anterior, se ha iniciado un proceso para diagnosticar las necesidades al respecto y la definición de los
objetivos que se pretenden alcanzar. Si bien la gestión de proyectos en AGCI hasta la fecha se ha basado en
el modelo de PCM (Ciclo de Gestión de Proyectos, por sus siglas en inglés), utilizando principalmente el
marco lógico para estructurar el diseño de los proyectos y su posterior seguimiento, AGCI ha reconocido la
necesidad de definir un sistema más estandarizado y riguroso para tal fin. En cuanto a los proyectos
triangulares, la práctica más frecuente se ha basado en la aplicación de distintos modelos o sistemas de
seguimiento/monitoreo y evaluación, dependiendo principalmente de las metodologías proporcionadas por
los socios tradicionales, ya que a la fecha AGCI aún no ha desarrollado sus propias metodologías, modelos,
o estándares mínimos en la materia.
En ese marco, y con el objetivo de abrir un espacio para conocer y debatir en torno a las diferentes
metodologías de evaluación de proyectos triangulares que han puesto en marcha algunos de los principales
socios con los que la AGCI trabaja actualmente, el día 23 de octubre de 2014, se organizó en la sede de AGCI
el Taller “Evaluando Proyectos de Cooperación Triangular”.
Dicha actividad sirvió para conocer las estrategias, el enfoque y las metodologías de evaluación de la
Cooperación Española, la Agencia Alemana de Cooperación (GIZ) y la Agencia Japonesa de Cooperación
Internacional (JICA). Asistieron como invitados representantes de Argentina, Australia, Brasil, Canadá, Corea,
Estados Unidos, Francia, Israel, Nueva Zelanda y Suiza. Asimismo, participaron delegaciones de la Unión
Europea, del Banco Interamericano de Desarrollo (BID), del Programa de Naciones Unidas para el Desarrollo
(PNUD) y de la Organización para las Naciones Unidas para la Alimentación y la Agricultura (FAO).
Con el fin de contribuir al debate y la reflexión sobre la evaluación de proyectos triangulares, a continuación
se presentan de forma sintética las principales ideas y conclusiones obtenidas a partir del taller.
3
5
ESTRATEGIAS Y MARCO GENERAL DE LA EVALUACIÓN
DE PROYECTOS TRIANGULARES
Las Cooperaciones Española, Alemana y Japonesa se encuentran entre los principales socios de AGCI para
la puesta en marcha de proyectos triangulares. Por esta razón, resulta de especial interés conocer las
estrategias y acercamientos metodológicos con los cuales estos países han venido abordando la evaluación
de proyectos de cooperación en general, y de cooperación triangular en particular.
La Evaluación en la Cooperación Española
La evaluación en la Cooperación Española (CE) está alojada institucionalmente en la Secretaría General de
Cooperación Internacional para el Desarrollo (SGCID), institución responsable de planificar, evaluar,
supervisar y poner en marcha las evaluaciones de políticas, estrategias, programas y proyectos de la
cooperación española. Se trata de una Unidad independiente de la Agencia Española de Cooperación
Internacional para el Desarrollo (AECID), organismo responsable de la ejecución de los proyectos, con el fin
de ofrecer una mirada externa a los proyectos a evaluar y así asegurar una mayor calidad de las
evaluaciones.
La CE ha desarrollado una Política de Evaluación de la Cooperación, abogando por unos principios basados
en la independencia, imparcialidad, transparencia, credibilidad, utilidad, la eficiencia de la propia evaluación,
la participación y el refuerzo de capacidades, así como en la coordinación y complementariedad de las
distintas evaluaciones. Además, existen cuatro enfoques transversales que se asumen en cada una de las
etapas de gestión: género, derechos humanos, sostenibilidad ambiental y diversidad cultural.
Esta política responde fundamentalmente a tres desafíos de la evaluación: i) avances y fortalezas; ii) retos del
presente y; iii) los ámbitos de mejora. Su función es generar información robusta, que a su vez contribuya a
aprender, mejorar y transformar la gestión de proyectos y que ofrezca un instrumento para la rendición de
cuentas.
Dado que no se evalúan todas las acciones que lleva a cabo la CE, para determinar cuáles serán evaluadas
se emplea una variedad de criterios: por un lado se toma en cuenta qué potencial de generación de
información oportuna y significativa puede tener una evaluación; es decir, si la información generada posee
una naturaleza innovadora y si le puede ser útil a un determinado rango de personas u organizaciones. Por
el otro, se considera la relevancia que puede llegar a tener y se reflexiona sobre la ausencia o insuficiencia de
otras fuentes alternativas de información. Además se deben contemplar la oportunidad de la evaluación y su
viabilidad, especialmente en cuanto a la relación coste y resultados.
6
Respecto a la metodología, la CE no ha establecido una metodología específica para evaluar proyectos
triangulares, ya que tampoco cuenta con una única metodología de evaluación. Se trata de una decisión
consciente, pues considera que es conveniente definir si el acercamiento al tema se realizará por criterios
que se establecen en la Unidad de Evaluación, por determinado modelo teórico o por entrevistas a los
involucrados, dependiendo las preguntas a las que se quiera dar respuesta. Más allá de la metodología
específica, interesa determinar el enfoque específico de cada evaluación y de acotar las preguntas que se
precisan contestar.
Es fundamental que al momento de evaluar una acción, exista claridad del objetivo específico que se quiere
lograr a través de ella. Éste puede ser cuantitativo o cualitativo y no necesariamente tiene que cubrir todas
las fases del proyecto, sino que se puede enfocar en aspectos de interés muy puntuales.
Con todo, la CE considera la evaluación enmarcada en el ciclo de gestión de proyectos PDCA (Planificación
– Acción – Evaluación – Toma de Decisiones, por sus siglas en inglés), que entiende el seguimiento y la
evaluación como uno de las cuatro columnas fundamentales de dicho ciclo. Para que este ciclo funcione, la
interacción entre las partes es fundamental, de modo que la Unidad encargada de la ejecución debe hacerle
preguntas específicas a la Unidad de evaluación, asegurando que la evaluación tenga un enfoque relevante
para la gestión práctica.
En ese sentido, la tarea de la División de Evaluación consiste en ser un mecanismo para responder las
preguntas que la Unidad de acción/ejecución tiene en cuanto a sus acciones específicas. Asimismo, es
imprescindible que la entidad de evaluación les comunique sus resultados a los encargados de la toma de
decisiones con el fin de contribuir al mejoramiento de la gestión.
Por lo tanto, es fundamental que el seguimiento de las evaluaciones asegure que los resultados de estas
sean procesados y aprovechados por los responsables con fin de mejorar la gestión a futuro. Para ello es
indispensable que la información se dirija de manera adecuada a los destinatarios relevantes, definiendo
claramente a quién se le deben comunicar los resultados y con qué nivel de detalle.
Agencia Alemana de Cooperación (GIZ) y la evaluación de proyectos de Cooperación Triangular
Las primeras iniciativas triangulares en que participaron conjuntamente Chile y Alemania se remontan al año
2003, desarrollando alrededor de 20 iniciativas de pequeña escala, ampliando con esto el portafolio de
cooperación bilateral. Desde un inicio estuvo presente la motivación por aprender y perfeccionar
conjuntamente los alcances de esta nueva modalidad.
7
A partir del 2010, y con el creciente interés por esta modalidad de cooperación, se comenzó a operar a
través de un instrumento de carácter regional denominado “Fondo Regional de Cooperación Triangular para
América Latina y el Caribe”, al que los países de la región, incluyendo Chile, presentan sus respectivos
proyectos. Ese mismo año, la Cooperación Alemana comenzó a construir un sistema de evaluación adaptada
a la modalidad triangular.
En cuanto al marco general de evaluaciones para proyectos bilaterales de la Cooperación Alemana, se posee
una metodología que incluye, durante la fase de ejecución, una evaluación intermedia denominada Control
de Avance del Proyecto (CAP). Según la magnitud del proyecto, el CAP se puede realizar a través de
evaluadores externos o internos. Una vez finalizada la ejecución, se realiza una evaluación final y, en algunos
casos, dependiendo de la disponibilidad presupuestaria, se aplica una evaluación ex post, la cual se lleva a
cabo unos años después del término de proyecto. Para todas las etapas existe una variedad de indicadores,
cada uno con su respectivo medio de verificación y respondiendo a un objetivo específico.
Ahora bien, considerando la complejidad y desafíos que la cooperación triangular comporta, GIZ y AGCI se
propusieron generar un procedimiento conjunto de evaluación que fuera flexible y amplio. Se buscó
desarrollar un modelo aplicable con altos o bajos recursos, realizable por evaluadores internos o externos,
que se pudiera efectuar dentro de un plazo acotado mediante cuestionarios auto-aplicados o entrevistas
presenciales que requieren más tiempo. El objetivo es establecer un estándar mínimo para, a partir de ahí,
seguir desarrollando y mejorando el mecanismo.
Para ello, se elaboró una Guía para la Evaluación de Proyectos de Cooperación Triangular donde se propone
un esquema que relaciona los criterios del Comité de Ayuda al Desarrollo (CAD) de la Organización para la
Cooperación y el Desarrollo Económico1 (OCDE), (pertinencia, eficacia, eficiencia, sostenibilidad e impacto),
con aquellos del modelo de gestión Capacity Works
2
(estrategia, cooperación, estructura de conducción,
procesos y aprendizaje e innovación), el cual fue desarrollado por la GIZ, en base al análisis de 70 iniciativas,
con el fin de explorar los elementos que contribuyen al éxito de un proyecto. Junto a los precitados criterios
del CAD, son utilizados hoy no sólo para evaluar proyectos triangulares, sino que además para su diseño.
Este modelo actualmente está siendo aplicado de manera piloto a la evaluación de dos proyectos
triangulares y puede graficarse en la matriz que se presenta a continuación, la cual relaciona de forma
esquemática ambas tipologías de criterios de evaluación. Por ejemplo, tanto la estrategia como la
pertinencia se relacionan, en mayor medida, con los objetivos y definiciones realizadas al inicio del proyecto.
8
1. Para mayor información sobre los criterios de evaluación del CAD de la OCDE, ver:
http://www.oecd.org/development/evaluation/49756382.pdf
2. Mayor información disponible en: http://www.giz.de/expertise/html/4620.html
Capacity Works (CW)
Ámbitos de la
Evaluación
Estrategia
Cooperación Estructura
Procesos
Aprendizaje
e innovación
Objetivos
Pertinencia
Procesos
Eficacia
(Indicadores)
Criterios
Eficiencia
Sostenibilidad
Resultados
Impacto
C
A
D
Ilustración 1: Matriz de evaluación de iniciativas triangulares, GIZ
En la mencionada Guía se proponen dos instancias de evaluación, una a la mitad de la ejecución del proyecto
y otra al final. Asimismo, se proponen dos modalidades de aplicación de la pauta, a partir de los distintos
niveles de complejidad y coste de proyecto. La auto-evaluación grupal, realizada por la entidad ejecutora o
las instituciones participantes en el ejecución del proyecto, y la evaluación mixta, que es realizada por un
equipo evaluador mixto, que reúne personas que han participado en el proyecto, representantes de la
población beneficiaria y expertos/as externos/as.
Asimismo, a partir de la experiencia acumulada en la ejecución de proyectos triangulares, la GIZ junto a sus
principales socios, ha sistematizado un conjunto de aprendizajes y criterios adicionales para que un proyecto
tenga éxito, los cuales también se han ido incorporando al momento de evaluar las iniciativas. Algunos de los
criterios y aprendizajes identificados son:
•
Establecimiento formal de una estructura de coordinación y reglas de colaboración;
•
Respaldo político y jurídico en el país que se desarrolla el proyecto;
•
Constante flujo de información;
•
Rendición de cuentas.
•
Acompañamiento permanente y flexibilidad durante todo el proceso, entre otros.
9
La Metodología Japonesa de Evaluación de Proyectos Triangulares – JICA
Los procedimientos de evaluación utilizados por la Cooperación Japonesa están estructurados de acuerdo
a los criterios de la cooperación tradicional, aplicándose a todos sus proyectos, programas y cursos
internacionales, sean éstos bilaterales o triangulares. El propósito de la evaluación consiste por un lado en
mejorar la gestión de la cooperación japonesa y por el otro, en rendir cuenta a las contrapartes y los
beneficiarios de las iniciativs.
Utilizando los criterios de evaluación del CAD como base, JICA creó un esquema de evaluación
estandarizado, intentando que fuera simple, claro y lógico, de modo de permitir el menor espacio posible
para ambigüedades. Para lo anterior es fundamental un análisis preliminar reflejado en la matriz de marco
lógico. Los criterios CAD se aplican en distintas etapas del ciclo de proyecto, existiendo cuatro instancias de
evaluación a lo largo del mismo un proyecto: la evaluación ex-ante, intermedia, final y ex-post.
Este alto nivel de abstracción tiene la ventaja de ofrecer un procedimiento bastante universal, el cual tiene
una marcada orientación al aprendizaje. De sus resultados se extraen las lecciones aprendidas del caso
analizado, lo que se traduce a recomendaciones para futuras iniciativas y la mejora de gestión en general.
Generalmente las evaluaciones son desarrolladas por JICA en conjunto con los actores involucrados en la
iniciativa. No obstante, en casos de proyectos de gran envergadura, JICA encomienda el estudio a
especialistas externos.
Sin perjuicio de lo anterior, cada evaluación se desarrolla en tres etapas:
1)
Se planifica la evaluación, definiendo su objetivo, organizando la información
disponible mediante la matriz de marco lógico elaborada en la fase de formulación
del proyecto y se establece un plan de trabajo;
2)
Se recopilan, analizan e interpretan los datos, a partir de lo cual se elaboran
recomendaciones y;
3)
Está enfocada a la difusión de los resultados de la evaluación.
En concreto, JICA utiliza dos matrices para sus evaluaciones. La primera define el diseño de la propia
evaluación, mientras la segunda da cuenta de sus resultados. Dado que la evaluación de proyectos
triangulares generalmente conlleva una mayor complejidad al requerir la coordinación de tres actores, no
siempre se utiliza la matriz de diseño para iniciativas de esta modalidad.
10
La matriz de evaluación presentada a continuación refleja las etapas utilizadas por JICA para el diseño de su
plan de evaluación. En ella, elementos como las preguntas de evaluación, las bases de juicio, fuentes de
información y métodos de recopilación de datos son integrados, junto a los criterios del CAD, a la matriz de
evaluación que finalmente permitirá desarrollar el plan3 . Cada matriz debe tener cierta flexibilidad para llegar
al objetivo de cada estudio de evaluación.
Puntos de
Evaluación
Preguntas de Evaluación
Preguntas
Principales
Preguntas
Secundarias
Bases
de Juicio
Datos
Necesarios
Fuentes de
Información
Método de
Recopilación
de Datos
Verificación
de Resultados
Verificación
del Proceso de
Implementación
Relevancia
Efectividad
Eficiencia
Impacto
Sustentabilidad
Ilustración 2: Matriz de Diseño de Evaluación, JICA
Criterios
Preguntas
Respuestas
y Razones
Conclusión
Recomendaciones
y Lecciones
Relevancia
Efectividad
Eficiencia
Impacto
Sustentabilidad
Ilustración 3: Matriz de Preguntas de Evaluación, JICA
3. Para mayor información sobre lineamientos respecto a la evaluación de proyectos de cooperación,
ver: http://www.jica.go.jp/english/our_work/evaluation/tech_and_grant/guides/guideline.html
12
7
METODOLOGÍAS DE EVALUACIÓN DE PROYECTOS TRIANGULARES:
ESTUDIOS DE CASO DE TRES EXPERIENCIAS
Complementando los enfoques estratégicos y programáticos con respecto a la evaluación de proyectos de
Cooperación para el Desarrollo en general, y de Cooperación Triangular en particular, de tres de los
principales socios de AGCI, el segundo bloque del taller se centró en experiencias concretas de evaluación
de proyectos triangulares realizados en conjunto con AGCI. El objetivo de conocer casos concretos y las
metodologías empleadas, así como algunas conclusiones y lecciones aprendidas, permite contrastar
modelos y extraer experiencias que pueden resultar de gran utilidad para AGCI y su voluntad por instaurar
una Unidad de Monitoreo y Evaluación con acercamientos metodológicos más estandarizados, así como
para
otros
actores
asociados.
Fortalecimiento de la Función Pública en Paraguay con apoyo de AGCI y AECID:
El caso de una evaluación externa.
La evaluación del proyecto “Fortalecimiento de la Gestión y el Desarrollo de las Personas del Sector Público
al Servicio de la Ciudadanía de Paraguay” realizado entre AGCI, la AECID y la Secretaría de la Función
Pública (SFP) de Paraguay, se contempló desde un inicio del proyecto, siendo incluida como una de las
actividades del mismo y destinando los recursos necesarios para licitar y contratar una evaluación externa.
Los términos de referencia de la evaluación fueron elaborados conjuntamente entre AGCI y la Cooperación
Española, en los cuales se marcaban los objetivos que perseguía la evaluación:
•
Determinar el cumplimiento de los resultados del proyecto y la pertinencia de las líneas de
cooperación.
•
Identificar fortalezas y debilidades de la gestión del proyecto por parte del Fondo Mixto
Chile-España. A través de este último aspecto se busca concluir si la modalidad triangular
tuvo un efecto particular en el resultado del proyecto, y por lo tanto, si la Cooperación
Triangular fue la mejor manera para realizarlo.
Para enfrentar este doble reto, el equipo evaluador formuló varios objetivos específicos relacionados con los
resultados del proyecto: en primer lugar, se evaluó el cumplimiento de los resultados esperados; en segundo
lugar, los costos requeridos (tiempo, recursos humanos, materiales y monetarios) para conseguir dichos
resultados; en tercer lugar, la generación de recomendaciones para la sostenibilidad de los resultados del
proyecto y de las capacidades instaladas. Para ello se evaluó la pertinencia de las líneas de trabajo recogidas
en el proyecto, de forma de facilitar la toma de decisiones sobre su continuidad a futuro por parte de los
socios. Finalmente, se llevó a cabo un análisis de los roles de cada actor, así como sobre el proceso de toma
de decisiones, la coordinación y comunicación, tanto interna como interinstitucional, destacando las
fortalezas y debilidades en relación a la gestión del ciclo del proyecto.
13
En relación a los objetivos que persiguen la revisión de la modalidad de Cooperación Triangular, el abordaje
del problema se realizó mediante el análisis de los procedimientos y mecanismos de gestión internos del
Fondo Mixto en las diferentes etapas del ciclo del proyecto, detectando fortalezas y debilidades en relación
con la modalidad triangular, y en particular del Fondo Mixto. Además, se realizó una valoración de acuerdo
al cumplimiento de principios que debieran guiar los proyectos de Cooperación Sur-Sur y Triangular:
horizontalidad, equidad, consenso y aprendizajes compartidos.
La falta de una metodología para evaluar proyectos triangulares es uno de los principales desafíos a los que
se tuvo que enfrentar el equipo evaluador. Ante este escenario, desarrolló un procedimiento que permitiera
responder a valoraciones de carácter micro (el proyecto en sí), y macro (las ventajas y el funcionamiento de
la cooperación triangular) a la vez, enlazándolas a fin de evitar una fragmentación de la evaluación. Ambos
aspectos estaban orientados a extraer conclusiones específicas y generales.
Para definir la metodología de evaluación se tuvieron en cuenta dos marcos conceptuales: el referido a la
realización de evaluaciones ex – post de proyectos de desarrollo, y aquel relacionado con las investigaciones
realizadas hasta la fecha sobre acciones y proyectos de Cooperación Triangular. Sobre estos dos elementos
se llevó a cabo la selección de criterios y la formulación de las preguntas de evaluación.
Concretamente, se establecieron dos ejes principales para la evaluación: para el primero, se tomaron en
consideración 4 de los criterios del CAD para evaluación de proyectos (pertinencia, eficacia, eficiencia y
sostenibilidad4) . Para el segundo eje, orientado a extraer lecciones sobre el funcionamiento de la modalidad
triangular, se definió una serie de ‘factores de influencia’, tanto para los que dicen relación con los
procedimientos y recursos, como las relaciones y roles entre los actores. El sistema de análisis se resume en
el siguiente cuadro:
FACTORES DE INFLUENCIA
OBJETO DE EVALUACIÓN
PROCEDIMIENTOS Y
RECURSOS
• Institucionalidad
• Especialización
• Instrumentos
• Presupuesto y Coste
• Seguimiento
PROYECTO
• Pertinencia
• Eficacia
• Eficiencia
• Sostenibilidad
RELACIONES Y ROLES
ENTRE ACTORES
• Apropiación
• Horizontalidad
• Equidad
• Condicionalidad
• Complementariedad
Conclusiones
y Recomendaciones
Lecciones aprendidas e innocaciones en relación a la cooperación triangular
Ilustración 4: Factores de Influencia, Evaluación proyecto Fortalecimiento de la Función
Pública en Paraguay
4. El impacto no fue considerado en este caso por razones prácticas, pues para determinarlo se
requiere una evaluación con un alcance mucho mayor, que debiera realizarse una vez transcurrido un
período de tiempo mayor desde la finalización del proyecto.
14
En cuanto a las técnicas para la recolección de la información, en la evaluación se utilizaron entrevistas en
profundidad, estructuradas en torno a temáticas predefinidas que permitieron la construcción de matrices de
influencias y mapas de procesos. Asimismo, a partir de documentación interna y externa al proyecto, se llevó
a cabo un análisis sobre el comportamiento de los indicadores utilizados en la Matriz de Planificación del
Proyecto. Además, se recurrió a investigación bibliográfica de contexto e información publicada en
periódicos u otros medios.
El análisis de cada criterio permitió crear una matriz que permite enlazar la evaluación de los resultados del
proyecto con aquellos de la modalidad triangular. El análisis matricial de influencias revela el grado de
influenciabilidad que tiene cada uno de los cuatro criterios considerados, y hasta qué punto son
influenciadores los principios de la Cooperación Sur-Sur y Triangular.
INFLUENCIA DE
PERTINENCIA
EFICACIA
EFICACIA
SOSTENIBILIDAD
PROCEDIMIENTOS Y RECURSOS
INSTITUCIONALIDAD
ESPECIALIZACIÓN
INSTRUMENTOS
PRESUPUESTO Y COSTE
SEGUIMIENTO
RELACIONES ENTRE ACTORES
APROPIACIÓN
HORIZONTALIDAD
EQUIDAD
CONDICIONALIDAD
COMPLEMENTARIEDAD
Ilustración 4: Matriz de Influencia, Evaluación proyecto Fortalecimiento de la Función Pública en Paraguay
15
Gráficamente los resultados agregados se presentaron de forma simplificada en la tabla anterior: el verde
ilustra un impacto positivo, el rojo simboliza una influencia desfavorable y, para aquellos campos marcados
en gris, no se constató ningún impacto. Asimismo, el esquema ilustra de manera simplificada las
oportunidades y los riesgos de la cooperación triangular para este proyecto específico, permitiendo
sensibilizar a los actores con respecto a los factores a tener en cuenta en futuras iniciativas5.
Comparando la evaluación de dos proyectos triangulares con participación de GIZ-AGCI
A partir de la evaluación de un proyecto triangular realizado junto a República Dominicana (Promoción de la
empleabilidad juvenil en zonas urbanas y rurales desfavorecidas de la República Dominicana), y de otro con
Paraguay (Paraguay entre todos y todas – desarrollo social articulado en el territorio, que posee la
particularidad de contar con cuatro países socios, incluyendo Australia), es posible apreciar diferencias
significativas en los procedimientos y conclusiones a pesar de utilizar los mismos criterios de evaluación.
Ambas evaluaciones fueron realizadas por consultores externos que no forman parte del personal de GIZ ni
de AGCI, los cuales, sin embargo, participaron en diferentes momentos de la ejecución de los proyectos. En
ese sentido, se trata de un acercamiento a la evaluación de tipo mixta, combinando personas que han
participado en el proyecto y expertos externos.
Utilizando como base los criterios del CAD y aquellos de la metodología Capacity Works mencionados más
arriba (ver Ilustración 6: Matriz de evaluación de iniciativas triangulares, GIZ), las evaluaciones de proyectos
triangulares puestas en marcha junto a GIZ han sido abordados de forma diversa. Para la evaluación final del
proyecto con República Dominicana se decidió trabajar con métodos cualitativos, combinando los criterios
e indicadores antes mencionados con aprendizajes de la propia GIZ y el Ministerio de Cooperación
Económica y Desarrollo Alemán (BMZ).
Las preguntas específicas a contestar durante la evaluación apuntaban, en primer lugar, a conocer cuáles de
los resultados previstos en el marco de la intervención fueron logrados y cuáles no; en segundo lugar, se
examinaron cuáles resultados no previstos se produjeron y; en tercer lugar, se investigó qué otros resultados
se lograron, a los cuales la intervención contribuyó de forma directa o indirecta. Para lo anterior, se intentó
determinar el cumplimiento de los objetivos establecidos al inicio del proyecto, tanto el superior como el
objetivo específico.
En términos generales, el proyecto cumplió de manera importante los objetivos trazados inicialmente, siendo
5. El informe completo de la evaluación final de este proyecto, está disponible en:
http://www.cooperacionespanola.es/sites/default/files/informe_completo_evaluacion_triangular.pdf
16
un indicador de lo anterior la integración a la institucionalidad del país. El gobierno de República Dominicana
lo ha adoptado como política pública del país, apalancando recursos con el fin de ampliarlo a otras regiones.
Para ello, fue clave la estrategia de alta visibilidad que persiguió República Dominicana, complementada con
diversas publicaciones, lo que se tradujo en mayores recursos. Del mismo modo, tener interlocución al más
alto nivel político fue otro de los factores importantes para el éxito del proyecto.
En lo que se refiere a la modalidad triangular, la evaluación evidenció la dificultad de comunicar que se
trataba de una iniciativa en la que participaban tres socios. Sin embargo, se reconoce que el mismo hecho
de abordar la iniciativa a través de esta modalidad, permitió subsanar algunas dificultades que se
encontraron a lo largo de la ejecución. En ese sentido, se constató que un proyecto triangular ofrece un
mayor nivel de flexibilidad y adaptación que una iniciativa bilateral, factor clave en el empoderamiento y
apropiación por parte del socio beneficiario.
Por otro lado, la iniciativa Paraguay entre todos y todas, en la que junto con Paraguay, Chile y Alemania
también participó Australia, presentó desafíos considerables. En un contexto en el que tras seis décadas, el
gobierno cambiaba de orientación política, las negociaciones para poner en marcha el proyecto no se dieron
por el canal tradicional -las agencias de cooperación-, sino que por medio del contacto directo a nivel
presidencial entre Chile y Paraguay. Si bien esto, por un lado, contribuyó a un rápido avance del proyecto,
por el otro, provocó complicaciones con las respectivas agencias de cooperación.
También el hecho de contar con cuatro socios, cuyos respectivos reglamentos y burocracia se debieron
conciliar, incrementó el nivel de dificultad. Dichas circunstancias se enfrentaron con el rediseño permanente
de los tiempos de ejecución y manteniendo cierta flexibilidad en los objetivos, de forma de permitir realizar
los ajustes necesarios a lo largo del proyecto.
La metodología empleada en la evaluación final combinó cuatro miradas:
1)
Los criterios de los proyectos triangulares y de la Cooperación Sur-Sur (Chile-Paraguay) de
reconocimiento intercultural y construcción conjunta de objetivos.
2)
Los criterios CAD de la OCDE para evaluar proyectos de cooperación.
3)
Las claves del modelo Capacity Works de GIZ y la construcción de una red real de
cooperación de los actores en su implementación.
4)
Un esquema de influencia ascendente con el fin de constatar si los protagonistas del
proceso crecen en influencia para transformar instituciones y hacer crecer la proyección y
difusión de las nuevas prácticas construidas.
17
A partir de las evaluaciones de estos dos proyectos, además de otras iniciativas, la GIZ ha comenzado a
construir un modelo que guía la evaluación de proyectos triangulares en los que participa junto a AGCI. Es
decir, desde la práctica se han extraído aprendizajes y lecciones para ir avanzando y perfeccionando un
modelo que actualmente se está utilizando para evaluar iniciativas en Colombia y Honduras, y más adelante,
en El Salvador y otros países.
Metodologías de evaluación de proyectos triangulares y cursos internacionales.
La experiencia de JICA
Tal como se expuso anteriormente, JICA evalúa internamente todas las acciones que pone en marcha, sean
estas bilaterales, triangulares o cursos internacionales. Para ello utiliza, en términos generales la misma
metodología, basada en los cinco criterios del CAD (ver Ilustración 7: Matriz de Diseño de Evaluación, JICA).
La evaluación se inicia en la fase de diseño del proyecto con una rigurosa elaboración de una matriz de
marco lógico. Sin embargo, según se trate de cursos internacionales o proyectos triangulares, el proceso de
evaluación presenta ciertas particularidades.
Conforme a dicha metodología, en relación a los cursos internacionales, el análisis conducido se enfoca en
cinco aspectos:
1)
Estudio del logro de los objetivos;
2)
Evaluación de los resultados en base a los cinco criterios del CAD;
3)
Análisis de los resultados a mayor nivel de detalle, que nutren la elaboración de propuestas
de mejora con respecto al diseño del curso, sus contenidos, los materiales empleados, su
enfoque en la entrega de conocimientos, la selección de los participantes, la estructura de
implementación, sus costos, entre otros aspectos;
4)
Formulación de recomendaciones generales y;
5)
Lecciones aprendidas asociadas a la iniciativa.
Junto a la evaluación de los resultados según los criterios del CAD y la obtención de recomendación y
lecciones aprendidas, las evaluaciones de los cursos internacionales buscan identificar el estado de avance
de los planes de acción de las instituciones participantes de los cursos, con el fin de explorar potenciales
proyectos triangulares futuros.
El procedimiento de evaluación empleado por JICA para la evaluación de los cursos internacionales se inicia
con la sistematización de la información que se levanta a través de los informes finales de cada curso. Con
18
dicha información se elabora la matriz de evaluación, las encuestas u otras herramientas a aplicar y se define
qué lugar y quién recopilará la información necesaria. Finalmente se procesa la información recopilada y se
elabora el informe de evaluación.
En lo que se refiere a los proyectos triangulares, el objetivo del análisis es muy similar al caso de los cursos
internacionales. Definido en el Plan de Evaluación, consiste en evaluar el proyecto en base a los cinco
criterios del CAD, para entregar conclusiones, recomendaciones y lecciones aprendidas respecto al diseño
y la ejecución del proyecto.
Al igual que para la evaluación de los cursos internacionales, el marco lógico elaborado en la fase de diseño
de la iniciativa constituye la base del análisis. A lo largo del proceso de evaluación, ésta es complementada
por campos que dan cuenta del nivel de obtención de logros según indicadores anteriormente establecidos.
Dada la mayor complejidad que representa la evaluación de un proyecto triangular, cuya ejecución dura por
lo general tres años en el caso de los proyectos con JICA, la información para el análisis se extrae de distintas
fuentes: por un lado, a través de la revisión de los medios de verificación establecidos en los indicadores del
marco lógico; por el otro, mediante la percepción sobre el proceso, los resultados y los logros del proyecto
por parte de los participantes y las personas vinculadas al proyecto. Del mismo modo, la evaluación
considera la percepción de los beneficiarios finales. Toda la información relacionada a estas últimas dos
fuentes, se recopila a partir de encuestas y entrevistas.
A partir del análisis de esta información, se formulan las recomendaciones, enfocadas principalmente en la
sustentabilidad de los logros del proyecto y la posibilidad de llevar a cabo una iniciativa de cooperación
adicional.
19
CONCLUSIONES
CONCLUSIONES
A la luz de la experiencia de tres de los principales socios de AGCI en la ejecución de proyectos triangulares
y de algunos casos concretos anteriormente expuestos, es posible observar que en materia de evaluación,
no existe un único modelo cuando se trata de iniciativas llevadas a cabo bajo esta modalidad. Si bien, en
términos generales, los criterios del CAD utilizados para evaluar proyectos de cooperación tradicional guían
las evaluaciones triangulares, el acercamiento a las mismas difiere en cuestiones metodológicas, el diseño
de la evaluación, y los alcances esperados, entre otros.
La modalidad triangular pone de manifiesto complejidades que requieren un acercamiento distinto al de
proyectos bilaterales. En este sentido, por ejemplo la GIZ está en la búsqueda de un modelo general de
evaluación de Cooperación Triangular, compartido con los demás actores que participan en una
triangulación, y que pueda ser lo suficientemente flexible para ser aplicado a todos los proyectos en que
participa. La Cooperación Española si bien reconoce las particularidades de la Cooperación Triangular, no
está en la búsqueda de un modelo, pues su acercamiento es caso a caso. JICA por su parte, tiene un
enfoque más pragmático y enfrenta las evaluaciones de proyectos triangulares de forma similar a un
proyecto bilateral.
Asimismo, es compartido el hecho que las complejidades adicionales de la modalidad triangular implican
que es aún más importante definir claramente los objetivos de la evaluación y la posterior comunicación de
los resultados de ella a todas las partes involucradas. En ese sentido, es fundamental adaptar los contenidos
que se comunicarán como resultados según el destinatario del que se trate.
Independientemente del enfoque con que se lleve a cabo una evaluación de Cooperación Triangular,
pareciera haber cierto consenso que, además de “medir” y relevar los resultados de un proyecto particular,
la evaluación debe tener un fin de aprendizaje para corregir cuestiones vinculadas a la gestión, coordinación
y procedimientos propios de una triangulación. En otras palabras, el alcance de la evaluación no debiera
limitarse únicamente a evaluar el proyecto en sí mismo, pues es una importante oportunidad para valorar la
propia modalidad triangular. ¿Qué ventajas comparativas tiene la Cooperación Triangular?, ¿es más o menos
eficiente que un proyecto bilateral?, ¿varían los resultados de desarrollo si el proyecto es triangular?. En una
relativa ausencia de investigaciones empíricas sobre los alcances de la Cooperación Triangular, las
evaluaciones son una importante oportunidad para extraer aprendizajes que permitan perfeccionar la
modalidad, la cual ha ido ganando cada vez mayor protagonismo en el sistema internacional de cooperación,
en el contexto en el que los países de renta media buscan tener mayor influencia en el desarrollo.
22
Todas estas lecciones y aprendizajes son de gran valor para la Agencia de Cooperación Internacional de
Chile, sobre todo en un momento en que se está ultimando la Política de Cooperación Chilena y se espera
poner en marcha una Unidad de Monitoreo y Evaluación, tanto para los proyectos bilaterales (sur-sur), como
triangulares. Independientemente del enfoque sobre la evaluación que se adopte, se plantea un importante
desafío para la AGCI, pues junto con la puesta en marcha de la Unidad, en el caso de los proyectos
triangulares es necesario consensuar junto a los socios las metodologías y enfoques que guiarán las
evaluaciones.
23
Material desarrollado por la Unidad de Prensa de AGCI- Marzo 2015
16