Monitoreo y valoración del impacto Volumen 1: Procedimiento

Monitoreo y valoración
del impacto
Instrumentos a usar
en proyectos de desarrollo rural con
un enfoque en el manejo sostenible de la tierra
Volumen 1: Procedimiento
Karl Herweg & Kurt Steiner
2002
Synopsis
Monitoreo y valoración del impacto (MVI)
como parte de la gestión del ciclo del proyecto (GCP)
Pasos en la GCP Pasos en el MVI
Razonamiento y preguntas clave del MVI
Planificación
Planificación
Análisis de los
involucrados
Paso 1: Participación de
los involucrados y
manejo de la información
Razón: Empezar con el MVI participativo y preparar la
documentación de todo el procedimiento del MVI
Preguntas clave: ¿Quién participa en el MVI? ¿Quién
puede proporcionar información? ¿Quién necesita qué
tipo de información y de qué manera? ¿Cómo se difundirá
y almacenará la información para que ésta sea accesible
para todos?
Análisis
de problemas
Paso 2: Revisión del
análisis de problemas
Razón: Comprensión sólida del entorno del proyecto, sus
factores y las interrelaciones entre ellos
Preguntas clave: ¿Cuáles son los factores más importantes
del entorno del proyecto? ¿Cómo están vinculados? ¿Qué
papel tienen en el entorno? ¿Se está moviendo el entorno
hacia la sostenibilidad o se está alejando de ella?
Análisis de
objetivos
(Análisis de
alternativas)
Paso 3: Formulación de Razón: Predecir posibles impactos positivos y negativos
las hipótesis de impacto Preguntas clave: ¿Qué impulsos puede dar un proyecto
para obtener un desarrollo más sostenible? ¿Qué tipo de
impactos positivos y negativos podrían resultar?
Selección de
indicadores
Paso 4: Selección de los Razón: Preparar la línea de base y la valoración del MVI
indicadores de impacto Preguntas clave: ¿Qué indica cambios en el entorno del
proyecto? ¿Qué revela cuáles de las hipótesis de impacto
se materializarán? ¿Qué serie de indicadores mostrará si
los cambios lograrán el propósito y el objetivo del proyecto? ¿Se pueden usar indicadores locales? ¿Cómo se puede
seleccionar un número razonable de indicadores? ¿Cómo
se puede preparar la valoración del impacto?
Monitoreo
Paso 5: Desarrollo y
aplicación de métodos
de monitoreo del
impacto
Razón: Observación y documentación de los cambios del
entorno
Preguntas clave: ¿Cómo se pueden observar y documentar
los indicadores del entorno y del impacto? ¿Qué métodos
son aplicables con los medios y capacidades disponibles
en el proyecto? ¿Cuál es la mejor manera para combinar
métodos?
Evaluación
Paso 6: Valoración del
impacto
Razón: Interpretación de los cambios del entorno
Preguntas clave: ¿De qué manera cambió el entorno según
la opinión de los diferentes involucrados? ¿Qué aprendieron de estos cambios? ¿Indica lo aprendido que el proyecto ha estimulado importantes procesos sociales? ¿Cuáles
son las relaciones entre estos procesos y los objetivos (de
desarrollo)? ¿Qué procesos específicos deberían ser reforzados en el futuro?
Monitoreo y valoración
del impacto
Instrumentos a usar
en proyectos de desarrollo rural con
un enfoque en el manejo sostenible de la tierra
Volumen 1: Procedimiento
Karl Herweg & Kurt Steiner
2002
MONITOREO Y VALORACIÓN DEL IMPACTO
Instrumentos a usar
en proyectos de desarrollo rural con un enfoque
en el manejo sostenible de la tierra
Volumen 1: Procedimiento
Autores: Karl Herweg (CDMA), Kurt Steiner (GTZ)
Instituciones colaboradoras:
Centro para el Desarrollo y el Medio Ambiente (CDMA, Suiza), Deutsche Gesellschaft
für Technische Zusammenarbeit (GTZ, Alemania), Agencia Suiza para el Desarrollo y
la Cooperación (COSUDE, Suiza), Intercooperation (Suiza), Helvetas (Suiza), Departamento de Desarrollo Rural del Banco Mundial.
Colaboradores individuales (en orden alfabético):
Peter Bieler (COSUDE), Lukas Frey (CDMA), Markus Giger (CDMA), Matthias Görgen
(consultor), Charl Goodwin (Dep. de Asuntos Terrestres, RSA), N.R. Jagannath (COSUDE, Bangalore, India), Andreas Kläy (CDMA), Adrian Maître (Intercooperation, ATICA,
Bolivia), Peter Meier (COSUDE), Hans-Peter Müller (COSUDE, PDR Corea), Dieter Nill
(consultor), Cordula Ott (CDMA), Stephan Rist (CDMA), Jochen Schmitz (Helvetas), Kai
Schrader (consultor), Sigfrid Schröder-Breitschuh (GTZ), Francis Shaxson (consultor),
Thomas Stadtmüller (Intercooperation), Brigitta Stillhardt (CDMA), Georg Weber (Intercooperation, Nepal)
Diseño y maquetación: Lukas Frey; REYGrafik, Bern
Dibujos y caricaturas: Karl Herweg
Traducción del inglés: Kai Schrader
© CDMA & GTZ 2002
Por favor dirija sus comentarios, sugerencias, solicitudes, etc. a:
Dr. Karl Herweg
Dr. Kurt Steiner
Centro para el Desarrollo y el Medio Ambiente
GTZ
Steigerhubelstr. 3
Dag-Hammarskjöld-Weg 1-5
CH-3008 Bern
D-65760 Eschborn
Tel.: +41 31 631 88 22
Tel. y Fax: +49 6196 79 10 81
Fax: +41 31 631 85 44
Correo electrónico:
Correo electrónico: herweg@giub.unibe.ch
kurt.steiner@gtz.de
2
Índice
Índice
Agradecimientos
4
Prefacio
5
Sobre este documento
6
Aclaración de los términos
9
Enfoque hacia el monitoreo y la valoración del impacto
14
Seis pasos para el monitoreo y la valoración del impacto
17
Paso 1: Participación de los involucrados y
manejo de la información
19
Paso 2: Revisión del análisis de problemas
23
Paso 3: Formulación de las hipótesis de impacto
27
Paso 4: Selección de los indicadores de impacto
31
Paso 5: Desarrollo y aplicación de métodos
de monitoreo del impacto
39
Paso 6: Valoración del impacto
43
3
Agradecimientos
Agradecimientos
El documento en mano es una versión revisada de una publicación anterior: Manejo
sostenible de la tierra – Lineamientos para el monitoreo del impacto (Herweg, Steiner
& Slaats 1998). Estos lineamientos –publicados como documentos de trabajo para una
discusión pública– eran el resultado de la colaboración de agencias internacionales de
desarrollo, universidades e individuos de varios continentes. Desde el inicio, todos los
grupos compartieron la necesidad de disponer de instrumentos prácticos y de un sistema de monitoreo del impacto a buen precio, sobre todo en el área del manejo sostenible de la tierra. Este hecho hizo posible la reunión de una masa crítica de profesionales para hacer un uso óptimo del inmenso trabajo que ya se había realizado y de
esta manera evitar inventar la rueda de nuevo. Los autores quieren expresar su profunda gratitud a todos y todas aquellos que han dedicado parte de su tiempo a este trabajo, sea participando en talleres, sea asistiendo a la identificación de documentos
relevantes, sea escribiendo alguna parte o editando los lineamientos. Nuestras gracias
se dirigen también a muchos colegas en muchos países quienes muy críticamente revisaron, comentaron y aplicaron los lineamientos. Al mismo tiempo, los participantes en
varios talleres ofrecieron su tiempo tan valioso y los documentos de sus proyectos para
poder aplicar los lineamientos y revisar el procedimiento de monitoreo y valoración
del impacto (MVI) para hacerlo cada vez más práctico. Las divisiones de control de
COSUDE y GTZ han apoyado la presente versión con numerosos aportes útiles que
ayudarán a promover la mejor integración del MVI en la gestión del ciclo del proyecto (GCP). Nuestras más sinceras gracias van a todos aquellos que han contribuido al
presente documento, y por último, y no por ello menos importante, a COSUDE y a la
GTZ por su generoso financiamiento.
4
Prefacio
Prefacio
El uso sostenible de los recursos naturales ha sido aceptado como tema prioritario
en la agenda del desarrollo global desde hace mucho tiempo. Un número considerable
de convenciones y conferencias internacionales han destacado su importancia.
Al mismo tiempo, se están publicando informes sobre la permanente degradación
de la tierra y la pérdida de la fertilidad del suelo, lo que indica que el tema del manejo sostenible de la tierra (MST) está tratado de manera insuficiente y/o de manera no
efectiva.
La implementación de estrategias del MST se convierte cada vez más en un asunto
transversal para el desarrollo. Con buena razón, las estrategias económicas y de sustento se vuelven más eminentes, centrándose en situaciones donde todos ganen (multiple-win-situation). La inoportuna consecuencia de este hecho es, que muchas veces
ya no se realiza un seguimiento tan minucioso al monitoreo de los impactos sobre el
medio ambiente como antes. Como pasa a menudo en temas complejos faltan buenas
herramientas, indicadores y procedimientos para el monitoreo o no están disponibles
para su aplicación. En consecuencia, es crucial el desarrollo de un instrumento para el
monitoreo y la valoración del impacto (MVI) del MST, sobre todo porque el MST es un
asunto complejo que incluye aspectos socioeconómicos y biofísicos.
Con el instrumento presentado a continuación se quiere no sólo proporcionar una guía
detallada para ejecutar el monitoreo y la valoración, sino también estimular a los usuarios potenciales a dar un nuevo enfoque al MST de acuerdo con las prioridades de su
intervención. El procedimiento del MVI (Volumen 1) y la utilería relacionada (Volumen
2) demuestran que el instrumento presente responde a una necesidad sentida. Pero
también se espera que el instrumento despierte un nuevo interés para el monitoreo del
impacto en áreas donde el énfasis no está sobre el manejo de la tierra o aspectos medio
ambientales. El instrumento es el resultado de una recopilación de experiencias globales hechas en el campo, incluyendo a expertos de diferentes instituciones quienes
han probado su utilidad y ofrecido su valiosa aportación. Publicada en el año de la
Cumbre Mundial sobre Desarrollo Sustentable (Río + 10), la presente publicación es
oportuna y animará a todos los involucrados a conectar el debate sobre la política global con actividades en el campo.
Jean-Bernard Dubois
Director, Departamento de Recursos Naturales y Medio Ambiente
Agencia Suiza para el Desarrollo y la Cooperación (COSUDE)
Dr. Petra Mutlu
Directora, Departamento de Desarrollo Rural
Deutsche Gesellschaft für Entwicklungszusammenarbeit (GTZ)
5
Sobre este documento
Sobre este documento
Hay una discusión en marcha entre las agencias de desarrollo y sus contrapartes sobre
cómo se puede determinar el impacto de la cooperación al desarrollo. El documento
en mano sobre "el monitoreo y la valoración del impacto” es una contribución a esta
discusión. Ofrece una opción aplicable para tratar esta problemática en los proyectos
de desarrollo, pero no es la única.
Los usuarios
Este documento fue diseñado para responsables y técnicos de proyectos de desarrollo
rural y sus consultores. El Volumen 1 contiene una descripción de un procedimiento
para el monitoreo y la valoración del impacto (MVI), integrado en la gestión del ciclo
del proyecto (GCP). Para aquellos que necesitan una información más detallada, el
Volumen 2 ofrece herramientas, ejemplos, métodos de monitoreo seleccionados y
referencias adicionales. No existe un procedimiento universal, lo que significa que el
MVI tiene que ser adaptado a cada entorno local específico de un proyecto. El presente
documento facilita algunos ladrillos para la construcción de un MVI específico del proyecto.
Paso 1: Participación de los involucrados
y manejo de la información
Análisis de los
involucrados
Paso 6: Valoración
del impacto
Evaluación
Paso 2: Revisión del
análisis de problemas
Análisis
de problemas
Finalidad y
propósito
Planificación
Monitoreo
Análisis
de objetivos
Selección de
indicadores
Paso 5: Desarrollo y
aplicación de métodos de
monitoreo del impacto
Paso 3: Formulación de
las hipótesis de impacto
Paso 4: Selección
de los indicadores
de impacto
Gráfico 1: La integración del monitoreo y la valoración del impacto en la gestión
del ciclo del proyecto
6
Sobre este documento
El MVI como una parte integral de la gestión
del ciclo del proyecto
El presente documento enfoca el MVI como una parte de la auto-evaluación de un
proyecto, un instrumento de reflexión y aprendizaje para adaptar y mejorar las actividades del proyecto. Por esta razón, el MVI tiene que ser integrado en la GCP como un
instrumento de navegación para el control de calidad durante la existencia de un proyecto. Para una mejor integración en la GCP, el MVI ha sido dividido en seis pasos que
pueden ser añadidos a los procedimientos ya existentes de la GCP (véase Gráfico 1).
El MVI participativo
Un impacto se considera positivo o negativo, sostenible o no sostenible, etc., en función de quién lo valora (un agricultor, su mujer, un investigador, un político, etc.) y de
sus intereses (económicos, sociales, ecológicos). Un impacto puede ser positivo según
unos grupos de interés mientras que otros pueden considerarlo negativo. Esto demuestra que es imprescindible involucrar diferentes grupos de interés en el MVI, es decir
armonizar intereses sociales, económicos y ecológicos, seleccionar indicadores de
impacto significativos y valorar y discutir cambios e impactos desde diferentes puntos
de vista. Puede que un abanico de diferentes posiciones individuales no sea fácil de
manejar. Pero un análisis tan detallado desde diferentes puntos de vista también revela una variedad de oportunidades de desarrollo para un proyecto.
Para los involucrados en un proyecto de desarrollo, el MVI no es sólo un instrumento
de gestión sino un instrumento de aprendizaje sobre el entorno en el que uno está
inmerso. Un compromiso fuerte por parte de los involucrados durante todo el MVI
puede jugar un papel crucial en su empoderamiento. El MVI es una contribución al
fortalecimiento de capacidades locales porque ayuda a los involucrados a presentar
sus percepciones, a analizar, negociar y tomar decisiones en conjunto. El MVI participativo puede ir incluso más lejos, de manera que grupos de involucrados conduzcan
su propio monitoreo del impacto (por ej. PASOLAC / PROASEL: Evaluación Por Beneficiarios). Esto, de todas maneras, no es el tema de este documento.
El MVI eficaz en función de los costos
El documento en mano considera las limitaciones de tiempo y de fondos de proyectos
de desarrollo y sugiere sólo herramientas e instrumentos – ya puestos en práctica –
simples y eficaces en función de los costos. Los métodos científicos no están incluidos
ya que requieren especialistas que hagan uso de sus propias metodologías. Las
herramientas a buen precio no pueden ser tan exactas y precisas como los métodos
científicos. Entonces, la meta del MVI es encontrar indicaciones convincentes – y no
pruebas científicas – del impacto del proyecto. El procedimiento básico del MVI
debería ser ejecutado por el proyecto y sus participantes. Las preguntas adicionales
pueden ser respondidas mediante estudios específicos de universidades o consultores
locales.
7
Sobre este documento
Un enfoque temático
El Volumen 1 contiene una descripción general de un proceso de monitoreo y valoración del impacto, ya que esto puede ser utilizado por la mayoría de los proyectos de
desarrollo rural. En el Volumen 2, este procedimiento será complementado con ejemplos y herramientas del "manejo sostenible de la tierra” (MST), un componente importante del desarrollo sostenible. Estos ejemplos deberían ayudar también a proyectos de
otros sectores como salud, educación, infraestructura, etc. para poder adaptar el procedimiento básico del MVI a sus respectivas necesidades.
El proceso de la elaboración
del documento presente
En 1996/97, la Agencia Suiza para el Desarrollo y la Cooperación (COSUDE), la GTZ
(Deutsche Gesellschaft für Technische Zusammenarbeit), Intercooperation y Helvetas
(Suiza) y muchas de sus contrapartes expresaron su necesidad de herramientas prácticas para el monitoreo del impacto a nivel de proyecto. Hasta entonces, muchas organizaciones bilaterales y multilaterales ya habían realizado trabajos en este área, sobre
todo en referencia a marcos conceptuales e indicadores de sostenibilidad y manejo
sostenible de la tierra. En mayo y noviembre de 1997, una masa crítica de expertos
representando muchas organizaciones se reunió para diseñar una versión preliminar
de los lineamientos del monitoreo del impacto (MI) con enfoque en el manejo sostenible de la tierra (MST). Estos lineamientos MI-MST fueron distribuidos en inglés, francés y español en concepto de documentos de trabajo para la discusión pública después de julio 1998. Se pidió a muchos proyectos y consultores en todo el mundo que
probaran esta versión, que la adaptaran a su situación y compartieran sus aportaciones
para hacer el uso de los lineamientos más fácil y los lineamientos más aplicables a
situaciones de la vida real. Al mismo tiempo, el Centro para el Desarrollo y el Medio
Ambiente (CDMA, Universidad de Berna, Suiza) y la GTZ implementaron varios talleres de orientación en África, Asia y América Latina para compartir las experiencias en
el monitoreo y la valoración del impacto, y seguir desarrollando un procedimiento y
herramientas para el MVI. Las experiencias y los aportes de los años 1998 a 2001 formaron la base para la elaboración del documento en mano.
8
Aclaración de los términos
Aclaración
de los términos
No todas las agencias de desarrollo y autores usan los términos relacionados con la
gestión del ciclo del proyecto y del monitoreo del impacto de la misma manera. Por
esto queremos describir a continuación cómo se usan los términos en el presente
documento.
Proyecto: En todo el documento el término "proyecto” se refiere a un término
genérico para las acciones de desarrollo, en este caso, las actividades que fomentan el
desarrollo rural.
Entorno: Todos los proyectos de desarrollo existen en un entorno específico,
esto es su ambiente bio-físico, socio-cultural, económico, institucional y político. El
entorno abarca varios niveles, desde el nivel micro (nivel local) al nivel macro (política, economía, etc.) e incluye diferentes grupos de interés como los usuarios locales de
la tierra, grupos de mujeres, extensionistas, técnicos, profesores, especialistas de salud,
economistas, políticos, etc.
Cambio: Los cambios en un entorno son el resultado de la influencia de muchos
factores internos y externos (véase Gráfico 2). Los factores internos incluyen constelaciones de poder y mecanismos sociales de aprendizaje, adaptación, rechazo, etc.;
los factores externos como la economía nacional e internacional y diferentes políticas
también incitan cambios en el entorno. Un proyecto de desarrollo de por sí puede
ser considerado otro factor externo que fue expresamente diseñado para desencadenar
Intervención
del proyecto
Factores
internos
de cambio
Entorno
Factores
externos
de cambio
Gráfico 2: Los factores que contribuyen a los cambios del entorno de un proyecto
9
Aclaración de los términos
cambios en sectores específicos (por ej. en la agricultura, educación, infraestructura,
etc.).
Gestión del ciclo del proyecto: La gestión del ciclo del proyecto (GCP) indica que la duración de un proyecto de desarrollo es básicamente una
secuencia de fases, cada una consistiendo en la planificación, implementación, monitoreo y evaluación. Dentro de la GCP, el MVI es la herramienta que ayuda al equipo
del proyecto a mantener el contacto con el entorno del proyecto, a aprender continuamente lecciones de la implementación de cada ciclo y a adaptar el proyecto por
consiguiente.
Finalidad (la meta general): En un significado más amplio, la
finalidad es el último cambio deseado en un entorno, por ej. la mitigación de la pobreza, el manejo sostenible de los recursos, el empoderamiento de la población local, etc.
La meta no puede ser alcanzada solamente con un proyecto, pero un proyecto debería hacer una contribución significativa a alcanzar esta meta.
Propósito del proyecto (objetivo): El propósito del proyecto
es un objetivo más específico. Describe la contribución concreta de un proyecto a su
finalidad. Refleja el logro de una situación mejorada del entorno en el futuro. Se ha cumplido el propósito cuando todos los resultados del proyecto han sido alcanzados y todas
las suposiciones confirmadas. Lograr el propósito no es la solemne responsabilidad del
proyecto; sólo puede ser cumplido en conjunto con los participantes del proyecto.
Resultados esperados y desempeño:
El término "resultado
esperado” se refiere a la planificación del proyecto. Se corresponde con el término
"desempeño”, que describe un resultado a corto o mediano plazo que se alcanza como
parte de la responsabilidad de un proyecto. Alcanzar resultados está relacionado con
la eficiencia (funcionamiento, realización) del proyecto.
Impacto: El "impacto” consta de las consecuencias a mediano y largo plazo
que tiene un proyecto para el entorno y su población, sean deseadas (planificadas),
sean no deseadas. Incluso la presencia de agentes de desarrollo o la mera existencia
de un proyecto puede tener consecuencias. Se crean expectativas, los participantes
pueden cambiar sus actitudes, etc. sin que el proyecto brinde ningún insumo o realice ninguna actividad. Pero desde el momento en que se planifica un proyecto, el propósito y la finalidad reflejan impactos deseados. Por esto, muchas veces se relaciona
el "impacto” de un proyecto con su eficacia, es decir, su éxito en la contribución a su
meta. En el documento presente, se usa "impacto” como un término genérico para toda
una cadena de impacto (véase abajo); no está limitado a nivel de la "finalidad”. Ciertamente, un proyecto siempre desea impactos positivos, pero también pueden haber
impactos negativos. Además, los participantes puede que no consideren un impacto
enteramente positivo o negativo.
Cadena de impacto: El término "impacto” cubre un rango amplio de
consecuencias que puede ser considerado una cadena de impacto de conexiones que
se traslapan (véase Gráfico 3). La aplicación de los resultados del proyecto ya implica
la idea de un amplio impacto (por ej. la adaptación de un nuevo sistema de produc-
10
Aclaración de los términos
ción con una cobertura más amplia). Como consecuencia de la aplicación, se pueden
observar los efectos iniciales (desempeño, impactos directos; por ej. el rendimiento
aumenta, la erosión del suelo disminuye, etc.). Puede que estos efectos impliquen
tanto beneficios como inconvenientes (por ej. un mayor rendimiento tiene que poderse vender para aumentar los ingresos familiares). Esto puede estimular un proceso de
aprendizaje, cambiar las actitudes y percepciones de la gente, y provocar impactos
(indirectos) adicionales (por ej. las personas locales ganan confianza en ellas mismas
y aprovechan más su potencial). Al final, por lo menos algunos de los impactos deberían estar relacionados con la finalidad de la cooperación al desarrollo (por ej. empoderamiento de las personas locales, mitigación de la pobreza, etc.).
Planificación Resultado
Logros Desempeño
Propósito
Finalidad
Cadena de impacto
Aplicación
Efecto
Beneficio/Inconveniente
Impacto
Gráfico 3: La cadena de impacto
Monitoreo y valoración del impacto: Con el "monitoreo del
impacto” se puede referir a diferentes instrumentos, como a la valoración del impacto
ambiental / social (pronóstico) y estudios de impacto (evaluación retrospectiva del
impacto). En cambio, en este documento, se considera el "monitoreo y la valoración del
impacto” (MVI) parte de un proceso de auto-evaluación, un instrumento de reflexión y
aprendizaje para adaptar mejor las actividades del proyecto a un entorno cambiante. El
MVI incluye dos aspectos: la observación (monitoreo) y la interpretación (valoración)
del entorno cambiante y de las consecuencias del proyecto. Solamente una combinación de ambos aspectos proporciona un instrumento útil para el control de calidad en
la gestión del ciclo del proyecto. El monitoreo debería ser realizado de manera "objetiva” para establecer una base de información. La valoración implica la consideración
"subjetiva” de diferentes grupos de interés según sus percepciones individuales.
Brecha de atribución: Durante la planificación, un proyecto y sus
participantes definen la finalidad, el propósito del proyecto, los resultados esperados,
las actividades y los insumos (véase Gráfico 4). La primera responsabilidad de un proyecto es conseguir resultados; por esto, el desempeño puede ser relacionado con los
resultados esperados de forma relativamente clara. Pero más allá, la cadena de impacto (aplicación, efecto, beneficio / inconvenientes, impacto) necesita tiempo para desarrollarse, tiempo durante el cual el número de factores y sus interacciones aumenta.
Esto hace cada vez más difícil la atribución de un cambio a un único factor o proyecto. Esto se llama la "brecha de atribución”. Incluso con investigaciones costosas un
proyecto sólo puede reducir pero nunca cerrar esta brecha. En realidad, un proyecto
sólo puede establecer y demostrar relaciones plausibles entre sus actividades y los
cambios en el entorno.
11
Aclaración de los términos
Logros
Desempeño
Cadena de impacto
Aplicación
Efecto
Beneficio/Inconveniente
Impacto
Atribución
del impacto
Atribución clara
al proyecto
Brecha de
atribución
Gráfico 4: La brecha de atribución
Indicador:
El entorno de un proyecto es muy complejo y para volver manejable la planificación, el monitoreo y la evaluación, hay que simplificar esta complejidad. Para este propósito, se atribuyen a los componentes de un entorno y sus interacciones cantidades simples y mensurables, llamadas indicadores. Principalmente, en la
gestión del ciclo del proyecto se aplican dos tipos de indicadores. Los indicadores de
desempeño (cumplimiento) ayudan a observar y evaluar la eficiencia de un proyecto.
Se usan para determinar si se realizaron las actividades planificadas y si se lograron los
resultados esperados en un tiempo y con unos fondos dados. Los indicadores de
impacto se usan para observar y valorar la eficacia de un proyecto. Éstos describen si
el desempeño de un proyecto tiene consecuencias adicionales sobre el entorno y su
población, si son deseadas o no deseadas, positivas o negativas.
Si un indicador es considerado un indicador de cumplimiento o de impacto depende
de la formulación de la finalidad, del propósito y de los resultados del proyecto. Existe más bien una transición gradual que una diferencia clara entre estos dos tipos de
indicadores. Por ejemplo: puede que un proyecto agrícola que ayuda a desarrollar sistemas de producción mejorados use -para demostrar su eficiencia- como indicador de
cumplimiento la siguiente medida: "un 60 % de los campesinos han aumentado su
producción de maíz en un 20 % en 3 años”. Pero el mismo indicador también se refiere a unas conexiones de la cadena del impacto, como la "aplicación” de los resultados
(impacto amplio, área de cobertura) y "efectos” (aumento de la producción). Un único
indicador no puede describir suficientemente ni la aplicación ni el impacto de un proyecto. Entonces, el reto es seleccionar una serie de indicadores que cubra todos los
aspectos importantes del entorno y que a la vez sea manejable con los medios y capacidades dados de un proyecto.
Manejo sostenible de la tierra: El manejo sostenible de la tierra (MST) se refiere al uso sostenible de los recursos naturales (suelo, agua, vegetación
y animales) para la producción de bienes –para satisfacer las necesidades humanas
cambiantes– mientras se protege a la vez el potencial productivo de estos recursos a
largo plazo. La pregunta central del MST no es cómo mantener la naturaleza en un
estado original sino cómo coexistir con la naturaleza manteniendo de manera sosteni-
12
Aclaración de los términos
ble las funciones productivas, fisiológicas, culturales y ecológicas de los recursos naturales para el beneficio de la sociedad. El MST intenta armonizar los objetivos complementarios pero a menudo conflictivos de producción y protección ambiental.
Al contrario de la situación de hace unas pocas décadas, hoy día existen sólo unos
pocos países que todavía disponen de abundantes recursos territoriales para satisfacer
las necesidades de sus poblaciones crecientes. En la mayoría de los países, la producción debe ser aumentada e intensificada en tierras que ya están bajo cultivo y también
afectadas por la degradación de sus recursos. Además, en la mayoría de los países en
vía de desarrollo la mayor parte de las personas todavía se dedica a la agricultura,
ganadería, silvicultura y pesca; y su sustento y opciones para un desarrollo económico están directamente conectados a la calidad de su tierra y sus recursos. Para tales
sociedades rurales, el MST es la base para un desarrollo sostenible.
Las definiciones generalizadas no ayudarán a determinar si el manejo de la tierra en
un entorno de vida real – por ej. el entorno de un proyecto de desarrollo – se está acercando o alejando de la sostenibilidad. Más bien son los participantes los que deben
definir lo que ellos consideran "sostenible” para el entorno en cuestión. En el documento presente se enfoca el MST mediante las dimensiones sociales / institucionales,
económicas y ecológicas de la sostenibilidad. Esto significa para un proyecto de desarrollo rural que el manejo de la tierra se vuelve sostenible si hay progreso en todas las
dimensiones a la vez. Por ejemplo, los bienes y servicios brindados deben ser compatibles con las estructuras sociales locales (la dimensión social e institucional, adaptabilidad), el sustento de los participantes tiene que estar asegurado (la dimensión económica, viabilidad) y los procesos de degradación de los recursos deben ser minimizados (la dimensión ecológica, protección). Si hay un movimiento hacia la no sostenibilidad en una única dimensión, el desarrollo ya no puede ser considerado sostenible.
¡Timonel!
¿Todavía seguimos
el rumbo?
¡Sí, mi capitán!
Exactamente
según el plan.
¿Porqué?
Porque parece
que el ambiente
ha cambiado
algo…
RESO
PROG
13
El enfoque al monitoreo y la valoración del impacto
El enfoque al monitoreo y
la valoración del impacto
¿En qué grado ha alcanzado un proyecto de desarrollo su propósito y su finalidad? Esta
pregunta era el punto de partida para la elaboración del presente documento. Es fácil
perder de vista la finalidad al intentar cumplir todas las actividades planificadas y conseguir los resultados esperados. Realmente, según muchas agencias de desarrollo, los
proyectos se centran demasiado en el funcionamiento y el desempeño (eficiencia) y no
lo suficiente en el entorno (eficacia). Es importante preguntarse no sólo "¿Estamos
haciendo las cosas correctamente?” sino también "¿Estamos haciendo lo correcto?”
Las agencias de desarrollo justifican sus actividades en términos de impacto sobre el
entorno y los proyectos se justifican a ellos mismos mediante una buena ejecución. En
teoría, ambos aspectos –el desempeño y el impacto– están incluidos en la gestión del
ciclo del proyecto. De un lado, el entorno está reflejado en la formulación del propósito y la finalidad del proyecto, como por ej. el "empoderamiento”, la "mitigación de
la pobreza”, el "manejo sostenible de la tierra”, etc. De otro lado, el desempeño se
refleja en los resultados esperados. En la práctica, sin embargo, no se presta una atención suficiente al impacto. Por lo tanto, desde la perspectiva del donante es necesario
un cambio de paradigma –del cumplimiento hacia el impacto y de la eficiencia hacia
la eficacia. Desde la perspectiva de un proyecto surge la pregunta ¿cómo realizar este
cambio?
La gestión del ciclo del proyecto (GCP) ya ofrece instrumentos básicos pero requiere
herramientas suplementarias que ponen más énfasis en el entorno y el impacto. El Grá-
Instrumentos
de la gestión del
ciclo del proyecto
Planificación
Cumplimiento
Monitoreo
y evaluación
Impacto
Entorno
Resultado
Propósito
Finalidad
Desempeño
Aplicación
Efecto
Beneficio/Inconveniente
Impacto
Gráfico 5: La posición del monitoreo y la valoración del impacto
14
El enfoque al monitoreo y la valoración del impacto
fico 5 demuestra los instrumentos complementarios de la GCP de un proyecto: las actividades de planificación, por un lado, y el monitoreo y la evaluación (M&E) del cumplimiento, por el otro. La planificación toma una perspectiva más amplia del entorno
del proyecto al formular la finalidad y el propósito del proyecto. Después, se definen
los resultados y actividades concretas para cumplir el propósito y contribuir a la finalidad. Pero al contrario de la planificación, el M&E se centra más en el desempeño –es
decir, el cumplimiento– del proyecto (nivel de los resultados). Entonces, para restaurar
la visión más amplia del entorno que existía durante la planificación el M&E debería
ser complementado con el monitoreo y la valoración del impacto (MVI).
Los proyectos de desarrollo usan el MVI para adaptar mejor sus actividades a
un entorno cambiante.
Crear impactos positivos implica que se entienden lo suficientemente los factores básicos del entorno y su intercambio. En el mejor de los casos, un proyecto empieza con
una fase de orientación que proporciona un marco lógico para los participantes y el
equipo del proyecto para obtener una imagen clara del entorno, sus problemas y oportunidades. Sin esta fase de orientación, un análisis participativo del entorno sería el
requisito mínimo para una planificación relevante del proyecto. Asumiendo que se
hizo bien la planificación, el punto débil en la GCP sigue siendo el M&E. ¿Cómo
puede un proyecto observar permanentemente el entorno cuando ya está sobrecargado de tareas y se justifica mediante el desempeño de las mismas? ¿Valdría la pena
dedicar un 5 % de los fondos al MVI? Éstas son las preguntas que deberían ser respondidas por las agencias donantes mismas. Pero mientras tanto, los proyectos necesitan una herramienta práctica que les permita estar en permanente contacto con su
entorno.
Hasta que se aplican los resultados y se consiguen los impactos de un proyecto pasa
cierto tiempo durante el cual el entorno cambia. Cambiará de todas formas, con o sin
proyecto. Por un lado, existen mecanismos de cambio internos (específicos del entorno), por ej. procesos sociales como relaciones de poder cambiantes, aprendizaje, integración, adaptación, rechazo, etc. Por otro lado, existen factores de cambio externos,
como la economía nacional e internacional, diferentes políticas, etc. Es imprescindible ser totalmente consciente de que el proyecto es sólo un factor entre muchos y, por
fin, que un cambio en el entorno es el resultado de la influencia de todos los factores.
Eso hace muy difícil determinar precisamente un impacto, o sea atribuir un cambio a
un sólo proyecto. A pesar de esta "brecha de atribución”, cada proyecto puede observar y valorar los cambios de su entorno, buscar y demostrar relaciones plausibles entre
sus actividades y estos cambios, y aprender de estos cambios para modificar y adaptar
sus actividades en el futuro. El documento presente ha sido preparado para ayudar a
los proyectos a componer a su medida su propio sistema de monitoreo.
No existe un procedimiento universal –el monitoreo y la valoración del impacto tienen que ser adaptados a las condiciones específicas del proyecto y al
entorno local respectivo.
15
El enfoque al monitoreo y la valoración del impacto
Dolzer, H., Dütting, M., Galinski, D., Meyer, L.R., Rottländer, P. 1998. Wirkungen und
Nebenwirkungen. Ein Beitrag von Misereor zur Diskussion über Wirkungsverständnis und Wirkungserfassung in der Entwicklungszusammenarbeit: 178 p.
Germann, D., Gohl, E., Schwarz, B. 1996. Participatory impact monitoring. Booklets 14. Gate/GTZ.
Gohl, E. 2000. Prüfen und lernen. Praxisorientierte Handreichung zur Wirkungsbeobachtung und Evaluation. Association of German Development NGOs: 104 p.
Guijt, I. 1998. Participatory monitoring and impact assessment of sustainable agriculture initiatives. SARL Discussion Paper No. 1. IIED: 112 p.; London.
GTZ 1998. Monitoring im Projekt. Eine Orientierung für Vorhaben in der technischen
Zusammenarbeit. Eschborn.
Herweg, K., Slaats, J., Steiner, K. 1998. Sustainable land management – Guidelines for
impact monitoring. Working documents for public discussion. Workbook 79 p. and
Toolkit 128 p.; Bern.
Kirsch-Jung, K.P., Görgen, M., Nill, D. (eds.) 2000. Mesurer les effets des projets. Suivi
d’impact et calcul de rentabilité économique. Contributions de trois ateliers sur la
Gestion des Ressources Naturelles. GTZ, OE 45: 266 p.
Kläy, A., Huguenin, A., Hurni, H., Perich, I., Schläfli, K. 1994. Environmental assessment in development co-operation. Principles of ecological planning. Development
and environment reports 4: 46 p.; Bern.
McMay, V., Treffgarne, C. (eds.) (no date). Evaluating Impact. DFID, Education research,
Serial No. 35.
Mutter, T. 2000. Evaluieren NGOs anders? Die Folgen von Partnerautonomie und Organisationsgröße. Entwicklung und Zusammenarbeit, No. 12: pp. 351-353.
PASOLAC / INTERCOOPERATION 1999. Evaluación participativa por productores.
Programa para la agricultura sostenible en laderas de América Central; Doc. No.
216: 58 p.; Managua.
PASOLAC / INTERCOOPERATION 1999. Evaluación participativa por productores.
Programa para la agricultura sostenible en laderas de América Central; Doc. No.
200: 33 p.; San Salvador.
PASOLAC / INTERCOOPERATION 1999. Evaluación participativa por productores.
Programa Suizo con organizaciones privadas para la agricultura sostenible en laderas de América Central; Doc. No. 57: 30 p.; Tegucigalpa.
Roche, C. 1999. Impact assessment for development agencies. Oxfam: 308 p.
Swiss Agency for Development and Cooperation 1997. Monitoring – keeping in touch
with reality: 20 + 54 p.; Bern.
Swiss Agency for Development and Cooperation 2000. Integrating environmental
issues in planning, evaluation and monitoring: 59 p.; Bern.
Vahlhaus, M., Kuby, T. 2000. Orientierungsrahmen für das Wirkungsmonitoring in Projekten der Wirtschafts- und Beschäftigungsförderung unter besonderer Berücksichtigung armutsmindernder Wirkungen. GTZ, I and II: 30 + 66 p.; Eschborn.
16
Seis pasos para el monitoreo y la valoración del impacto
Seis pasos para el
monitoreo y la valoración
del impacto
Cómo empezar el MVI
• Si usted está diseñando y planificando un proyecto, o si su proyecto está en la fase
de orientación, empiece con el Paso 1: Participación de los involucrados y manejo
de la información.
• Si usted está ya llevando a cabo un proyecto, empiece con el Paso 3: Formulación
de las hipótesis de impacto.
Nota: Puede usar el marco lógico del proyecto para empezar el MVI, pero recuerde
que el MVI requiere mover el enfoque desde el desempeño hacia el entorno del proyecto. Un marco lógico existente, no obstante, está muchas veces más bien relacionado con el desempeño del proyecto. Para asegurar que el entorno está comprendido y
bien representado se recomienda fuertemente examinar otra vez el análisis de problemas y formular un amplio abanico de hipótesis de impacto.
Desde hace más de veinte años
estamos enfocando la mitigación
de la pobreza en esta región.
¡¿Oh, de verdad?!
17
Participación de los involucrados y manejo de la información
Paso 1
Paso 1: Participación de
los involucrados y manejo
de la información
Participación de los involucrados
La participación es una manera de involucrar las diversas percepciones, actitudes, opiniones y objetivos de los diferentes grupos de interés mediante negociaciones en un
entorno de la vida real. La diversidad de los participantes significa manejar intereses
opuestos, pero también incluye un potencial enorme de posibilidades para solucionar
problemas corrientes. Por lo tanto, una de las primeras tareas en la planificación del
proyecto es un análisis de los participantes que se puede usar simultáneamente para el
monitoreo y la valoración del impacto (MVI).
Un proyecto puede causar cambios en su entorno mediante sus resultados. Pero son
los participantes los que en realidad realizan el cambio mediante procesos sociales
como el aprendizaje, la adaptación, el rechazo, etc. Por lo tanto, es necesario que los
participantes estén involucrados activamente en el procedimiento del MVI desde su
inicio. Los participantes aportan sus profundos conocimientos y percepciones del
entorno al análisis de los problemas y alternativas (Paso 2). Suelen proveer una lista
larga de hipótesis de impactos positivos y negativos, que de otra manera el equipo del
proyecto podría haber pasado por alto (Paso 3), y proporcionan los indicadores locales (Paso 4). Los participantes se involucran activamente en la observación y la recogida de los datos (Paso 5), y los cambios del entorno no pueden ser valorados sin ellos
(Paso 6). Al final de la fase de un proyecto, los participantes abren nuevas posibilidades para mejorar el trabajo del proyecto.
La participación activa de los participantes durante el procedimiento del MVI
proporciona nuevas oportunidades para mejorar el trabajo del proyecto.
Manejo de la información
El MVI participativo sólo puede tener éxito si es transparente y si la información recogida es relevante para los diferentes grupos de participantes. Para cada grupo se debe presentar la información de una manera o con un medio apropiado y entendible. Al igual,
los medios de comunicación y de divulgación de la información se determinan en función de las necesidades de cada grupo. Finalmente, la información tiene que ser almacenada de tal manera que sea accesible para cada persona que tenga interés en ella.
19
Participación de los involucrados y manejo de la información
Le ayudará a estructurar el manejo de la información si responde a las siguientes preguntas-guía en un ejercicio participativo:
• ¿Qué grupos de interés participarán en el MVI (usuarios de la tierra locales, asociaciones de mujeres, el equipo del proyecto, estudiantes universitarios, etc.)?
• ¿Qué tipo de información pueden proporcionar (técnica, del trasfondo cultural, etc.)
• ¿Qué tipo de información necesitan / es relevante para ellos (técnica, económica,
etc.)?
• ¿Qué tipo de presentación prefieren (informes, discusiones, etc.)?
• ¿Cuál es la mejor manera para comunicar y divulgar la información (folletos, programas de radio, etc.)?
• ¿De qué manera debería ser almacenada la información para asegurar un acceso
permanente (bases de datos, archivos, etc.)?
¡Sólo veo a mujeres trabajando!
¿Cuál es su tarea?
20
Bueno, mire, llevo toda
la responsabilidad…
Participación de los involucrados y manejo de la información
Paso 1
Los grupos de interés y el manejo de la información
Grupo
de interés
Provisión de
información
Tipo de
información
requerido
Forma / medio Divulgación
preferido
Almacenamiento
Productores
(hombres)
Conocimientos
indígenas sobre
los recursos
naturales y su
manejo,
...
Información
técnica para
mejorar el sistema de producción,
...
Comunicación
oral, demostraciones prácticas,
...
Plataformas de
discusiones
informales,
folletos, tarjetas
de ficheros,
...
Por productor
y por representantes elegidos,
...
Productoras
(mujeres)
Educación de
los niños, almacenamiento de
comida, manejo de agua y
leña
Información
económica y
de gestión
para mejorar el
manejo del
hogar
Comunicación
oral, pequeños
folletos,
...
Asociaciones
de mujeres,
...
Por productora y por
representantes elegidas,
...
Autoridades
regionales
Estadísticas
demográficas,
mapas, informes de desarrollo,
...
Información
administrativa
para la planificación, manejo
de conflictos,
...
Informes, folletos, discusiones,
...
Talleres, sesiones de planificación, correos
electrónicos,
...
Archivos,
impresos,
bases de
datos digitales, en oficinas municipales y departamentales
Agencias inter- Servicios que
nacionales
se pueden ofrecer,
...
Información
estratégica
para formular
políticas de
desarrollo, proyectos seleccionados,
...
Informes breInformes, correves, resúmenes os electrónicos,
gráficos,
...
...
Metabases de
datos, Sistemas de Información Geográfica,
...
…
…
…
…
…
…
Preparación de la información del MVI
La tabla de "los grupos de interés y el manejo de la información” es el primer documento en el procedimiento del MVI. Para hacer el procedimiento transparente y repetible se debería documentar también cuidadosamente todo el MVI, lo que ya debería
ser preparado en esta fase. La documentación del MVI consistirá de información recogida durante cada paso, por ejemplo:
• ¿Quién usaba qué tipo de argumentos durante las discusiones de los grupos de interés? y ¿qué decisiones se tomaron? (Paso 1 y 2)
21
Participación de los involucrados y manejo de la información
• ¿Qué hipótesis de impacto, positivo y negativo, fueron formuladas? (Paso 3)
• ¿Qué indicadores de impacto fueron discutidos?, ¿cuáles fueron elegidos?, ¿cuáles
fueron sustituidos o modificados más adelante en el proceso del MVI? y ¿por qué?
(Paso 4)
• ¿Qué métodos de monitoreo fueron seleccionados?, ¿cómo fueron adaptados /
modificados durante el proceso del monitoreo? (Paso 5)
• ¿Quién fue entrevistado?, ¿cuáles fueron las preguntas? y ¿qué se observó?, ¿cuándo? y ¿dónde? (Paso 5)
• ¿Cómo fue recogida, interpretada y valorada la información? y ¿quién utilizaba qué
argumentos? (Paso 6)
• ...
Encuentre en el Volumen 2, Paso 1, referencias adicionales y una tabla vacía de
"los grupos de interés y el manejo de la información” para fotocopiar.
Germann, D., Gohl, E., Schwarz, B. 1996. Participatory impact monitoring. Booklets 14. Gate/GTZ.
Guijt, I. 1998. Participatory monitoring and impact assessment of sustainable agriculture initiatives. SARL Discussion Paper No. 1. IIED: 112 p.; London.
22
Revisión del análisis de problemas
Paso 2
Paso 2: Revisión del
análisis de problemas
El entorno del proyecto – un sistema vivo
¿Cuáles son los aspectos o factores más importantes del entorno del proyecto? ¿De qué
forma están relacionados? ¿Cuál es su papel en el entorno? El entorno, ¿se está moviendo hacia la sostenibilidad o alejando de ella? Antes de empezar una intervención de
desarrollo, se debería comprender muy bien el entorno del proyecto, es decir, su
ambiente biofísico, socio-cultural, económico, institucional y político. Una fase de
orientación deja suficiente tiempo para esto. Pero la mayoría de los proyectos tienen
que fiarse de un análisis algo corto que se realiza –ojalá– con los participantes que
conocen el entorno bastante bien. Un método muy común es el árbol de problemas
que requiere la selección de un problema central (el tronco), la definición de las causas (las raíces) y de las consecuencias (las ramas). Pero es crítico enfocar un solo problema con relaciones lineales y causales.
Los factores de un entorno –las personas, instituciones, recursos, etc.– están relacionados fuertemente entre sí y ni siquiera los expertos locales conocen todos los factores y relaciones. Los grupos de interés con sus prioridades distintas significan un grado
de incertidumbre e imprevisión adicional. Normalmente, un problema en semejante
sistema (por ej. la degradación del suelo) tiene causas y consecuencias complejas y su
"solución” (por ej. la conservación del suelo) también creará varios efectos colaterales,
tanto positivos como negativos. Por consiguiente, no se puede solucionar un problema
con un "pensamiento mecánico”, es decir tratar únicamente la causa más obvia. Ya que
no se puede predecir con mucha precisión las reacciones de un sistema, no se puede
esperar de un proyecto de entorno rural que proporcione soluciones simples. Sólo
puede proporcionar varios "impulsos” –promover la colaboración y la capacitación de
los participantes, introducir nuevas tecnologías, etc. – para estimular a las contrapartes a empujar el entorno hacia cierta dirección. Y como no es seguro que estos impulsos finalmente acaben en los cambios deseados, existe la necesidad de observar y valorar constantemente los cambios para decidir cuáles serán los próximos impulsos.
El entorno de un proyecto es un sistema vivo; implica un alto nivel de incertidumbre e imprevisión.
23
Revisión del análisis de problemas
Análisis del entorno
Analizar el entorno de un proyecto es un tipo de análisis de sistemas o redes. Se realiza con los participantes para involucrar una gama de diferentes perspectivas, conocimientos y experiencias. A corto plazo, puede resultar muy difícil ponerse de acuerdo
sobre una imagen común del entorno. Pero el debate sobre diferentes percepciones del
mismo entorno ayuda en una fase temprana a evitar reflexiones predeterminadas.
El análisis del entorno puede arrancar con el desarrollo de un diagrama de flujo (véase
Gráfico 6). Como punto de partida pueden servir los factores importantes (temas, problemas, oportunidades). Al inicio, es recomendable que el análisis sea amplio para no
olvidar ningún aspecto relevante. A parte de los factores existen diferentes tipos de
relaciones, por ej. flujos de información, energía, nutrientes, dependencias, etc. Se
pueden cambiar de lugar o sustituir los factores y sus relaciones hasta conseguir un
resultado satisfactorio, si éstos están apuntados en tarjetas. Se utilizará el diagrama de
flujos para identificar factores más y menos importantes, para clasificar relaciones fuertes y débiles y, por fin, para identificar posibles puntos de partida de las actividades del
proyecto. Esta discusión, interpretación y conclusión sobre la red contiene automáticamente hipótesis de impacto sobre el entorno a nivel más amplio (véase Paso 3):
¿Dónde puede intervenir el proyecto? ¿Qué pasará si interviene? Los desacuerdos
durante la discusión sólo indican la necesidad de aclaraciones adicionales. Pueden ser
considerados una riqueza de opciones alternativas para el desarrollo.
Política del uso
de la tierra
Deforestación
Fertilidad
del suelo
Disponibilidad
de agua
Erosión
del suelo
Higiene
Enfermedades
Gastos para
medicinas
Producción
agrícola
Ingresos
familiares
Mano de obra
familiar
Política
económica
Oportunidades
de trabajo
en la ciudad
Gráfico 6: El análisis de una red
24
Migración
Revisión del análisis de problemas
Paso 2
Mientras el árbol de problemas enfoca un problema central y las relaciones más bien
lineales, el análisis de redes o sistemas es más amplio y permite analizar interrelaciones complejas. Esta diferencia será esencial para todos los pasos siguientes del MVI,
desde la formulación de las hipótesis de impacto hasta la valoración del impacto.
Todos estos pasos requieren una visión amplia del entorno en vez de un enfoque estrecho sobre el problema central.
En el Volumen 2, Paso 2, se encuentra un ejemplo y una descripción detallada
de un "Análisis Participativo de Sistemas” y referencias adicionales.
Bellows, B. 1996. Indicators of sustainability. Workbook for the SANREM CRSP. Washington State University / University of Wisconsin.
Kläy, A., Huguenin, A., Hurni, H., Perich, I., Schläfli, K. 1994. Environmental assessment in development co-operation. Principles of ecological planning. Development
and environment reports 4: 46 p.; Bern.
Ahora, preguntemos a los pobres campesinos:
¿Cuál es su problema?
El enfoque de múltiples participantes
25
Formulación de las hipótesis de impacto
Paso 3
Paso 3: Formulación de
las hipótesis de impacto
Empezando con el Marco Lógico del proyecto
El entorno del proyecto ¿se está moviendo hacia la sostenibilidad o alejando de ella?
¿Qué impulsos puede dar un proyecto para un desarrollo más sostenible? ¿Qué impactos positivos y negativos pueden resultar? Muchos proyectos que empiezan con el MVI
ya han terminado con su planificación. La finalidad, el propósito del proyecto, los
resultados, actividades, indicadores, etc. están formulados y recopilados, por ejemplo,
en una matriz de planificación. Se puede usar esta matriz para iniciar el MVI por primera vez. La condición, de cualquier manera, es que se tome en cuenta el entorno más
amplio del proyecto. Por lo tanto, la formulación de las hipótesis de impacto empieza
con la finalidad y el propósito del proyecto. Más adelante se puede continuar con los
resultados esperados.
Los proyectos que todavía no han elaborado una matriz de planificación pueden formular las hipótesis de impacto sobre la base de un análisis detallado del entorno (Paso
2). Un análisis participativo de las redes o sistemas conducirá automáticamente a preguntas sobre dónde puede intervenir el proyecto, qué factores y relaciones estarán
involucrados, qué pasará después de la intervención, etc.
Aclarar la finalidad, el propósito
y los resultados esperados del proyecto
La formulación de la finalidad, propósito y resultados esperados del proyecto debería
reflejar una situación a lograr. En este caso, es más probable que se centre más en el
entorno y es mucho más fácil establecer hipótesis de impacto incluyendo la aplicación, efectos, beneficios / inconvenientes e impacto. Si la formulación refleja una actividad, es más probable que se siga centrando en el desempeño. Por lo tanto, es útil
revisar y aclarar estas formulaciones, determinar si describen una actividad, si están
formuladas de forma imprecisa o si contienen palabras llamativas que necesitan aclaraciones adicionales.
27
Formulación de las hipótesis de impacto
Formulación del propósito de un proyecto
El propósito del proyecto, por ejemplo, debería describir la "situación a conseguir”.
Las formulaciones como "el propósito es aumentar el número de prácticas agrícolas
sostenibles” indican una actividad. Es mejor describir un "efecto” o "impacto” con
una formulación como "la producción agrícola ha aumentado, la degradación de los
recursos naturales ha disminuido”, etc. El cumplimiento de un propósito vagamente
formulado como "los agricultores están preparados para adoptar nuevas tecnologías
de producción” será más difícil de comprobar que "los agricultores han adaptado
nuevas prácticas de producción a sus condiciones”. Y por fin, palabras llamativas
como "las condiciones de vida de los campesinos han mejorado” o "el manejo de la
tierra es más sostenible” requieren una aclaración de lo que significan: "las condiciones de vida” significa mayores ingresos, mejores viviendas, ropa, etc. y "más sostenible” significa mayor producción, menor degradación, adaptabilidad social, etc.
Formular hipótesis de impacto positivo
y negativo
Cualquier persona que planifica un proyecto intenta obtener impactos positivos. Pero
la experiencia demuestra que los impactos negativos muchas veces son un producto
secundario de las actividades de desarrollo. Ya que no se pueden considerar todos los
elementos del entorno de un proyecto en el análisis de problemas (Paso 2) y no se pueden predecir todos los cambios posibles, es normal que no sólo ocurran cambios intencionados sino también no intencionados –tanto positivos como negativos. No todos los
posibles impactos pueden ser previstos mediante ejercicios participativos de formulación de hipótesis de impacto, pero sí un número considerable. Ayuda si los participantes formulan sus hipótesis de impacto como una cadena de impacto, lo que revela sus visiones de los mecanismos del cambio. Esto también permitiría investigaciones
críticas en afirmaciones dudosas. Aun que no es posible predecirlo todo, por lo menos
el proyecto y sus participantes están mejor preparados. Y están en una mejor posición
para manejar temas negativos si aparecen. La mera consideración de impactos negativos –a parte de los positivos– durante la fase de planificación ya es un gran paso hacia
adelante. También vale la pena visualizar cadenas de impacto –aplicación, efecto,
beneficio / inconvenientes e impacto– implícitas en las hipótesis de impacto de los participantes (véase ejemplo abajo).
Las actividades de desarrollo pueden tener más impactos que sólo los positivos
intencionados.
28
Paso 3
Formulación de las hipótesis de impacto
Formulación de las hipótesis de impacto positivo y negativo por diferentes grupos de
interés (en paréntesis: relación con la cadena de impacto, véase Aclaración de los términos)
Finalidad del proyecto: La pobreza de la población rural ha disminuido y el manejo
de los recursos es más ecológico, económicamente viable y socialmente aceptable.
Propósito del proyecto: El rendimiento de los cultivos de los pequeños productores
ha aumentado mediante prácticas de producción que no perjudican el medio
ambiente.
Resultados esperados: (por ej.) Se han desarrollado nuevos sistemas de producción
en las fincas; los productores han sido capacitados en conceptos y prácticas de producción agrícola y protección de recursos naturales, etc.
Grupo
de interés
Impactos positivos (deseados)
Impactos negativos o nulos
Productores
(hombres)
Mediante el nuevo sistema de producción hay
más rendimientos (efecto), podemos vender en el
mercado y hay más ingresos familiares (beneficio)
Ya que nos falta experiencia con las
nuevas prácticas, aparecen plagas y
enfermedades (efecto); esto puede
perjudicar los rendimientos (inconveniente)
Productoras
(mujeres)
Ya que algunas prácticas nuevas se dirigen al
patio, los ahorros de las mujeres han aumentado
(beneficio) y las mujeres consiguen más independencia económica (impacto).
Las nuevas prácticas aumentan las
tareas de las mujeres (efecto) y ellas
tienen menos tiempo para dedicarse a
los niños y parientes (inconveniente).
Las relaciones sociales podrían salir
perjudicadas (impacto).
Jornaleros sin
tierra
Las nuevas prácticas podrían aumentar la demanda de nuestra mano de obra (efecto). Conseguimos mejores trabajos en la comunidad e ingresos
seguros (beneficio) que podemos invertir en la
escolarización de nuestros niños para que reciban
mejor educación (impacto).
Las nuevas prácticas cambian el uso
de la tierra (efecto) y tenemos problemas para encontrar pastos para nuestro ganado (inconveniente).
Técnicos
Las innovaciones aumentan la demanda de la
transferencia agrícola (efecto), tenemos mejores
oportunidades de formación y más calificaciones
(beneficio) y finalmente conseguimos trabajos en
la oficina con mayores sueldos (impacto).
Las nuevas prácticas aumentan nuestras tareas (efecto)
Representantes del distrito
El aumento de la producción (efecto) estimula la
demanda y la oferta (beneficio) y crea mejores
bases para un desarrollo económico en todo el
distrito (impacto)
El mayor bienestar económico en el
distrito causará el retiro paulatino de
las agencias para el desarrollo y sus
aportaciones (impacto).
Equipo del
proyecto
Mediante las experiencias positivas con mayor
producción y mejor protección (efectos, beneficios), los productores descubrirán su potencial
para seguir mejorando el sistema de producción
(impacto). Esto mejorará finalmente la fertilidad
del suelo y garantizará la producción agrícola
estable a un nivel más alto (impacto).
Algunas prácticas de protección de los
recursos naturales reducen tanto el
área de cultivo como la producción
(efecto) y serán rechazadas (inconveniente).
...
...
...
29
Formulación de las hipótesis de impacto
En el Volumen 2, Paso 3, se encuentran ejemplos detallados de hipótesis de impacto
negativo y positivo relacionadas con el manejo sostenible de la tierra.
Kläy, A., Huguenin, A., Hurni, H., Perich, I., Schläfli, K. 1994. Environmental assessment in development co-operation. Principles of ecological planning. Development
and environment reports 4: 46 p.; Bern.
Swiss Development Cooperation & Centre for Development and Environment 1994.
Impact hypotheses, development and it’s environmental impacts: 101 p.; Bern.
Swiss Agency for Development and Cooperation 1997. Monitoring – keeping in touch
with reality: 20 + 54 p.; Bern.
¡GOOOOL!
… y sus efectos secundarios
30
Selección de los indicadores de impacto
Paso 4
Paso 4: Selección de los
indicadores de impacto
¿Qué es lo que indica los cambios del entorno del proyecto? ¿Qué es lo que revela
cuáles de las hipótesis de impacto se materializan? ¿Qué serie de indicadores revelará
si los cambios finalmente contribuirán a alcanzar el propósito y la finalidad del proyecto? El marco lógico ya contiene algunos indicadores. Normalmente, la mayoría de
ellos son indicadores de resultados diseñados para evaluar el desempeño del proyecto. Lo que falta muy a menudo son indicadores de impacto representando el entorno.
Se desarrollarán partiendo de las hipótesis de impacto. La cadena de impacto (aplicación, efecto, beneficio / inconveniente, impacto) puede ser de gran ayuda durante el
proceso de selección. Un indicador existente podría cubrir uno de estos aspectos y por
lo tanto servir como indicador de impacto. Pero más allá, hay que encontrar indicadores de impacto adicionales.
Una probable cadena de impacto que resultaría de la introducción de nuevas tecnologías de producción y conservación (resultado) y sus indicadores de impacto
correspondientes.
Vínculos con la
cadena de impacto
Cadena de impacto (implicaciones positivas
y negativas)
Posibles indicadores de impacto
Aplicación de los
resultados
La mayoría (sólo algunos) de los productores
en el área de la intervención aplican nuevas
tecnologías de producción y conservación
(aplicabilidad) y las adaptan a sus condiciones
específicas (adaptabilidad)
• % de productores adaptando
nuevas tecnologías sin incentivos
Efectos
Aumenta (disminuye) la producción agrícola,
las enfermedades y las plagas disminuyen
(aumentan), la degradación del suelo se reduce
(aumenta)
• Rendimiento de la cosecha
• Incidencias de enfermedades
y plagas
• Erosión del suelo
Beneficios/
inconvenientes
La producción agrícola mejorada (no) tiene
mercado, los ingresos familiares aumentan (disminuyen) y la situación económica de las
mujeres mejora (empeora)
• Ingresos familiares
• Ganancias del trabajo de las
mujeres
Impactos
Los hombres y mujeres deciden conjuntamente
(sólo los hombres deciden) cómo invertir los
ingresos familiares; los productores realizan
más (menos) experimentos que antes; la fertilidad del suelo mejora (disminuye); más
(menos) niños van a la escuela
• Toma de decisiones familiar
• % de productores con experimentos agrícolas
• Nivel de fertilidad de los suelos
• Niños con certificación escolar
31
Selección de los indicadores de impacto
El dilema de la línea de base
Los indicadores no sólo representan componentes del entorno de un proyecto; también
son un medio de comunicación entre los participantes. Por lo tanto, tienen que ser
seleccionados conjuntamente. Por un lado, es recomendable tener definida una serie
de indicadores lo antes posible porque ayuda a establecer la línea de base (la referencia) sobre todo para observaciones a largo plazo. Por otro lado, hay buenas razones
para tomarse el tiempo para la selección. Por ejemplo, el entorno del proyecto y los
grupos de interés no son bien conocidos y entendidos al inicio. Durante la ejecución
del proyecto, el entorno y las perspectivas de los participantes cambian, y de la misma
manera pueden cambiar también los indicadores. Puede que algunos de los indicadores seleccionados inicialmente resulten incómodos para observar y necesiten ser sustituidos. Además, los impactos no esperados podrían requerir indicadores adicionales
en una fase más avanzada. Pero es demasiado tarde para una selección de indicadores muy sofisticada al final del proyecto. Como compromiso, se debería dedicar unos
meses a la búsqueda participativa de una serie de indicadores de impacto, para adaptar la selección inicial y para incorporar indicadores "emergentes”. Esto es importante
ya que documenta el proceso de aprendizaje de un proyecto y sus participantes. Siempre se pueden añadir algunos indicadores puntuales, pero se recomienda encontrar
una selección básica de indicadores, digamos después de seis o doce meses, para asegurar el monitoreo a largo plazo.
¡En una breve sesión de planificación no se puede conseguir una selección y
formulación apropiada de los indicadores de impacto! Es un proceso de optimización que puede tardar varios meses.
Los principios para la selección
de los indicadores
El objetivo del MVI es conseguir una calidad razonable de la información para encontrar relaciones fiables entre el proyecto y los cambios en su entorno. Una selección
representativa de indicadores y el monitoreo sistemático son la base para ello. Pero no
se pueden observar todos los indicadores identificados. Los medios, el tiempo y los
recursos del proyecto, por un lado, y los intereses de los participantes en el MVI, por
otro, determinarán la selección final de los indicadores de impacto.
Hay que tomar en cuenta que estos indicadores son la base pero no la única fuente de
valiosa información. El monitoreo sistemático siempre puede ser combinado con la
recogida y documentación de información estadística, periódicos, discusiones con
colegas, consultores e informadores, de su propia observación y cosas parecidas. No
hace falta esperar tres años para obtener los primeros resultados del monitoreo del
impacto. Los precios del mercado de granos básicos y sus fluctuaciones, por ejemplo,
pueden determinarse por el equipo del proyecto cuando va de compras para sus familias. Los progresos negativos en el sector agrícola se plasmarán durante las conversaciones en la comunidad o con los colegas. Se puede documentar siempre semejante
32
Selección de los indicadores de impacto
Paso 4
información y ésta puede servir de marco para una interpretación del cambio más adelante.
No se puede observar todo; realice una selección de los indicadores de impacto relevante y realista.
Los principios y ejemplos siguientes ayudan a determinar la selección definitiva de los
indicadores de impacto:
Principio
Pregunta-guía
Relevancia
¿Es esencial el indicador?, o sea ¿ proporciona verdaderamente la información
requerida para tomar decisiones relevantes?
Fiabilidad
¿Hacen falta indicadores cuantitativos o cualitativos para la decisión?
Orientación hacia los
usuarios y transparencia
¿Es entendible y significativo el indicador para los grupos de interés relevantes (productores, políticos, etc.)? ¿Existen indicadores locales que se pueden utilizar?
Factibilidad
¿Tienen el proyecto o sus participantes los medios, los conocimientos y el tiempo
para observar el indicador?
Orientación de género
¿Revela el indicador conocimientos y temas específicos según sexos?
Jerarquía / cobertura
¿Revelan todos los indicadores cambios al mismo nivel espacial / de toma de decisiones (campo de cultivo, finca, comunidad, cuenca, distrito, etc.)?
Sensibilidad
¿Es sensible el indicador a cambios a corto, mediano o largo plazo?
Orientación hacia
la sostenibilidad
¿Representan los indicadores seleccionados todas las dimensiones de la sostenibilidad (social / institucional, económica y ecológica)?
Indicadores locales
Puede que no todos los grupos de interés relevantes como productores, personas sin
tierra, etc. hayan podido participar en la selección de los indicadores. En este caso, se
recomienda dedicar tiempo para obtener sus opiniones, por ejemplo, en forma de indicadores locales que muchas veces pasan desapercibidos a los forasteros. Se facilitará
significativamente la comunicación entre los participantes si se pueden identificar e
incorporar en el procedimiento del MVI por lo menos algunos de estos indicadores.
Indicadores generales
Indicadores locales correspondientes
Erosión del suelo en t/ha
Cantidad de semilla aumentada; las semillas son arrastradas como consecuencia de la erosión del suelo y necesitan ser resembradas
Contenido de materia orgánica, capacidad de intercambio
de cationes, contenido de
nutrientes (indicadores de la
fertilidad del suelo)
Plantas indicadoras; éstas indican lugares donde la fertilidad del suelo es alta,
donde el nivel de los nutrientes del suelo se ha recuperado durante la época
de barbecho; donde el nivel de las aguas subterráneas es alto o donde muchas
veces hay encharcamiento, etc.
Alimentación humana
Gatos y perros gordos / delgados; en comunidades donde la población no
tiene lo suficiente para alimentarse, los animales domésticos como perros y
gatos estarán delgados.
Mayores ingresos familiares
Los hombres tienen dos o más mujeres; en algunas zonas musulmanas esto es
una señal de bienestar económico.
33
Selección de los indicadores de impacto
Para eso tenemos un indicador
indígena, cuantitativo y sensible
al género: ¡El que tiene dos
esposas es rico!
¿Cómo puede distinguir un
campesino rico de otro pobre?
La sensibilidad de los indicadores
Ya que la sostenibilidad implica una perspectiva a largo plazo, cada indicador debería ser comprobado para determinar si es sensitivo a los cambios a corto, mediano
o largo plazo (véase Gráfico 7). Los indicadores de sensibilidad a corto plazo (1-3
años) serán muy relevantes para el MVI ya que constituyen una parte del proceso
de auto-evaluación del proyecto. Son útiles para corregir inmediatamente las actividades del proyecto que van hacia una dirección negativa y también pueden ser
observados durante un período largo. Los indicadores que no son sensitivos a los
cambios a corto y mediano plazo son más importantes para observar los impactos
lejanos o tardíos. Sólo permiten ajustar las actividades del proyecto después de 5
años o más.
Zona de
desertificación
Nivel
nacional
Nivel
municipal
Nivel de la
comunidad/
cuenca
Nivel
de la finca/
parcela
Años
Colmatación
de embalses
Color del
agua
Cárcavas
Surcos de
erosión Núm. de
lombrices
1
2
Terreno
abarrancado
Profundidad
del suelo
3
A corto plazo
4
5
Estabilidad de los
agregados
6
A mediano plazo
7
8
9
A largo plazo
Gráfico 7: La sensibilidad de los indicadores (ejemplo: los indicadores de degradación
del suelo)
34
x
Incidencia de plagas
y enfermedades
x
x
Toma de decisiones en el hogar
% de productores experimentando con
prácticas de producción
x
x
x
y
y
y
y
y
y
c
y
y
y
m
Sensibilidad
Techos de zinc,
radio, motocicletas
Surcos de erosión y
cárcavas
y Plantas indicadoras
l
Indicadores locales
adecuados
Archivos escolares, discusiones con los profesores
Mediciones en lugares representativos cada 5 años (edafólogo), caminatas transversales anuales con productores
Entrevistas con presidentes de asociaciones de productores y con productores durante cada visita al campo
Entrevistas con todos los miembros de la familia, verificadas con las propias observaciones
Entrevistas con mujeres, verificadas con las propias observaciones
Observaciones y entrevistas con mujeres y sus maridos, dos veces al año
Los surcos y cárcavas pueden ser observados y documentados fácilmente por los productores durante la época de lluvia
Observación durante visitas al campo, entrevistas con productores
durante caminatas transversales
Mediciones en lugares representativos, discusiones con los productores
en sus parcelas
Entrevistas con presidentes de asociaciones de productores y con productores durante cada visita al campo
Medios de verificación
* la formulación de los indicadores es preliminar; tiene que ser más específica al finalizar la selección
Dimensiones de la sostenibilidad: so = social / institucional, en = económica, el = ecológica
Sensibilidad: c = a corto plazo, m = a mediano plazo, l = a largo plazo
Niños y niñas con certificación escolar
x
x
x
Ingresos del trabajo de las mujeres
Nivel de la fertilidad del suelo
x
Ingresos familiares
Erosión del suelo
x
Rendimiento de la cosecha (maíz)
x
x
(véase
Paso 3)
% de productores adaptando nuevas
tecnologías sin incentivos
Dimensiones de
sostenibilidad
so
en
el
Hipótesis
Indicadores de impacto*
de impacto
Finalidad del proyecto: La pobreza de la población rural ha disminuido y el manejo de los recursos naturales se ha vuelto ecológicamente
apropiado, económicamente viable y socialmente aceptable.
Propósito del proyecto: La producción de cultivo de los pequeños productores ha aumentado con prácticas de producción ambientalmente sanas.
Resultados esperados: (por ej.) Se han desarrollado nuevos sistemas de producción en las fincas; los productores fueron capacitados en conceptos y prácticas de producción y protección de los recursos; etc.
Determinar una serie de indicadores de impacto (adicional al marco lógico del proyecto)
Selección de los indicadores de impacto
Paso 4
35
Selección de los indicadores de impacto
Preparándose para la valoración del impacto
Más adelante, cuando se valorarán los resultados del monitoreo en el Paso 6, se discutirán y evaluarán los cambios de los indicadores: si son positivos o negativos, satisfactorios o no, cómo ocurrían los cambios, etc. Esto es un proceso de valoración individual que revelará muchas opiniones diferentes. Entonces, se visualizarán los cambios
en el entorno, por ejemplo, mediante un diagrama de "araña” o "ameba” (véase Gráfico 8). Para este propósito es útil una clasificación para cada indicador (por ej. de 5 "el
cambio se considera muy bueno” a 1 "el cambio se considera muy malo”). La puntuación (véase el ejemplo abajo) para cada indicador ya debería prepararse en esta fase
mediante una discusión entre todos los participantes. Hay que responder –en relación
con cada indicador seleccionado– las preguntas "¿Dónde estamos?” y "¿Dónde queremos estar?”. El mejor logro realista posible para cada indicador es 5 (muy bien) y el
peor 1 (muy mal).
s
co
i
óg
ol
c
o
e
s ct
re mpa
o
ad i
ic de
les/ o
t
socia
res de impac
cado
Indi ionales
tuc
insti
d
In
puntuación
.......................
_________
Indi
cado
re
de ims económ
icos
pact
o
clasificación 5 = muy bien
4 = bien
3 = moderado
2 = mal
1 = muy mal
Gráfico 8: La visualización de los cambios en el entorno del proyecto
36
inicial
después
de x años
Paso 4
Selección de los indicadores de impacto
Preparando la puntuación (valores de referencia) para cada indicador de impacto
respecto a la valoración del impacto.
Clasificación*
3
moderado
Indicadores de impacto
5
muy bien
4
bien
2
mal
1
muy mal
Indicadores a corto plazo
Rendimiento
de la cosecha (maíz)
> 3 t/ha
> 2-3 t/ha
> 1.5-2 t/ha
> 1-1.5 t/ha
< 1 t/ha
Ingresos familiares
> 20 % de
aumento
> 10-20 % de
aumento
1-10 % de
aumento
estancados
disminuyendo
Ingresos del trabajo de
las mujeres
> 20 % de
aumento
> 10-20 % de
aumento
1-10 % de
aumento
estancados
disminuyendo
% de productores
adaptando nuevas tecnologías sin incentivos
> 60 %
> 40-60 %
> 20-40 %
10-20 %
< 10 %
Incidencia de plagas y
enfermedades
ninguna
raro, poca evidencia
algunas veces,
pero se puede
controlar
el control
muchas veces
es difícil
mucha, cada
año
Erosión del suelo
(surcos y cárcavas)
no hay rasgos
de erosión
algunas veces,
superficie del
suelo lisa, pero pocos surcos
no hay surcos
la mayoría de cada año,
surcos y
los años,
muchos surcos cárcavas
Indicadores de mediano
a largo plazo
conjuntamente en la
mayoría de los hogares
Toma de decisiones
en el hogar
conjuntamente en
algunos hogares
por los hombres en la
mayoría de los hogares
% de productores
experimentando con
prácticas de producción
modificaciones modificaciones modificaciones modificaciones < 5 %
regulares por
regulares por
regulares por
regulares por
> 5-30 %
> 30-50 %
> 50-70 %
> 70 %
Niños y niñas con
certificación escolar
> 80
Nivel de fertilidad
del suelo**
> 60-80
suelo superficial profundo
y oscuro, alta actividad
de lombrices, alta densidad de raíces
> 40-60
30-40
suelo superficial moderadamente profundo y
oscuro, actividad de
lombrices y densidad
de raíces moderada
< 30
color del suelo pálido, hojas
de las plantas amarillas y
rojas, sin lombrices, baja
densidad de raíces
*
Nota: La clasificación es altamente específica para cada lugar y requiere profundas discusiones con los
participantes
** La clasificación del nivel de la fertilidad del suelo requiere consultar con especialistas en suelos
Para la preparación de la valoración del impacto hay que considerar más detalles
importantes:
• Lo mejor sería que todos los participantes se pusieran de acuerdo sobre una clasificación común para todos los indicadores de impacto. Pero también puede ser interesante realizar la valoración del impacto por separado para cada grupo de interés
y comunicar los resultados de cada grupo a los demás grupos.
• Se debería determinar a qué nivel (finca, comunidad, etc.) se realizará la valoración.
Por ejemplo, si hay mucha diversidad de categorías de fincas (como fincas pobres y
37
Selección de los indicadores de impacto
ricas) se deberían valorar los cambios de su entorno individualmente o por lo menos
por separado para cada categoría de finca. Si se valoran todas las fincas en común
a nivel de la comunidad, el resultado será un promedio. Sin embargo, puede que
este promedio no refleje los cambios importantes en fincas particulares. De esta
manera ¡no tendría sentido!
• Después de haber seleccionado una gama de indicadores de impacto, una observación (monitoreo) inicial -que toma en cuenta todos los indicadores- produce la línea
de base. En los primeros años, el monitoreo y la valoración sólo incluirán aquellos
indicadores que son sensitivos para los cambios a corto plazo. Los indicadores sensitivos para cambios a mediano y largo plazo se añadirán paulatinamente después
de algunos años.
¿Realmente miden el impacto
de investigación agrícola en kilos
de publicaciones científicas por
campesino?
En el Volumen 2, Paso 4, se encuentran ejemplos detallados de indicadores de
impacto relacionados con el manejo sostenible de la tierra y referencias adicionales.
Bellows, B. 1996. Indicators of sustainability. Workbook for the SUNREM CRSP. Washington State University / University of Wisconsin, USA.
Kirsch-Jung, K.P., Görgen, M., Nill, D. (eds.) 2000. Mesurer les effets des projets. Suivi
d’impact et calcul de rentabilité économique. Contributions de trois ateliers sur la
Gestion des Ressources Naturelles. GTZ, OE 45: 266 p.
38
Desarrollo y aplicación de métodos de monitoreo del impacto
Paso 5
Paso 5: Desarrollo y
aplicación de métodos de
monitoreo del impacto
Métodos de monitoreo eficaces
en función de los costos
¿Cómo se pueden observar y documentar los indicadores de impacto y el entorno?
¿Qué métodos son aplicables con los medios y capacidades existentes en el proyecto?
¿Cómo se pueden combinar los métodos de la mejor manera? Normalmente, existen
varias maneras y métodos para observar un parámetro o indicador. Si se necesitan
datos muy exactos (científicos) se supone que un proyecto llamará a especialistas para
que apliquen sus propios métodos. En este caso, no hay necesidad de describir los
métodos aquí. Dado que los proyectos de desarrollo no tienen la capacidad y los
recursos para aplicar métodos sofisticados, el documento presente pone énfasis en
herramientas de monitoreo eficaces en función de los costos que pueden ser manejados de manera flexible por el mismo equipo del proyecto.
Abajo, se describen tres tipos de métodos de monitoreo. Probablemente tienen una
mayor posibilidad de ser aplicados ya que se basan en lo que muchos proyectos ya
practican. Estas herramientas pueden ser consideradas la base para el MVI, pero el
equipo del proyecto todavía necesitaría adaptarlas al entorno del proyecto específico,
según las hipótesis formuladas y los indicadores de impacto seleccionados. Por esta
razón sólo se pueden dar descripciones y explicaciones generales aquí.
La triangulación
¿Cómo de buena es la calidad de la información recogida? Si hay pocos fondos para
el monitoreo, no todos los métodos pueden ser muy exactos. Por lo tanto, se aplican
los principios de la triangulación que combina la fiabilidad con la participación. Esto
significa que todas las percepciones individuales registradas mediante entrevistas y
discusiones tienen que ser verificadas con las percepciones de los demás y – si es posible – con observaciones directas.
• Las entrevistas y discusiones con participantes locales forman la base para el MVI.
La información recogida puede ser muy detallada pero estará guiada por las percepciones individuales y las diferentes agendas (a menudo escondidas) de los participantes. Aunque se discutan todos los diferentes tipos de cambios visibles e invisi-
39
Desarrollo y aplicación de métodos de monitoreo del impacto
bles, los aspectos socioeconómicos pueden prevalecer. Se puede realizar una comprobación de la información -sobre todo de los cambios invisibles (por ej. sociales)mediante entrevistas con otros grupos de interés. Se pueden verificar las mejoras o
empeoramientos visibles mediante el monitoreo fotográfico y las caminatas transversales participativas.
• El monitoreo fotográfico proporciona una vista general sobre los cambios visibles
en el entorno del proyecto, que tal vez estén relacionados sobre todo con temas biofísicos y económicos. Pero las fotografías requieren interpretación e investigación
adicional en el entorno. Esto se puede realizar tanto mediante entrevistas y discusiones como mediante caminatas transversales participativas, dependiendo de los
aspectos que necesitan más aclaraciones.
• Las observaciones realizadas y comentadas durante una caminata transversal participativa proporcionan una visión detallada especialmente sobre temas biofísicos,
aunque también se puede centrar en temas sociales y económicos. Una caminata
transversal subraya las relaciones espaciales de la degradación del suelo y flujos de
nutrientes, agua y energía, etc. Las discusiones empiezan muy a menudo con aspectos visibles, pero pueden finalmente incluir conexiones con aspectos no visibles.
Una caminata transversal es una oportunidad excelente para identificar indicadores
de impacto locales. La información puede ser verificada con entrevistas y el monitoreo fotográfico.
Hay que desarrollar y adaptar los métodos de monitoreo a las necesidades
específicas del proyecto, de acuerdo con las hipótesis de impacto formuladas y
los indicadores de impacto seleccionados.
Los principios y preguntas-guía siguientes ayudarán a adaptar los métodos de monitoreo a una situación específica de un proyecto:
40
Principio
Preguntas-guía
Exactitud
¿Qué grupos de interés usarán la información y para qué propósito? ¿Qué precisión
tiene que tener verdaderamente la información respecto a estos propósitos? El
mismo método aplicado por distintas personas ¿proporcionará resultados comparables?
Cobertura del área
¿Existe la necesidad de obtener resultados que cubren un gran área? o ¿se necesita
más bien información detallada de algunos lugares, hogares, etc. representativos?
Frecuencia
¿Cuántas veces se debería actualizar la información y por ende repetir la observación (esto está estrechamente ligado a la exactitud del método y la sensibilidad del
indicador correspondiente)?
Factibilidad
El método, ¿puede ser aplicado con los recursos disponibles en el proyecto (equipamiento de campo, instalaciones de laboratorio, medios de transporte, mano de
obra, conocimientos, fondos, etc.)? Si no es así, ¿cómo se puede adaptar el método
a los recursos del proyecto? ¿Es posible delegar partes del monitoreo – por ejemplo
a universidades, compañías privadas, etc.?
Desarrollo y aplicación de métodos de monitoreo del impacto
¡Tal vez veamos algo sobre lo que
no queremos saber! ¿Porque no
nos reunimos mejor en la central?
TE BLA
AN
O
NC
ELE
F
¿Una caminata transversal?
¿Al aire libre? ¿Con este tiempo?
Paso 5
Descripción breve de los métodos de monitoreo
Entrevista y discusión
Se pueden monitorear casi todos los campos de observación biofísicos y socioeconómicos obteniendo las opiniones de las personas acerca de ellos. Las discusiones pueden abarcar, por ejemplo, aspectos de género, la división de las tareas, la carga laboral,
salud, producción y precios de mercado, ingresos familiares, uso y manejo de la tierra,
degradación y protección de los recursos, innovaciones técnicas y de manejo, etc. Los
paquetes como DRR (Diagnóstico Rural Rápido), DRP (Diagnóstico Rural Participativo)
y AAP (Aprendizaje y Acción Participativos) contienen muchas herramientas bien comprobadas y eficaces en función de los costos consistiendo en ejercicios de grupos,
entrevistas semi-estructuradas, discusiones informales y visualización (mapas, modelos,
matrices de clasificación, diagramas de causas, mapas mentales, etc.). Se caracterizan
por ser más bien enfoques cualitativos marcados por una "ignorancia óptima” y una
"imprecisión apropiada”. Estos métodos fueron diseñados ante todo para un aprendizaje mutuo y por esta razón apoyan a la gente local a ganar confianza en realizar su propio diagnóstico y análisis y a expertos externos a entender las percepciones locales.
Monitoreo fotográfico
El propósito de la cooperación al desarrollo es iniciar cambios y por lo menos algunos
de éstos deberían ser visibles después de algunos años. Los proyectos de desarrollo
rural, por ejemplo, deberían aumentar los ingresos familiares y el nivel de vida, lo que
41
Desarrollo y aplicación de métodos de monitoreo del impacto
luego debería ser visible en términos de mejores viviendas y ropa, más niños escolarizados, mejores medios de transporte público y privado, etc. Al mismo tiempo, si el
manejo de la tierra y de los recursos se ha vuelto más sostenible esto se debería reflejar en cultivos mejorados, degradación del suelo controlada, prácticas eficaces de conservación realizadas, etc. El monitoreo fotográfico es un método general para documentar todos los cambios visibles que puede ser usado para comprobar los cambios
percibidos individualmente.
Las diferentes series de fotos tomadas de lugares y enfoques específicos en tiempos distintos durante un período más largo documentan el cambio de las cosas. La documentación fotográfica varia entre una imagen global (por ej. mostrando toda una ladera, valle, finca, pueblo, etc.) y una imagen muy detallada de objetos específicos (casas,
habitaciones, personas, prácticas de conservación, etc.). Se pueden tomar fotos desde
posiciones permanentes en intervalos regulares donde se desean y esperan los cambios. Además, se pueden tomar fotos donde y cuando hayan cambios visibles inesperados. De todas formas, las meras fotos no dicen mucho sobre el cómo y porqué de los
cambios. Éstas proporcionan una vista general que requiere discusiones e interpretaciones adicionales con los participantes en intervalos regulares.
Caminata transversal participativa y observación
El hecho de que las entrevistas y discusiones con las personas brinden información
muy útil para el MVI ¡no debería llevar a la conclusión que ya no son necesarias las
observaciones directas y las mediciones realizadas por el equipo del proyecto o por
forasteros! Se pueden observar sobre todo los aspectos biofísicos y algunos económicos directamente en el campo para verificar los resultados obtenidos mediante otros
métodos. Una caminata transversal participativa no sólo proporcionará una mirada
detallada de una finca o un valle, lugares críticos de degradación de los recursos y
áreas de manejo promisorio; también ayudará a establecer relaciones entre estos lugares, por ej. de los flujos de nutrientes, agua, sedimentos y energía. Por lo tanto se recomiendan las caminatas transversales -al igual que las visitas a la finca o al campo- no
sólo para mantener un buen contacto con los participantes locales y sus realidades. Los
distintos indicadores y parámetros requieren también diferentes épocas para su observación. Por ejemplo, las plagas y enfermedades se observan durante la época de cultivo, la producción en la cosecha, la degradación del suelo al iniciar la época de lluvia, la escasez de agua durante la época seca, etc.
En el Volumen 2, Paso 5, se encuentran descripciones detalladas, formularios de
campo y referencias adicionales de "entrevista y discusión”, "monitoreo fotográfico” y "caminata transversal participativa”.
Bosshart, U. 1997. Photo-Monitoring. Centre for Development and Environment, University of Bern: 44p.; Bern.
Germann, D., Gohl, E., Schwarz, B. 1996. Participatory impact monitoring. Booklets 14. Gate/GTZ.
Pretty, J.N., Guijt, I., Thompson, J., Scoones, I. 1995. Participatory Learning & Action.
A Trainer´s Guide. IIED Participatory Methodology Series; London.
42
Valoración del impacto
Paso 6
Paso 6: Valoración
del impacto
Valorar los cambios del entorno de un proyecto
¿De qué manera cambió el entorno en la percepción de los participantes? ¿Qué es lo
que aprendieron de estos cambios? En el Paso 4 (Selección de los indicadores de
impacto) los participantes prepararon una valoración (determinando la escala y la clasificación) que ahora se visualizará mediante un diagrama "araña” o "ameba”. El diagrama tiene una "línea” o un "radio” para cada indicador de impacto seleccionado. Los
indicadores de impacto pueden ser agrupados y puestos según las dimensiones de la
sostenibilidad (social / institucional, económica, ecológica) para visualizar en qué
dirección se mueven los cambios hacia la sostenibilidad o se alejan de ella. Todas las
unidades (por ej. kg, minutos, toneladas, etc.) ya fueron convertidas a una escala neutra y numérica, desde el 5 (cambio muy bueno) al 1 (cambio muy malo).
Se marcan los resultados del monitoreo inicial –el status quo del entorno del proyecto
al inicio del MVI– en el diagrama para cada indicador. Esto sirve de "línea de base”
–una referencia para todo el monitoreo futuro. Después de valorar cada indicador
("radio”) por separado, es posible conectar todos los valores marcados con una línea
para construir la "red de araña” o "ameba” (la puntuación). Después de un tiempo
–dependiendo de la sensibilidad de los indicadores pueden pasar uno, cinco y hasta
diez años– se observa cada indicador otra vez; los resultados se marcan en el diagrama de araña y se comparan con la línea de base. El gráfico resultante tiene que ser discutido e interpretado. ¿Se ha logrado un cambio en todos los indicadores de manera
satisfactoria? Si no, ¿qué indicadores o qué dimensiones demuestran resultados de
monitoreo pobres? ¿Cuáles pueden ser las razones para una clasificación muy buena
o muy mala? ¿De qué manera se manifestaron estos cambios? ¿Existe la necesidad de
adaptar el plan o las actividades del proyecto?
En mi opinión el proyecto
de la bomba de agua ¡ha
tenido un impacto muy
positivo!
43
Valoración del impacto
Basado en las hipótesis de impacto (véase ejemplo en el Paso 3) los participantes
del proyecto eligen diez indicadores de impacto (véase ejemplo en el Paso 4) que
cubran todas las dimensiones de la sostenibilidad. Seis de estos indicadores son sensitivos a los cambios a corto plazo y pueden ser utilizados cada año (o cada tres
años) para la valoración del impacto. Cuatro indicadores son sensitivos a los cambios a mediano y largo plazo y pueden ser utilizados cada cinco a diez años (véase
Gráficos 9 y 10). La clasificación de la mayoría de los indicadores al inicio del proyecto es relativamente baja (véase la tabla abajo). A corto plazo –tres años después
del inicio del proyecto– los participantes constatan una mejora leve en todos los
indicadores a corto plazo, a excepción de la erosión del suelo. La discusión revela
que la producción agrícola aumenta a coste de más erosión del suelo. Por esto, la
valoración general no puede "certificar” que el manejo de la tierra entero sea más
sostenible. Se debe tomar esta valoración del cambio como una señal temprana de
alerta para discutir los detalles sobre lo que está pasando, y dónde, cuándo y porqué ocurre la erosión. Aparentemente, el aspecto de conservación (ecológico) necesita más énfasis, no obstante, sin olvidar los aspectos de viabilidad económica y
aceptabilidad social. A mediano y largo plazo, después de diez años desde el inicio
del proyecto, los participantes pueden percibir una mejora en todos los indicadores.
Valoración a
corto plazo, tres
años después de
la intervención
Valoración a mediano y largo plazo,
diez años después de
la intervención
2
3
4
2
3
4
Ingresos de trabajo de las
mujeres
2
3
4
% de productores adaptando
nuevas tecnologías sin incentivos
1
3
4
1
–
3
1
–
3
% de productores experimentando con prácticas de producción
2
–
4
Erosión del suelo (surcos
y cárcavas)
3
2
4
3
–
4
2
3
4
Ingresos familiares
Toma de decisiones en el
hogar
Niños y niñas con certificación
escolar
Nivel de fertilidad del suelo
Incidencia de plagas
y enfermedades
social / institucional
Rendimiento del cultivo (maíz)
económica
Dimensiones de
sostenibilidad
ecológica
Indicador de impacto
Línea de base
al inicio
del proyecto
Todas las clasificaciones se refieren a fincas que adaptaron las nuevas tecnologías
44
Paso 6
Valoración del impacto
Rendimiento del
cultivo (maíz)
In
puntuación
.......................
_________
dic
ad
o
de res
im eco
pa nó
ct m
o
ico
s
Incidencia de plagas
y enfermedades
Indicadores ecológicos
de impacto
Ingresos
familiares
inicial
después
de 3 años
clasificación 5 = muy bien
4 = bien
3 = moderado
2 = mal
1 = muy mal
Ingresos del trabajo
de las mujeres
Erosión del suelo
(surcos y cárcavas)
/
es cto
ial
oc impa
s
es de
or
ad ales
c
i
n
d
In tucio
ti
ins
% de productores
adaptando nuevas tecnologías
sin incentivos
Gráfico 9: La valoración de los cambios en el entorno del proyecto a corto plazo
Ind
Ind
ica
do
de res e
imp coló
act gic
os
o
ica
Rendimiento del
cultivo (maíz)
Incidencia de plagas
y enfermedades
Ingresos
familiares
Ingresos del trabajo
de las mujeres
Nivel de fertilidad
del suelo
% de productores
adaptando nuevas
tecnologías sin incentivos
Erosión del suelo
(surcos y cárcavas)
% de productores
experimentando con
prácticas de producción
dor
de es e
imp con
act ómi
cos
o
Toma de decisiones
en el hogar
Niños y niñas con
certificación escolar
s/ o
iale
soc impact
s
ore de
icad es
Ind cional
u
it
inst
puntuación
.......................
_________
inicial
después
de 10 años
clasificación 5 = muy bien
4 = bien
3 = moderado
2 = mal
1 = muy mal
Gráfico 10: La valoración de los cambios en el entorno del proyecto de mediano a
largo plazo
45
Valoración del impacto
La atribución – Valorar el impacto del proyecto
Por supuesto, el diagrama de araña sólo puede reflejar los cambios cubiertos por los
indicadores de impacto seleccionados. ¿Cómo se pueden atribuir estos cambios al proyecto? ¿Habían cambios adicionales no esperados y, por lo tanto, no cubiertos? ¿Qué
cambios contribuyen a la finalidad del proyecto? Debido a la brecha de atribución
(véase Aclaración de los términos) no es fácil atribuir los cambios a un proyecto. El reto
es más bien encontrar relaciones plausibles entre los resultados de un proyecto y los
cambios que pruebas científicas.
Los cambios en un entorno pueden considerarse el resultado de procesos sociales, o
sea interacciones entre individuos o grupos como aprendizaje, adaptación, comunicación, decisión, integración, etc. El proyecto "sólo” intenta provocar o fortalecer estos
procesos con sus resultados. Por ejemplo, los participantes tienen que utilizar y adaptar o rechazar cualquier tecnología nueva; los miembros de una sociedad comunican
sus experiencias y aprenden de ello; si el ambiente biofísico o la situación económica
cambia, la gente adapta su percepción y reacciona respecto a esto. La pregunta para
un proyecto es, si los resultados del proyecto han estimulado cambios y procesos
sociales, y si es probable que estos cambios ayuden a alcanzar las finalidades del desarrollo.
La valoración del impacto significa más bien encontrar relaciones plausibles
entre las actividades del proyecto y los cambios en el entorno que pruebas científicas.
Las preguntas-guía siguientes pueden ser útiles para atribuir los cambios a las acciones
de un proyecto:
• ¿Qué cambios perciben los participantes desde que empezaron las actividades del
proyecto (a nivel de la finca, de la comunidad u otros niveles)?
• ¿Qué es lo que aprendieron los participantes de estos cambios?
• Los participantes apuntan hacia procesos sociales importantes cuando mencionan
lo aprendido. ¿Qué procesos sociales indican (individualización, autodeterminación, empoderamiento, innovación, adaptación, integración étnica, participación,
aprendizaje social, etc.)?
• ¿Qué relaciones plausibles pueden ser determinadas entre el proyecto, los procesos
sociales y los cambios del entorno? Los cambios ¿hubieran ocurrido de todas maneras, es decir, también sin el proyecto? ¿Qué factores –solos o en combinación– contribuyeron a los cambios (el proyecto en cuestión, factores externos como política,
otros proyectos, etc.)?
• ¿Cuál es la conexión entre los procesos sociales y la finalidad (de desarrollo)? ¿Qué
procesos deberían ser fortalecidos específicamente en el futuro?
46
Valoración del impacto
Paso 6
Un proyecto en el África del Oeste semi-árido ayuda a las comunidades rurales a construir y mantener sistemas de agua potable. A las personas locales involucradas se les
preguntó qué había cambiado en sus vidas desde el inicio del proyecto y qué aprendieron de esto. La gente contestó que la aplicación de los resultados del proyecto tenía
numerosos efectos y beneficios a nivel del hogar. Por ejemplo, las mujeres en particular ahorraban tiempo debido al nuevo sistema de agua potable y realizaron las tareas del hogar más fácilmente. Ahora, las comidas de los hombres no se retrasan y hay
muchos menos conflictos sobre quién tiene que ir cada día a buscar el agua. Además,
hay considerablemente menos enfermedades transmitidas por agua y los costos para
medicinas han disminuido. Las familias aprendieron que ellas mismas son responsables
de mejorar su situación y empezaron a descubrir oportunidades adicionales. Su nueva
confianza en sí mismos, el tiempo que ahorraron y el agua adicional crearon numerosos impactos subsiguientes (indirectos). Por ejemplo, las mujeres empezaron a explorar nuevas fuentes de ingresos familiares adicionales, los niños llegaron a clase a tiempo y había menos accidentes de niños cuando éstos buscaban agua.
Para asegurar la aplicación adecuada de los sistemas de agua a nivel de la comunidad
se eligieron nuevos comités de agua democráticamente (efecto). Pero era un inconveniente que el mantenimiento de los sistemas de agua fuera interrumpido por las rivalidades entre los nuevos comités y las instituciones tradicionales en muchas comunidades. Sin embargo, la comunidad aprendió a superar el aislamiento social de los
comités mediante la participación intensa, debates y la integración de las dos instituciones. La gente consideró que era un beneficio aprender a negociar planes de desarrollo comunal y respetar puntos de vista distintos y se dio cuenta que las actividades
de desarrollo tienen más éxitos si son realizadas en conjunto. El impacto no era solamente el mero mantenimiento de los sistemas de agua y sus ventajas para los miembros de la comunidad. Las instituciones integradas y por ende más fuertes de la comunidad y la competencia aumentada de negociación llevaron a una mejor coordinación
del manejo de los recursos naturales entre diferentes comunidades. Resultó más fácil
la integración de los sistemas de producción agrícola y ganadera de diferentes grupos
étnicos de pastores y campesinos. Esto, por fin, contribuyó a la diversificación de las
estrategias de producción e ingresos de los hogares.
Así, mediante sus resultados, el proyecto estimuló procesos sociales de aprendizaje,
integración, participación y empoderamiento. Existía una conexión plausible tanto
entre sus actividades y los impactos positivos como entre los procesos sociales y las
finalidades de desarrollo, es decir, el empoderamiento de la gente y las instituciones
locales y un manejo más sostenible de los recursos naturales. El proyecto se encuentra
ahora en una situación de apoyar estos procesos más específicamente.
Seguimiento
A este nivel, empieza la próxima fase de la gestión del proyecto. Se utilizarán la valoración y las atribuciones de los cambios para realizar los ajustes estratégicos necesarios del proyecto. Al mismos tiempo, también hay que adaptar el sistema del MVI. Para
lograr impactos positivos:
47
Valoración del impacto
• ¿Existen nuevos grupos de interés que deberían ser involucrados en la próxima fase
del proyecto (Paso 1)?
• ¿Todavía es relevante y representativo el análisis del entorno del proyecto (Paso 2)?
• ¿Hay que revisar o completar las hipótesis de impacto después de la aparición de
cambios e impactos iniciales (Paso 3)?
• ¿Todavía es relevante la selección de los indicadores de impacto? y ¿pueden representar todos los cambios importantes (Paso 4)?
• Los métodos de monitoreo aplicados ¿producían datos e información útiles? ¿Cómo
se pueden optimizar o simplificar los métodos? ¿Qué debería ser agregado u omitido (Paso 5)?
• La valoración del impacto (el diagrama de araña) ¿era satisfactorio o hay que modificarla (Paso 6)?
La valoración del impacto proporciona información para el ajuste estratégico de
la planificación.
En el Volumen 2, Paso 6, se encuentran maneras alternativas para visualizar los
cambios y referencias adicionales.
Gomez, A.A., Swete Kelly, D.E., Syers, J.K., Coughlan, K.J. 1996. Measuring sustainability of agricultural systems at the farm level. In: Methods for assessing soil quality,
SSSA Special publication No. 49: pp. 401-409.
Rist, S. 2001. "If this drinking water system fails, then the whole community is a failure.” Social Processes and Drinking Water Systems – Insights from a Learning Society.
CDE. University of Bern.
Roche, C. 1999. Impact assessment for development agencies. Oxfam: 308 p.
Entonces, ¿puede decirme cuáles
son los 100 ladrillos que doné?
48