Guía para el monitoreo y evaluación de proyectos sociales

SHELL COMPAÑIA ARGENTINA DE PETRÓLEO S.A. AGRADECE A TODAS LAS
INSTITUCIONES
Y
PERSONAS
INVOLUCRADAS
EN
EL
PROGRAMA
“CREANDO VÍNCULOS”. ALGUNAS DE LAS IMÁGENES QUE ILUSTRAN LA
PRESENTE GUÍA CORRESPONDEN A EX PARTICIPANTES DE DESAFÍO JOVEN Y
A GANADORES DE LA BIENAL JUVENIL; OTRAS MUESTRAN A LOS COORDINADORES DE LOS PROYECTOS SOCIALES JUNTO CON LOS BENEFICIARIOS
DIRECTOS DE CREANDO VÍNCULOS.
TODOS ELLOS SON LOS VERDADEROS PROTAGONISTAS DE ESTE OBRAR
COMPARTIDO RUMBO AL BIEN COMÚN.
Directora de la Publicación Verónica Staniscia, Asuntos Públicos
Shell Compañía Argentina de Petróleo S.A.
Asesoría y Apoyo Técnico Félix Bombarolo asociado
a Organización Poleas
www.organizacionpoleas.net
Diseño y Producción IGV Soluciones de Marketing
www.igv.com.ar
Descargate nuestras anteriores publicaciones en PDF:
Para mayor información
escriba a veronica.staniscia@shell.com
www.shell.com.ar
Sección Shell y la Comunidad dentro de Concurso de Proyectos.
GUIA PARA EL MONITOREO Y EVALUACIÓN DE PROYECTOS SOCIALES
Editado por SHELL COMPAÑIA ARGENTINA DE PETRÓLEO SOCIEDAD ANÓNIMA
Hecho el depósito que marca la ley 11723I.S.B.N. Nº 987-95166-2-1
Se terminó de imprimir en Proietto & Lamarque S.A. con domicilio en José Mármol 2131,
C1255 ABW, Buenos Aires, Argentina, Agosto de 2007
Segunda edición con una tirada de 3000 ejemplares.
ÍNDICE
A) Nota de Presentación Institucional
5
B) Introducción
7
C) La lógica de la evaluación
11
1. ¿QUÉ SENTIDO TIENE EVALUAR...?
2. ¿QUÉ SIGNIFICA EVALUAR UN PROYECTO SOCIAL...?
D) Pasos para el diseño de un sistema de monitoreo y evaluación
15
1. ORGANIZACIÓN DE LOS MOMENTOS DE EVALUACIÓN
1.1. Evaluación diagnóstica
1.2. Evaluación ex-ante
1.3. Monitoreo del proceso
1.4. Evaluación intermedia
1.5. Evaluación de impacto
17
2. PERSONAS, GRUPOS Y ORGANIZACIONES INVOLUCRADAS
23
3. VARIABLES E INDICADORES A REVISAR
25
4. TÉCNICAS E INSTRUMENTOS DE RECOLECCIÓN DE
INFORMACIÓN
4.1. Instrumentos
4.2. Técnicas de recolección
4.3. Fuentes de información
4.4. Universo y muestra
29
5. RECURSOS NECESARIOS
37
6. CRONOGRAMA O “PLAN” DE TRABAJO
38
7. DIFUSIÓN Y USO DE LOS RESULTADOS
39
E) Bibliografía de consulta
41
F) Concurso de Proyectos y Programa de Formación Técnica de Shell
43
G) Anexos
47
Planilla de monitoreo
3
P R E S E N TAC I Ó N
4
INSTITUCIONAL
En
Shell
CAPSA
estamos convencidos
que las empresas
desempeñan un papel
vital
en
la
construcción de un
futuro mejor para
nuestra
sociedad.
Además de invertir en el país, generar
empleo, proveer de productos y servicios
de alta calidad con precios competitivos,
creemos adecuado identificar nuevos
caminos que integren la labor que la
empresa desarrolla día a día con los
intereses de la comunidad toda.
Comprometerse en este camino compartido
es involucrarse en la acción de trabajar con
y para los otros en todos los aspectos:
ambiental, social y económico.
La orientación de Shell al desarrollo
sostenible sigue líneas de acción claras en
este aspecto: priorizar los principios por
sobre los beneficios, integrando en cada
decisión de negocio su impacto en el corto
y largo plazo, consultando para ello la
opinión de toda la comunidad.
Shell le da importancia al desarrollo de las
comunidades donde lleva a cabo sus
actividades, colaborando con la resolución
de los problemas que las afectan y
generando las condiciones para una mejor
calidad de vida.
Desde Shell queremos apoyar, una vez más, el
accionar de las organizaciones sociales
compartiendo competencias tecnológicas y
gerenciales para fortalecer los beneficios directos
que éstas ofrecen a la comunidad.
Ser una empresa responsable se demuestra
en acciones, en este caso sumándonos a
iniciativas que alimentan el espíritu solidario
de la comunidad. Para nosotros lo más
importante es sumar y a ello debemos
orientarnos todos, desde el lugar que cada
uno ocupa en la sociedad.
A principio de año llegamos a ustedes con
nuestra "Guía para la Formulación de
Proyectos Sociales"; en esta oportunidad
restablecemos el contacto para presentarles
la "Guía para el Monitoreo y Evaluación de
Proyectos Sociales", la cual esperamos sea
una herramienta útil en su organización.
Creemos en el trabajo en red como medio
propicio para optimizar los recursos tanto
humanos como materiales. De esta forma
queremos colaborar directamente con
quienes a diario trabajan por el prójimo:
ustedes.
Ing. Juan José Aranguren
Presidente Shell Compañia de Petróleo S.A.
I N T R O D U C C I ÓN
6
B
?
INTRODUCCIÓN
Cuál es la situación social que da marco a esta Guía....?
La Argentina ha vivido en los últimos años una compleja crisis política, social y
económica con serias consecuencias para la enorme mayoría de sus ciudadanas
y ciudadanos.
Día tras día vemos y sentimos la crisis, caracterizada por decrecimiento económico,
aumento de los niveles de desocupación, pobreza, exclusión social, deterioro del
medioambiente y también signada por la desconfianza en las instituciones, cierta
desilusión e incluso falta de expectativas sobre el futuro.
¿Cómo es la posición de Shell ante este panorama...?
Shell no ha sido ajena a este proceso, sin embargo, ha seguido participando
activamente de la vida productiva del país y realizando diversas acciones junto a la
comunidad, intentando aportar a la construcción de un desarrollo más equitativo y
sostenible. La empresa quiso estar a la altura de las circunstancias, aumentando sus
niveles de transparencia y su compromiso junto a la comunidad en la que opera.
En ese marco, Shell realizó en estos años múltiples actividades junto a diversas
organizaciones sociales de todo el país, y especialmente del Partido de Avellaneda (en
la provincia de Buenos Aires) donde se encuentra su Refinería.
¿Qué acciones realizó la empresa en los últimos años para promover un
desarrollo sostenible...?
Además de las mejoras propias de sus sistemas de producción y distribución, el
abanico de iniciativas sociales promovidas por Shell es muy amplio, abarca:
actividades culturales, educativas, deportivas, de preservación del medio ambiente y
otros programas de ayuda social. Algunos ejemplos de estas actividades son:
1. Desafío Joven. Programa destinado a fomentar en los jóvenes el espíritu
emprendedor. Se ha implementado y ejecutado por primera vez en el año 2001 en
colaboración con la Asociación Cristiana de Dirigentes de Empresa (ACDE).
Sólohasta el último año el programa capacitó en temas y metodologías de diseño y
gestión empresarial, aproximadamente a 1000 jóvenes (entre 18 y 25 años) de
diversa condición social, durante el 2001, 170 emprendedores lograron formular
su “plan de negocios” muchos de los cuales están hoy en ejecución.
2. Bienales Juveniles de Música Clásica, realizadas desde 1990 junto con la
Asociación Festivales Musicales de Buenos Aires, busca fomentar el surgimiento y
desarrollo de talentos artísticos de todo el país en las categorías de canto, música
de cámara y piano.
3.
Semillas de la vida. Proyecto desarrollado en la provincia de Tucumán. Se orienta a
capacitar
a 20 comunidades de escasos recursos en el diseño y gestión de huertas
orgánicas; es realizado junto a la Asociación de Técnicos en Programas y Proyectos
Sociales, una ONG tucumana de larga trayectoria en la ejecución de Proyectos de
desarrollo similares provenientes del INTA.
4. Desarrollo comunitario en Dock Sud. Programa de acción conformado por más de
20 actividades de apoyo a organizaciones barriales de la zona aledaña a la
Refinería, realizadas desde mediados de los 90. La empresa trabaja junto a las
organizaciones sociales de la zona apoyando diversas acciones:
Sociedad de Fomento Crucesita Este: apoyo a la Biblioteca Popular ”Bartolomé Mitre”: donación de 1200 libros;
Escuelas de Dock Sud (especialmente las N° 505, 506, 67 y Jardín de Infantes 931): donaciones varias,
como estufas eléctricas, matafuegos, juguetes, libros y 150 computadoras personales;
Hospital Fiorito: donación de equipamiento para el Laboratorio de Seguridad Biológica;
Hospital “Eva Perón” (Ex-Finochietto): donación de equipamiento para la Sala de Cardiocirugía;
Unidad Sanitaria N° 2- Dock Sud: donación de equipamiento para la Sala de Odontología;
Bomberos Voluntarios de Dock Sud: donación de cuatro autobombas, un grupo electrógeno, diez equipos
personales de lucha contra incendio y dos equipos de lucha contra productos químicos;
Club Sportivo Dock Sud: otorgamiento de becas y diversos elementos para la promoción deportiva.
¿Qué se propone Shell para mejorar su acción social en los próximos años...?
Con el objetivo de hacer aún más efectiva su labor junto a la comunidad, la empresa
realizó hacia fines de 2002 un proceso de revisión y rediseño de los objetivos y
metodologías aplicadas en su trabajo de apoyo a iniciativas sociales. Los principales
resultados de esta tarea indicaron que esta mayor efectividad podrá lograrse si se
mejoran algunos aspectos críticos, especialmente:
1. focalización de la tarea en áreas específicas de acción.
2. ordenamiento y sistematización de las actividades apoyadas.
3. inclusión de estrategias de capacitación a las organizaciones, para hacer más
sostenible el apoyo brindado.
Para mejorar estas áreas de trabajo, Shell impulsa desde inicios de 2003 una serie
de acciones, entre ellas, la formación de una "Cartera de Proyectos" a apoyar
anualmente en todo el país y, vinculado con esta, el lanzamiento de un "Concurso de
Proyectos". Además de este nuevo sistema de trabajo, Shell promoverá, a través de los
proyectos que apoye, un "Programa de Formación Técnica" de las organizaciones con
las que trabaje, vinculándolas en un proceso de enseñanza-aprendizaje sobre
formulación y evaluación de proyectos sociales.
¿Por qué y para qué un Concurso de Proyectos...?
Shell pretende que todas sus acciones tengan un alto nivel de transparencia y
efectividad, esto se promueve en sus acciones comerciales y se intenta aplicar también
en sus actividades sociales. El Concurso de Proyectos persigue, precisamente, estos dos
objetivos. A partir de su puesta en marcha, las organizaciones sociales del país, y
particularmente las del partido de Avellaneda, conocerán los criterios y mecanismos
8
con los cuales la empresa seleccionará las propuestas que apoyará año a año.
Los concursos se realizarán año a año en fechas a definir en cada momento; ese será
el espacio para organizar la labor, con métodos claros de presentación, selección,
ejecución, administración, evaluación, sistematización y difusión de la tarea realizada.
Los proyectos seleccionados formarán parte de la "Cartera de Proyectos" sociales de
Shell (en el último capítulo del presente documento, aparecen más detalles sobre el
sentido y metodología de trabajo a implementar en el Concurso de Proyectos).
¿Por qué y para qué un Programa de Formación Técnica para las
organizaciones...?
Es reconocido en la actualidad que los procesos de desarrollo económico y social
exitosos se sostienen, en buena medida, en acciones de capacitación y sistemas de
educación e información sólidos. Los programas sociales cada vez más consideran esta
premisa. A partir de ella, Shell ha decidido realizar un aporte complementario al apoyo
económico que habitualmente ha venido realizando a diversas organizaciones sociales
en los últimos años, aportando a la formación de los miembros de tales organizaciones,
en diseño, implementación y evaluación de proyectos.
La formación permitirá a las organizaciones conocer más sobre las técnicas utilizadas
para el diseño de proyectos y su evaluación. Adquirirán también conocimientos e
información sobre posibles fuentes de financiamiento para canalizar las propuestas
realizadas. Incrementarán así su autonomía y generarán mayores vínculos
interinstitucionales, incrementando su “capital social”.
Esta formación se realizará con la lógica del “aprender haciendo”, es decir, el proceso
de enseñanza - aprendizaje se irá materializando mientras se desarrollan las iniciativas
que Shell apoya año a año, seleccionadas a partir del Concurso de Proyectos (en el
capítulo F del presente documento, aparecen más detalles sobre el sentido y
metodología de trabajo del Programa de Formación Técnica).
¿Para qué entonces la “Guía de Monitoreo y Evaluación de
Proyectos Sociales”...?
La Guía que usted tiene en sus manos servirá para orientar a las organizaciones que
decidan presentar propuestas en el Concurso de Proyectos de Shell cada año y,
además, será una herramienta pedagógica de utilidad para el desarrollo del Programa
de Formación Técnica. Esta Guía es complementaria de la editada por Shell a
mediados del 2003 sobre “Formulación de Proyectos Sociales”.
En las páginas siguientes se presentan algunas ideas y sugerencias sobre cómo
entender los procesos de evaluación de proyectos y cómo formular propuestas de
monitoreo y evaluación.
Se trata de un documento simple, introductorio de los diversos temas y métodos que
existen para evaluar proyectos y que es posible profundizar en algunos de los trabajos
citados en la “bibliografía de consulta” (pág. 41).
Esperamos que la guía sea de utilidad para las organizaciones y contribuya a hacer
más efectivo el trabajo social de los que colaboran en la construcción de una sociedad
más equitativa y sostenible.
L A LÓG I C A D E L A E V A L U A C I Ó N
11
LA LÓGICA DE LA EVALUACIÓN
C
?
Qué sentido tiene evaluar...?
La acción de “evaluar” constituye una actividad vital cotidiana, forma parte de
nuestra manera de entender y enfrentar la vida. Como seres racionales que
somos, analizamos cada una de las acciones que realizamos; revisamos cada
situación, miramos hacia atrás y tratamos de entender lo que ha pasado. Además
imaginamos el futuro analizando nuestras capacidades y posibilidades para llevar
adelante
nuestros
proyectos vitales. Cada uno de estos pensamientos y análisis no son más que momentos
de evaluación y no podemos dejar de realizarlos permanentemente. Estos momentos
nos permiten comprender muchas de las cosas que pasan a nuestro alrededor, nos
abren la puerta para conocer mejor nuestras potencialidades y limitaciones encarando
así de mejor manera nuestras actividades.
No obstante la importancia y “naturalidad” del papel de la evaluación en nuestras
vidas, por algún motivo, la sociedad contemporánea ha asignado a la evaluación un
papel, a veces, “conflictivo”. En nuestro imaginario, asociamos casi inmediatamente la
palabra evaluación con “control y penalización”; nos vienen a la memoria los
exámenes escolares, o nos surge la imagen de nuestro jefe evaluando nuestro trabajo
y decidiendo a partir de allí nuestro futuro laboral. La evaluación aparece así como
“trauma”, como instancia de fiscalización externa, de alguien que nos dirá, a manera
de juez, qué tan buenos o malos somos y cuál será nuestro premio o nuestro castigo
por nuestros comportamientos. De allí que la palabra y acción de evaluar nos resulten
muchas veces tensionantes, desagradables, y la evitaríamos, incluso, si fuera posible.
Pues esta “manera de ver y hacer” una evaluación, predominante en nuestra cultura,
en realidad nos inhibe habitualmente de disfrutar del sentido más profundo y
enriquecedor de aquel acto. Y es que en verdad, como veíamos al iniciar estas líneas,
evaluar implica un modo natural de aprender para mejorar, un modo que utilizamos
cotidianamente para saber más de nosotros mismos y del mundo que nos rodea, una
acción que nos abre puertas para la creatividad.
Es este el sentido último que intentaremos sostener en el presente documento, el cual se
propone brindar elementos para que quienes llevan adelante proyectos colectivos de
beneficio social, puedan utilizar y disfrutar de herramientas que mejoren su accionar
en dichos emprendimientos entendiendo la evaluación como proceso de aprendizaje.
¿Qué significa evaluar un proyecto social...?
Así como la lógica de evaluación está en cada uno de nuestros actos individuales,
también se encuentra presente cuando emprendemos actividades colectivas. En la vida
de pareja, de familia, en los emprendimientos económicos o en las actividades sociales
compartidas con amigos, solemos tener momentos de evaluación comunes.
La necesidad de conocer, poner en común y acordar nuestras intensiones, reparos y
deseos, resulta imprescindible para que cualquier acción colectiva funcione. Para
ello,necesitamos evaluar la situación del grupo y del medio que lo rodea.
Tal necesidad de revisión se hace aún más evidente cuando como grupo
(organización), emprendemos acciones que afectan la vida de personas o colectivos de
personas, como es el caso de los denominados “proyectos sociales”.
La importancia que toma la evaluación en estos casos es enorme. Ya no se trata sólo
de revisar y aprender para mejorar nuestras propias acciones en la vida, se trata de
analizar que haremos o estamos haciendo para mejorar las condiciones de vida de
otras personas, a las que intentamos apoyar en algún aspecto vital (salud, educación,
etc.).
Numerosas organizaciones públicas y privadas que llevan adelante políticas y
proyectos sociales, han adquirido en los últimos años una verdadera conciencia de la
responsabilidad que les ocupa, e intentan a partir de allí utilizar metodologías de
evaluación para aprender y mejorar su acción social.
Al acercarse una determinada organización a una comunidad o barrio para realizar
alguna tarea de apoyo, rápida y naturalmente realiza un “diagnóstico de situación”,
que resulta la primera instancia de evaluación que llevamos adelante en dicho proceso
de trabajo. Nos preguntamos: ¿quiénes son las personas con las que
colaboraremos...?, ¿en qué medio habitan...?, ¿qué pautas culturales las guían....?,
¿cuáles son sus principales deseos, capacidades y problemas...?, ¿de qué manera mi
organización puede colaborar para mejorar sus posibilidades a acceder a una mejor
calidad de vida...?, ¿qué otras acciones o proyectos se han realizado con la población
y cómo han funcionado...?. Estas y muchas otras preguntas constituyen una evaluación
inicial necesaria de la situación en la que trabajaremos y serán complementadas con
muchos otros interrogantes que nos formularemos, junto con las personas destinatarias
de la acción del proyecto, a la hora de diseñarlo e implementarlo. Nos interrogaremos,
por ejemplo ¿cómo está funcionando el proyecto...?, ¿hemos gastado bien el dinero...?,
¿hemos alcanzado lo que nos proponíamos...?, si así no fuera, ¿cuáles han sido las
causas del fracaso...?, ¿cómo ha funcionado el sistema de trabajo que habíamos
pensado...?, ¿cuáles han sido los aciertos y errores...?, ¿cuáles son los mejores caminos
para subsanar errores, potenciar aciertos y cubrir vacíos que hayan quedado sin
atender durante la marcha del proyecto...?
Nos proponemos así profundizar nuestro conocimiento de la realidad, identificamos
problemas y actores sociales, sus necesidades e intereses e implementamos proyectos
con el propósito de mejorar esa realidad, de obtener cambios concretos, evidentes, que
nos den señales sobre la contribución realizada por las acciones proyectadas.
Es decir, implementamos acciones para que parte de la realidad se modifique; esto lleva
implícito la idea de que esperamos obtener “resultados” a partir de lo que hagamos.
La evaluación nos induce a interrogantes tales como ¿qué resultados o impactos
queremos obtener y cómo nos daremos cuenta de que los hemos alcanzado?
12
Desde una perspectiva “técnica” (desarrollada habitualmente por los organismos que
promueven y/o financian proyectos sociales) evaluar implica la aplicación de
metodologías para determinar el progreso de un proyecto en su proceso para
alcanzarun objetivo. Se trata de la indagación y valoración continua de los procesos,
los resultados y los impactos de una acción.
Desarrollar e implementar estrategias de evaluación nos abre las puertas, además, a la
posibilidad de sistematizar y difundir los aprendizajes obtenidos, tarea no siempre
valorada por las organizaciones que trabajan en actividades sociales.
Evaluar un proyecto social consiste, entonces, en
formularnos y tratar de respondernos preguntas
precisas sobre diversos aspectos del proyecto,
relativos a su planificación, ejecución y también
sus resultados. Esto supone la selección de
indicadores, de métodos e instrumentos de
recolección de datos y de la definición del universo
de situaciones que revisaremos. Implica entonces
el diseño de un sistema organizado que nos
permita recoger información, analizarla,
sistematizarla y difundirla.
• generar procesos de intercambio de visiones e
ideales para fortalecer procesos colectivos de
desarrollo social (mirar y compartir opiniones y
propuestas...),
• comunicar los resultados y aprendizajes
derivados de la tarea, para contribuir a
reorientar las acciones y fortalecer la capacidad
de gestión de las propias organizaciones y de
otros grupos que pueden mejorar su labor a
partir de nuestra experiencia.
En síntesis, la evaluación de proyectos nos permite:
• producir información y aprendizajes para
mejorar nuestra tarea (aprender de lo que
hacemos y mejorar los proyectos en marcha...),
A continuación, nos dedicaremos a analizar los diferentes aspectos que debemos
considerar y definir para llevar adelante un proceso de monitoreo y evaluación de
proyectos sociales.
PA S OS PAR A E L D I S E ÑO DE U N
S I S T E M A D E M O N I T O R E O Y E VA L U A C I Ó N
14
D
E
PASOS PARA EL DISEÑO DE UN SISTEMA
DE MONITOREO Y EVALUACIÓN
l diseño del sistema para monitorear y evaluar un proyecto social, se
realiza habitualmente en el mismo momento de formulación del proyecto,
aunque a veces la práctica nos muestre evaluaciones generadas durante
la ejecución del proyecto o una vez concluido el mismo.
Lo ideal es incluir un capítulo de “Monitoreo y evaluación” en el cuerpo principal del
proyecto, y definir allí los principales temas a considerar (ver Guía de Formulación de
Proyectos Sociales de Shell).
Los temas a definir para el armado del sistema de revisión de lo actuado, son:
momentos de evaluación, personas grupos y organizaciones involucradas; indicadores;
técnicas de evaluación; recursos necesarios; cronograma o plan de trabajo; difusión y
uso de los resultados.
Cómo en el caso de la formulación de proyectos, el diseño del sistema de monitoreo y
evaluación NO responde a un proceso lineal donde seguimos una secuencia de pasos,
uno tras otro. Cada uno de los pasos o cuestiones a definir deberá estar en
correspondencia con los otros (coherencia); se trata pues de un proceso iterativo, donde
vamos considerando casi a la vez todos los momentos a definir, desde los más
operativos (personas involucradas, tiempos, costos...), hasta los más sustantivos
(indicadores, instrumentos de recolección...). La presentación secuencial de este proceso
sólo nos sirve para ordenar aquellos pasos y presentarlos de una manera acorde a
nuestra capacidad para comprender las cosas. Será entonces “normal” que, a medida
que vayamos diseñando cada uno de estos pasos, necesitemos modificar el resto,
ajustando momento a momento cada aspecto del sistema hasta lograr un sistema
armónico y coherente.
Detallamos a continuación aquellas cuestiones a definir en el diseño de un sistema de
monitoreo y evaluación; al igual que en la Guía de Formulación de Proyectos,
trabajaremos en las próximas páginas sobre la conceptualización de cada momento
del diseño y utilizaremos como ejemplo ilustrativo el Proyecto "Desarrollo Integral y
Equidad en Buenaventura"1, cuyo Resumen Ejecutivo incluimos a continuación:
1 El caso se encuentra detallado en la Guía de Formulación de Proyectos Sociales de Shell.
EJEMPLO
Proyecto: "Desarrollo integral y equidad en
buenaventura"
Resumen ejecutivo:
Nombre de la organización que presenta el
proyecto:
“Fundación Juventud y Desarrollo” (FJD).
Nombre del proyecto:
“Desarrollo Integral y Equidad en Buenaventura”.
Dirección, teléfono e e.mail de la organización:
Simón Bolívar 4938, Buenaventura,
te: (3948) 584030, fjd@fjd.org
Instituciones asociadas:
Red de Organizaciones Barriales de Buenaventura
(ROBB). Municipalidad de Buenaventura.
Ubicación:
El proyecto se sitúa en el municipio de Buenaventura,
que tiene una población de 354.983 personas, de las
cuales el 68% vive por debajo de la línea de pobreza.
Buenaventura es uno de los 34 municipios
pertenecientes a la provincia de Santa María, una de
las 23 que integran la República de Argentaria.
Argentaria posee un total de 923 municipios, de los
cuales cerca de un tercio posee características similares
a Buenaventura.
El problema:
Existen en la región variados recursos y
posibilidades de que la población tenga una vida
digna, pero esos recursos no siempre se distribuyen
de manera equitativa, generando problemas de
pobreza y exclusión social, especialmente en la
población jóven.
Necesidades:
Es necesario que toda la población de Buenaventura
tome conciencia de esta realidad y que las personas
excluidas, accedan a mayores y mejores
oportunidades
de
educación,
empleo
y
participación en las decisiones ciudadanas,
especialmente los jóvenes.
Destinatarios del proyecto:
Los destinatarios directos del proyecto, serán 5.938
personas de entre 14 y 24 años, habitantes de 5
barrios marginales de Buenaventura. Del total de la
población destinataria del proyecto, el 50% no logra
concluir el colegio secundario, 45% se encuentra
desempleada o sub-empleada, y solo el 24,5%
participa de organizaciones sociales o en los
espacios de toma de decisiones del municipio. Las
organizaciones barriales están representadas por la
“Red de Organizaciones Barriales de Buenaventura”
(ROBB), que posee un grupo de representantes
juveniles interbarrial. Tratándose de un tema vital
para el municipio todo, se considera que
indirectamente el proyecto beneficiará a toda la
población de la localidad, 354.983 personas, que
disfrutaran de un mejor clima de convivencia e
integración social.
Objetivos:
El proyecto se propone mejorar la calidad de vida
de los pobladores jóvenes pobres y excluidos de
Buenaventura, mejorando a su vez, los niveles de
equidad de la localidad.
Para llevar adelante esta idea nos proponemos los
siguientes objetivos específicos:
• incrementar el porcentaje de jóvenes pobres que
culminan su educación secundaria,
• mejorar el nivel de empleo e ingresos de jefes de
familia jóvenes,
• incrementar el nivel de participación ciudadana
de las organizaciones barriales juveniles.
Tiempos y etapas de implementación:
El proyecto se realizará en dos años, divididos en
tres etapas, las dos primeras de nueve meses cada
una y la última de seis meses.
Presupuesto:
El costo total del proyecto asciende a 19.790 $, de los
cuáles, 9.790 $ serán aportados por las
organizaciones asociadas en la realización del proyecto
y 10.000 $ se solicitarán a diversos organismos
financiadores.
Monitoreo y evaluación:
El monitoreo del proyecto se realizará a través de
una “mesa intersectorial” conformada por
instituciones dedicadas a temas de juventud de
Buenaventura; esta mesa se reunirá una vez al mes
para
revisar
los
avances
del
proyecto,
principalmente la rendición de cuentas y en manejo
financiero. Habrá además una evaluación de
resultados, efectos e impactos; una vez finalizada
cada una de las tres etapas del proyecto1.
1 El sistema de monitoreo y evaluación se desarrolla en la presente guía.El sistema de monitoreo y evaluación se desarrolla en la presente guía.
16
1. ORGANIZACIÓN DE LOS MOMENTOS DE EVALUACIÓN
Como se mencionó en el punto anterior, es ideal que la evaluación de un proyecto sea
un proceso permanente. Desde el mismo instante en que las personas y organizaciones
involucradas comienzan a pensar la idea original del proyecto, suceden instancias de
evaluación.
Los principales momentos que habrá que definir en este proceso continuo son los
siguientes:
1.1. EVALUACIÓN DIAGNÓSTICA / ANÁLISIS DE FACTIBILIDAD
Se trata del momento en el que aún no hemos pensado el proyecto en sus detalles, sólo
tenemos algunas ideas de lo que queremos realizar, pero aún no sabemos si existen
condiciones para hacerlo.
Es la etapa del primer diagnóstico, aquel que nos proporciona las primeras señales y
nos ayuda a responder preguntas cómo:
a) ¿Es pertinente aquella primera idea de proyecto para las condiciones generales
del lugar y de las personas destinatarias de la acción futura...?
b) ¿Están de acuerdo las personas a las que está destinado el proyecto, que la iniciativa
se lleve adelante...?
c) ¿Existen condiciones sociales, políticas, institucionales y económicas para llevar
adelante la iniciativa...?
Resulta de vital importancia para todo proyecto, la realización de un buen análisis de
factibilidad, cuyas características y duración dependerán de la magnitud y complejidad
del proyecto (será diferente según su cobertura geográfica, la cantidad de personas a
las que se pretende prestar servicios, el tipo de acción a realizar, el monto de inversión,
etc.). Un estudio de factibilidad mal realizado, puede llevar al fracaso del proyecto, por
más que éste haya sido formulado correctamente.
En esta primera etapa o momento de la evaluación, deberemos cotejar con las
organizaciones que llevarán adelante el proyecto, si existen condiciones favorables para
hacerlo. En algunos casos, suelen realizarse en esta instancia análisis del tipo “árbol de
problemas” o “FODA” (fortalezas, oportunidades, debilidades y amenazas) para
analizar la situación inicial del proyecto y de las organizaciones que participan en él.
1.2. EVALUACIÓN EX-ANTE
Una vez que asumimos que es factible y pertinente la realización del proyecto, y que
definimos los objetivos, metas y actividades, deberemos realizar una evaluación de las
condiciones en que se encuentran las personas, organizaciones o espacios que
pretendemos modificar, ello antes de iniciar las tareas que implica la marcha del
proyecto.
En este preciso instante del proceso de diseño del proyecto es cuando debemos
sacar “una foto” de la situación existente previa al inicio del proyecto; debemos
establecer aquí la llamada “línea de base”, conformada por aquellos datos que
indican desde dónde partimos.
Algunos ejemplos pueden ayudarnos a conocer con claridad este tema:.
CASO 1: AGUA POTABLE
El presente ejemplo plantea la situación hipotética de un proyecto que
tiene como objetivo principal mejorar las condiciones de salud de una
determinada comunidad, y como objetivo específico, mejorar las
condiciones de potabilización del agua que las personas ingieren. Para
ello, se propone realizar una serie de actividades de limpieza de
cañerías, instalación de plantas depuradoras y un programa de formación
para los vecinos. Para saber si realmente nuestro proyecto ha alcanzado
o no su objetivo específico y si el agua que la población bebe luego de
implementado el proyecto es de mejor calidad, deberemos conocer cuál
era el grado de potabilización del agua antes de tal implementación. A
tal fin deberemos hacer estudios técnicos especiales que nos permitan
conocer este estado previo (línea de base), y luego cotejarlo con el
resultado de los análisis químicos realizados luego de la ejecución del
proyecto.
CASO 2: FORMACION EN DERECHOS CIUDADANOS
Aquí un proyecto cuyo objetivo principal es la formación de jóvenes en
derechos ciudadanos, y uno de cuyos objetivos específicos es que los
jóvenes conozcan los derechos ciudadanos, dirigidos a la población
joven, incluidos en la Constitución Nacional. Pues en este caso para
avanzar con el desarrollo del proyecto y verificar luego su efectividad,
necesitaremos conocer al inicio del proyecto que y cuánto saben los
jóvenes sobre sus derechos incluidos en la constitución (línea de base), y
comparar luego esta calidad y cantidad de conocimientos previos, con
los adquiridos a partir de la realización del proyecto.
CASO 3: MEJORA NUTRICIONAL
En este caso es un proyecto dirigido a mejorar el estado nutricional de
niñas y niños menores de cinco años de una determinada comunidad;
uno de los objetivos específicos del proyecto es mejorar la relación peso
/ talla de los niños a partir de las acciones del proyecto. Nuevamente,
para saber si el proyecto ha alcanzado su objetivo específico,
necesitaremos medir el peso y la talla de los niños al inicio del proyecto
(línea de base) y luego cotejarlos con las mediciones realizadas al
finalizar nuestra acción.
Será importante entonces relevar y establecer a la hora de la definición del proyecto,
una línea de base para cada uno de los objetivos específicos planteados, asi como para
el objetivo general.
Los resultados de la evaluación ex-ante pueden obtenerse y explicitarse en el
documento del proyecto, donde se describe la situación general del contexto en el
18
que este se desarrolla (habitualmente en la sección de antecedentes o contexto...),
se analiza la situación de las personas a las que está destinado el proyecto (en la
sección destinatarios o beneficiarios...) y establecen las respectivas líneas de base
de cada uno de los objetivos (comúnmente en la sección de evaluación...).
También puede establecerse ese “tiempo cero” inicial en el que se construye este
mapa de situación o foto del contexto y de los destinatarios de la acción, como
una de las primeras actividades del proyecto; previa a la implementación de las
acciones.
Cuando por algún motivo resulta imposible obtener la línea de base de un
proyecto, y se necesita conocer los cambios producidos a partir de su
implementación, es posible utilizar la técnica denominada de “Grupos de Control
o Referencia”. Sintéticamente, esta técnica se basa en comparar los cambios
producidos en el grupo destinatario del proyecto, en relación a otros grupos de
personas que viven en condiciones similares y que no han participado del mismo.
1.3. MONITOREO DEL PROCESO
La revisión de la marcha de un proyecto, implica medir en forma permanente el
grado de cumplimiento de la ejecución de las actividades previstas (eficacia) así
como también el grado de cumplimiento de la ejecución de los recursos
disponibles en función del presupuesto asignado (eficiencia). Este seguimiento
sobre lo que se está haciendo y su comparación con lo programado es el objetivo
básico del monitoreo, que se convierte así en una herramienta que produce
información sobre el estado de avance de la gestión del proyecto, información
sumamente útil para la “toma de decisiones” cotidianas.
El sistema de monitoreo deberá también ser definido a la hora del diseño del
proyecto, definiremos qué información se revisará, cada cuánto tiempo y a través
de qué medios y métodos.
Para recoger la información parcial del avance del proyecto, suelen utilizarse las
llamadas “Planillas de Monitoreo”, formatos simples en los que se va acumulando
la información parcial de los avances producidos durante la marcha de las
actividades(ver Planilla tipo adjunta a esta Guía).
Además de relevar los avances y obstáculos encontrados en el camino, el proceso
de monitoreo suele resultar de utilidad para consolidar los equipos de trabajo que
participan del mismo. Cada vez más, los proyectos sociales concitan el interés e
involucramiento de diversas instituciones de financiamiento, apoyo técnico,
organizaciones vecinales, organismos públicos; en este marco de “acción
multisectorial”, las “reuniones de monitoreo” suelen servir como espacios de
puesta en común de necesidades, visiones y posiciones en pugna alrededor de las
actividades del proyecto.
En cuanto al lapso de tiempo en que resulta necesario revisar lo actuado, éste
variará según el tipo de proyecto; existen proyectos de “actividad concentrada”
en pocos meses, en los que quizás sea necesario realizar revisiones semanales,
otros, más dilatados en el tiempo (uno, dos o tres años, por ejemplo), donde
quizás sea suficiente realizar el monitoreo mensual o bimensualmente.ase) y luego
cotejarlos con las mediciones realizadas al finalizar nuestra acción.
1.4. EVALUACIÓN INTERMEDIA
También denominada “evaluación operativa”, se implementa habitualmente al
promediar la ejecución de proyectos cuyo período de implementación supera el
año. El sentido de este tipo de evaluación es generar información para reorientar
la marcha del proyecto, las acciones inicialmente propuestas y sus formas de
gestión. Intenta responder a preguntas tales como: ¿se están cumpliendo los
objetivos, metas y actividades del proyecto?, ¿ en qué medida se están
cumpliendo?, ¿se están cumpliendo en los tiempos previstos y con los costos
previstos?, ¿qué cambios necesitamos realizar para ajustar la ejecución al
cumplimiento de los objetivos?.
La evaluación intermedia se diferencia de las acciones de monitoreo por la
intensidad y profundidad de la revisión realizada; suelen utilizarse técnicas más
estrictas para revisar los procedimientos administrativos y el efecto (cumplimiento
de metas) e impacto (cumplimiento de objetivos) del proyecto.
No resulta particularmente recomendable plantear una evaluación de estas
características cuando los proyectos son de corto plazo (menos de un año de
ejecución).
1.5. EVALUACIÓN DE IMPACTO O EVALUACIÓN EX-POST
Es la evaluación que se realiza a la finalización de la ejecución de un proyecto.
Incluye tanto la evaluación de resultados como la evaluación de efectos e impactos
finales.
Esta evaluación se realiza habitualmente al terminar la fase de operaciones de un
proyecto, aunque también se suele implementar luego de determinado tiempo de
la finalización del mismo (dos o más años, según los casos).
El concepto impacto alude a “transformar una determinada situación social”, es
decir, supone implementar una acción a través de la cual se disminuye
significativamente un daño, se repara una situación de privación, se modifican
conductas y relaciones, o se facilita el acceso a algún bien, servicio o derecho
que fuera enajenado.
Naturalmente asociamos “impacto social” a los cambios visibles o “tangibles” de
un proyecto o acción. Imaginamos comúnmente el producto de un proyecto en
términos “concretos”: una casa, alimentos, agua potable, vacunas, dinero, etc..
Sin embargo, las organizaciones que promueven proyectos sociales asumen
habitualmente el desafío de modificar no sólo las condiciones materiales de vida
de las personas o grupos sociales, sino también las formas de vida, actitudes y
aptitudes personales y grupales, las relaciones interpersonales, etc.. Este conjunto
de objetivos son llamados habitualmente “intangibles” y resultan particularmente
importantes de revisar a la hora de realizar la evaluación de impacto de un
proyecto. Preguntas como ¿cómo se han modificado las relaciones sociales en
determinada localidad a partir de la implementación del proyecto...?, ¿cómo ha
variado el capital social y simbólico de los grupos destinatarios...?, ¿cómo se
modificó la autoestima de los destinatarios de la acción a partir de las actividades
realizadas...?, ¿qué capacidades sociales han quedado instaladas una vez
implementado el proyecto...?, son habitualmente realizadas para analizar estos
aspectos intangibles de los que hablamos.
20
Un aspecto importante a considerar, es que un mismo proyecto puede definir en
forma simultánea distintos tipos de destinatarios de su acción:
•
•
•
•
las personas / familias destinatarias directas de las acciones del proyecto
el conjunto de organizaciones de la comunidad donde se implementa,
poblaciones vecinas,
la sociedad en su conjunto.
Definitivamente, la implementación de un proyecto social tendrá consecuencias
directas en todas las personas y organizaciones que formen parte de él. Solemos
suponer que las modificaciones se producen sólo en los destinatarios de la acción
(aquellos que reciben los alimentos, o la vivienda, o participan de los cursos, o se
benefician con algún servicios prestado a partir del proyecto). Sin embargo, las
personas y organizaciones que promueven el proyecto, aquellas que lo financian
y las que se ven envueltas de una u otra manera en sus actividades, también
cambian. Cambian su visión de la situación, su forma de pensar, su posición
técnica, su actitud frente a un determinado tema o cuestión, su relación con otras
personas o grupos involucrados, etc., etc... Resulta entonces importante relevar
durante la evaluación de impacto estos cambios, más allá que estén o no
explicitados como objetivos del proyecto.
En síntesis, la evaluación de impacto implica comparar una situación o estado
posterior a la realización de un proyecto, con una situación o estado previo, es
decir, identificar los cambios producidos a partir de nuestra intervención y si estos
cambios respondieron a lo que habíamos planificado o significaron “impactos no
previstos” por el proyecto.
Será de gran valor aquí contar con la evaluación ex-ante y específicamente con la
“línea de base” del proyecto, que nos permitirá cotejar lo realizado con la
situación inicial.
EJEMPLO
Momentos del proceso de monitoreo y evaluación
Evaluación diagnóstica / análisis de factibilidad:
Para el análisis de factibilidad y la realización del
primer diagnóstico de situación de la juventud en
Buenaventura, se realizarán reuniones del equipo
técnico de FJD con representantes del gobierno
local de Buenaventura, con las autoridades y
docentes de las escuelas secundarias, con las
organizaciones barriales y empresas de la
localidad, con el propósito de presentar las
primeras ideas del proyecto y analizar el grado de
interés en su desarrollo, su factibilidad y la
necesidad de realizar ajustes. Se prevee realizar en
esta instancia, la identificación de las poblaciones
con las cuales se trabajará y la realización de un
“taller de diagnóstico participativo” donde se
realizará un “árbol de problemas” sobre la situación
de la juventud de Buenaventura.
Evaluación ex-ante:
Para obtener una “línea de base”, se recolectarán
durante las primeras semanas de ejecución del
proyecto, datos para caracterizar la situación de los
jóvenes de Buenaventura en relación a: el acceso y
permanencia en el sistema educativo, la inserción en
el mercado de trabajo y la participación ciudadana y
defensa de sus derechos sociales. Estos datos
complementarán a los identificados a partir de fuentes
secundarias en la etapa de diagnóstico inicial, que
indican que del total de la población “objeto directo”
del proyecto (los jóvenes viviendo en situación de
pobreza en Buenaventura):
a) el 50% no logra concluir el colegio secundario,
b) 45% se encuentra desempleada o sub-empleada,
c) y sólo el 24,5% participa de organizaciones
sociales o en los espacios de toma de decisiones del
municipio.
Monitoreo del proceso:
El seguimiento de las acciones del proyecto a lo largo del
tiempo de ejecución del mismo, estará a cargo del equipo
técnico de la FJD con la participación periódica de los
actores involucrados, reunidos en el Comité Intersectorial
de Monitoreo y Evaluación. El Comité se reunirá
bimensualmente con el objetivo de:
a) revisar los informes de avance del proyecto,
b) cotejar los resultados producidos con los
planificados (cumplimiento de actividades),
c) analizar las relaciones entre las diversas
organizaciones y personas participantes en
el proyecto,
d) revisar la marcha de la ejecución
presupuestaria,
e) y elaborar un Informe de Avance que será
circulado entre las instituciones involucradas.
El lugar de reunión será la sede de la Red de
Organizaciones Barriales de Buenaventura (ROBB).
El coordinador del proyecto convocará a cada
reunión de monitoreo una semana antes, anunciando
la agenda de trabajo.
Evaluación intermedia:
Al finalizar el primer año de ejecución del proyecto,
se contratará la realización de una “evaluación
externa” para revisar el cumplimiento de las
actividades y metas propuestas para el período. Los
términos de referencia para la contratación serán
elaborados por el Comité Intersectorial de
Seguimiento del proyecto. La evaluación intermedia
se nutrirá de la recolección de información sobre el
desarrollo de las actividades (Informes de Monitoreo)
y la opinión de los destinatarios y participantes en el
proyecto, expresados a través de registros e
informes, observación en talleres y realización de
grupos de reflexión.
22
Evaluación de impacto o evaluación
ex-post:
Al finalizar el segundo año de operaciones, se
contratará una “evaluación externa” para coordinar
el análisis final de los logros y aprendizajes del
proyecto en Buenaventura. Los términos de referencia
para
la
contratación serán elaborados por el Comité
Intersectorial de Seguimiento del proyecto. La
evaluación se nutrirá de información surgida de:
• informes de monitoreo.
• las indicaciones y propuestas surgidas de la
Evaluación Intermedia.
• nuevos estudios realizados con la
participación de las personas involucradas.
La evaluación final estará orientada principalmente a
detectar las modificaciones producidas en la
sociedad de Buenaventura, especialmente en los
destinatarios de la acción del proyecto.
En relación a los destinatarios, se revisarán las
modificaciones en relación a la “línea de base” del
proyecto, observando:
• la tasa de retención escolar y de rendimiento
académico entre los jóvenes de Buenaventura,
• las mejoras en la empleabilidad de lo
jóvenes
• y la participación ciudadana y el ejercicio de
sus derechos entre los jóvenes destinatarios de
la acción del proyecto.
Adicionalmente, la evaluación deberá relevar otras
modificaciones “no previstas” que se hayan
producido a partir del proyecto, los cambios en las
organizaciones participantes y en la sociedad de
Buenaventura toda.
2. PERSONAS, GRUPOS Y ORGANIZACIONES INVOLUCRADAS EN EL
PROCESO DE MONITOREO Y EVALUACION
Durante la fase de diseño de un sistema de monitoreo y evaluación, que realizaremos
en el momento mismo de la formulación del proyecto, una de las cuestiones más
relevantes que deberemos definir es quiénes y de qué manera participarán del proceso
de revisión de lo actuado.
Sobre esta definición será necesario considerar separadamente el proceso de
monitoreo del de evaluación.
Con respecto al monitoreo, la tarea puede ser realizada por el equipo técnico que lleva
adelante la gestión, o puede implementarse con la participación de las organizaciones
sociales y/o los destinatarios directos del proyecto. Es decir, puede plantearse una
modalidad centralizada de monitoreo a cargo del equipo responsable de la
implementación del proyecto o bien modalidades participativas de monitoreo
involucrando a los actores sociales que participan con diferentes roles en la ejecución.
Las formas participativas contribuyen al fortalecimiento de las organizaciones sociales, y
de los equipos técnicos de los gobiernos locales y organizaciones participantes,
aportando conocimiento y herramientas de monitoreo. También enriquecen la visión
sobre lo actuado al incorporar la opinión y valoración de todos los actores.
En relación con los momentos de evaluación, aparecen aquí nuevamente dos visiones
diferenciadas: la de quienes sostienen que la revisión de lo producido por el proyecto
debe ser realizada por sus propios protagonistas (destinatarios y organizaciones
promotoras), y la de quienes argumentan que tal revisión debe ser hecha por personas
u organizaciones externas al proyecto (expertos, consultoras, organismos de
fiscalización, etc.).
Ambas posturas tienen argumentos interesantes a considerar. Quienes pugnan por la
participación activa de los actores involucrados en todo el proceso de evaluación,
sostienen que esa es la mejor manera de que las personas que ejecutan el proyecto
aprendan de las lecciones que arroja el día a día y logren a partir de allí mejorar su
capacidad para llevar adelante ese y otros proyectos de desarrollo social (la evaluación
como proceso de aprendizaje...). Desde la otra mirada, se argumenta sobre la
necesidad de que personas “de afuera”, no involucradas directamente en el quehacer
del proyecto, den su opinión despojados de posibles condicionantes generados por las
relaciones cotidianas con las personas y con el proyecto mismo (la evaluación como
“aporte externo” al proceso...).
La experiencia parece demostrar que una combinación de ambas estrategias pareciera
ser lo más adecuado a la hora de pensar en quién evalúa.... Esta combinación no
siempre es posible, al menos por dos razones:
a) no siempre es factible contratar evaluadores externos (limitaciones económicas
y/o técnicas);
b) no siempre todas las organizaciones y personas involucradas en los proyectos
tienen disponibilidad y decisión de participar activamente en los procesos de
monitoreo y evaluación.
Como se mencionó en el capítulo anterior, los proyectos sociales nunca son
bidireccionales (unos que dan otros que reciben...); siempre están compuestos por
múltiples actores con diversos intereses, culturas y expectativas en relación al proyecto.
La constitución de consejos o comisiones o mesas interinstitucionales de monitoreo y
evaluación, han dado cierto resultado a la hora de conformar el equipo de seguimiento.
Se trata de grupos de representantes de las organizaciones participantes del proyecto
que se reúnen sistemáticamente durante la ejecución del proyecto a revisar lo actuado
(semanal, quincenal o mensualmente, según los casos y tipo de proyecto).
La comisión estaría conformada, al menos, por representantes de:
1)
2)
3)
4)
5)
6)
la organización responsable de la implementación del proyecto
las personas destinatarias del proyecto
las organizaciones promotoras
las organizaciones financiadoras (si fueran diferentes a las anteriores)
representantes del gobierno local
otras organizaciones vinculadas al proyecto
Es importante tener en cuenta aquí:
• la sistematicidad de las reuniones de este equipo de seguimiento (técnicas
claras y coordinación precisa para identificar lo que queremos revisar),
• la representatividad de las personas que acuden a la cita y su vínculo y
transmisión de aprendizajes y visiones a los colectivos que representan,
• el vínculo entre lo que se produce en las reuniones de seguimiento y la
posibilidad de realizar cambios en la marcha del proyecto (relación con
la conducción del proyecto).
EJEMPLO
Personas, grupos y organizaciones involucradas en
Iel proceso de monitoreo y evaluación
Durante el proceso de monitoreo y evaluación del
proyecto existirán tres instancias organizacionales
que deberán articularse:
• las acciones de seguimiento del Equipo Técnico de
la FJD.
• las reuniones de monitoreo del Comité
Intersectorial de Seguimiento.
• las evaluaciones externas (intermedia y final).
24
En este marco, participarán activamente del
proceso de revisión y aprendizaje, principalmente,
las siguientes personas y organizaciones:
• Fundación Juventud y Desarrollo – FJD:
organización responsable de la ejecución del
proyecto.
• Red de Organizaciones Barriales de
Buenaventura (ROBB) organización Inter. -barrial
que representa a las organizaciones comunitarias
de Buenaventura y posee un grupo de
representantes juveniles.
• Técnicos del Municipio de Buenaventura
• Representantes de las tres escuelas
secundarias seleccionadas por el proyecto.
• Los facilitadores y docentes que participan en
el apoyo escolar, en la capacitación laboral y en la
sensibilización y concientización en derechos.
• Representante de las organizaciones
barriales juveniles.
• Los jóvenes beneficiados directamente por
el proyecto.
• Equipo de evaluadores externos.
3. VARIABLES E INDICADORES A REVISAR
LAS VARIABLES COMO EXPRESIÓN DE LOS DIFERENTES NIVELES DE OBJETIVOS
DEL PROYECTO
Como vimos en otras partes de este documento, los sistemas de monitoreo y
evaluación nos permiten revisar, analizar, aprender y emitir juicios sobre los
cambios producidos a partir de la implementación de un proyecto. Tales cambios
son producidos por las acciones destinadas a cumplir con diversas metas y
objetivos fijados en el proyecto.
Cada uno de aquellos “niveles de objetivos” (expresados en “actividades”,
“metas”, “objetivos”, “fines” o “propósitos” del proyecto, según sea su alcance),
pretende alterar una parte de aquella realidad objeto de la acción (alterar una
conducta, un espacio físico, una relación grupal, cierto nivel de ingreso, etc...). A
cada una de aquellas situaciones que intentamos alterar con nuestras acciones, le
llamaremos “variable”, precisamente, porque será una dimensión de la realidad
modificable, sobre la que orientamos nuestro trabajo.
En los procesos de investigación científica, las variables se corresponden con las
diversas dimensiones del objeto o problema que pretendemos investigar; pues en
los procesos de evaluación de proyectos sociales, el objeto de estudio es el
conjunto de variaciones provocadas por la implementación del proyecto (sean
estas internas -eficiencia-, o externas -eficacia-). De allí que las variables se
asocian habitualmente en los procesos de evaluación, a los niveles de objetivos,
es decir, intentamos observar qué variaciones se producen en una determinada
realidad social, a partir de la realización de las actividades, el logro las metas
propuestas y la obtención de los objetivos definidos. Buscamos entonces analizar
si aquellas variaciones se produjeron en la dirección deseada (¿la conducta varió
como estaba previsto...?, ¿el espacio se modificó de acuerdo a lo planeado...?,
¿las relaciones grupales se alteraron tal cual lo proyectado...?), y si así no fuera,
pretendemos conocer los por qué para modificar nuestra acción, si fuera
necesario.
INDICADORES SEGÚN EL MOMENTO DEL PROCESO DE EVALUACIÓN
Reconocidas entonces aquellas situaciones que necesitamos “mirar” y definir
como variables observables de la realidad objeto de la acción del proyecto,
necesitamos ahora establecer algunos aspectos de aquella realidad que nos
permitan registrar con certeza aquella variación esperada. Estos aspectos son los
llamados indicadores,
cuestiones o situaciones medibles y registrables (tangibles o intangibles), que nos
indican cómo ha afectado el proyecto a aquella realidad. Son los “marcadores”
que vamos observando, midiendo, registrando y analizando en los distintos
momentos de monitoreo y evaluación del proyecto. Los indicadores pueden ser
“operativos”, es decir propios de la gestión del proyecto (internos), o
“sustantivos”, es decir, aquellos que reflejan los cambios producidos a partir de
la ejecución del proyecto.
Tendremos entonces aspectos indicativos que nos muestren cómo marcha el
proceso de gestión del proyecto, y que utilizaremos durante el monitoreo del
mismo, y otros que nos servirán para analizar las variaciones producidas a partir
del cumplimiento de las actividades, metas y objetivos.
En el caso del monitoreo, algunos de los indicadores operativos que
tradicionalmente se analizan en los proyectos sociales son:
• Cantidad y calidad de actividades programadas para un determinado período de
tiempo Vs. cantidad de actividades efectivamente realizadas en ese período de
tiempo.
• Cantidad de destinatarios previsto participando de las actividades Vs. cantidad de
destinatarios que efectivamente participan de las actividades.
• Presupuesto programado para un determinado período de tiempo Vs.presupuesto
efectivamente ejecutado en ese tiempo.
Durante el monitoreo suelen ser los indicadores de producción los más relevantes,
porque son los que nos muestran qué y cuánto de las actividades programadas
hemos efectivamente realizado (resultados). Habitualmente valoramos el
cumplimiento de lo programado, utilizando algunos parámetros operativos de
cumplimiento medidos en porcentajes (realizamos el 34% de las actividades, han
participado el 89% de los destinatarios, o hemos ejecutado el 90% del
presupuesto en el tiempo previsto).
En la evaluación se incorporan diversos tipos de indicadores que nos permiten
formular juicios evaluativos a partir de valorar lo realizado, las actividades
programadas, la calidad de esas acciones y la valoración que los actores
participantes del proyecto tienen de ellas (efecto e impacto). Prevalecen aquí los
indicadores sustantivos.
Habrá diversos indicadores para cada objetivo, meta y actividad, y también según
el momento del ciclo del proyecto en el que realizamos la evaluación.
Por ejemplo, revisemos el siguiente caso:
CASO 4: PARTICIPACIÓN CIUDADANA
Imaginemos un proyecto que intenta mejorar las formas y calidad participación
ciudadana de un determinado grupo de personas en una localidad (objetivo)
promoviendo la participación de los ciudadanos en organizaciones sociales
locales, la generación de normativas que fomenten la participación ciudadana
en la definición de los asuntos públicos y sensibilizando a la población
en relación a la importacia de su participación activa para mejorar la
26
calidad de la democracia.
Algunos indicadores posibles de relevar en cada momento del proceso de
monitoreo y evaluación, podrían ser:
• Grado o nivel de participación de las personas en organizaciones comunitarias
antes de la implementación del proyecto.
• Variación en la participación de las personas destinatarias del proyecto en
organizaciones comunitarias.
• Valoración de la participación en organizaciones comunitarias, entre
las personas destinatarias del proyecto.
• Incremento del número de organizaciones sociales en la localidad.
• Cambio en las normas de orden público en relación a la participación
ciudadana.
• Cambios en la concepción de la participación ciudadana en la toma
de decisiones del estado local.
Tenemos asi definido “qué” miraremos para conocer si la situación sobre la que
decidimos trabajar con nuestro proyecto, ha variado en la dirección deseada. Una
vez tomada esta decisión, será necesario establecer algún parámetro que nos
permita distinguir apreciaciones sobre el tenor, magnitud o calidad de aquella
alteración del indicador utilizado.
Para fijar esta distinción, utilizaremos parámetros sustantivos, que definiremos
como aquellas “marcas” o referencias necesarias para orientar las apreciaciones
valorativas sobre las variaciones producidas. ¿Cuánto ha mejorado la calidad de
vida de la población destinataria del proyecto...?, ¿esta mejora era la prevista...?,
¿mayor...?, ¿menor...?, ¿suficiente...?. Si retomamos algunos indicadores del
ejemplo recientemente analizado, podríamos establecer el siguiente cuadro de
indicadores y parámetros:
OBJETIVO:
Mejorar las formas y calidad de la participación ciudadana
INDICADOR SUSTANTIVO
PARAMETROS
Variación en la participación de las personas destinatarias
del proyecto en organizaciones comunitarias.
Incremento mínimo previsto durante el tiempo del proyecto
= 50%.
Cambio en las normas de orden público en relación a la
participación ciudadana.
Se establecen y ponen en marcha al menos tres nuevas
normas municipales para la apertura de espacios de
participación ciudadana en las decisiones de política
pública.
Cambios en la concepción de la participación ciudadana
en la toma de decisiones del estado local.
Al menos el 70% de los miembros del ejecutivo y
legislativo municipal, asumen como necesario el
incremento de la participación ciudadana, medio para
fortalecer la democracia local.
Los parámetros nos ayudan a conocer si hemos alcanzado lo que nos proponíamos
o si lo realizado ha estado por debajo de lo esperable y necesitamos variar
nuestra estrategia de trabajo; suelen estar incorporados en la definición de las
“actividades”, “metas” y objetivos” del proyecto. También nos permiten comparar
el efecto e impacto que tienen diferentes estrategias para alcanzar las metas y
objetivos que nos propusimos conseguir en el proyecto, permitiéndonos optar por
la más adecuada.
INDICADORES SEGÚN NIVEL DE OBJETIVO PERSEGUIDO
Será también particularmente importante a la hora de la definición de indicadores,
diferenciar con mucha precisión entre aquellos destinados a relevar el
cumplimiento de los objetivos, metas y actividades propuestas. Es decir, dirimir con
claridad los que utilizaremos para relevar el cumplimiento de cada uno de aquellos
niveles de análisis, diferenciando la consecución de resultados, de efectos y de
impactos:
a) en el caso de la revisión de resultados, miraremos especialmente si las
actividades programadas se cumplieron en calidad, cantidad, tiempo y
forma (nivel de acciones más inmediatas y operativas);
b) en el caso del análisis de efectos, si los beneficiarios de los proyectos
pudieron hacer uso de los beneficios inmediatos derivados de aquellas
actividades (mediano plazo);
c) en el caso de la medición del impacto, analizaremos si estos beneficios
inmediatos contribuyen y en qué medida a cumplir con el objetivo de largo
plazo propuesto (cambio de actitudes, aptitudes, relaciones sociales y
situaciones vitales concretas).
Para aclarar un poco más esta "mirada tridimensional" del trabajo realizado,
pondremos un par de ejemplos:
CASO 5: TALLERES PARA PREVENCIÓN DE DENGUE Y MALARIA
a) EL CASO: Supongamos que tenemos un proyecto que tiene como objetivo
principal, mejorar las condiciones de salud de una determinada población,
disminuyendo su vulnerabilidad a contraer enfermedades como el dengue y la
malaria, reduciendo al menos en un 50% los casos anuales de tales
enfermedades. Para el logro de este objetivo de mediano plazo, se propone
como meta que 100 familias de esa comunidad adquieran hábitos de cocina
y limpieza que favorezcan la prevención de aquellas enfermedades. Para que
estos hábitos se generen, se propone, entre otras actividades, impartir cuatro
talleres de reflexión y capacitación para las familias seleccionadas.
b) LA EVALUACION TRIDIMENSIONAL: Se trata aquí de tener una mirada que
vaya desde "lo particular y de corto plazo" hasta "lo más general y de mediano
y largo plazo". Siendo así, analizaremos en primer lugarsi los cuatro talleres de
capacitación se realizaron en tiempo y forma, si el número de familias asistentes
fue el esperado y si el programa de contenidos
28
se cumplió tal como se previó (resultado).En segundo momento de la
evaluación, revisaremos si realmente las 100 familias adquirieron los
hábitos de cocina y limpieza que se promovieron en los talleres (efecto). Y
por último, un tiempo después, miraremos si realmente la adquisición de los
nuevos hábitos propuestos a las 100 familias,contribuyen para que los
índices de dengue y malaria disminuyan en la comunidad en un 50%, como
indicaba el proyecto (impacto).
CASO 6: MEJORA DE SISTEMA PRODUCTIVO DE FINQUEROS
a) EL CASO: Se trata de un proyecto que tiene como objetivo mejorar los
ingresos de las familias de una comunidad semirural, colaborando para
que éstas obtengan mensualmente un ingreso mínimo que cubra las
necesidades básicas, estipulado en esta comunidad, en 300 $. Para el
logro de este objetivo, el proyecto propone como meta, que 10 familias
mejoren en un año los cultivos que realizan en sus parcelas e incrementen
sus ventas en un 40%. Para que esto ocurra, se realizarán en los primeros
3 meses del proyecto varias actividades, como la conformación de una
cooperativa de producción, la entrega a los finqueros de nuevos granos y
herramientas, y la realización de dos talleres de capacitación sobre
técnicas de cultivo, comercialización y manejo financiero de proyectos
productivos.
b) LA EVALUACION TRIDIMENSIONAL: Nuevamente, de lo particular a lo
general, debemos analizar en primer lugar si los finqueros conformaron la
cooperativa de producción, si los granos y herramientas se entregaron en
tiempo y forma y si los talleres de capacitación se realizaron oportunamente
con la asistencia de los 10 finqueros (resultados). Seguidamente, es
necesario revisar si las familias utilizaron correctamente los enseres y
capacidades adquiridas en los talleres y si ubicaron su producción tal lo
establecido (efecto). Por último, una vez puesto en marcha el
emprendimiento, habrá que verificar si las familias concluyen percibiendo,
por lo menos, los 300 $ necesarios para elevar sus ingresos mensuales a
niveles aceptables, según lo programado en los objetivos del proyecto
(impacto).
Los ejemplos 5 y 6 deberán servirnos de guía a la hora de "mirar integralmente"
los proyectos, evitando conformarnos con el cumplimiento de las actividades
(resultados) e incluso con el de las metas (efectos). Es importante así tomar
conciencia que los proyectos habrán sido realmente efectivos una vez que
hayamos comprobado que sus objetivos sociales (específicos y generales) se han
cumplido (impacto). Para plantear de manera clara la relación entre estos tres
niveles de análisis, se adjunta una "Matriz de relevamiento de resultados, efectos
e impactos" que puede resultar de utilidad a la hora de elaborar los sistemas de
seguimiento de los programas.
4. TÉCNICAS E INSTRUMENTOS DE RECOLECCIÓN DE INFORMACION
Para relevar los datos que nos proporciona la realidad en la que operamos y
poder analizar las variaciones de los indicadores establecidos, necesitaremos
instrumentos y técnicas de recolección de datos -comúnmente llamados “medios de
verificación”-. También resultará imprescindible identificar las fuentes de
información donde acudiremos a recoger los datos que nos permita analizar el
desempeño o variación de nuestros indicadores.
INSTRUMENTOS
Los Instrumentos de recolección de datos se diseñan y utilizan para recoger la
información que emana de las situaciones indicativas identificadas. Estos
instrumentos pueden ser informes de rutina, planillas de registro de actividades,
de asistencia de los destinatarios a actividades del proyecto, cuestionarios, guías
de entrevistas, encuestas, etc.
TÉCNICAS DE RECOLECCIÓN DE INFORMACIÓN
Las técnicas de recolección de datos son las que nos permiten organizar la tarea
de relevamiento y sistematización de la información que necesitamos relevar.
Algunas de las técnicas más utilizadas son las siguientes: análisis en gabinete de
información estadística, análisis de documentos, realización de grupos focales,
entrevistas en profundidad, talleres, observación participativa, etc. Diseñar las
técnicas de recolección implica organizar las acciones que será necesario realizar
para aplicar los instrumentos y recoger los datos que precisamos (como vimos,
encuestas, guías de entrevistas, etc.).
Las técnicas de recolección pueden orientarse a recoger información
preferentemente cuantitativa (registros estadísticos) o especialmente cualitativa
(grupos de reflexión, opinión de los destinatarios, etc.).
Suele existir una “falsa” disputa entre quienes sostienen y promueven técnicas
“cuanti” y aquellos que se embanderan tras las evaluaciones “cuali”. Es importante
en este punto desmitificar tal antinomia. En verdad, es posible y deseable relevar
aspectos cuantificables de un determinado objeto o proceso social y, al mismo
tiempo, analizar la cualidad de tal objeto. Necesitamos conocer cuántos chicos
culminaron el colegio primario y, a la vez, qué calidad de educación han
recibido...; necesitamos saber cuántos litros de agua potable reciben los
destinatarios de un plan de instalación de una red, y también conocer la calidad,
componentes y propiedades del agua...; necesitamos obtener datos sobre el
incremento de los ingresos de una determinada población objeto de un proyecto
de generación de microemprendimientos productivos, y también conocer si esos
microemprendimientos producen bienes y servicios de calidad y si las personas se
sienten a gusto llevándolos adelante...
En buena medida, la adopción de técnicas más o menos cuantitativas o
cualitativas, dependerá de cómo estén formulados los diversos niveles de objetivos
del proyecto.
Muchas veces las evaluaciones se ven condicionadas por estilos de formulación
que destacan sólo o principalmente “aspectos numéricos” del objeto a construir o
la situación a modificar (construir 43 casas..., capacitar a 4945 jóvenes...;
brindar alimentación a 3098 familias...). Esta situación podrá ser “enriquecida”a
través del evaluación, observando y aprendiendo también de otros aspectos o
30
cambios producidos a partir del proyecto, aunque estos no hayan estado
explicitados en él.
FUENTES DE INFORMACIÓN
Al mismo tiempo que pensamos en los instrumentos y técnicas de recolección de la
información, debemos identificar el lugar y la fuente de donde emanarán tales
datos. Estas fuentes de información podrán ser de dos tipos: primarias y
secundarias.
a. Se consideran fuentes primarias aquellas que nos contactan directamente con la
realidad en la que estamos trabajando; son personas o situaciones que nos
permiten construir información “fresca” sobre la realidad en la que nos movemos,
por ejemplo: observación directa sobre las personas destinatarias del proyecto, el
medio físico que pretendemos transformar, las características institucionales de las
organizaciones que forman parte del proyecto; etc.
b. Las fuentes secundarias son aquellas que nos proveen datos ya elaborados y
procesados por otras personas u organizaciones a partir de la observación y
análisis de la realidad en la que operamos; son por ejemplo: los documentos
estadísticos, censos realizados con anterioridad a nuestra intervención, trabajos
históricos o análisis académicos realizados sobre la cuestión u objeto central de
trabajo de nuestro proyecto.
La selección de las fuentes de información resultan de suma importancia para una
evaluación, una fuente mal elegida puede alterar sensiblemente el resultado de
una observación. Para aquella elección, es posible considerar al menos 5
criterios:
• calidad de los datos que proporciona (si reflejan realmente la variación del
indicador).
• cobertura de la información (si nos brinda datos de una cantidad suficiente
de personas o situaciones afectadas por el proyecto).
• oportunidad (si podemos obtener la información en el tiempo adecuado
según lo planificado en el proyecto y más precisamente, en el sistema de
monitoreo y evaluación).
• economía (si la fuente es accesible a los recursos disponibles en el
proyecto).
• fiabilidad (si la información que brinda la fuente es plenamente confiable).
• vigencia (si se trata de información actualizada y vigente a la hora de
revisar nuestro indicador).
UNIVERSO Y MUESTRA
Hemos definido hasta aquí una serie de cuestiones sobre las que realizaremos la
observación a la hora de monitorear el proyecto (indicadores), las herramientas
que usaremos para recoger la información de lo que observamos (instrumentos), la
forma en que nos organizaremos para usar tales herramientas (técnicas de
recolección) y, por último los lugares o sitios donde acudiremos para buscar los
datos que precisamos (fuentes). Nos queda ahora definir con precisión el conjunto
de situaciones, objetos o personas que han sido influídas por la acción del
proyecto y que serán nuestro universo de observación.
Los universos observables podrán ser:
• aquellas personas directamente definidas como destinatarias de la acción
del proyecto social de que se trate (favorecer el acceso a una vivienda
digna a 43 familias..., capacitar a 4.945 jóvenes..., o brindar
alimentación a 3.098 familias...);
• aquellas personas que figuran como destinatarias indirectas de la acción
del proyecto (habitantes del vecindario lindero al barrio de viviendas
construido...; familiares directos de los jóvenes capacitados..., vecinos de
los comedores comunitarios donde se brinda asistencia alimentaria...);
• organizaciones involucradas directamente en la implementación del
proyecto (organizaciones vecinales, ONG´s u organismos públicos
promotores y financiadores, instituciones asociadas);
• personas e instituciones vinculadas indirectamente y afectadas por el proyecto
(estado local, empresas proveedoras del sector de servicio de que se trate construcción, educación, alimentación-, organizaciones locales varias).
La definición del universo a observar variará según la intención de quienes
promueven tal proceso de análisis; lo que habitualmente sucede es que las
evaluaciones concentran su mirada “sólo” en la población definida como
“destinatarios directos”, revisando sólo el cumplimiento de los objetivos previstos.
Esta mirada queda habitualmente “corta” en relación a los universos de personas
y organizaciones que son realmente afectados por la acción del proyecto.
También será necesario, en los casos en que el universo sea demasiado amplio
para que podamos observarlo completo, establecer muestras de aquel conjunto,
que nos permitan, mirando sólo un sub-conjunto, inferir un análisis sobre la
totalidad.
Existen diversos caminos para definir una muestra, caminos “aleatorios” (azar) y
“no aleatorios” (por algún criterio definido técnicamente).
En la siguiente página retomamos el caso de Buenaventura para mostrar en una
Matriz la síntesis de indicadores por nivel de objetivo. Presentamos a continuación
tres cuadros con una descripción pormenorizada de variables, indicadores,
fuentes de información y medios de verificación para momentos diferentes de la
evaluación de nuestro proyecto ejemplo (ex-ante, intermedia e impacto).
32
34
36
5. RECURSOS NECESARIOS
Llevar adelante un proceso continuo de monitoreo y evaluación implica necesariamente
destinar recursos para ello. Será importante entonces considerar durante la formulación
del proyecto, qué recursos necesitaremos para hacer efectiva esta tarea:
• recursos humanos (perfiles de profesionales, voluntarios, personasrepresentantes
de las organizaciones intervinientes...).
• recursos tecnológicos (bases de datos, sistemas de informatización y
procesamiento de datos...).
• infraestructura (lugares de reunión, transporte...).
• recursos económicos (cuantificación económica de los recursos que disponemos y
de los que tendremos que conseguir para cubrir los costos del proceso de
monitoreo, evaluación y difusión de resultados).
PRESUPUESTO
Como en el caso de la elaboración de proyectos, existen diversas maneras de presentar
el análisis financiero del proyecto, pero básicamente son cuatro las fórmulas
habitualmente requeridas:
– costos por actividad (según momento de la evaluación).
– costos por actividad y fuente de recursos (incluyendo diversos aportes de
“contrapartidas”).
– costos por rubro (materiales, recursos humanos, equipos, administración).
– detalle de costos e inversión por período de tiempo -"flujo de caja"-, (movimiento
de fondos por etapas, según cronograma propuesto).
Al solicitar un determinado aporte financiero a una institución, es importante
“cuantificar económicamente” todos los aportes de “tiempo de trabajo humano” y otros
recursos aportados localmente e incluirlos en el presupuesto como “contrapartida local”
(de gobierno, de ONGs y de organizaciones vecinales).
EJEMPLO
Presupuesto para el monitoreo,
evaluación y difusión del proyecto
El proceso de monitoreo, evaluación y difusión del
proyecto tendrá un costo de 5200 $, a cubrir en
los dos años de ejecución del proyecto, más los
dos meses anteriores y posteriores a su inicio y
final. De ese total, 2200 serán aportados por las
organizaciones intervinientes en el proyecto, y
otros 3000 serán solicitados a diversas fuentes de
financiamiento, según se indica en el siguiente
cuadro presupuestario:
COSTOS POR ACTIVIDAD Y FUENTE DE RECURSOS
DEL PROCESO DE MONITOREO, EVALUACIÓN Y DIFUSIÓN
COSTOS EN PESOS
ACTIVIDAD DE MONITOREO
Y EVALUACIÓN
APORTE
APORTE
COSTO
LOCAL
SOLICITADO
TOTAL
DIAGNOSTICO DE FACTIBILIDAD
300
---
300
EVALUACIÓN EX-ANTE
500
500
1000
MONITOREO DE PROCESO
1000
500
1500
EVALUACION INTERMEDIA
---
800
800
EVALUACION EX-POST O DE IMPACTO
---
800
800
400
400
800
2200
3000
5200
SISTEMATIZACION Y DIFUSIÓN
El 'Aporte Local' se compone de: aporte de infraestructura de la ROBB; tiempo de voluntarios de FJD; equipos técnicos del Municipio de Buenaventura
6. CRONOGRAMA O “PLAN” DE TRABAJO
Otro aspecto a considerar a la hora de organizar la ejecución del proceso de
monitoreo, evaluación y difusión, es el tiempo en el que realizaremos las tareas
necesarias. Como vimos en puntos anteriores, el proceso de “evaluación
permanente” está compuesto de varios momentos específicos que deberemos
organizar a través de un cronograma de tareas que estará estrechamente
vinculado al cronograma general del proyecto, donde fijaremos los tiempos para
el cumplimiento de las actividades, metas y objetivos.
EJEMPLO
Plan de trabajo para el monitoreo y la evaluación
Según lo expresado en el punto en el que se
describieron los “momentos” del proceso de
monitoreo y evaluación, se seguirá durante
proyecto el siguiente cronograma de actividades:
el
CRONOGRAMA DE ACTIVIDADES
DEL PROCESO DE MONITOREO, EVALUACIÓN Y DIFUSIÓN
COSTOS EN PESOS
ACTIVIDAD DE MONITOREO
Y EVALUACIÓN
PERÍODO DE EJECUCIÓN
-2 -1 1
DIAGNOSTICO DE FACTIBILIDAD
EVALUACIÓN EX-ANTE
MONITOREO DE PROCESO
EVALUACION INTERMEDIA
EVALUACION EX-POST O DE IMPACTO
SISTEMATIZACION Y DIFUSIÓN
38
2
3
4
5
6
7
8
9 10 11 12 13 14
7. USO Y DIFUSIÓN DE LOS RESULTADOS
Resulta de suma importancia prever cómo se utilizarán los aprendizajes surgidos del
proceso de evaluación; necesitamos asegurarnos que las personas que toman las
decisiones estén involucradas en el proceso y acuerden el uso de las recomendaciones
surgidas del análisis evaluativo. Se deberá prever entonces los mecanismos a través de
los cuáles se realizarán los cambios necesarios identificados para mejorar la gestión del
proyecto.
También tendremos que prever cómo se van a comunicar los logros, avances y sucesos
producidos durante el transcurso y al concluir el proyecto. Hay que considerar aquí 4
tipos de necesidades según sean los destinatarios de esta comunicación:
• para que todas las personas que trabajan en el proyecto o programa sepan
como está funcionando en todos sus niveles,
• para mantener informada a toda la comunidad afectada por el proyecto,
• para que las personas e instituciones que han hecho aportes al proyecto sepan
en qué se han invertido sus recursos y
• para que otras personas e instituciones puedan aprender de la experiencia
realizada.
Con estos objetivos a la vista, cada proyecto debería contener una “estrategia
comunicacional”, que variará de dimensión, claro está, según la complejidad del
emprendimiento. Será necesario prever aquí también, algún mecanismo de
“sistematización” de la experiencia, de modo de poder transmitir de manera ordenada
las lecciones aprendidas al interior de las organizaciones que participan del proyecto y
a otras que trabajan en la misma dirección.
EJEMPLO
Uso y difusión de los resultados
El proyecto tendrá 3 formas concretas decomunicación en
las que se difundirán los resultados del proceso de
monitoreo y evaluación:
• Difusión Interna: informes quincenales de cada área
o grupo acerca de los últimos avances y logros
obtenidos, conteniendo las propuestas de cambio en
las actividades del proyecto, surgidas del proceso de
monitoreo. Cada director de área deberá considerar
el resultado obtenido en las reuniones de monitoreo y
proponer los cambios necesarios para ajustar el
proyecto a la luz de las enseñanzas surgidas del
proceso de evaluación permanente.
• Difusión a las organizaciones que apoyan el proyecto:
trimestralmente se escribirá una carta informativa a los
donantes y asociados, a la que se adjuntarán 2 hojas
con los logros obtenidos hasta el momento y los pasos
y objetivos a seguir en el próximo trimestre
(información surgida del proceso de monitoreo del
programa). Al finalizar el primer año de trabajo se
realizará una reunión de “evaluación intermedia” y de
presentación de resultados parciales, donde estarán
invitados todos los que apoyan el proyecto para
poder informarse y colaborar en las innovaciones y
cambios necesarios. Una vez finalizado el proyecto se
hará una reunión general con todos los “participantes”
en la que se mostrarán los resultados obtenidos y se
resumirá la gestión realizada mediante una exposición
del coordinador general y un boletín informativo.
• Difusión a la comunidad de Buenaventura: se
creará una página web donde habrá
información sobre el proyecto y sus objetivos,
sobre el proceso llevado adelante, de los
logros obtenidos, y de todas aquellas
informaciones que permitan a las personas
colaborar y apoyar el proyecto. Además se
designará un responsable de difusión que
tendrá como responsabilidad relacionar a la
organización con los medios locales de la
zona donde se ejecuta el proyecto, con el fin
de mantener informada a la comunidad
vecina.
Se espera además editar un libro de
“lecciones aprendidas” al finalizar el
proyecto. El libro será enviado a las
universidades de argentaria y aparecerá
también en la página web de la FJD.
Aquí concluye la revisión de los diversos aspectos que resulta necesario conocer para
la formulación de un sistema de monitoreo y evaluación de un proyecto social.
Esperamos que sea de utilidad para quienes desde el estado y la sociedad civil
trabajan día a día intentando caminar nuevos caminos hacia la construcción de un
mundo mejor.
B I B L I O G R A F I A D E C O N S U LTA
40
E
BIBLIOGRAFIA DE CONSULTA
• ANDRADE, SHEDLIN Y BONILLA, (1987), "Métodos cualitativos para la evaluación
de programas", The Pathfinder Fund, Watertown, MA, USA
• ANZOLA LIBARDO, (1995), "Seguimiento a la gestión institucional y evaluación de
resultados sociales de los planes de inversión municipal", documento de trabajo,
ILPES / CEPAL, Santiago de Chile.
• BID, (1995), "Evaluación: una herramienta de gestión para mejorar el desempeño
de los proyectos", documento de trabajo, Washington, USA.
• BOMBAROLO, FELIX (2001), "Variables e Indicadores para evaluar el impacto de
programas sociales", documento de trabajo, Ministerio de Desarrollo Social, Buenos
Aires, Argentina.
• BRIONES GUILLERMO, (1991), "Evaluación de programas sociales", editorial
Trillas, ciudad de México.
• CEVE (1998), "Método de evaluación de programas sociohabitacionales",
documento de trabajo, Centro Experimental de la Vivienda Económica, Córdoba,
Argentina.
• GUDIÑO, FLORENCIO (1997), "La evaluación de la cooperación al desarrollo en
España", Serie de Avances de Investigación N° 1, Instituto Universitario de
Desarrollo y Cooperación, Universidad Complutense de Madrid, Madrid, España.
• IAF, (1995), "El marco del desarrollo de base", Inter-American Foundation,
Arlington, Virginia, USA.
• MUÑIZ, ARLETTE (1997), "Evaluación del impacto social. El valor de lo humano
ante la crisis y el ajuste", Editorial Lumen-Humanitas, Buenos Aires, Argentina
• NIREMBERG, BRAWERMAN Y RUIZ, (2000),”Evaluar para la transformación”,
Piados, Buenos Aires, Argentina.
• PEREZ COSCIO & WALKER, (1998), "Evaluación de efecto e impacto social",
Cuaderno de Trabajo N°5, Ediciones FICONG, Buenos Aires, Argentina.
• SIEMPRO, (1999), "Manuel Metodológico para la Planificación y Evaluación de
Programas Sociales", Fondo de Cultura Económica, Buenos Aires, Argentina.
• SAMAJA, (1995), "Epistemología y metodología. Elementos para una teoría de la
investigación científica", EUDEBA, Buenos Aires, Argentina.
• TAMARGO, MARIA DEL CARMEN, (2003), “El impacto en el afuera: los
indicadores del contexto”, en “Cambiar por dentro para impactar en el afuera”,
publicación de las ponencias de la IX Jornada Argentina del Sector Social,
Fundación Compromiso, Buenos Aires, Argentina.
• UD-NORAD, (1997), "Evaluación de proyectos de ayuda al desarrollo", edición del
Instituto Universitario de Desarrollo y Cooperación, Madrid, España.
• ZAFFARONI, CECILIA (1997),””El Marco de Desarrollo de Base. La construcción de
un sistema participativo para analizar resultados de proyectos sociales”, Ediciones
Trilce- Fundación Interamericana, Montevideo, Uruguay.
CONCURSO DE PROYECTOS Y PROGRAMAS
DE FORMACIÓN TÉCNICA
42
F
S
CONCURSO DE PROYECTOS Y PROGRAMA
FORMACION TECNICA
e presenta a continuación las características operativas generales que
tendrán tanto el Concurso de Proyectos como el proceso de Formación
Técnica puesto en marcha por Shell en el año 2003.
¿Quiénes pueden presentarse al Concurso de Proyectos...?
Todas las organizaciones sociales que cumplan en tiempo y forma con las condiciones
del concurso.
¿Cuántos proyectos serán apoyados...?
Esta definición variará de año a año, según las circunstancias específicas al momento
del lanzamiento del concurso.
¿Qué requisitos deben cumplir las organizaciones que se presenten...?
Deberán ser reconocidas organizaciones sociales que atiendan algunas de las
problemáticas priorizadas por Shell (explicitadas más adelante). Se tendrá especial
consideración si la organización posee “personería jurídica”.
¿Qué deberán presentar para concursar y acceder al apoyo de Shell...?
Deberán presentar, un “perfil de proyecto” en el formato y en los tiempos indicados
por la empresa para cada Concurso.
¿En qué áreas o temas se focalizará el apoyo...?
Se considerarán aquellos proyectos que focalizan su acción en poblaciones con serios
problemas de pobreza y exclusión social y cuyos objetivos coincidan con las
siguientes áreas y objetivos:
EJEMPLO
Áreas de acción priorizadas por Shell en el 2003
ÁREA PRIORITARIA
OBJETIVOS DE LA ACCIÓN
MEDIOAMBIENTE
(capital ambiental)
1. Mejorar el manejo ambiental.
SALUD
EDUCACIÓN
SEGURIDAD
(Capital humano y capital social)
2. Apoyar acciones de prevención y atención en salud.
3. Promover e informar sobre opciones educativas, laborales y de inserción
social de niños y jóvenes.
4. Formar, sensibilizar e informar sobre mejores herramientas de gestión en
emprendimientos productivos o de servicios.
5. Apoyar la implementación de sistemas o redes locales de prevención social
del delito.
¿Para qué rubros se puede solicitar apoyo...?
Para compra de materiales y equipos y/o contratación de actividades de formación y
sensibilización.
¿Qué población deberá ser principalmente la destinataria de las
acciones de los proyectos...?
Niños, niñas y jóvenes de 0 a 24 años, que habiten comunidades en riesgo social.
¿Qué rubros no serán financiados por Shell...?
Sueldos de personal de las organizaciones, y sólo se considerará financiamiento de
hasta un 15% del total del proyecto para rubros relacionados con “administración y
gastos de infraestructura” de la organización solicitante.
¿Qué tipo de apoyo es posible solicitar a la empresa...?
Como se mencionó, hasta un máximo de dinero por proyecto pero también será posible
solicitar apoyo técnico del personal de la empresa en algún rubro específico o
materiales que la empresa posea y esté en condiciones de donar en el marco de los
proyectos (especialmente en la zona de Refinería).
¿En qué tiempo debe ejecutarse el proyecto...?
El tiempo para la ejecución de los proyectos variará año a año y será especificado en
las bases de cada concurso.
44
¿Qué aspectos serán valorados a la hora de la evaluación de los
proyectos...?
A la hora de la selección se priorizarán especialmente a aquellos proyectos que:
a) sean presentados por organizaciones reconocidas e incuestionables
socialmente;
b) presenten al menos 2 organizaciones locales (públicas y privadas) asociadas
para su elaboración y ejecución;
c) presenten al menos una fuente adicional de recursos económicos para el
emprendimiento, además del solicitado a Shell;
d) se hayan realizado con una amplia participación de la población destinataria
de la acción del proyecto;
e) que demuestren tener un importante impacto social en la mejora de las
condiciones de vida de la población destinataria;
f) que sean presentados por organizaciones que hayan tenido experiencias de
trabajo anteriores con la empresa.
¿Quiénes evaluarán los proyectos..?
Un "Comité de Selección" formado por personal de la empresa y referentes técnicos de
reconocidas organizaciones sociales argentinas.
¿Quiénes participarán del “Programa de Formación Técnica”...?
Participarán miembros de las organizaciones sociales con las que Shell trabajará cada
año.
¿Cómo estará organizado el Programa...?
Se trabajará durante tres jornadas a lo largo del año; en la primera (al inicio del
proceso), se analizarán herramientas para la “formulación de proyectos sociales”; en la
segunda (al promediar la ejecución), cuestiones relativas a la “gestión y monitoreo” de
los proyectos, y en la tercera (al finalizar la tarea), se trabajará la temática
“evaluación, sistematización y difusión”.
A cada jornada de trabajo asistirán dos representantes de las organizaciones
ejecutoras, que presentarán los avances del proyecto sobre el cual trabajarán durante
el año. En cada taller se trabajarán cuestiones generales sobre la temática a abordar
en cada módulo y recibirán asesoramiento técnico sobre sus propios proyectos; podrán
también intercambiar sus experiencias con el resto de las instituciones que estarán
trabajando junto a Shell. En esas jornadas también, presentarán sus “informes de
avance” de la propuesta implementada.
¿Cómo será el cronograma de presentación, selección, ejecución y
evaluación de las propuestas...?
Los pasos a seguir en el proceso de presentación, selección, ejecución y cierre de los
proyectos, son los siguientes:
1. Difusión / llamado a concurso: se realizará a través de diversos medios de
difusión y transmisión personalizada hacia las organizaciones con las que Shell
ha venido trabajando en los últimos años.
2. Formación de organizaciones pre-seleccionadas: se brindará a las
organizaciones de la zona de Refinería, un taller de formación en“Formulación
de proyectos”, que les servirá para definir y/o “ajustar” sus propuestas y
fortalecer su capacidad en la elaboración y presentación de proyectos en otras
instituciones.
3. Presentación de “perfiles de proyectos”: las organizaciones presentarán un
“perfil de proyecto” (máximo, dos propuestas por organización), que deberá
respetar los ítem solicitados en la guía de presentación difundida por la
empresa.
4. Selección de propuestas: la realizará el Comité de Selección en base a los
criterios ya mencionados y se comunicará el resultado a todas las
organizaciones concursantes;
5. Primer desembolso e inicio de ejecución: según el tipo de proyecto, se podrá
hacer uno o dos desembolsos, al inicio y al promediar la ejecución del
proyecto.
6. Jornada de formación en gestión y monitoreo de proyectos: al promediar la
ejecución de los proyectos, se realizará una jornada de evaluación e
intercambio entre todas las organizaciones que llevan adelante las iniciativas
seleccionadas; durante la jornada se brindará también formación específica
sobre algunos temas vinculados al “monitoreo de proyectos”.
7. Jornada de evaluación y cierre de proyectos: cada año, al finalizar la
ejecución de la cartera de proyectos, se realizará un “evento de evaluación
final e intercambio” entre las organizaciones de Avellaneda y las del resto del
país que ejecutaron proyectos durante el período, juntamente con personal de
la empresa y otros actores sociales.
¿Dónde y en qué fechas hay que presentar las propuestas...?
La información será brindada cada año por el personal responsable de la empresa
junto al llamado a concursos por la página web: www.shell.com.ar
46
G
ANEXOS
ANEXO I
Concurso de proyectos Shell
Planilla de Monitoreo del Proyecto
INFORMACIÓN BÁSICA
Nombre de la institución que implementa el proyecto:
Nombre del proyecto:
Dirección, teléfono e e.mail de la organización ejecutora:
Nombre de la persona responsable del proyecto:
Fecha de inicio del proyecto / fecha de presentación de la Planilla de monitoreo:
RELEVAMIENTO DE CUMPLIMIENTO DE ACTIVIDADES (resultados) Y METAS (efecto) 4
PERÍODO INFORMADO: DEL.............................., AL...........................
¿Qué actividades, de las planificadas en el proyecto se realizaron durante el período informado en esta Planilla...?
(Indique las actividades que se preveía ejecutar en este período y compárelas con las actividades efectivamente ejecutadas.
A partir de esa comparación calcule el porcentaje ejecutado).
4 Se recomienda completar los siguientes puntos de la Planilla, conjuntamente con las organizaciones y personas involucradas en el proyecto, incluyendo especialmente a
los destinatarios del mismo.
¿Qué resultados se alcanzaron y qué efecto han tenido las actividades en la población destinataria del proyecto...?,
¿cuántas personas ya se han beneficiado con las acciones del proyecto y de qué manera...?
(Indique la cantidad de destinatarios que se preveía alcanzar con las actividades del proyecto en el periodo informado.
Compárelo con la cantidad de destinatarios que efectivamente asistieron a las actividades. Calcule el porcentaje de
“cobertura” alcanzada).
RELEVAMIENTO SOBRE LA UTILIZACION DE LOS RECURSOS
¿Qué tipo y cantidad de recursos se han invertido en el proyecto y cómo se han utilizado...?
(Indique también el presupuesto que se preveía ejecutar en este período y compárelo con el presupuesto efectivamente
ejecutado. A partir de esa comparación calcule el porcentaje ejecutado).
48
¿Cómo se ha utilizado específicamente el aporte financiero de Shell...? (descripción de gastos / adjuntar comprobantes)
RELEVAMIENTO DE LOGROS Y OBSTÁCULOS DEL PROYECTO
¿Qué aspectos positivos surgen de la implementación del proyecto y cómo se potenciarán en el futuro...?
¿Qué dificultades obstaculizaron el cumplimiento de los objetivos planteados y cómo se espera solucionarlos...?
PROPUESTA PARA LA CONTINUIDAD DEL PROYECTO
¿Qué actividades de las previstas en el proyecto, restan aún realizar y cómo será el cronograma de tareas para
realizarlas...?
50
SHELL COMPAÑIA ARGENTINA DE PETRÓLEO S.A. AGRADECE A TODAS LAS
INSTITUCIONES
Y
PERSONAS
INVOLUCRADAS
EN
EL
PROGRAMA
“CREANDO VÍNCULOS”. ALGUNAS DE LAS IMÁGENES QUE ILUSTRAN LA
PRESENTE GUÍA CORRESPONDEN A EX PARTICIPANTES DE DESAFÍO JOVEN Y
A GANADORES DE LA BIENAL JUVENIL; OTRAS MUESTRAN A LOS COORDINADORES DE LOS PROYECTOS SOCIALES JUNTO CON LOS BENEFICIARIOS
DIRECTOS DE CREANDO VÍNCULOS.
TODOS ELLOS SON LOS VERDADEROS PROTAGONISTAS DE ESTE OBRAR
COMPARTIDO RUMBO AL BIEN COMÚN.
Directora de la Publicación Verónica Staniscia, Asuntos Públicos
Shell Compañía Argentina de Petróleo S.A.
Asesoría y Apoyo Técnico Félix Bombarolo asociado
a Organización Poleas
www.organizacionpoleas.net
Diseño y Producción IGV Soluciones de Marketing
www.igv.com.ar
Descargate nuestras anteriores publicaciones en PDF:
Para mayor información
escriba a veronica.staniscia@shell.com
www.shell.com.ar
Sección Shell y la Comunidad dentro de Concurso de Proyectos.
GUIA PARA EL MONITOREO Y EVALUACIÓN DE PROYECTOS SOCIALES
Editado por SHELL COMPAÑIA ARGENTINA DE PETRÓLEO SOCIEDAD ANÓNIMA
Hecho el depósito que marca la ley 11723I.S.B.N. Nº 987-95166-2-1
Se terminó de imprimir en Proietto & Lamarque S.A. con domicilio en José Mármol 2131,
C1255 ABW, Buenos Aires, Argentina, Agosto de 2007
Segunda edición con una tirada de 3000 ejemplares.