Seguimiento y Evaluación en el marco de los proyectos Equal

MATERIAL COMPLEMENTARIO DE
SEGUIMIENTO Y EVALUACIÓN
ÍNDICE
1.
SIGNIFICADO DEL PROCESO DE SEGUIMIENTO Y EVALUACIÓN EN EL MARCO DE LA
INICIATIVA COMUNITARIA EQUAL.
1.1. Reglamentos y Normativa Comunitaria.
1.2. Sistemas de Seguimiento.
1.3. Evaluación de los principios básicos y de las prioridades horizontales de la Iniciativa.
1.4. Los procesos de Seguimiento y Evaluación, y su relación con el Principio de Transferencia y
visibilidad de las Acciones Innovadoras.
2.
INTEGRACIÓN DE LA PERSPECTIVA DE GÉNERO EN LOS PROCESOS DE SEGUIMIENTO Y
EVALUACIÓN.
2.1. La Iniciativa EQUAL y la Integración del Género en los Sistemas de Seguimiento y Evaluación.
2.2. Principios básicos para la incorporación de la perspectiva de género.
2.3. Dónde y cómo se incorpora la perspectiva de género.
1
3.
SEGUIMIENTO Y EVALUACIÓN.
3.1. Definición de conceptos.
3.2. Características básicas de los procesos.
3.3. Modelos o tipologías de Evaluación.
3.4. Criterios básicos para construir un Sistema de Seguimiento y Evaluación.
3.5. Mecanismos de Coordinación y Participación.
3.6. Procesos de recogida de la información. Los Indicadores.
3.7. Técnicas cuantitativas y cualitativas.
3.8. La aplicación del Sistema de Seguimiento y Evaluación.
Este material ha sido elaborado por Fundación Mujeres y la Escuela Superior de Gestión Comercial y Marketing (ESIC).
2
1.
SIGNIFICADO DEL PROCESO DE SEGUIMIENTO Y EVALUACIÓN EN
EL MARCO DE LA INICIATIVA COMUNITARIA EQUAL.
El ejercicio de evaluación de un proyecto que se desarrolla en el marco de la Iniciativa EQUAL no es un
ejercicio aislado.
La necesidad básica de realizar un ejercicio de reflexión, inherente a todo proyecto, y por ende el diseño
de un plan en este sentido y el establecimiento de los mecanismos para que este ejercicio pueda ser
llevado a cabo, dependen en gran parte de todo un entramado construido por las entidades y personas
que participan en el desarrollo de la Iniciativa desde el nivel comunitario hasta el nivel local.
El efecto más visible e inmediato de este hecho es que el Sistema de Seguimiento y Evaluación de un
proyecto, debe responder a las necesidades de recogida de información y peticiones de colaboración de
distintas instancias, en el marco de un calendario concreto, pero hay otros aspectos que afectan si cabe
más profundamente a nuestros planes de seguimiento y evaluación, y que se refieren a los objetivos y
contenidos de los mismos.
El hecho de estar inmersos en un sistema con varios niveles incide, a veces negativamente, en el
seguimiento y evaluación internas del proyecto, sobre todo si no se comprende la lógica y la estructura del
sistema en su conjunto. Son a veces tantos los requerimientos de otros sistemas que podemos llegar a la
conclusión de que no necesitamos un proceso sistemático y propio de seguimiento y evaluación; pero sin
estos procesos no es posible la reflexión, y gran parte de la potencialidad del proyecto se perderá
sin remedio.
3
El reto del seguimiento y evaluación de nuestros proyectos es disponer de sistemas que se adapten a
nuestras necesidades, así como a las condiciones singulares y únicas de nuestro proyecto, pero que
a la vez respondan a las necesidades de evaluación de distintos niveles y diversas instancias.
La normativa comunitaria es la primera fuente de información, sobre la estructura y requerimientos de la
Comisión respecto a las intervenciones, en este caso de la Iniciativa EQUAL, acogidas a los Fondos
estructurales. A pesar de que las disposiciones comunitarias por regla general comprometen y regulan las
relaciones entre la misma Comisión y los Estados miembros, es aquí donde encontraremos el armazón del
que dependen los sistemas de seguimiento y evaluación de nuestros proyectos.
Estas disposiciones básicas se desarrollan posteriormente en el establecimiento en la práctica de una
serie de sistemas y mecanismos de seguimiento y evaluación de los cuales dependemos y que en el caso
de la Iniciativa están gestionados y son responsabilidad de la Comisión a nivel comunitario y de la UAFSE
como autoridad de gestión de nuestro Estado miembro.
Para el desarrollo de los contenidos y procedimientos del seguimiento y evaluación la Comisión presentó
en su día unas orientaciones metodológicas recogidas en el “Vademécum de orientaciones para el nuevo
período de programación 2000-2006” que orientan las intervenciones de los Fondos estructurales;
asimismo y para el caso concreto de la Iniciativa EQUAL en España, la UAFSE ha producido la “Guía
metodológica de evaluación: orientaciones metodológicas para la evaluación interna de los
proyectos de la Iniciativa comunitaria EQUAL”. En esta guía se indican los mínimos comunes que
deben contener los sistemas de seguimiento y evaluación de los proyectos con el objetivo de consensuar
los contenidos y hacer posible una evaluación conjunta de la Iniciativa.
4
1.1. Reglamentos y Normativa Comunitaria.
Los Reglamentos y otras disposiciones normativas comunitarias regulan los procedimientos de
seguimiento y evaluación, que son de obligado cumplimiento por parte de las diversas instancias
responsables de la gestión y control de las intervenciones comunitarias.
Las disposiciones comunitarias que afectan a la puesta en marcha y desarrollo de la Iniciativa comunitaria
EQUAL y, en particular, en lo que respecta a los procedimientos de seguimiento y evaluación, son, por un
lado, las recogidas en el Reglamento general de los Fondos estructurales, y, por otro lado, la
Comunicación EQUAL de la Comisión. En estas disposiciones podemos encontrar las características
básicas de los ejercicios de seguimiento y evaluación en lo que respecta a objetivos, contenidos y
procedimientos así como las instancias responsables de llevar a cabo los procesos y el calendario de su
ejecución.
¾
Reglamento 1260/1999 del Consejo por el que se establecen disposiciones generales sobre los
Fondos Estructurales.
En varios capítulos de este Reglamento se establecen las normas de seguimiento y evaluación de las
intervenciones y acciones de los Fondos estructurales. Comisión, Estado miembro y autoridad de gestión
quedan de esta manera comprometidas a llevar a cabo una serie de procedimientos, con el objeto de
asegurar la eficacia y controlar la ejecución de las intervenciones que se realizan al amparo de los fondos
estructurales.
En toda intervención comunitaria, la autoridad de gestión del Estado miembro correspondiente es la
responsable de establecer los dispositivos de recogida de datos, los indicadores de seguimiento y las
evaluaciones que se indican en el texto del mismo Reglamento. Asimismo, es la responsable de la
transmisión de todos estos datos, preferentemente a través de sistemas informáticos que permitan el
intercambio de información con la Comisión.
5
Los indicadores de seguimiento físicos y financieros, deben ser elaborados siguiendo las
orientaciones metodológicas y las listas publicadas por la Comisión, y servirán para mostrar el estado de la
intervención en los siguientes aspectos: objetivos específicos de la intervención y su coherencia;
realizaciones físicas, resultados e impacto de la intervención; desarrollo del plan de financiación.
La autoridad de gestión deberá presentar un Informe Anual y, en el caso de intervenciones plurianuales,
un Informe Final en el que se recoja al menos la siguiente información: cambios del contexto
socioeconómico y de las políticas que puedan afectar a la intervención; situación de la ejecución en
función de los indicadores de seguimiento; ejecución financiera de la intervención; disposiciones tomadas
por la autoridad de gestión para garantizar la eficacia y calidad de la intervención; medidas de
coordinación del conjunto de ayuda estructural.
El capítulo específico de Evaluación establece en sus disposiciones generales que, con el fin de valorar la
eficacia de las intervenciones estructurales, se debe realizar una evaluación previa, otra intermedia y
una posterior de la acción. Se indica también que se pueden acordar evaluaciones temáticas si se
consideran pertinentes y que los resultados de las evaluaciones deben ser de carácter público.
La Evaluación Previa sirve de base para la preparación de las acciones y debe incluir los siguientes
aspectos:
ƒ
Evaluación previa de la situación socioeconómica, tendencias del mercado laboral,
estrategia global en el ámbito del desarrollo de los recursos humanos y conexión de dicha
estrategia con los planes nacionales de empleo.
ƒ
Evaluación previa de la situación medioambiental, situación medioambiental actual e
impacto previsto de la estrategia y de la intervención.
ƒ
Evaluación previa de la situación en términos de igualdad entre hombres y mujeres, y
estimación del impacto de la intervención y de la estrategia, en concreto, en los aspectos
relacionados con la integración de hombres y mujeres en el mercado laboral y la conciliación
de la vida familiar y profesional.
6
La Evaluación Intermedia debe ser realizada por un equipo evaluador independiente, y se llevará a cabo
en dos fases: la primera será presentada ante la Comisión a más tardar el 31 de diciembre de 2003 y
ofrecerá los primeros resultados que sirvan para adaptar y corregir las intervenciones; la segunda fase, a
presentar antes de finalizar 2005, que servirá para preparar el siguiente período de programación.
La Evaluación Posterior servirá para sacar conclusiones sobre la estrategia política en materia de
cohesión económica y social, se realizará por equipos de evaluación independientes y es responsabilidad
de la Comisión en colaboración con el Estado miembro y la autoridad de gestión.
¾
Comunicación 853/2000 de la Comisión a los Estados miembros por la que se establecen las
orientaciones relativas a la Iniciativa comunitaria EQUAL.
La Iniciativa comunitaria EQUAL, como intervención de fondos estructurales está sujeta a las
disposiciones establecidas por el reglamento general y por el reglamento del FSE. La Comunicación indica
una serie de obligaciones a este respecto adaptando las disposiciones generales a las características
específicas de la Iniciativa comunitaria que comprometen a la Comisión y al Estado miembro.
Evaluación Previa. El Estado miembro español, presentó el Programa de la Iniciativa Comunitaria EQUAL
en España, que fue aprobado por Decisión de la Comisión en marzo de 2001, y que comprende tres
estudios que conforman la evaluación previa en base a la cual se realizó la programación: estudio sobre la
situación socioeconómica, las tendencias del mercado laboral y las situaciones de desigualdad y
discriminación en este mercado; estudio sobre la igualdad de oportunidades entre hombres y mujeres;
estudio de evaluación de coherencia entre las situaciones descritas y las estrategias propuestas en el
Programa.
Evaluación Intermedia. Tal y como se indica en los Reglamentos la evaluación intermedia está
compuesta de dos fases; en su primera fase está siendo realizada por un equipo evaluador independiente
y será presentada por España ante la Comisión antes del 31 de diciembre de 2003.
7
El objetivo principal de esta evaluación es conocer los términos en que se debe reorientar la programación
de la segunda convocatoria de la Iniciativa, tanto en los aspectos procedimentales como en los de
contenidos. La evaluación analizará el grado de cumplimiento de los principios básicos de la Iniciativa así
como de las prioridades horizontales e incluirá un estudio de coherencia, eficacia, eficiencia, pertinencia y
procesos.
La segunda fase de la evaluación intermedia se presentará en diciembre de 2005 y tiene como objetivo
facilitar la programación del nuevo período.
Evaluación Comunitaria. Por otro lado y dadas la características especiales de las Iniciativas
comunitarias, ya que se desarrollan al unísono en todos los Estados miembros, la Comisión considera la
necesidad de llevar a cabo un proceso de evaluación a escala comunitaria que describe en el capítulo
quinto de la Comunicación de la Comisión “Difusión y Evaluación a Nivel Europeo”.
En este capítulo, el artículo 51 establece los principios de una evaluación comunitaria de la Iniciativa:
“Es de crucial importancia evaluar la repercusión de EQUAL. La Comisión creará un mecanismo de
evaluación a nivel de la Unión, con objeto de estimar las implicaciones de EQUAL para la estrategia
europea de empleo y otros programas comunitarios”.
A lo largo del capítulo, la Comisión relaciona estrechamente el ejercicio de evaluación con la difusión e
intercambio de buenas prácticas y resultados, entre los Estados miembros en la consecución del objetivo
principal de la Iniciativa, es decir, la búsqueda de soluciones innovadoras en la lucha contra las
discriminaciones desde la perspectiva de un mejor funcionamiento del mercado laboral .
En el mismo capítulo, artículo 52, la Comunicación establece otros niveles de evaluación, tales como el de
las “evaluaciones periódicas del valor añadido aportado por EQUAL en relación con los planes nacionales
de acción para el empleo”, así como la realización de evaluaciones comparativas de los resultados a
través de “revisiones temáticas”, que se llevarán a cabo mediante el establecimiento de grupos de ADs
para cada una de las áreas temáticas de la Iniciativa.
8
La responsabilidad de esta evaluación recae en la Comisión que la llevará a cabo en colaboración con los
Estados miembros y que debe ser llevada a cabo antes de tres años a partir de la finalización de la
intervención.
Evaluación Interna de los proyectos. La Comunicación hace referencia explícita sobre la necesidad de
desarrollar una evaluación continua en el marco de los proyectos. En el capítulo cuarto “Acciones que
serán financiadas por EQUAL”, el artículo 35 indica que el Acuerdo de Agrupación de Desarrollo debe
contener:
“un mecanismo para la evaluación continua, incluida la presentación
de datos e informaciones sobre la AD y el análisis de resultados”
Asimismo, el artículo 37 indica que el acuerdo de cooperación transnacional debe presentar:
“la metodología para el seguimiento y evaluación de las actividades transnacionales conjuntas”
9
1.2. Sistemas de Seguimiento.
Las instrucciones y orientaciones contenidas en la normativa y disposiciones, a las que hemos hecho
referencia, han dado lugar al desarrollo de una serie de sistemas de seguimiento y evaluación que
dependen de diversas entidades responsables, y que comprometen en forma de cascada a un ejercicio de
reflexión de todas las entidades y personas participantes en la puesta en marcha y ejecución de la
Iniciativa.
¾
•
Comisión Europea, Dirección General de Empleo y Asuntos Sociales.
•
Unidad Administradora del Fondo Social Europeo (UAFSE).
•
Estructura de Apoyo de la Iniciativa EQUAL.
•
Consejería de Empleo y Desarrollo Tecnológico de la Junta de Andalucía.
Comisión Europea, Dirección General de Empleo y Asuntos Sociales.
La Comisión a través de su Unidad de Iniciativas Comunitarias de la DG Empleo y Asuntos Sociales
realiza el seguimiento y evaluación de la Iniciativa a nivel comunitario. A este efecto, se han desarrollado
una serie de procedimientos y mecanismos que aseguren el trasvase de información entre los Estados
miembros y la Comisión de los cuales el principal es la Base de Datos Común Europea (BDCE), que
contiene información de los proyectos de todos los Estados miembros.
La transferencia de datos de los proyectos a la BDCE se hace de común acuerdo entre la Comisión y la
UAFSE, que es la encargada de recoger la información de los proyectos de nuestro Estado miembro.
10
¾
Unidad Administradora del Fondo Social Europeo (UAFSE).
Como autoridad de gestión de la Iniciativa EQUAL en nuestro Estado miembro, la UAFSE es la
responsable del control, seguimiento y evaluación de la Iniciativa tanto a nivel de seguimiento financiero
como de resultados de las actividades y del cumplimiento de los principios y objetivo general de la
Iniciativa en España.
El Complemento de Programa de EQUAL en España, en sus capítulos 4 y 5, describe en líneas generales
los sistemas de seguimientos y evaluación a nivel comunitario, nacional y de auto-evaluación o evaluación
interna de los proyectos; en estos capítulos se indican los mecanismos de recogida de datos así como los
procesos de transferencia de datos y también se señalan los objetivos, contenidos e indicadores que
deben ser tenidos en cuenta por todas las partes implicadas en los procesos.
Para facilitar la aportación de datos de seguimiento por parte de los proyectos, la UAFSE tiene puesta en
marcha una Base de Datos Nacional específica para EQUAL, mediante la cual obtiene información
relevante de los proyectos en términos de ejecución financiera, de desarrollo de actuaciones y de
cumplimiento de los principios de la Iniciativa.
De manera más concreta la “Guía de gestión y control de los proyectos de la Iniciativa comunitaria
EQUAL” editada por la UAFSE y dirigida a los gestores de proyectos, indica, en su epígrafe dedicado al
tema de los reembolsos, que entre los requisitos obligatorios para acceder a la ayuda concedida es
necesario que:
ƒ
Se introduzcan los datos de ejecución en el sistema de seguimiento informático.
ƒ
Se incorpore un informe sobre las actividades y los gastos que se certifican.
11
Estos requisitos tienen una periodicidad obligatoria anual, aunque se pueden presentar peticiones de
reembolso tantas veces como quede establecido por los socios integrantes de la AD, previo cumplimiento
en todas las ocasiones de los dos requisitos relativos al sistema de seguimiento.
Asimismo, se indica la obligatoriedad de presentar un Informe Final del conjunto del proyecto, que
incorpore los resultados de las evaluaciones que se hayan llevado a cabo en el proyecto tanto de carácter
interno como externo.
¾
Estructura de Apoyo de la Iniciativa EQUAL.
La UAFSE mantiene además un sistema de seguimiento continuo, a través de la Estructura de Apoyo
que realiza las funciones de asistencia técnica de la Iniciativa.
Entre las actividades que debe llevar a cabo dicha Estructura, se encuentra la de seguimiento y evaluación
de los proyectos y del conjunto de la Iniciativa que se realizará principalmente a través de visitas a los
proyectos, informes individuales y del conjunto de la Iniciativa para lo cual será precisa la recogida de
datos a través de cuestionarios u otras herramientas diseñadas al efecto.
¾
Consejería de Empleo y Desarrollo Tecnológico de la Junta de Andalucía.
Entre las funciones que desempeña esta Consejería como socio de las Agrupaciones de desarrollo de los
21 proyectos en los que participa, se encuentra la función de responsable del seguimiento y evaluación
de las actuaciones.
La Consejería ha puesto en marcha el Sistema Informático Equal - GSE, sistema de seguimiento
financiero y de ejecución de actividades que, entre otros objetivos, tiene el de cubrir las demandas de
información a nivel nacional y europeo.
12
1.3. Evaluación de los principios básicos y de las prioridades horizontales de la
Iniciativa.
Con la publicación de la ”Guía Metodológica de Evaluación: Orientaciones Metodológicas para la
Evaluación Interna de los Proyectos de la Iniciativa Comunitaria EQUAL”, la UAFSE cumple con un doble
objetivo. Por un lado, desarrolla un marco común mínimo de contenidos que ya habían sido esbozados en
el Complemento del PIC español, y por otro lado, ofrece algunas orientaciones metodológicas así como
diversas herramientas para llevar a cabo los ejercicios de seguimiento y evaluación interna de los
proyectos EQUAL.
Mientras que las orientaciones metodológicas suponen una ayuda para el proyecto que puede utilizarlas o
adaptarlas a sus necesidades, la Guía plantea una serie de contenidos mínimos que son de obligado
cumplimiento para todos los proyectos. Estos mínimos hacen referencia a tres grupos de contenidos:
¾
La evaluación del cumplimiento de los principios básicos de la Iniciativa.
¾
La evaluación del cumplimiento de las prioridades horizontales de la Iniciativa.
¾
La evaluación de la contribución del proyecto al objetivo general de la Iniciativa.
Siguiendo las indicaciones del PIC español y de la Resolución de la UAFSE, por la que se convocan las
ayudas EQUAL en España, los principios básicos de la Iniciativa son los siguientes:
ƒ
Cooperación transnacional como valor añadido de las actuaciones del proyecto y fuente de
innovación.
ƒ
Innovación en la ejecución de las políticas relativas al proceso, al objetivo y al contexto.
ƒ
Capacidad de transferencia a políticas generales, difusión e intercambio de buenas prácticas
y sensibilización para el cambio de actitudes.
13
ƒ
Complementariedad de las actuaciones del proyecto con las políticas desarrolladas a escala
local, regional, nacional o comunitaria.
ƒ
Colaboración institucional y capacitación en la toma de decisiones
de las entidades
implicadas en el proyecto, y de los destinatarios finales del proyecto como principios básicos
en el funcionamiento de la AD.
ƒ
Enfoque integrado en el tratamiento de las problemáticas de desigualdad y discriminación, y
concentración de las actuaciones en aquellos grupos más afectados por tales
discriminaciones.
Por otro lado, y siguiendo las orientaciones comunitarias dirigidas a fomentar la cohesión económica y
social así como el desarrollo sostenible, toda intervención o acción comunitaria debe promover y respetar
las siguientes prioridades horizontales:
ƒ
Igualdad de Oportunidades entre hombres y mujeres.
ƒ
Medio Ambiente.
ƒ
Sociedad de la Información.
Además de estas tres prioridades, la Iniciativa EQUAL considera el Desarrollo Local y la Eliminación de
Barreras Físicas y Culturales, como principios que deben ser tenidos en cuenta en el planteamiento y
desarrollo de los proyectos.
Por último, el proyecto debe presentar una evaluación de cómo ha contribuido a la realización del objetivo
principal de la Iniciativa EQUAL tal y como se enuncia en la Comunicación de la Comisión a los Estados
miembros:
14
”El objetivo de EQUAL es promover nuevas maneras de combatir todas las formas de discriminación y
desigualdad en relación con el mercado de trabajo a través de la cooperación transnacional. EQUAL
tendrá asimismo en cuenta la integración social y profesional de los solicitantes de asilo”.
El primer paso para poder realizar un seguimiento y evaluación del cumplimiento de estos principios y
prioridades, es comprender en profundidad su significado e implicaciones tanto para el progreso de la
estrategia europea para el empleo a nivel comunitario y nacional, como para el desarrollo de nuestros
territorios a nivel local.
El segundo paso es establecer una metodología para llevar a cabo una correcta reflexión, en torno a
nuestra contribución como proyecto singular al desarrollo de estos principios en el conjunto de la Iniciativa.
La Guía ofrece ambos aspectos a través del análisis del significado de los principios y prioridades, así
como de la interrelación existente entre ellos. Por otro lado, presenta en forma de listas de comprobación
una serie de cuestiones clave cuyo cumplimiento deben plantearse los proyectos, y que resultan de
mucha utilidad para el establecimiento de los contenidos de evaluación de cada uno de los principios y
prioridades.
15
1.4. Los procesos de Seguimiento y Evaluación, y su relación con el Principio de
Transferencia y visibilidad de las Acciones Innovadoras.
La evaluación de resultados y el análisis de los procedimientos de puesta en marcha de las acciones y su
impacto cobra especial importancia en el contexto de los proyectos de la Iniciativa EQUAL.
Los proyectos que participan en la Iniciativa deben plantear soluciones innovadoras a los problemas que
detectan, y tienen la obligación de extender a las políticas generales todas aquellas experiencias que
puedan mejorar la práctica de dichas políticas. Por lo tanto, si no se establecen procedimientos adecuados
que sirvan para analizar y reflexionar sobre los efectos e impacto de las acciones, que se están
desarrollando en el marco del proyecto, se está perdiendo gran parte de la aportación que se espera de la
Iniciativa comunitaria.
En este sentido, se puede decir que el seguimiento y evaluación de un proyecto EQUAL tiene como uno
de sus objetivos prioritarios contribuir a la transferencia de prácticas innovadoras a políticas
generales, convirtiéndose de esta manera en un instrumento fundamental para el desarrollo de dos de los
principios básicos de la Iniciativa.
Será por tanto necesario comprobar que entre nuestros objetivos de evaluación se encuentra el de facilitar
la transferencia de resultados, buenas prácticas y todos aquellos elementos que puedan tener un carácter
innovador.
16
Asimismo, cuando evaluemos el cumplimiento de los principios de transferencia e innovación, uno de los
aspectos que debemos comprobar es cómo y en qué medida contribuye nuestro Plan de Seguimiento y
Evaluación a la realización de dichos principios.
¾
¿El Plan de Seguimiento y Evaluación tiene entre sus objetivos prioritarios el de contribuir a
la transferencia de resultados, buenas prácticas y acciones innovadoras?
¾
¿El Plan de Seguimiento y Evaluación contiene la elaboración de materiales y productos
dirigidos a transferir e intercambiar experiencias?
¾
¿Se ha diseñado un Plan de Difusión de los productos resultantes del Plan de Seguimiento y
Evaluación?
17
BIBLIOGRAFÍA Y PÁGINAS WEB.
™
Guía Metodológica de Evaluación: Orientaciones Metodológicas para la Evaluación Interna de los
proyectos de la Iniciativa Comunitaria EQUAL. Ministerio de Trabajo y Asuntos Sociales, Unidad
Administradora del Fondo Social Europeo (UAFSE).
™
Guía de Gestión y Control de los proyectos de la Iniciativa Comunitaria EQUAL. UAFSE.
™
Guías de Auto-Evaluación para los proyectos de la Iniciativa Empleo y de la Iniciativa Adapt.
Comisión Europea, Dirección General de Empleo y Asuntos Sociales.
™
El nuevo período de programación 2000-2006. Documento de Trabajo Metodológico nº 3.
Indicadores de Seguimiento y Evaluación: Orientaciones Metodológicas. Comisión Europea.
™
Páginas Web de la Comisión, en las que se pueden encontrar las estrategias fijadas en el ámbito
del Seguimiento y Evaluación, documentos metodológicos e informes con los últimos resultados de
evaluación:
8
http://europa.eu.int/comm/budget/evaluation/index_en.htm
8
http://europa.eu.int/comm/regional_policy/sources/docgener/evaluation/evaluation_en.htm
8
http://europa.eu.int/comm/employment_social/evaluation/evaluation_en.htm
18
2.
INTEGRACIÓN DE LA PERSPECTIVA DE GÉNERO EN LOS
PROCESOS DE SEGUIMIENTO Y EVALUACIÓN.
El género en las intervenciones estructurales. La integración de la perspectiva de género en las
intervenciones de los Fondos estructurales ha sido una prioridad, que se ha ido desarrollando a lo largo de
los períodos de programación, de acuerdo con las Estrategias Marco sobre Igualdad de Oportunidades
entre hombres y mujeres que forman parte de las políticas y programas de la Unión Europea.
En el actual período de programación 2000-2006, la Igualdad de Oportunidades entre hombres y mujeres
no es sólo un principio político o un requisito en la programación, sino que constituye una estrategia que
debe ser tenida en cuenta en todas las fases de diseño, planificación, ejecución y seguimiento y
evaluación.
La mención a la Igualdad de Oportunidades entre hombres y mujeres, aparece en diez de los cincuenta y
seis artículos del Reglamento 1260/99 del Consejo, por el que se establecen disposiciones generales
sobre las intervenciones de los Fondos Estructurales. Estos enunciados constituyen los hitos básicos en
materia de género, que deben ser tenidos en cuenta en cualquier acción estructural comunitaria y que
deben ser objeto de un seguimiento y una evaluación continua.
La importancia de un seguimiento y evaluación apropiada de la integración de la perspectiva de género en
las intervenciones estructurales, entre las que se cuenta la Iniciativa EQUAL, viene reflejada en las
implicaciones que ésta supone para la Evaluación Intermedia que debe ser presentada ante la Comisión
antes de finales de este año. Un aspecto muy importante de esta evaluación es su relación con la Reserva
de Eficacia, ya que según el artículo 44 del Reglamento general, la Comisión se reserva la asignación del
4% del total de los créditos del compromiso hasta que se compruebe la eficacia del programa.
19
El objetivo principal de esta Evaluación Intermedia es analizar las intervenciones, de manera que sea
posible realizar las modificaciones pertinentes para poder alcanzar los objetivos inicialmente previstos. En
el caso concreto que nos ocupa, la Evaluación Intermedia debe comprobar que la Igualdad de
Oportunidades entre hombres y mujeres, se ha llevado a cabo de forma efectiva, así como detectar las
posibles mejoras que permitan replanificar las intervenciones de manera adecuada.
Orientaciones de la Comisión para integrar el género en el Seguimiento y la Evaluación. Respecto a
los procesos de seguimiento y evaluación, dos artículos del Reglamento 1260/99 hacen referencia
explícita a la perspectiva de género:
¾
El artículo 36, indica que en la elaboración de indicadores se tendrán en cuenta las orientaciones
metodológicas y las listas de indicadores publicadas por la Comisión, y que las estadísticas deben
ser desagregadas por sexo.
¾
El artículo 41, establece que la Evaluación Previa, que sirve de base para la programación, tendrá
en cuenta la situación de la igualdad entre hombres y mujeres, y llevará a cabo una estimación del
impacto de las intervenciones en esta materia.
Es efectivamente en las orientaciones metodológicas elaboradas por la Comisión, en donde podemos
encontrar, de forma más precisa, los supuestos mínimos que se espera sean cumplidos por las
intervenciones estructurales en materia de seguimiento y evaluación, desde una perspectiva de género.
Entre los documentos técnicos, metodológicos y temáticos, que publicó la Comisión con el objeto de
orientar el nuevo período de programación de los Fondos Estructurales, se encuentra uno en concreto
sobre la estrategia para la integración de la Igualdad de Oportunidades para hombres y mujeres, en los
programas y proyectos de Fondos Estructurales.
Este documento hace mención específica sobre los procesos de seguimiento y evaluación, y los
elementos imprescindibles para que éstos se realicen desde una perspectiva de género.
20
En primer lugar, indica que se debe realizar una recogida de datos y de información teniendo siempre en
cuenta la perspectiva de la Igualdad de Oportunidades; en este sentido, desagregar los datos por sexo
es el primer paso, que dará lugar a un análisis más detallado sobre las diferencias en las situaciones de
hombres y mujeres.
Los datos desagregados por sexo son también la base para la elaboración de indicadores de igualdad, de
forma que los informes de evaluación puedan contrastar los avances que se están realizando en este
ámbito. Este documento facilita asimismo una serie de indicadores en función de una serie de objetivos
concretos de igualdad, en relación con los tres niveles de resultados, realizaciones e impacto.
Para la construcción de un sistema de indicadores de género, la Comisión hace una serie de
recomendaciones en el sentido de que éstos deben servir para cuantificar y medir los hechos, pero
también deben profundizar en el significado de los mismos. En este sentido, propone la utilización de
indicadores cualitativos y cuantitativos que expliquen las diferencias y desigualdades así como analizar
el impacto de las realizaciones de las actividades a medio largo plazo.
21
2.1. La Iniciativa EQUAL y la Integración del Género en los Sistemas de Seguimiento
y Evaluación.
Además de ser un área temática específica, la Igualdad de Oportunidades para hombres y mujeres, es
una prioridad horizontal que debe ser incorporada en el resto de áreas temáticas, así como en todas las
fases de los proyectos; diseño, planificación, ejecución de actividades y evaluación, deben incorporar la
perspectiva de género tal y como se indicaba en la Guía de Presentación de proyectos EQUAL, y en el
resto de documentación relativa a los procedimientos en la Iniciativa en nuestro Estado miembro.
El PIC EQUAL español define una batería de indicadores que posteriormente han sido especificados y
desarrollados en el módulo de seguimiento, a través fundamentalmente de su base de datos
informatizada.
El módulo de seguimiento de la UAFSE, incluye un epígrafe que recoge información sobre el grado de
cumplimiento de la Igualdad de Oportunidades, como principio transversal en todas las fases,
procedimientos y actividades propuestas por el proyecto, y que debe ser considerada como un conjunto de
contenidos mínimos a tener en cuenta en nuestro propio sistema de seguimiento y evaluación interna.
El epígrafe hace un recorrido por los siguientes aspectos del proyecto:
¾
La Igualdad de Oportunidades en la composición y capacitación de los socios de la AD.
¾
La integración de la IO en la gestión y coordinación del proyecto.
¾
La perspectiva de género en los sistemas de seguimiento y evaluación.
¾
La IO en acciones de difusión, sensibilización, elaboración de productos y materiales.
22
¾
La integración de la IO en el desarrollo de actuaciones del proyecto.
ƒ
Respecto a la integración de la perspectiva de género en los sistemas de seguimiento y
evaluación, el módulo recoge información sobre la puesta en marcha de una serie de
procedimientos tales como la evaluación de impacto, recogida de datos desagregada por
sexo, indicadores de género y realización y difusión de informes periódicos de evaluación de
la incorporación de la igualdad de oportunidades en nuestro proyecto.
Por otro lado, la Guía Metodológica de Evaluación editada por la UAFSE, propone una serie de cuestiones
clave relativas a los contenidos de evaluación de la Igualdad de Oportunidades en el proyecto, que
también deben ser considerados como aspectos básicos en nuestros sistemas de seguimiento y
evaluación.
23
2.2. Principios básicos para la incorporación de la perspectiva de género en los
Sistemas de Seguimiento y Evaluación de los proyectos EQUAL.
El género como categoría de análisis.
Pongamos un supuesto práctico. La oferta formativa de un proyecto contiene, entre otros, un curso de
ofimática y otro de diseño asistido por ordenador; cuando medimos el número de participantes por sexo en
cada curso comprobamos que la presencia de hombres y mujeres se encuentra completamente
desequilibrada. Mediante la aplicación de la variable sexo estamos describiendo un hecho, pero nos
interesa saber más; en realidad lo que queremos conocer son las causas de estas diferencias, y saber
todas las implicaciones y los efectos que esta situación supone para el acceso y permanencia de hombres
y mujeres en el mercado laboral.
Cuando reflexionamos en este sentido, sobre tales desequilibrios, lo que estamos llevando a cabo es el
análisis de una situación desde una perspectiva de género, es decir, estamos utilizando el género como
una categoría de análisis.
La evaluación debe detectar, pero sobre todo, debe ser capaz de analizar y reflexionar sobre el
cumplimiento de los objetivos de igualdad de nuestro proyecto, y el impacto que suponen sus
actuaciones sobre la discriminación, a la que hace referencia el objetivo principal de la Iniciativa EQUAL.
El género como categoría de análisis se convierte, de esta manera, en un principio básico de nuestro
sistema de seguimiento y evaluación, que nos permite posicionarnos en un marco teórico desde el que
seremos capaces, en primer lugar, de reflexionar y explicar, para, por último, sugerir y proponer
modificaciones que mejoren los supuestos de igualdad de nuestro proyecto.
La utilización del género como categoría de análisis, implica el conocimiento de todos los factores que
intervienen en la discriminación, cómo y dónde actúa dicha discriminación, sus causas y consecuencias
así como los cambios a lo largo de la historia; supone, por tanto, una especialización teórica y práctica.
24
Personas especializadas en Igualdad de Oportunidades.
La aplicación de la perspectiva de género en nuestros sistemas de seguimiento y evaluación, implica
disponer de suficientes conocimientos técnicos en materia de Igualdad de Oportunidades como para poder
diseñar el plan, desarrollarlo y obtener resultados de suficiente calidad en el análisis.
Asegurar un correcto enfoque de la Igualdad de Oportunidades en nuestro proyecto, es importante en
cualquiera de las fases, pero, tiene carácter de trascendente en nuestro sistema de seguimiento y
evaluación, que debe ser desarrollado por el equipo que gestiona y coordina la evaluación.
Un sistema de evaluación eficaz realiza las funciones de observatorio del proyecto y, sobre todo, tiene el
enorme potencial de ser la plataforma técnica, desde la que se pueden realizar propuestas de modificación
y sugerencias a los órganos de decisión de las AD.
Formación de los equipos en Igualdad de Oportunidades.
La Igualdad de Oportunidades es un principio transversal a tener en cuenta en todo el proyecto, por lo que
las personas y equipos que participan en el desarrollo del mismo, deben tener un conocimiento adecuado
que les permita desempeñar sus funciones con la debida perspectiva de género.
Se debe poner en marcha un plan formativo y de sensibilización que afecte a todos los niveles y
competencias de las estructuras organizativas; de ello depende el éxito de la integración de la
Igualdad de Oportunidades en nuestros proyectos. El plan formativo debe tener unos contenidos
comunes, sobre conceptos básicos de género y cómo funcionan las discriminaciones de género, y
luego, unos contenidos especializados y adaptados a las funciones de las personas y los equipos.
25
En el caso de la evaluación y seguimiento, debemos asegurar que todas las personas que participan en la
recogida de información, el tratamiento de los datos y el análisis de los mismos comprenden los objetivos,
contenidos y metodología apropiada para realizar un seguimiento y evaluación adecuados de la Igualdad
de Oportunidades; las personas especializadas en género con las que debe contar todo proyecto, y de las
que hablábamos en el epígrafe anterior, son la asistencia técnica idónea que deben buscar los equipos
competentes en el desarrollo de metodologías, técnicas y herramientas de seguimiento y evaluación.
Participación de entidades y personas usuarias.
Las entidades que trabajan en el ámbito de la Igualdad de Oportunidades, los grupos de mujeres y
mujeres beneficiarias de las actuaciones del proyecto, son las fuentes de información más adecuadas para
realizar un seguimiento de la Igualdad de Oportunidades en nuestros proyectos. Debemos por tanto
asegurar su participación en los procesos de seguimiento y evaluación aplicando las técnicas y
herramientas que sean necesarias para conseguir su colaboración.
26
2.3. Dónde y cómo se incorpora la perspectiva de género en los procesos de
Seguimiento y Evaluación de los proyectos EQUAL.
El diseño de un sistema de seguimiento y evaluación desde una perspectiva de género es especialmente
importante, porque de ello, depende que se reflexione y analice adecuadamente la integración de la
Igualdad de Oportunidades en el desarrollo del proyecto.
Una vez que se realiza el diseño y se elabora el plan técnico de seguimiento y evaluación, tenemos que
comprobar que dicho plan contiene una serie de requisitos que garanticen una evaluación desde la
perspectiva de género. No debemos olvidar que un sistema de seguimiento y evaluación es objeto a su
vez de evaluación, por lo que periódicamente debemos hacernos una serie de preguntas acerca de la
validez de dicho sistema:
ƒ
¿Nuestro sistema está recogiendo información suficiente en relación con la Igualdad de
Oportunidades?
ƒ
¿Es capaz de detectar y hacer circular la información adecuada en relación con situaciones
imprevistas en materia de discriminación e Igualdad de Oportunidades?
ƒ
¿Puede analizar y proponer modificaciones en el tiempo y de la manera apropiadas?
ƒ
¿Nuestro sistema de evaluación tiene los mecanismos adecuados para difundir y transferir sus
resultados de análisis en relación con la Igualdad de Oportunidades?
Por otro lado, es preciso que nuestro plan de seguimiento y evaluación contenga al menos los siguientes
requisitos que garanticen la integración de la Igualdad de Oportunidades en el mismo. A continuación, se
propone un ejercicio de revisión de los aspectos básicos que debe presentar un plan desde la
perspectiva de género.
27
¾
Objetivos del Plan de Seguimiento y Evaluación.
Los objetivos del plan deben contener claramente enunciados aquellos relativos al seguimiento de la
Igualdad de Oportunidades.
Entre los objetivos generales, debe aparecer uno que exprese la evaluación del cumplimiento del
principio transversal de igualdad en el proyecto, de manera que se compruebe de qué forma se está
contribuyendo a la eliminación de la discriminación y a la consecución de la igualdad.
¾
Revisión de los contenidos del Plan.
Los contenidos de igualdad deben desarrollar el objetivo general, en la medida en que se definan los
aspectos más importantes en los que se concentrará la evaluación de la actuación por la igualdad
de oportunidades: en qué ámbitos se espera mejorar los desequilibrios, en qué sentido se pretende
igualar los posicionamientos de hombres y mujeres.
Además de estos contenidos estrechamente relacionados con el área temática en el marco de la
cual se desarrolla el proyecto, la evaluación debe precisar de qué manera han contribuido los
principios básicos de la Iniciativa a reforzar la Igualdad de Oportunidades; qué y cómo se han
transferido las buenas prácticas en igualdad de oportunidades, cómo ha contribuido la innovación al
desarrollo de la igualdad, en qué sentido se han complementado las políticas y prácticas dirigidas a
mejorar la Igualdad de Oportunidades, y así en relación con el resto de los principios.
¾
Técnicas y herramientas de Seguimiento y Evaluación.
Se deben emplear procedimientos tanto de carácter cuantitativo como cualitativo, teniendo siempre
en mente que pretendemos describir situaciones, pero, también comprender el significado y
profundizar en las causas y consecuencias.
28
ƒ
Datos desagregados por sexo.
Es el procedimiento básico para proceder a la descripción de las situaciones; la variable sexo
nos permite un conocimiento de la situación de hombres y mujeres, y debe estar presente en
todos los niveles de la recogida de la información.
ƒ
Indicadores de género. Estos indicadores son herramientas que nos permiten evaluar las
acciones, los resultados y el impacto del proyecto desde una perspectiva de género.
La construcción de indicadores debe ser llevada a cabo desde una perspectiva de género, es
decir, en la definición y descripción del indicador se debe reflexionar sobre cómo y hasta qué
punto influyen los desequilibrios y la discriminación en la situación que queremos medir,
contrastar o evaluar.
Hay indicadores que se refieren a situaciones directamente relacionadas con las
desigualdades, pero existen otras situaciones en las que nos puede parecer que no es
pertinente el enfoque de género; es necesario decir que existen pocos hechos y situaciones
en las cuales no sea pertinente una perspectiva de género, prácticamente todas las
actuaciones y procedimientos son susceptibles a algún indicador con perspectiva de género.
ƒ
Evaluación de Impacto Previa. Es este un tipo de análisis muy válido ya que nos puede
evitar posteriores trastornos y modificaciones en las actuaciones. Básicamente se trata de un
ejercicio posterior a la planificación y previo a la ejecución y que, por tanto, nos sirve para
replanificar con antelación.
Este tipo de evaluación nos propone el siguiente ejercicio que, si es posible, es recomendable
realizar en reuniones grupales de personal técnico: supongamos que llevamos a cabo la
actuación tal y como la hemos diseñado, vayamos por todos los pasos y procesos, teniendo
en cuenta el máximo número de factores, pero sobre todo hagámoslo pensando en el posible
impacto en hombres y mujeres, y en las situaciones de desigualdad que hemos detectado en
nuestro entorno.
29
¾
Resultados del Seguimiento y Evaluación y su Difusión.
Una de las utilidades principales del plan de seguimiento y evaluación es servir para el intercambio
de información, difusión de resultados y buenas prácticas, y transferencia de las innovaciones a
políticas generales. El grado de cumplimiento de los objetivos de Igualdad de Oportunidades entre
hombres y mujeres debe siempre estar presente en todos los informes, materiales y publicaciones
de resultados. Algunas actividades en relación con la presentación y difusión de resultados podrían
ser:
ƒ
Informes periódicos y específicos de Evaluación de la Igualdad de Oportunidades.
ƒ
Presentación de dichos informes en grupos de trabajo y discusión, al comité director, al
personal de coordinación y gestión, al personal técnico y que desarrolla las actuaciones.
ƒ
Realización de materiales de difusión así como de actos de presentación de los resultados a
entidades del territorio, a decisores y responsables políticos.
30
BIBLIOGRAFÍA.
™
Guía Metodológica para la Evaluación del Principio de Igualdad de Oportunidades entre hombres y
mujeres en las intervenciones de los Fondos Estructurales. Ministerio de Trabajo y Asuntos
Sociales, Instituto de la Mujer, 2002.
™
Guía para la Evaluación de Impacto de Género. Comisión Europea, Dirección General de Empleo y
Asuntos Sociales.
™
Líneas Directrices para la Integración y la Evaluación de la Igualdad de Oportunidades entre mujeres
y hombres en las propuestas de los programas del FSE. Comisión Europea, Dirección General de
Empleo y Asuntos Sociales.
™
The New Programming Period 2000-2006. Technical paper by theme nr.3. Mainstreaming equal
opportunities for women and men in structural fund programmes and project. Comisión Europea.
™
La Perspectiva de Género: Guía para diseñar, poner en marcha, dar seguimiento y evaluar
proyectos e investigación de acciones públicas y civiles. D. Cazés, M. Lagarde y B. Lagarde.
Méjico, 1999.
31
3.
SEGUIMIENTO Y EVALUACIÓN.
3.1. Definición de conceptos.
El Seguimiento y la Evaluación de un proyecto son procesos complementarios que se desarrollan
para conocer la realización de ese proyecto y valorar su ejecución. Ambos procesos cumplen
funciones distintas y aportan información precisa en momentos diferentes del proyecto.
Habitualmente el seguimiento es de carácter interno al propio proyecto, y se dirige a observar atenta y
permanentemente su propia ejecución. La evaluación añade una peculiaridad singular a esa observación,
ya que a partir de ésta se adentra en el análisis objetivo y sistemático de los efectos del desarrollo del
proyecto, que pueden hacer referencia a distintos niveles de análisis.
En consecuencia, el Seguimiento se convierte en herramienta fundamental de la Evaluación al
aportar información recogida a lo largo de dicha observación. Ahora bien, ¿qué información ha de
recogerse en el Seguimiento de un Proyecto? Podemos hablar de tres de información básica:
a)
Las actuaciones o actividades que lo desarrollan, que en función de los objetivos, muestra
información sobre los resultados que se van obteniendo y la adecuación del proyecto al plan inicial.
b)
La metodología desarrollada, esto es, el conocimiento del desarrollo de los procesos de ejecución
de dichas actividades, lo que permite conocer necesidades que surgen a lo largo de la ejecución del
proyecto, y la adecuación de las actuaciones en relación al contexto de actuación.
c)
Los mecanismos de participación y coordinación de las distintas entidades participantes, que
aportan información sobre la contribución de los distintos actores, así como el grado de integración
de recursos del territorio para apoyar y facilitar la ejecución del proyecto.
32
Desde esta perspectiva, el Seguimiento se convierte en un elemento esencial en el proyecto, ya que
cumple una doble función: Conocer el nivel de cumplimiento de los objetivos planteados y reflexionar
sobre su desarrollo, lo que posibilita identificar disfunciones en su ejecución, corregirlas y mejorar su
calidad sobre la base de las necesidades reales del contexto de intervención.
La Evaluación se realiza para analizar los efectos del desarrollo del proyecto, que en términos
generales, proporciona:
a)
Información sobre el nivel de ejecución en relación a los objetivos: actuaciones desarrolladas y
resultados obtenidos a través de dichas actuaciones.
b)
Conocimiento del proceso seguido para llegar a esos resultados, esto es, recursos, estrategias,
procedimientos empleados para su consecución.
c)
Valoración de los efectos producidos en relación a la población destinataria y el entorno.
Como se podrá observar, la evaluación se alimenta de los resultados del Seguimiento, pero a partir de
esta información, se propone profundizar sobre la realidad propia de la ejecución del proyecto y sus
efectos, de manera que en función de los objetivos evaluativos que queramos alcanzar, la evaluación
puede adoptar distintas dimensiones, habitualmente, las que hacen referencia a resultados, proceso e
impacto.
33
3.2. Características básicas de los procesos.
Podemos caracterizar los procesos de seguimiento y evaluación en torno dos cuestiones básicas: el
proyecto, propiamente dicho, y las personas implicadas en él. A continuación se presentan las
características básicas de cada una de ellas.
¾
En relación al proyecto, se trata de procesos:
ƒ
Integrados, ya que forman parte del propio proyecto, tanto en su propio diseño como en su
desarrollo, que es transversal a su ejecución.
ƒ
Proactivos, ya que al desarrollarse transversalmente, lo acompaña y tutela, proponiendo e
interviniendo de acuerdo con la información obtenida, con el fin de mejorar su desarrollo, la
calidad de la intervención, el ajuste a los objetivos y la adecuación a las necesidades de las
personas y/o entidades participantes.
ƒ
Útiles, ya que se convierten en una herramienta que facilita información que permite
reflexionar, valorar y tomar decisiones.
ƒ
Flexibles ya que la información que proporcionan permite adaptar el proyecto a la propia
realidad de intervención.
ƒ
Pertinentes, ya que se diseñan y realizan, en función del contexto de intervención del
proyecto, de sus objetivos y de sus actuaciones.
34
¾
En relación a las personas, se trata de procesos:
ƒ
Informativos, al proporcionar información sobre la realización del proyecto y permitir, en
consecuencia, la difusión de resultados.
ƒ
Participativos, al promover la implicación de los distintos actores implicados, ya sean
promotores, colaboradores o destinatarios.
ƒ
Formativos, al propiciar conocimiento en las personas implicadas en la ejecución del
proyecto, tanto relacionado con los propios procesos de seguimiento y evaluación, como con
los de mejora de desarrollo del proyecto.
35
3.3. Modelos o tipologías de Evaluación.
La evaluación de un proyecto no responde a un solo tipo de evaluación, sino que contempla varios de ellos
en función de los objetivos planteados y/o necesidades que puedan derivarse del proyecto. Destacaremos
tres tipos de evaluación que responden a los siguientes criterios: la temporalidad o momento de
realización, la procedencia del equipo evaluador y el contenido a evaluar.
¾
Temporalidad.
ƒ
Evaluación Inicial o Previa. Alude al contexto en el que se desarrolla el proyecto, esto es, al
análisis previo de las necesidades, problemas y población diana, lo que ha permitido
fundamentar y definir el proyecto. Existe una segunda dimensión, que se refiere al análisis del
propio diseño del proyecto y su adecuación a las necesidades que quiere cubrir, y cuya
finalidad es identificar puntos débiles para reforzarlos y/o tenerlos presente en el desarrollo del
proyecto, para acabar de ajustarlos en la propia realización.
ƒ
Evaluación Continua. Supone la observación continuada del desarrollo del proyecto. Se
corresponde, en consecuencia, con el seguimiento del proyecto.
ƒ
Evaluación Intermedia. Es aquélla que se realiza a mitad de desarrollo del proyecto, con el
fin de conocer su nivel de ejecución y los efectos que éste está produciendo en el contexto de
intervención. Se convierte en herramienta de participación, intercambio de experiencias entre
el personal y las organizaciones implicadas en el desarrollo del proyecto, lo que promueve la
mejora de la calidad del mismo. Recomendable para proyectos de más de un año de duración.
ƒ
Evaluación Final. Es la evaluación definitiva del proyecto, realizada a su terminación, con el
fin de conocer y valorar el grado de consecución de los objetivos, los resultados alcanzados,
los recursos empleados y el impacto obtenido. Habitualmente se apoya en los resultados
obtenidos en los distintos tipos de evaluación, realizadas a lo largo del proyecto, sirviendo
éstos como elemento aproximativo a la realidad de la ejecución del proyecto.
36
¾
Equipo Evaluador.
ƒ
Evaluación Interna. Aquélla que se realiza con el propio equipo técnico que desarrolla el
proyecto o la entidad o entidades participantes en el mismo.
ƒ
Evaluación Externa. Cuando es una entidad ajena al proyecto la que la realiza, lo que aporta
objetividad a sus resultados.
ƒ
Evaluación Mixta. Aquélla en la que intervienen una entidad ajena al proyecto y la entidad o
entidades participantes. Este tipo permite un acercamiento mayor a la propia realidad del
proyecto, sin perder la objetividad que aporta la entidad externa.
¾
Contenido Evaluativo. Se refiere a los niveles de análisis que puede tener una evaluación,
determinados por el tipo de información que queremos obtener, analizar y evaluar. Cuanto más
niveles de análisis contemple mayor será el grado de acercamiento a los resultados y efectos
conseguidos por el proyecto. Destacamos los siguientes niveles de análisis.
ƒ
Evaluación de Resultados. Analiza el grado de consecución de los objetivos propuestos,
tanto generales como específicos, así como la relación existente entre objetivos y resultados.
ƒ
Evaluación de Proceso. Se ocupa del análisis de recursos, metodologías y procedimientos
de coordinación y participación puestos en marcha para el desarrollo del proyecto.
ƒ
Evaluación de Impacto. Analiza el efecto que el desarrollo del proyecto ha producido tanto a
la población (destinataria y global) como en el ámbito de intervención (socioeconómico,
laboral, social, ...).
ƒ
Evaluación de Eficacia. Analiza el alcance de los objetivos y de los resultados de la
ejecución del proyecto en la población beneficiaria.
ƒ
Evaluación de Eficiencia. Supone el análisis de los recursos empleados en relación a los
resultados obtenidos.
37
3.4. Criterios básicos para construir un Sistema de Seguimiento y Evaluación.
La elaboración de un Sistema de Seguimiento y Evaluación ha de responder, al menos, a dos cuestiones:
¾
¿Qué alcance queremos dar a la Evaluación?
¾
¿Cuál es el contenido básico del sistema de Seguimiento y Evaluación?
Alcance de la evaluación. Determinar el tipo de evaluación que vamos a realizar en un proyecto supone
tener en cuenta los siguientes criterios:
a)
Duración del proyecto: determina si procede definir distintos momentos evaluativos, así como la
variedad de niveles de análisis a considerar. De manera que un proyecto reducido en el tiempo
probablemente supondrá realizar una evaluación simple, basada fundamentalmente en una
evaluación final de resultados; mientras que cuanto más larga sea su duración, seguramente más
complejo sea en objetivos, actividades, metodología, resultados esperados e impacto, lo que
requerirá una evaluación más completa.
b)
Finalidad del proyecto: ésta suele determinar la dimensión y complejidad del proyecto, que se
manifiesta en los objetivos, actuaciones, metodología y duración. Cuanto mayor sea ésta, más
requerirá de procesos evaluativos que contemple distintos tipos de evaluación, con la finalidad de
abordar de la forma más completa el análisis de los efectos del proyecto.
c)
Trascendencia: ligada a la finalidad, también determina la dimensión del proyecto, en función de los
efectos y resultados esperados que se prevé, tanto en relación a la población beneficiaria como
sobre el contexto general de intervención. A mayor trascendencia más necesidad de una evaluación
completa, que incluirá varios niveles de análisis, especialmente los referidos al impacto.
d)
Financiación: en general la línea de financiación adscrita a un proyecto contemplan indicaciones,
recomendaciones o requisitos para la evaluación que se convierten en patrón para diseñar el
sistema de seguimiento y evaluación de ese proyecto.
38
Contenido básico del Sistema de Seguimiento y Evaluación.
La definición del Sistema de Seguimiento y Evaluación de un proyecto requiere previamente la adquisición
del compromiso político de las distintas organizaciones promotoras y colaboradoras del proyecto, ya desde
el mismo momento del diseño del proyecto, con el fin de dotar de presupuesto para desarrollar el proceso
de evaluación, así como apoyar su desarrollo a lo largo de la ejecución del proyecto. En ese momento ya
se fija el tipo de evaluación a realizar en función del equipo evaluador. Una vez salvada esta cuestión, el
diseño del sistema de seguimiento y evaluación ha de contemplar los siguientes aspectos:
a)
Definición de los objetivos, contenidos, metodología y calendario de recogida y análisis de la
información. Ésta ha de realizarse atendiendo a los objetivos, contenido y características
específicas del proyecto a evaluar, así como al alcance que se le quiere dar, teniendo en cuenta
además los criterios de la línea de financiación del proyecto y el enfoque de género. El resultado
aporta el tipo de evaluación que se realizará en relación a su temporalidad y niveles de análisis.
b)
Elaboración de los indicadores de análisis. Se construyen en función de los distintos niveles de
análisis que contempla el sistema de seguimiento y evaluación y teniendo en cuenta perspectiva de
género.
c)
Establecimiento del mecanismo de coordinación y participación. Es fundamental articular un
comité específico de seguimiento y evaluación que apoye y supervise el proceso de evaluación, lo
que significa nombrar a sus miembros, representantes de las distintas entidades implicadas,
promotoras del proyecto, asegurando una participación paritaria de mujeres y hombres, así como
definir sus funciones, responsabilidades y calendario de trabajo.
d)
Aprobación del sistema de seguimiento y evaluación por parte de las distintas organizaciones
colaboradoras del proyecto, a través de los mecanismos de coordinación y participación articulados
para su desarrollo.
39
e)
Elaboración de las herramientas de recogida de información, en base a los niveles de análisis
definidos y considerando la perspectiva de género.
f)
Definición de los procedimientos, relativos a la recogida de información, el papel de la entidades
participantes en cada uno de los procesos de evaluación definidos, del personal técnico y de la
propia asistencia técnica externa, así como los mecanismos de coordinación entre ellos y de
contacto con las personas participantes.
40
3.5. Mecanismos de Coordinación y Participación.
Son una herramienta básica del Sistema de Seguimiento y Evaluación dirigida a favorecer la participación
de todas las entidades implicadas en el proyecto, de manera que cumplen con una triple finalidad:
compartir información, valorar de forma conjunta los resultados que se vayan obteniendo y facilitar
la toma de decisiones respecto al desarrollo del proyecto.
Se trata, en cualquier caso, de vehicular la participación de las distintas organizaciones y reforzar los
procesos de evaluación, de manera que podemos encontrar varios niveles de participación en función del
tipo de entidad e implicación o relación existente con el proyecto.
Existe un primer nivel, básico, que articula la coordinación y participación de los actores implicados
directamente en la ejecución del proyecto (entidades promotoras y colaboradoras), que como se ha
comentado antes, han de crear y componer un Comité de Seguimiento y Evaluación del proyecto.
Existe, además un segundo nivel, dirigido a canalizar la participación de grupos locales (asociaciones,
redes, ...), en tanto que se convierten en recursos del territorio que pueden aportar información, identificar
necesidades y, propiciar, en un futuro, el mantenimiento de los resultados alcanzados. La articulación de
estos mecanismos no sólo presupone la representación de las distintas organizaciones comentadas, sino
que entre las personas que las representen ha de promoverse una distribución paritaria de mujeres y
hombres, con la finalidad de garantizar la existencia de visiones complementarias que proporcionarán una
información y valoración más cercana a la realidad.
Desde esta perspectiva, se hace fundamental invitar a las asociaciones de mujeres, en tanto que su
aproximación a la realidad propia de las mujeres y, en consecuencia, de sus necesidades, intereses,
dificultades, aporta un valor añadido esencial para el desarrollo del proyecto.
41
La participación de todas estas organizaciones requiere el desarrollo de mecanismos de coordinación y
participación bien fijados, que permita una adecuada canalización de la participación de las distintas
entidades en función del papel que desempeñan en el proyecto. Esto implica la necesidad de una clara
definición de los procedimientos de participación, calendarización y objeto de las mismas, así como la
determinación de comisiones que pueden ser de carácter temático y/u organizacional.
Destacamos las funciones básicas de estos mecanismos:
¾
Aprobar el Sistema de Seguimiento y Evaluación.
¾
Valorar y aprobar de cambios que pudiera requerir el proyecto para reconducirlo en base a los
resultados del seguimiento y evaluación.
¾
Garantizar la integración de la perspectiva de género.
¾
Valorar el desarrollo del proyecto en general.
¾
Participar en la elaboración de propuestas de futuro que faciliten el sostenimiento de los cambios o
resultados que se van obteniendo.
42
3.6. Procesos de recogida de información. Los Indicadores.
¾
Indicadores de evaluación.
Se trata de instrumentos de análisis elaborados para obtener información en torno a la realidad de análisis.
La característica básica de un indicador es que ha de ser fácilmente medible. Esto es, nos ha de permitir
recoger fácilmente la información e interpretarla.
Los indicadores nos permiten aproximarnos de forma más completa al desarrollo del proyecto,
tanto en lo relativo a sus resultados, como al propio proceso o su impacto. En definitiva, construimos
indicadores en relación a los niveles de análisis contemplados en el proceso de evaluación y en base al
diagnóstico inicial (el contexto del proyecto), así como los objetivos planteados, actividades que lo
desarrollan y los resultados esperados. Es por esta razón por la que no existen indicadores tipo válidos
para cualquier proyecto, sino que cada proyecto requiere de indicadores específicos.
¾
Tipos de indicadores.
Destacamos dos tipos de indicadores: cuantitativos y cualitativos. Los indicadores cuantitativos son de
carácter descriptivo, más fáciles de elaborar e interpretar en la medida en que miden la información a
través de datos cuantificables, un dato numérico que, por lo general, es válido para el momento en el
que se obtuvo, pero que es muy posible que transcurrido un corto período de tiempo quede obsoleto (por
ejemplo, nº de personas atendidas en el servicio de orientación por sexo).
Los indicadores cualitativos, sin embargo, se refieren a información de carácter explicativa que aporta
información sobre aspectos difícilmente cuantificables o que, convertida aquélla en un dato numérico,
aporta éste información complementaria para conocer las causas o los porqués del hecho analizado. Así
mismo y, a diferencia de los indicadores cuantitativos, son dinámicos, esto es, proporcionan información
que puede ser válida más allá del momento de recogida de información. Se trata de indicadores que
miden opiniones, procesos metodológicos, así como de participación y comunicación, motivos,
cambios de actitudes, percepciones, etc.
43
3.7. Técnicas cuantitativas y cualitativas.
Los datos que necesitamos recabar para construir el indicador se obtienen utilizando técnicas diversas, en
función del tipo de indicador. Éstas se pueden ser de carácter cuantitativo y cualitativo.
Las técnicas cuantitativas permiten la recogida y análisis de información descriptiva o cuantificable
numéricamente, sea cual sea el nivel de análisis contemplado en la evaluación. Partimos, en
consecuencia, de indicadores de carácter numérico y herramientas de recogida de información que
permiten obtener los datos que construyen ese indicador. Suelen aportar datos para la evaluación de
resultados y de eficiencia.
Las técnicas cualitativas ofrecen información de elementos no cuantificables que complementan la
valoración cuantitativa y aportando un valor añadido a partir de aspectos explicativos. Suelen estar estar
relacionadas con la evaluación de proceso e impacto.
Estas técnicas cuentan herramientas de recogida de información muy distintas, en función del tipo de
información que nos interesa recabar. No obstante, una misma herramienta puede aportar información
cuantitativa y cualitativa, incluso aportar datos referidos a los distintos niveles de análisis contemplados en
nuestra evaluación. Diferenciaremos entre herramientas físicas y herramientas participativas.
HERRAMIENTAS FISICAS
•
Base de Datos.
•
Ficha de Seguimiento.
•
Cuestionario.
HERRAMIENTAS PARTICIPATIVAS
•
Reuniones de equipo.
•
Mecanismos de coordinación y participación.
•
Herramientas relacionadas con técnicas
cualitativas de recogida de información.
44
¾
Herramientas físicas.
ƒ
Base de Datos. Básica cuando se interviene con personas. Permite realizar el seguimiento y
ofrece información valiosa para la evaluación de resultados, especialmente relacionada con
perfiles de personas participantes o beneficiarias e información sobre las trayectorias de
participación.
ƒ
Ficha de Seguimiento. Es una herramienta que aporta información sobre el desarrollo de
cada actuación o actividad, así como sobre la participación de las distintas personas o
entidades beneficiarias del proyecto.
ƒ
Cuestionario. Herramienta complementaria a otras, tiene la cualidad de recoger opiniones de
las personas participantes, respecto a su satisfacción, el modo de intervención, el apoyo que
ha obtenido, así como información sobre el conocimiento del proyecto o una valoración sobre
su desarrollo. Se trata, así mismo, de una herramienta básica para la evaluación de impacto.
¾
Herramientas participativas.
ƒ
Reuniones de equipo. Se trata de una herramienta ligada a la evaluación continua y
seguimiento del proyecto, así como de proceso, ya que posibilita el intercambio de
experiencias respecto a la propia ejecución del proyecto donde se miden y/o analizan las
actuaciones desarrolladas, la integración de recursos, la adecuación del proyecto a las
personas destinatarias, las dificultades experimentadas, las soluciones y los modelos de
intervención óptimos.
ƒ
Mecanismos de coordinación y participación. Herramienta igualmente ligada al
seguimiento, al facilitar la participación de todas las entidades en un proceso de información
compartida, valoración conjunta de los resultados y toma de decisiones respecto a
desviaciones del proyecto.
45
ƒ
Herramientas relacionadas con técnicas cualitativas de recogida de información.
Destacan la entrevista en profundidad y los grupos de discusión. Las entrevistas se dirigen
habitualmente a agentes del entorno, informantes clave y responsables de entidades
colaboradoras, participantes del proyecto. Mientras que los grupos de discusión se realizan
con personas beneficiarias directas o indirectas, así como con población en general. Suelen
realizarse para aportar información a las evaluaciones de proceso e impacto. Estas técnicas
se acompañan de soporte físico: los guiones (de entrevista y grupo), y tras la aplicación de la
técnica, las transcripciones.
46
3.8. La aplicación del Sistema de Seguimiento y Evaluación.
La aplicación de las técnicas identificadas en el Sistema de Seguimiento y Evaluación, se realiza de forma
periódica y puntual, en función de los hitos previstos y tipo de evaluación definida. Se han de tener en
cuenta dos elementos básicos en la recogida de información: la utilización de las herramientas
elaboradas y aprobadas en el marco del sistema y la participación de las personas y
organizaciones identificadas.
Tras la recogida de información se procede a su análisis sobre la base del enfoque de la evaluación que
ha determinado los distintos tipos de evaluación, así como en relación a los objetivos del proyecto y,
siempre contemplando la perspectiva de género.
Una vez realizado el análisis, se obtienen informes parciales que, además de conocer los resultados
propios de la ejecución del proyecto, permiten informar y difundir su ejecución, cuestión fundamental, tanto
interna como externamente, ya que facilita una retroalimentación del proceso de ejecución del
proyecto (a nivel interno), así como la difusión de los resultados, favoreciendo y reforzando, con ello, el
desarrollo de las actuaciones de información y difusión previstas en el proyecto. De esta manera, la
obtención de informes periódicos que aporta el sistema de seguimiento y evaluación enriquecerá el
desarrollo del proyecto en materia de información y difusión, así como su propia ejecución desde el punto
de vista interno.
Así mismo, y a lo largo del desarrollo de la evaluación, se procederá a un control del desarrollo,
mediante los mecanismos de seguimiento y evaluación articulados para facilitar la participación y el control
de los procesos de evaluación (comisiones, comités, ...).
La evaluación termina, por último, con la elaboración del Informe Final, que como su nombre indica, se
realizará a la terminación del proyecto. El informe contemplará los resultados de los distintos tipos de
evaluación desarrollados, analizados desde el enfoque de género, teniendo en cuenta los efectos
que ha producido el proyecto sobre las relaciones de género y, en consecuencia, si ha promovido
la igualdad de oportunidades entre mujeres y hombres.
47
BIBLIOGRAFÍA.
™
Guía Metodológica de Evaluación: Orientaciones Metodológicas para la Evaluación Interna de los
proyectos de la Iniciativa Comunitaria EQUAL. Ministerio de Trabajo y Asuntos Sociales, Unidad
Administradora del Fondo Social Europeo (UAFSE).
™
Guía de Gestión y Control de los proyectos de la Iniciativa Comunitaria EQUAL. UAFSE.
™
Metodología de Evaluación de la Cooperación Española. Ministerio de Asuntos Exteriores.
Secretaría de Estado para la Cooperación Internacional y para Iberoamérica, 2001.
™
Guía práctica para la Evaluación Teórico-Metodológica de Proyectos de Igualdad de Oportunidades
para las mujeres, Mancomunidad del Norte de Tenerife (proyecto Now-Emprendedoras), Patricia
García Ojeda.
™
“Guía para Evaluación del Impacto en Función del Género” Comisión Europea.
™
Mecanisme et indicateurs de suivi du Mainstreaming, Dossier/SOC97-102512 05 DOO, Dina Sensi.
1997.
™ Evaluación de las Políticas de Igualdad. Serie Debate, 24. Instituto de la Mujer, Ministerio de Trabajo y
Asuntos Sociales, 1999.
48