DIAGNÓSTICO DEL FUNCIONAMIENTO DE LOS SISTEMAS DE SEGUIMIENTO Y EVALUACIÓN Y MEDICIÓN DEL DESARROLLO DE CAPACIDADES. Guía para unidades e instituciones gubernamentales ejecutoras de proyectos de desarrollo rural. Febrero de 2009 GUIA PARA EL DESARROLLO DE CAPACIDADES © PROGRAMA REGIONAL PARA EL DESARROLLO DE CAPACIDADES DE SEGUIMIENTO Y EVALUACIÓN EN AMÉRICA LATINA Y EL CARIBE Se permite la reproducción siempre que se cite la fuente. Serie Documentos de Trabajo N° 3 Primera edición Febrero 2009 _________________________________________________________________ Autores: Brenda Bucheli y Emma Rotondo Edición técnica: Emma Rotondo Con los aportes de Daniel Jesús Ccori y Antonio Pozo Solís. Por sus comentarios a la Nota Conceptual que antecedió a la Guía se agradece a las siguientes personas: Miembros de la Comunidad de Evaluadores de PREVAL Walter Aguilar – Perú Consuelo Ballesteros – Chile/Colombia Maria Delfina Flores – Honduras Carmen Lucía Jaramillo – Colombia Daniel Jesús – Perú Antonio Pozo – Perú Jorge Rodríguez Sosa – Perú Gloria Vela – Colombia Miembros de la Iniciativa Pelican Kaia Ambrose Peter Ballantyne Osvaldo Feinstein Niels Keijzer Dina Najjar Especialistas internacionales en desarrollo de capacidades y evaluación Anne Garbutt – I NTRAC Frans van Gerwen – MDF Elizabeth Kummer – Pact Peter Morgan – Independiente 2 GUIA PARA EL DESARROLLO DE CAPACIDADES TABLA DE CONTENIDO Página SIGLAS Y ACRÓNIMOS 4 PRESENTACIÓN 5 PRIMERA PARTE: EL ENFOQUE 1.1. Objetivos 1.2. El porqué de las capacidades evaluativas 1.3. Medición y desarrollo de capacidades 1.4. El funcionamiento eficaz del SyE 8 10 12 16 SEGUNDA PARTE: METODOLOGÍA PARA LA MEDICIÓN DE CAPACIDADES 2.1. Descripción del proceso 2.2. Desarrollo de cada paso 19 21 TERCERA PARTE: HERRAMIENTAS 3.1. Bases de las herramientas 3.2. Orientación para su aplicación y procesamiento 3.3. Herramienta N° 1 – Unidades de Proyecto 3.4. Herramienta N° 2 – Instituciones Gubernamentales 30 30 34 38 ANEXOS 1. Bibliografía revisada 2. Infografía sobre Sistemas de Seguimiento y Evaluación 3. Programa detallado para el taller N° 1: visión de SyE y plan de trabajo 4. Ejemplo de matriz para la evaluación 5. Programa detallado para el taller N° 2: autoevaluación 6. Ejemplo de reporte individual 7. Programa detallado para el taller N° 3: discusión de hallazgos y planificación por actor 8. Ejemplo de plan de acción para el desarrollo de capacidades 9. Programa detallado para el taller N° 4: planificación conjunta 3 41 GUIA PARA EL DESARROLLO DE CAPACIDADES ACRONIMOS FIDA Fondo Internacional de Desarrollo Agrícola GTZ Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH IIRR Instituto Internacional de Reconstrucción Rural INTRAC Internacional NGO Training and Research Centre MARENASS Proyecto de Manejo de los Recursos Naturales en la Sierra Sur MDF Management for Development Foundation PACT Private Agencies Collaborating Together PREVAL Programa para el Fortalecimiento de la Capacidad Regional de Seguimiento y Evaluación en América Latina y el Caribe SyE Seguimiento y Evaluación 4 GUIA PARA EL DESARROLLO DE CAPACIDADES PRESENTACION 1 Tras diez años de actividades, PREVAL y sus asociados se hallan en momento oportuno para reflexionar sobre sus experiencias y aprendizajes en el desarrollo de capacidades en planificación, seguimiento y evaluación, así como para contrastar sus hallazgos con los de otras organizaciones. Si bien PREVAL reconoce importantes avances en este campo, es consciente que aún quedan desafíos vinculados a la institucionalización de la capacidad adquirida en Seguimiento y Evaluación (SyE), sobre todo para que los sistemas operen desde una perspectiva de fortalecimiento de las capacidades locales y con múltiples actores. 2 Una lección aprendida importante es que los sistemas de SyE internos funcionan mejor si cuentan con arreglos organizacionales ad-hoc dentro de la gestión, lo que significa un marco operacional con roles y delegaciones para el SyE, recursos humanos y financieros, así como trabajo en equipo y motivación para intervenir en un proceso participativo. Otra lección aprendida es que el uso y calidad de los productos debe estar en línea con las necesidades e intereses diarios de los actores (comunidades y organizaciones rurales, unidades ejecutoras de proyectos y representantes de las entidades gubernamentales), es 3 decir que los productos del SyE han de ser útiles para ellos y ellas, a fin de que puedan conocer claramente qué cambió y por qué, mejorando la acción efectiva, cada cual desde su rol específico pero viendo a la comunidad y sus organizaciones como los sujetos centrales del cambio. La presente Guía retoma estas y otras lecciones aprendidas, y trata de ser un recurso de uso práctico para que las unidades de proyecto e instituciones gubernamentales de desarrollo rural que los albergan, puedan orientar el fortalecimiento de sus capacidades para hacer el seguimiento y evaluación en sus acciones de lucha contra la pobreza rural, considerando a la comunidad como el eje del desarrollo. De esta manera se espera contribuir a los esfuerzos de empoderamiento de la comunidad, clave metodológica de los proyectos que auspicia el Fondo Internacional de Desarrollo Agrícola (FIDA). Asimismo, la Guía orienta la coherencia que debe haber entre las capacidades de la unidad de proyecto y la institución gubernamental, en sus roles de facilitador y soporte del desarrollo de la comunidad. La presente Guía no se dirige propiamente al diseño de sistemas de SyE, sino al desarrollo de las capacidades necesarias para que tales sistemas operen con eficacia, según la cultura y contextos organizacionales de la comunidad y de modo que sean útiles para la transformación y el cambio. Además de los actores involucrados en los proyectos auspiciados por FIDA, esta guía puede ser utilizada y adecuada por organizaciones afines, que se sientan identificadas con los principios orientadores postulados en este documento. Concretamente, se puede aplicar la metodología y herramientas propuestas en las siguientes situaciones: 1 Programa para el Fortalecimiento de la Capacidad Regional de Seguimiento y Evaluación en América Latina y El Caribe. Más información en www.preval.org 2 Ver “Institucionalización de los sistemas de SyE de lucha contra la pobreza rural”, Jesús Ccori, Daniel. PREVAL, setiembre 2007 en www.preval.org Biblioteca Virtual – Publicaciones PREVAL. 3 Se consideran productos del SyE: marco lógico e hipótesis de cambio, estudios de base, autoevaluaciones, monitoreo del POA, etc. 5 GUIA PARA EL DESARROLLO DE CAPACIDADES Para estimular la reflexión y debate sobre la visión de desarrollo inherente a la intervención, las mejores prácticas y roles apropiados para cada actor en el seguimiento y evaluación participativo y empoderador correspondiente. Para orientar la medición de las capacidades necesarias para realizar SyE participativo enfocado en la comunidad, que requieren las unidades de proyecto e instituciones gubernamentales ejecutoras de los proyectos apoyados por FIDA y otras organizaciones afines. Para llamar la atención y sugerir la acción sobre los aspectos a reforzar en cuanto al desarrollo de capacidades para el SyE en unidades de proyecto e instituciones gubernamentales. La elaboración de esta Guía ha pasado por diversas etapas. Inspirándose en el concepto de comunidades de aprendizaje, PREVAL convocó en sucesivos momentos a consultores y aliados para el desarrollo de esta Guía, elaborada y redactada bajo la responsabilidad de la coordinación del Programa y de dos miembros de la comunidad de evaluadores, Brenda 4 Bucheli y Rusty Biñas , teniendo como hitos los siguientes: (a) Construcción colectiva de los enfoques y usos Con miembros de la comunidad de consultores del PREVAL y socios estratégicos se realizó un taller en marzo del 2006, al que asistieron Maria Delfina Flores (Asesora de Río PlusGTZ de Honduras), Rusty Biñas (entonces Director Regional del Instituto Internacional de Reconstrucción Rural –IIRR- en América Latina), Emma Rotondo y Antonio Pozo (PREVAL), junto con profesionales independientes como Gloria Vela (Colombia), Brenda Bucheli y Walter Aguilar (Perú), todos vinculados a PREVAL. Con ellos se determinó el enfoque, la utilidad, usos y usuarios, así como el proceso de preparación y validación. (b) Búsqueda bibliográfica Rogério Silva y Daniel Brandao, del Instituto Fonte de Brasil, realizaron en el año 2006 un exhaustivo trabajo de compilación bibliográfica sobre desarrollo de capacidades en Seguimiento y Evaluación, incluyendo una selección de enlaces a páginas web y un 5 directorio de instituciones regionales e internacionales , lo cual permitió obtener un “estado del arte” en el tema. Esta compilación se encuentra en un disco compacto editado por PREVAL. (c) Nota Conceptual Se elaboró una Nota Conceptual sobre la presente Guía, que circuló entre marzo y mayo del 2007, recibiéndose aportes de miembros de la Comunidad de Evaluadores de PREVAL como Carmen Lucía Jaramillo (Colombia), Consuelo Ballesteros (Colombia) y Jorge 6 Rodríguez Sosa (Perú). Asimismo, fue consultada con miembros de la iniciativa Pelican , 4 Rusty Biñas (oticbabes@yahoo.com) es ex -Director Regional para América Latina del IIRR y actual asesor de Cordaid en Reduction de Riesgo de Desastres. Brenda Bucheli (brenda_bucheli@yahoo.es) es ex Directora de Pact Perú y actualmente consultora independiente. 5 Ver la publicación multimedia “Desarrollo de Capacidades en Seguimiento y Evaluación” del PREVAL, 2008. 6 Pelican Initiative: Platform for Evidence-based Learning & Communications for Social Change, http://www.dgroups.org/groups/pelican/ 6 GUIA PARA EL DESARROLLO DE CAPACIDADES entre ellos Kaia Ambrose, Peter Ballantyne, Osvaldo Feinstein, Dina Najjar y Niels Keijzer, además de recibir las apreciaciones de especialistas internacionales en desarrollo de capacidades y evaluación como Anne Garbutt (INTRAC), Frans van Germen (MDF), Elizabeth Kummer (Pact) y Peter Morgan, consultor independiente. (d) Desarrollo y validación de la guía Se continuó con el desarrollo de la guía, su enfoque y componentes, en el transcurso de los años 2007 y 2008. La validación fue progresiva, y se aprovechó de las oportunidades de trabajo de PREVAL en la región, y de otras como la docencia en el Diplomado de Monitoreo y Evaluación de la Pontificia Universidad Católica del Perú. La metodología completa fue probada en Setiembre del 2008, mediante un ejercicio realizado conjuntamente con el Proyecto RUTA en Costa Rica. Deseamos agradecer las opiniones y sugerencias de numerosos colaboradores en torno a temas de alguna manera inéditos, ya que es escasa la bibliografía en español sobre evaluación y aprendizaje organizacional, y menos aún existe documentación que prioritariamente enfoque en el SyE para el desarrollo rural en las comunidades y sus organizaciones. Esta publicación se ha inspirado en las apreciaciones recibidas y seguirá mejorando y nutriéndose con los aportes que provengan de su aplicación. Estimulamos a los lectores a usarla y recrearla. Emma Rotondo Coordinadora PREVAL www.preval.org 7 GUIA PARA EL DESARROLLO DE CAPACIDADES PRIMERA PARTE: ENFOQUE 1.1. OBJETIVOS El interés por fortalecer la evaluación participativa, proviene de los recientes cambios en las concepciones y estrategias de lucha contra la pobreza rural. De proyectos que concentraban las decisiones exclusivamente en el nivel gerencial y técnico, se ha pasado ahora a sistemas de planificación y ejecución en los que el papel activo compete a los propios destinatarios de los proyectos y a la sociedad local. Tal perspectiva redimensiona el rol de los proyectos y equipos técnicos, ya que en vez de ser considerados éstos como los agentes centrales del cambio, se les concibe más bien como los facilitadores del empoderamiento de la comunidad, dirigidos a proporcionar recursos y abrir oportunidades para el desarrollo local. El siguiente texto es esclarecedor al respecto. Los enfoques actuales de seguimiento y evaluación consideran que es clave desarrollar las 7 capacidades evaluativas de los actores para mejorar el desempeño de las iniciativas locales de desarrollo rural, pues conducen a gestiones más eficaces y generan aprendizajes que hacen sostenibles las intervenciones en la comunidad y en las políticas públicas. 8 Forjar tales capacidades es posible a través de procesos donde todas las partes negocian y concertan el logro de compromisos y responsabilidades compartidas en la gestión y en los resultados. Para desarrollar estas capacidades evaluativas de los actores es vital participar, de forma tal que los procesos de SyE no se limitan a involucrar o consultar esporádicamente a la población, sino que la incorporan en la toma de decisiones, gestando aprendizajes que 9 llevan al empoderamiento de la comunidad y de sus organizaciones en un marco de desarrollo sostenible. Fundamentalmente, se trata de orientar a los proyectos e iniciativas hacia la demanda, es decir asegurarse que la comunidad sea la que tome las decisiones sobre su propio desarrollo. Ello equivale a reconocer el rol central de las organizaciones y familias, de modo que los proyectos dispongan el acceso a recursos y oportunidades para ampliar sus conocimientos prácticos y la capacidad de organización, activando espacios institucionalizados de diálogo 10 sobre políticas de desarrollo rural . En función de ello, este documento busca alcanzar tres objetivos: 7 En el marco de esta Guía, al hablar de actores en general se entiende a las comunidades rurales y sus organizaciones, a los representantes de las entidades gubernamentales y a los integrantes de las unidades técnicas ejecutoras de los proyectos de desarrollo rural auspiciados por el FIDA. 8 Capacidad es “la facultad de individuos y organizaciones para desempeñar funciones de un modo eficaz, eficiente y sostenible” (Guía para el SyE del FIDA). Promover capacidades implica desarrollar esas facultades a nivel individual y colectivo mediante procesos interactivos, graduales y creativos de aprendizaje mutuo, donde los sujetos (individuales y colectivos) mejoran y/o complementan sus potencialidades (conocimientos, destrezas, actitudes y sentimientos) para actuar ante una situación concreta asumida por el sujeto de manera eficiente y según lo apropiado para el entorno (Taller de Interaprendizaje para Consultores PREVAL, 2005). 9 El empoderamiento alude al logro de capacidades para impulsar procesos de desarrollo sostenible, tales como facultades para negociar, autoestima, poder para decidir y orientar, entre otras. 10 FIDA. Oficina de Evaluación. “Experiencias Innovadoras en los proyectos FIDA en la República del Perú”, junio 2004. 8 GUIA PARA EL DESARROLLO DE CAPACIDADES Proponer una metodología y herramientas prácticas para “medir” las capacidades y conocimientos requeridos por los actores para lograr desempeños organizacionales que lleven a satisfacer las necesidades de desarrollo de la comunidad. Orientar la realización de procesos de autoevaluación continua dirigidos a fortalecer los roles y capacidades en SyE de comunidades, equipos técnicos e instituciones. Sugerir la ejecución de planes de desarrollo de las capacidades organizacionales que se adapten a las características y necesidades de los tres grupos de actores. Como se ve, la presente Guía no se dirige propiamente al diseño de sistemas de SyE, sino al desarrollo de las capacidades necesarias para que tales sistemas operen con eficacia, según la cultura y contextos organizacionales de la comunidad y de modo que sean útiles para la transformación y el cambio. Tal perspectiva redimensiona el rol de los proyectos y equipos técnicos, ya que en vez de ser considerados éstos como los agentes centrales del cambio, se les concibe más bien como los facilitadores del empoderamiento de la comunidad, dirigidos a proporcionar recursos y abrir oportunidades para el desarrollo local. En ese sentido, el SyE crea espacios para la participación protagónica de la población pobre de espacios rurales, de manera que sean capaces de conducir y articular propuestas de cambio y de manejo de su propia información en el marco de un proyecto (así como en el marco más general de la vida comunal). El siguiente texto es esclarecedor al respecto. La primera clave del éxito parece tan sencilla, tan evidente, que se tiende a olvidarla: el centro del desarrollo rural es la gente, son los actores involucrados, las familias y comunidades cuya vida es la razón de ser (o sirve de pretexto a la presencia) de los proyectos. Al asumir verdaderamente (y no como un saludo a la bandera) que la clave está en la gente, los Proyectos se encontraron lanzados a un vasto proceso de aprendizaje, viendo como el juego entre los diferentes tipos de actores puede rediseñar y redistribuir los roles, los espacios, las capacidades, las relaciones. Los proyectos pasaron de la oferta de soluciones (con su menú de opciones) a la oferta de recursos y oportunidades para que los actores ensayen y encuentren sus propias alternativas, conduzcan sus propios proyectos, cultiven sus propios asuntos, negocien sus propios arreglos. Extracto tomado de “Diez Claves de Éxito para el Desarrollo Rural” (documento basado en las experiencias de los proyectos FEAS, MARENASS, CORREDOR y SIERRA SUR). FIDA, 2004, páginas 95 y 101. El Seguimiento y Evaluación puede ser una herramienta eficaz para tal empoderamiento, como lo prueban las experiencias que inspiran esta Guía y que han sido desarrolladas en Perú en los proyectos cofinanciados por el FIDA como MARENASS, “Corredor CuscoPuno” y “Sierra Sur”. El SyE crea espacios para la participación protagónica de la población pobre de espacios rurales, de manera que sean capaces de conducir y articular propuestas de cambio y de manejo de su propia información en el marco de un proyecto (así como en el 9 GUIA PARA EL DESARROLLO DE CAPACIDADES marco más general de la vida comunal). Es vital que los procesos de SyE no se limiten a involucrar o consultar esporádicamente a la población, sino que la incorporan en la toma 11 de decisiones, gestando aprendizajes que llevan al empoderamiento de la comunidad y de sus organizaciones en un marco de desarrollo sostenible. Siendo las necesidades de desarrollo de la comunidad el eje de la intervención, el SyE debe procurar que tales necesidades sean correctamente expresadas (desde la comunidad) e interpretadas (desde los actores) para que sean atendidas eficazmente por la intervención. Asimismo, debe asegurar que los roles, conocimientos y capacidades de los actores construyan un desempeño organizacional en SyE en línea con tales necesidades. Esta Guía avanza en tal sentido, aportando lineamientos para realizar evaluaciones sobre las capacidades en SyE de la comunidad, y de los grupos de actores clave de los proyectos que 12 auspicia el FIDA en función de las necesidades de la comunidad . 1.2. EL PORQUÉ DE LAS CAPACIDADES EVALUATIVAS Capacidad es “la facultad de individuos y organizaciones de desempeñar funciones de un modo eficaz, eficiente y sostenible”, según la Guía para el SyE del FIDA. Promover capacidades implica desarrollar esas facultades a nivel individual y colectivo, mediante actividades interactivas y dialógicas que prueban ser útiles para construir conocimientos y 13 destrezas, despertando potencialidades para el ejercicio ciudadano . En el plano organizacional, la capacidad se refiere a los recursos, conocimientos, y procesos que emplea la organización. Esta capacidad interactúa con la motivación organizacional (lo que impulsa a actuar) y el entorno externo (condiciones económicas, políticas, socioculturales, ambientales, demográficas y tecnológicas) para obtener el desempeño 14 resultante . La capacidad organizacional no significa que la organización tenga muchas herramientas, sino más bien que sepa cuándo usarlas, cómo adaptarlas de acuerdo a sus necesidades, cómo usarlas para mejorar sus propias decisiones, etc. 15 El desarrollo de las capacidades evaluativas en una organización apunta a contribuir a la mejora de su desempeño, o sea actuar según los roles esperados para el SyE y tener un logro visible en el impacto de sus intervenciones. Ello sucede, en gran parte, en las organizaciones cuyos miembros tienen una visión común, cuentan con espacios para el diálogo reflexivo y participan en la toma de decisiones, sienten motivación y compromiso con el cambio, acelerándolo. De manera especial, los procesos de evaluación internos (y continuos) son útiles pues llevan a los miembros de las organizaciones a usar los hallazgos para tomar decisiones en la 11 El empoderamiento alude al logro de capacidades para impulsar procesos de desarrollo sostenible, tales como facultades para negociar, autoestima, poder para decidir y orientar, entre otras. 12 Las necesidades de la comunidad se expresan por la brecha existente entre su situación actual y el estado final deseado (visión de futuro). Como verbo, necesitar es requerir soluciones. Ver Witkin, Belle y Altschuld, James “Planning and conducting needs assessments. A practical guide” Sage Publications, 1995. 13 Plan Estratégico de PREVAL III, página 8. 14 Mayor información en Lusthaus; et.al., Evaluación organizacional – marco para mejorar el desempeño. BID CIID, 2002. 15 Comprende tanto el seguimiento como la evaluación. 10 GUIA PARA EL DESARROLLO DE CAPACIDADES gestión, mediante el uso de la información. De esta manera, pueden advertir a tiempo los errores y corregirlos, a la vez que reforzar las prácticas o medidas apropiadas. Además, el proceso evaluativo interno conduce a la organización hacia el aprendizaje (sus integrantes aprenden a pensar evaluativamente) como parte de los procesos de desarrollo 16 organizacional permanente . Los aprendizajes así obtenidos proporcionan sostenibilidad y vigencia a las acciones de la organización, además de contribuir más efectivamente al empoderamiento de la comunidad. Los procesos evaluativos –además de apreciar y medir resultados– logran transformar las capacidades individuales y organizacionales en un desempeño eficaz, siempre y cuando confluyan los factores antes mencionados (facilitación, motivación y contexto apropiados). En tal marco, el aprendizaje proviene de una participación activa en el proceso de creación del saber, en tanto que la reflexión compartida sobre las prácticas transforma el pensamiento 17 y consecuentemente mejora la acción . Cabe anotar que las capacidades evaluativas expresan las habilidades de individuos y grupos de actores para transformar visiones comunes en estrategias operativas, capaces de lograr resultados y aprendizajes. Así, los procesos de evaluación participativa promueven y orientan procesos de construcción del conocimiento, teniendo en cuenta que en su curso, estas capacidades se potencian y producen efectos múltiples –sinérgicos– para obtener un buen desempeño y propiciar mayores aprendizajes. Estas capacidades se van formando durante los procesos de seguimiento y evaluación, y parten de las capacidades individuales que aportan los miembros de la organización. En la práctica, se presentan interconectadas y ligadas a los roles de los actores que intervienen en los proyectos de desarrollo rural, quienes deben ser conscientes que se trata de aspectos dinámicos y en permanente recreación, adaptados a los cambios de personas y contextos. El siguiente diagrama sintetiza los efectos del desarrollo de estas capacidades evaluativas para una mejor gestión y aprendizaje organizacional. 16 Patton, M. Q. (1997). Ver bibliografía. 17 Preskill, H. y Torres, R. citan en su libro a Kolb, D. “Experiential learning: experience as the source of learning and development. Englewood Cliffs, NJ: Prentice Hall” 11 GUIA PARA EL DESARROLLO DE CAPACIDADES Diagrama N° 1: Las capacidades evaluativas y el desempeño organizacional en la lucha contra la pobreza rural Planes de acción concertados CAPACIDADES EVALUATIVAS Responsabilidades compartidas Toma democrática de decisiones Fortalecimiento de capacidades locales Proyectos responden mejor a necesidades locales Interaprendizaje y negociación Empoderamiento Objetivos: corto IMPACTO EN LA LUCHA CONTRA LA POBREZA y sostenibilidad mediano largo plazo Fuente: Preval 1.3. MEDICION Y DESARROLLO DE CAPACIDADES La medición, o también llamada evaluación de capacidades (EC), es usualmente uno de los primeros pasos que se toman al incursionar en un proceso de fortalecimiento institucional, por cuanto permite establecer en qué áreas y aspectos se debe mejorar para que la organización obtenga los resultados planteados. En general, la evaluación de capacidades es particularmente útil al iniciarse procesos de planificación estratégica y de redefinición de la estructura organizacional, proporcionando puntos de partida claros para los planes de crecimiento continuo. Asimismo, al constituirse en parte de una línea de base y de sus posteriores reaplicaciones, la EC da vida al sistema de monitoreo y evaluación institucional. Y cuando se realiza participativamente, es en sí un proceso de desarrollo de capacidades y un catalizador de los procesos de cambio. Los procesos de autoevaluación –como un tipo de EC- se han popularizado debido a que promueven un mayor sentido de pertenencia sobre los resultados y sobre el desarrollo del proceso entre los miembros de la organización, de modo tal que ellos mismos se convierten en sus propios evaluadores, y asumen mayor compromiso frente a las acciones que se derivan. Esta metodología se forja desde instrumentos de medición sugeridos y adaptados a las necesidades específicas de los actores, pudiendo contarse con un evaluador externo como facilitador, para orientar a la organización a través de su propio análisis de capacidades. La autoevaluación –metodología sugerida por esta Guía- tiene el propósito de ayudar a las personas a ayudarse a sí mismas y a sus organizaciones, utilizando la autoreflexión. Constituye un proceso de fortalecimiento y aprendizaje organizacional que involucra de manera más activa a los miembros de la organización (y a algunos socios cercanos), tanto en la medición como en la búsqueda y posterior implementación de soluciones. Algunos 12 GUIA PARA EL DESARROLLO DE CAPACIDADES cuestionan su “objetividad” porque se recogen las percepciones de los propios interesados; 18 sin embargo, la triangulación de información es un requisito que las autoevaluaciones deben satisfacer para obtener resultados más robustos. En cuanto al desarrollo de capacidades, no existe una fórmula o receta mágica que sea aplicable a todas las organizaciones para hacerlo. Al definir las prioridades para el desarrollo de capacidades, los líderes de las organizaciones deben considerar diferentes criterios que combinen lo deseable con lo factible y efectivo. Al final, son las propias organizaciones las que se espera que conduzcan el desarrollo de sus capacidades, y este proceso debe ser visto como un trabajo en constante progreso. Algunos principios que se mencionan para el desarrollo de capacidades en general pueden también ser aplicables para el tema que convoca esta guía: las capacidades para el seguimiento y evaluación. A continuación se muestran unos: Cuadro N° 2: Principios de un enfoque holístico para el desarrollo de la capacidad organizacional Aprópiese de su iniciativa de desarrollo de capacidades organizacionales. Enfóquese en las necesidades y prioridades de la organización como un todo. La gestión del proceso de desarrollo de capacidades es crucial para el éxito. Prepárese para el monitoreo y evaluación de la iniciativa de desarrollo de capacidades desde el principio. El desarrollo de capacidades es más que un solo evento. Involucre a los actores clave en el proceso de desarrollo de capacidades. Cultive el apoyo político. Preserve su autonomía. Establezca un ambiente propicio para el aprendizaje y cambio. Fuente: Horton, et.al. Evaluating Capacity Development – Experiences from Research and Development Organizations around the World. ISNAR /CTA/ IDRC, 2003. Página 55. El desarrollo de capacidades involucra la adquisición de nuevos conocimientos y destrezas, para el cumplimiento de los objetivos individuales e institucionales. Por ello, el aprenderhaciendo es la forma como se aplica mejor, y provee además la flexibilidad y compromiso a largo plazo, necesario para que un cambio ocurra. En este sentido, las iniciativas de desarrollo de capacidades son diferentes a los programas que proveen productos y servicios bien definidos a clientes relativamente uniformes. El 18 Implica comparar las percepciones de los miembros de la organización con percepciones de otros actores involucrados, documentos y otras fuentes. Es una manera de asegurar el recojo de las perspectivas múltiples. 13 GUIA PARA EL DESARROLLO DE CAPACIDADES objetivo no es proveer el producto o servicio, sino más bien incentivar el desarrollo de determinados individuos y de las organizaciones. Algunas de las formas como se hace el desarrollo de capacidades son mediante: información y difusión, capacitación, facilitación y mentoría, trabajo en redes y comunidades de práctica, investigación – acción, sistematización para promover el aprendizaje de la experiencia, evaluaciones internas que proveen retroalimentación rápida sobre los resultados alcanzados. Estas funcionan mejor cuando se hacen a medida y respondiendo a las necesidades específicas de las organizaciones. Prácticamente todas estas formas implican cierto nivel de información y difusión. La capacitación es una forma bastante común que se utiliza para reforzar conocimientos, actitudes y prácticas, y para que sea realmente efectiva demanda un proceso, no un solo 19 evento. La facilitación es a la medida y más efectiva para desarrollar capacidades, pero tiende a demandar esfuerzos considerables. Este gráfico relaciona el alcance y costo/ efectividad en tres formas usadas para el desarrollo de capacidades. Costo/ efectividad FACILITACION Diagrama N°2: Alcance y costo/ efectividad de las intervenciones CAPACITACION INFORMACION Alcance Fuente: Horton Douglas. Planning, Implementing and Evaluating Capacity Development. ISNAR, Briefing Paper 50, Julio 2002, página 5. 19 Entendida como un acompañamiento a la organización en la ejecución de las acciones decididas por ella. 14 GUIA PARA EL DESARROLLO DE CAPACIDADES Cabe anotar que los teóricos del aprendizaje y educación de adultos han observado que el tomar conciencia del conocimiento es solo una dimensión del aprendizaje y conocimiento. Los cambios en el comportamiento son más probables que ocurran en un ciclo donde los “aprendices” están expuestos a una variedad de experiencias de aprendizaje, que usualmente incluyen iteración de la acción, reflexión, conceptualización, y práctica, o combinan 20 aprendizaje experimental, presencial, proactivo y práctico . Cuando se desarrollan capacidades se busca propiciar cambios en las organizaciones. Por ello, las siguientes fases pueden ser relevantes para incorporar el plan de acción para el desarrollo de capacidades dentro de la implementación de cambios en las organizaciones: Cuadro N° 3: Fases para implementar un cambio organizacional Fase 1. Motivando el cambio Elementos clave Crear conciencia y voluntad de cambio Líderes del cambio Para qué/ visión Poder para apoyar el proceso Fe en el éxito Comunicación e información Construir alianzas 3. Organizando la transición Crear compromiso para el cambio Plan de transición/ un proceso claro Manejo de las expectativas Observar si la organización está lista para el cambio Analizar las resistencias al cambio Trabajar en equipos, crear sentido de propiedad 4. Implementando el cambio Desarrollar las capacidades para el cambio Ofrecer los medios y el apoyo Mantener el entusiasmo Propiciar “éxitos” de corto plazo Identificar y afrontar los obstáculos 5. Consolidando el cambio Institucionalizar nuevos enfoques Prevenir que la “antigua” conducta reaparezca Desarrollar procedimientos, mecanismos de coordinación, y políticas. Evaluar el avance y reajustar el plan Fuente: Adaptado de: Management for Development. Materiales del curso “Desarrollo Organizacional para Asesores y Consultores”, Junio 2006. 20 IDS, “Knowledge management and organisational learning for development – KM4Dev Workshop Background Paper”, July 2006, Page 11. 15 GUIA PARA EL DESARROLLO DE CAPACIDADES 1.4. EL FUNCIONAMIENTO EFICAZ DEL SYE Un seguimiento y evaluación eficaz consiste no sólo en conducir estudios evaluativos periódicos (que son esenciales) sino en realizar además un trabajo sistémico y participativo durante todo el ciclo del proyecto, a fin de poder usar los hallazgos para mejorar la gestión, valiéndose del proceso mismo para obtener aprendizajes relevantes en los actores relevantes a los proyectos apoyados por FIDA (organizaciones de la comunidad, unidades de proyecto e instituciones gubernamentales). El SyE eficaz genera productos (como el marco lógico e hipótesis de cambio, estudios de base, autoevaluaciones, monitoreo del POA, etc. ) según las necesidades e intereses diarios de los actores clave, útiles para que puedan conocer claramente qué cambió y por qué, puedan mejorar su acción y aprender, e impulsar políticas favorables para el desarrollo de la comunidad. PREVAL ha producido una infografía sobre los sistemas de seguimiento y evaluación orientados hacia el resultado e impacto que integra estas y otras reflexiones producto de su experiencia (ver Anexo N° 2). Supone además el ejercicio en cada actor de roles centrales, respondiendo a la pregunta ¿qué se espera que hagan en seguimiento y evaluación?. Buscando dar respuestas a esta pregunta, PREVAL ha identificado los siguientes roles para cada uno de los actores involucrados en los proyectos apoyados por FIDA: La Organización Comunal (rol Orientador): identifica sus necesidades; conduce y decide cómo se realiza el SyE para verificar los cambios de su propia transformación. La Unidad de Proyecto (rol Facilitador): gestiona participativamente con actores, facilita y orienta técnicamente el proceso de SyE, brindando recursos y oportunidades así como abriendo espacios para el aprendizaje. La Institución Gubernamental (rol Soporte): establece las políticas de Estado necesarias y provee un marco organizacional propicio para que la unidad de proyecto logre su misión, acompañando a las comunidades y favoreciendo la rendición de cuentas y la transparencia en la gestión pública. El siguiente cuadro desagrega con mayor detalle las implicancias de cada uno de estos roles, según los diferentes momentos del SyE. 16 GUIA PARA EL DESARROLLO DE CAPACIDADES Cuadro N° 4: Roles de los actores clave en el seguimiento y evaluación MOMENTOS EN EL SyE COMUNIDAD (Orientador) Visualiza los cambios deseados Diseño y Planificación Participa en el SyE local. Convoca y estimula la participación equitativa e inclusiva (género, etnia, edad, etc.) Implementación Participa en la recolección de información y asume compromisos. Observa, mide y documenta cambios significativos debidos al proyecto. Participa activamente en el análisis de efectos e impacto del proyecto. Uso de productos 17 Se vale de la información para proponer soluciones y orientar estrategias. Comparte y comunica resultados. Abre espacios de diálogo y reflexión sobre los cambios. ROLES DE LOS ACTORES UNIDAD TECNICA ENTIDAD GUBERNAMENTAL (Facilitador) (Soporte) Da respaldo a la unidad técnica en Apoya y asesora en la autoevaluación de implementación del SyE capacidades para el SyE en participativo. Asigna recursos para el SyE: las comunidades y su humanos, financieros, equipos. institución. Identifica capacidades para el SyE Facilita el diseño del en su propia organización. Sistema de SyE partiendo de las necesidades y usos Define funciones y delega de las comunidades. responsabilidades en SyE. Provee orientación técnica Participa en el diseño del Sistema para el diseño del SyE. del SyE, incluyendo los TdR Dialoga, negocia e involucra a la comunidad y su institución en el diseño del SyE. Participa activamente en el diseño del sistema de SyE. Prepara TdR para estudios de base y otros. Solicita y analiza la información Facilita procesos de recolección y análisis de sobre resultados. evidencias sobre cambios Interviene en el proceso de propios y de otros. Capacita y acompaña a los desarrollo del Plan de SyE. actores en la práctica Consolida y documenta en Asegura recursos oportunos para forma sistemática SyE. Facilita ambientes y procesos de información sobre efectos aprendizaje e impacto y entorno del proyecto. Reporta según audiencias Institucionaliza la gestión por Facilita ambientes y resultados. procesos de aprendizaje Estimula la participación y Promueve un clima institucional para la gestión participativa y el motiva a actores. aprendizaje Facilita herramientas para el uso y comunicación de resultados Usa información para proponer soluciones, orientar-reorientar sus acciones. Comunicación de resultados entre distintos actores. Promueve el uso de la información para mejorar la práctica institucional y de las comunidades. Incide en autoridades Abre espacios para el diálogo y la reflexión. Usa la información para la toma de decisiones y definición de políticas públicas. Reporta a la ciudadanía los resultados. Promueve el uso de información de SyE Promueve la institucionalización de las mejores prácticas y aprendizajes generados por el SyE. GUIA PARA EL DESARROLLO DE CAPACIDADES MOMENTOS EN EL SyE COMUNIDAD (Orientador) ROLES DE LOS ACTORES UNIDAD TECNICA ENTIDAD GUBERNAMENTAL (Facilitador) (Soporte) Fuente: Adaptado del producto del taller interno de PREVAL, “Pautas para la elaboración de la guía en desarrollo de capacidades en seguimiento y evaluación”, Febrero del 2006. El ejercicio de tales roles y funciones demanda determinadas capacidades que los actores han de desarrollar en su organización. Identificar el nivel de los actores respecto a tales capacidades, es el objeto de la siguiente parte de esta Guía, sobre la base de un marco conceptual construido con elementos proporcionados por textos de M.Q. Patton (1997), 21 Osvaldo Feinstein (1993) y Khadija Khan (2003) . Esta identifica y propone tres tipos de capacidades que garantizan el alineamiento con el sistema de SyE eficaz, y pueden orientar las prioridades de las organizaciones y su constante mejoramiento: 1. Gerencia Social del Desarrollo: se relaciona con la contribución del sistema de SyE a la gestión del proyecto u organización, teniendo como visión estratégica a la comunidad en el centro del desarrollo, y un estilo de gerencia participativo, inclusivo y equitativo. 2) Aspectos operativos y organizacionales: se refiere a los recursos materiales y humanos con que se cuenta para el SyE, la forma como se distribuyen y organizan en una estructura organizacional y de equipos técnicos, asumiendo responsabilidades y roles claramente definidos. También incluye los aspectos técnicos inherentes al manejo de la información, algunos más especializados que otros, pero todos dirigidos a mostrar los efectos e impactos derivados de los cambios de una intervención para el desarrollo. 3) Aprendizaje: considera si la organización sabe usar y comunicar resultados, es decir si maneja con eficacia y oportunidad la información sobre los cambios, según las necesidades estratégicas de los grupos de actores. Incluye además la existencia de espacios inter e intra institucionales para promover el aprendizaje, y los valores compartidos que sustentan la apertura hacia el intercambio y reflexión. La institucionalización de un sistema de SyE eficaz supone, de un lado, que el sistema produzca productos de SyE de calidad según lo requerido, y a satisfacción de los usuarios. De otro lado implica que las organizaciones involucradas tengan estos tres tipos de capacidades anotadas (gestión participativa de desarrollo, operativa, aprendizaje), para que puedan cumplir con los roles esperados para ellos en el SyE. Estas capacidades tienen sus especificidades según el tipo de actor que se trate. Este detalle junto con los roles por actor son la base de las herramientas propuestas en esta guía, descritas en la tercera sección de este documento. 21 Feinstein Osvaldo “Método para el Análisis Rápido Concentrado (MARCO) de Sistemas de Seguimiento y Evaluación”. FIDA, 1993; y Khan, Khadija “Strenghtening of Monitoring and Evaluation System” Pakistan Poverty Alleviation Fund Islamabad. June 2003. 18 GUIA PARA EL DESARROLLO DE CAPACIDADES SEGUNDA PARTE: METODOLOGÍA PARA LA MEDICIÓN DE CAPACIDADES 2.1. DESCRIPCION DEL PROCESO Seguidamente se presenta el proceso sugerido para medir y desarrollar las capacidades evaluativas dividido en cinco pasos. El diagrama siguiente muestra la secuencia y lógica entre los pasos. Este se apoya en la aplicación de dos herramientas dirigidas para cada uno de los actores clave de este proceso (unidad de proyecto e institución gubernamental), que complementan una visión de cómo deben ser las capacidades de cada uno de ellos para el SyE eficaz. Se destaca con letras itálicas aquellas actividades que se consideran fundamentales para el éxito de este emprendimiento. Seguidamente se da mayor detalle sobre cada paso. Cabe recalcar que el planteamiento de esta guía apuesta por un proceso participativo e integrado, autoconducido a través de un comité, y que incentiva la reflexión y acción con un ejercicio de autoevaluación con el que además se miden las capacidades. También se recomienda la triangulación de la información para dar mayor robustez a los resultados de la medición de capacidades. Todos estos son ingredientes de un proceso que fortalece y desarrolla capacidades mientras se hace la medición de las capacidades para el SyE. Sin embargo, se reconoce su utilidad aún cuando el proceso se realiza parcialmente y/o con las siguientes adaptaciones: 1) sin la conformación de un comité pero con la participación de especialistas externos y el responsable de SyE de la unidad de proyecto, respaldado por las autoridades del proyecto e institución gubernamental, 2) con un ejercicio de autoevaluación y sin la triangulación de la información, 3) aplicando la herramienta como una lista de chequeo para verificación externa, y motivando la reflexión conjunta en torno a los resultados, 4) aplicando el proceso a un solo actor (unidad de proyecto o institución gubernamental), 5) aplicando la herramienta de Institución Gubernamental a una Agencia Ejecutora responsable del proyecto a evaluar, que no sea de carácter público. La duración de todo el proceso es variable y condicional a la manera en que se diseña, y depende de las circunstancias en cada aplicación. No obstante, se anota como referencia que 22 en la validación de la guía el proceso hasta el paso 4 tomó una semana . 22 La validación se realizó en San José de Costa Rica en Setiembre del 2008, fue una tarea conjunta realizada entre PREVAL y RUTA. La explicación del proceso y decisión de participar en él se inició previamente. En una semana se absolvieron las dudas e inquietudes pendientes y se prosiguió con la secuencia planteada en la guía. En esta ocasión, no se conformó un comité ni se realizó otro levantamiento de información, pero si se hizo revisión de fuentes secundarias previa a la aplicación de las herramientas. 19 Diagrama N° 3: Proceso de evaluación y desarrollo de capacidades en seguimiento y evaluación PASO 1 DISEÑO DEL PROCESO PASO 2 PREPARACIÓN DE HERRAMIENTAS •Discusión y decisión •Conformación de comité y selección de facilitador •Revisión documentaria •Taller 1: testear la visión, preparar plan de trabajo. • Adaptación de herramientas • Preparación de herramientas adicionales (triangulación). PASO 3 MEDICIÓN DE CAPACIDADES • Taller 2: autoevaluación (aplicación de herramienta) • Procesamiento de datos. • Recolección de datos complementarios Preparación de reporte por actor. PASO 4 ANÁLISIS DE RESULTADOS Y PLAN DE ACCIÓN • Taller 3: discusión de hallazgos y planificación por actor. • Taller 4: planificación conjunta. PASO 5 SEGUIMIENTO DEL PROGRESO •Verificación de logros del plan de acción (nivel de productos). •Re-aplicación de la medición de capacidades y evaluación (niveles de alcances e impactos). GUIA PARA EL DESARROLLO DE CAPACIDADES 2.2. DESARROLLO DE CADA PASO 2.2.1. DISEÑO DEL PROCESO (a) Discusión y decisión El primer paso consiste en una reflexión entre representantes de los dos grupos de actores, dirigida a determinar si es el momento apropiado para comenzar el proceso medición y desarrollo de capacidades evaluativas, y si éste es factible en cuanto a predisposición de los actores, recursos y disponibilidad de tiempo. Una autoevaluación de capacidades para el SyE puede ser útil en diferentes momentos 23 del ciclo de un proyecto . Aplicada al comienzo ofrece luces sobre las capacidades existentes en cada actor, permitiendo implementar un sistema de SyE que aproveche desde el inicio las habilidades presentes en la organización, a la vez que defina los pasos necesarios para fortalecer las áreas donde sea pertinente mejorar. Para ello se recomienda emprenderla armonizada con el diseño del sistema de SyE, a fin de que se tomen en cuenta las capacidades (y las herramientas necesarias para su 24 medición) requeridas por los actores para su eficaz operación . Buen momento para iniciar el proceso es previamente al diseño del sistema, para ajustarlo según las capacidades existentes y considerar su desarrollo como parte del Plan de Trabajo general para el SyE. A la unidad de proyecto le cabe un papel especial en esta etapa, ya que debe sensibilizar a la institución gubernamental (además de a sí misma) sobre la necesidad de desarrollar las capacidades evaluativas para el éxito del SyE. Al mismo tiempo, ha de aclarar a los directivos y a otros miembros de las organizaciones las dudas que tengan sobre el proceso, preparando el terreno. (b) Conformación del Comité y selección de facilitador/a Es importante designar al Comité de Medición y Desarrollo de Capacidades Evaluativas que habrá de conducir el proceso (de preferencia el mismo Comité encargado del SyE), compuesto por representantes de los dos grupos de actores, debiendo integrarlo una o dos personas con posibilidad de intervenir como futuros facilitadores de ese u otros procesos. El Comité de Medición y Desarrollo de Capacidades Evaluativas lidera el comienzo de la autoevaluación explicando a todas las partes interesadas qué es y cómo se llevará a cabo, luego de lo cual conduce sus etapas posteriores. 23 Durante la ejecución del proyecto, la evaluación puede brindar pautas para reajustar el sistema de SyE y establecer las estrategias para su implementación, así como mejorar el uso que se da a los productos del sistema, además de ayudar a marcar el paso del progreso alcanzado en el fortalecimiento de capacidades. Al final del proyecto, la evaluación de capacidades en SyE presenta niveles de logro contrastables con los establecidos en la línea de base (en el caso de existir ésta), evidenciando la magnitud de los cambios. Antes de una evaluación externa, la autoevaluación aporta una importante visión interna sobre cómo mejorar. 24 Puede formularse un Plan de Desarrollo de Capacidades dentro del mismo Plan de Trabajo de SyE. 21 GUIA PARA EL DESARROLLO DE CAPACIDADES Respecto al concurso de un facilitador/a externo o interno, la idea es que éste apoye a las organizaciones en el diseño de un proceso adecuado a su situación específica, promoviendo la discusión y reflexión sobre el estado actual de las capacidades organizacionales, así como sobre su dirección en el futuro. Los facilitadores desempeñan un rol imparcial al ayudar a los grupos a volverse más efectivos, actuando como guías de un proceso para crear un 25 balance entre la participación y los resultados . La primera vez que se implementa la autoevaluación puede contratarse a un facilitador externo (mientras no exista a nivel interno una persona con los conocimientos, habilidades y experiencia requeridas) para ayudar a impulsar el proceso y sentar sus bases. El facilitador puede acompañar en la toma de decisiones o presentar información y evidencias que ayuden a triangular y balancear las perspectivas de los miembros de la organización, documentando el proceso. (c) Revisión documentaria. Los miembros del Comité, el facilitador u otros involucrados en la organización de la autoevaluación de capacidades deben darse el espacio para revisar algunos documentos clave de la unidad de proyecto e institución gubernamental ejecutora, para comprender mejor sus desafíos y expectativas, familiarizarse con el lenguaje y terminología que usan, y poder orientarlos mejor durante el proceso de autoevaluación y desarrollo de capacidades. Se sugiere revisar los documentos que describan el diseño del proyecto, planes de seguimiento y evaluación, informes de avance, evaluaciones, entre otros. (d) Taller N° 1: visión de SyE y plan de trabajo. El Comité de medición y desarrollo de capacidades evaluativas convoca a no más de 20 representantes de los dos grupos de actores a participar en un Taller programado para medio día de trabajo. Puede también realizarse este evento con cada actor por separado. La idea es que al terminar el taller se cumplan los siguientes objetivos: Se reafirme el interés por participar en un proceso como el propuesto. Se identifiquen los actores con la propuesta de ideal de Sistema de SyE orientado a resultados e impacto desarrollado por PREVAL, y los roles correspondientes para las organizaciones comunales, unidad de proyecto, e institución gubernamental. Se precisen los aspectos a reajustar en las herramientas para la autoevaluación. Se recojan los aportes de los participantes para que el Comité elabore un plan de 26 trabajo para conducir el proceso . Este taller es conducido por un facilitador/a, en caso se cuente con uno, o alguien designado por el Comité. En el Anexo Nº 4 se sugiere un programa para el taller con anotaciones para la facilitación. 25 Mayores datos sobre el rol de los facilitadores pueden obtenerse consultando la Declaración de Valores y Código de Ética para Facilitadores (2004), publicada por la Asociación Internacional de Facilitadores (IAF). 26 Se sugiere que el plan de trabajo contenga los siguientes puntos: objetivos del proceso, resultados esperados, metodología, actividades y cronograma, recursos financieros y organizacionales. 22 GUIA PARA EL DESARROLLO DE CAPACIDADES Dos momentos centrales en este taller son: 1) la reflexión alrededor de la visión del sistema de Planificación, Seguimiento y Evaluación, y 2) los roles que competen a cada actor en el SyE bajo este enfoque. El primer plano de la reflexión será el deslindar qué se aspira para el sistema de SyE del proyecto sobre el que gira la autoevaluación de capacidades. El segundo plano alude a la identificación de qué le compete hacer a las organizaciones comunales en el seguimiento y evaluación de las intervenciones de desarrollo fijadas por ellos mismos, y qué deben hacer en cuanto a seguimiento y evaluación la unidad de proyecto e institución gubernamental ejecutora para coadyuvar a que se cumpla la visión de la comunidad. Estos roles se sugieren en el cuadro N° 4 incluido en la primera parte, mostrando contenidos que pueden precisarse o modificarse según las características de la intervención, pero que en general expresan las funciones relevantes de los actores en un sistema de SyE operativo. Este análisis permite a los participantes ubicar a sus organizaciones en relación con las pautas propuestas, y fijar su desempeño ideal. También identificar posibles puntos de discrepancia que habría que ubicar cómo se reflejan en las herramientas de autoevaluación y hacer los ajustes respectivos. En el mismo Anexo N° 3 se propone el procedimiento para conducir este análisis. Es fundamental recordar que las herramientas de autoevaluación se basan en la visión del SyE y roles sugeridos. Si por algún motivo en este momento las organizaciones descubren que estos elementos se desvían fuertemente de lo que se aplica para su caso, habría que reconsiderar la pertinencia de continuar con el proceso. Otro momento importante es la discusión sobre la metodología para la recolección de la información. Además de las herramientas planteadas en la siguiente sección para la autoevaluación, pueden ser utilizadas otras metodologías: entrevistas, talleres, revisión documentaria, grupos focales, encuesta anónima, etc. Se recomienda el uso de métodos mixtos para favorecer la triangulación de la información, y por ende conseguir conclusiones mejor fundamentadas. Nuevamente, el Anexo N° 3 da pautas para orientar esta discusión y los acuerdos respectivos. Puede darse la situación que por cuestiones de tiempo se delegue al Comité la elaboración posterior al taller del plan de trabajo y de la propuesta metodológica. Es importante recoger durante el taller al menos algunas ideas de los participantes sobre estos temas, para elaborar sobre ellas una propuesta de plan de trabajo que vuelva a los participantes para comentarios, y así poder tomar la decisión final con un mayor respaldo. 2.2.2. PREPARACIÓN DE HERRAMIENTAS (a) Adaptación de las herramientas de autoevaluación Es fundamental que quienes van a recolectar la información se familiaricen con las herramientas planteadas en la guía. Estas serán en principio revisadas por el Comité para ajustar su correspondencia con la reflexión surgida en el primer taller, sobre la visión deseada para el SyE, y los roles pertinentes para la organización comunal, unidad de proyecto, e institución gubernamental en torno a un proyecto elegido para la autoevaluación en el que confluyen. 23 GUIA PARA EL DESARROLLO DE CAPACIDADES Esta tarea podría ser delegada al facilitador que está apoyando en el proceso, sin descuidar que se cuente con el aval y aprobación del Comité. Concretamente, la revisión supone adecuar algunos ítems e incluso eliminar o incorporar otros relevantes, según los acuerdos surgidos en el primer taller, manteniendo la sintonía con las definiciones de cada una de las tres capacidades evaluativas: gestión participativa del desarrollo, operativa, y de aprendizaje. También comprende el ajuste de algunos términos. Por ejemplo, en vez de unidad de proyecto tal vez se prefiera usar el término coordinación de proyecto o unidad técnica. Deben considerarse estos ítems como los aspectos que nos permiten deducir hasta que punto se cuenta o no con una parte de algunas de estas capacidades. (b) Preparación de herramientas adicionales. En este paso, se retoman los acuerdos sobre cómo se va a levantar la información necesaria, si se va a triangular la información con otros métodos de recolección de información, y se les relaciona con cada uno de los ítems que contiene la herramienta de evaluación de capacidades, considerando con qué evidencias se van a sustentar las capacidades halladas. Puede utilizarse una matriz de evaluación para organizar mejor esta comparación de diferentes fuentes por cada ítem (ver Anexo N° 4). Según el tipo de metodologías elegidas se elaboran los formatos de recolección de información. Por ejemplo, puede haberse decidido utilizar entrevistas a personas clave, y para hacerlas efectivas se requiere de un formato de entrevista. En caso se haya optado por talleres, habrá que realizar el diseño de estos. Nuevamente, toda la información que se obtenga debe alinearse con los aspectos considerados en las herramientas de autoevaluación de capacidades. Como cualquier instrumento de captura de datos, estos formatos requieren de algún nivel de validación previamente a su aplicación, como una aplicación piloto, o revisión de expertos. Este es un buen momento para ajustar el cronograma general del proceso, cuando se tiene el panorama completo del esfuerzo que requiere la recolección de información para este propósito. También para realizar ajustes en la metodología propuesta, contrastando con los recursos disponibles y posibilidades reales de las organizaciones participantes en la autoevaluación de capacidades. 2.2.3. MEDICION DE CAPACIDADES (a) Taller N° 2: Autoevaluación En este taller se aplica la herramienta de autoevaluación para medir la brecha entre las capacidades reales e ideales y representa un momento decisivo del proceso. Se realiza en medio día y de manera separada con cada actor, es decir, se hace un taller con los miembros de la unidad de proyecto y otro con los de la institución ejecutora. En grandes rasgos, comprende un momento de intercambio de información sobre un aspecto 24 GUIA PARA EL DESARROLLO DE CAPACIDADES puntual sin llegar a consensos, y luego la puntuación individual sobre el mismo aspecto. En el Anexo N° 5 su incluye una propuesta de programa detallado. Las instrucciones para la aplicación de las herramientas durante la autoevaluación se detallan en la tercera sección. El referente en la autoevaluación son las capacidades para el SyE que se requieren en la gestión de un proyecto seleccionado, en el que confluyen la unidad de proyecto y la institución gubernamental. Debe quedar claro, especialmente para la institución gubernamental, que cuando se piensa por ejemplo en los recursos con que se cuenta para el SyE se refieren a los que están disponibles para el proyecto sobre el que se centra la autoevaluación, no para todos los proyectos que maneja la institución. Debe asegurarse la participación durante toda la jornada de los representantes de las diferentes áreas (por ejemplo, administrativa, programática, dirección, etc.), y diferentes niveles jerárquicos (por ejemplo, responsables de campo, coordinadores, gerentes, etc.) de la organización, sin exceder de un máximo de 20 personas. Se sugiere considerar la posibilidad de realizar el taller en un lugar fuera de las oficinas de la organización para facilitar la concentración y participación plena. En esta oportunidad el Comité tiene un papel clave, tanto para realizar las coordinaciones del caso como para tomar las medidas correctivas en el momento propicio. Su foco de atención es asegurar la calidad de la información y de la marcha del proceso, construyendo las mejores condiciones de ambiente para la autorreflexión y el aprendizaje. La secuencia propuesta es levantar primero la información de la unidad ejecutora y en segundo lugar la de la institución gubernamental. De este modo el facilitador comprenderá mejor la situación de la unidad de proyecto y la complementariedad y apoyo que le ofrece la institución gubernamental en el marco del SyE. Se recomienda contar con un facilitador que dirija la autoevaluación y una persona de apoyo para tomar nota de los aspectos saltantes del ejercicio, y para recordar al facilitador sobre algún asunto que haya pasado por alto. Es importante que la persona de apoyo haya al menos participado de la revisión documentaria y en la planificación de este taller conjuntamente con el facilitador. Esta puede ser una buena oportunidad para la preparación de futuros facilitadores dentro de las organizaciones. Es fundamental garantizar la confidencialidad de la información desde el inicio del taller, para garantizar información más confiable y un ambiente propicio para la reflexión y aprendizaje. Las respuestas individuales son llenadas de manera anónima, y se comparte con los participantes que el tratamiento de los hallazgos se devolverá por separado a cada actor, reservando los puntos comunes para el ejercicio de planificación conjunta que se da durante el paso 5. (b) Procesamiento de datos El o los facilitadores son los encargados del procesamiento de la información recolectada mediante la autoevaluación, con la orientación del Comité, quien vela por la correcta consolidación de los resultados de este ejercicio. De ser el caso, puede 25 GUIA PARA EL DESARROLLO DE CAPACIDADES designarse adicionalmente a consultores u otros miembros de las organizaciones para apoyar en la tarea. Las instrucciones para la tabulación de los datos es sencilla y se describe en la tercera sección. Comprende una parte cuantitativa proveniente de los formatos de autoevaluación llenados por los participantes del Taller N° 2, y una parte cualitativa proveniente de las notas tomadas por la persona de apoyo sobre su observación durante la autoevaluación. Puede utilizarse una hoja de cálculo en Excel para agilizar el procesamiento y garantizar la precisión de los cálculos. (c) Recolección de datos complementarios Las herramientas por cada actor se pueden completar con la información recolectada con otros métodos, y así reforzar las conclusiones sobre las capacidades para el SyE. La aplicación de éstas está a cargo del Comité, con el posible apoyo de consultores u otros convocados para este fin, y su duración dependerá de la combinación de métodos elegida, así como del cronograma previsto en el plan de trabajo. Se sugiere empezar por relevar la información individual (revisión de documentos, entrevistas, observación) y luego la información colectiva (talleres, grupos focales); así se podrá usar la información previamente recogida como punto de contraste cuando se trabaje en grupos. Por cada método adicional se realiza el procesamiento correspondiente de los datos recolectados, orientando la consolidación de la información hacia la comprobación de las capacidades evaluativas, y de manera específica, hacia cada uno de los ítems que la comprende. Puede utilizarse las herramientas de autoevaluación para esta parte del proceso, de la manera descrita en la sección 3.2.1. de la tercera parte de este documento. (d) Preparación de reporte por actor La información proveniente de la autoevaluación y de otros métodos de recolección, si los hubiera, se muestra y analiza en un reporte separado para cada actor. Es responsabilidad del Comité la elaboración de estos reportes, y puede acudir al apoyo de los facilitadores del Taller N° 2 en caso lo considere necesario. El reporte esta organizado según las capacidades evaluativas, y presenta tanto los resultados de las puntuaciones individuales asignadas por los participantes de la autoevaluación, como los hallazgos provenientes de la observación durante dicho taller y de otros métodos utilizados para levantar información complementaria. Todos ellos son colocados en el reporte de modo tal que se presenten las evidencias para facilitar la interpretación en el Taller N° 3. En el Anexo N° 6 se incluye un ejemplo de reporte individual. Hay que llamar la atención sobre el lenguaje con que se redacta el reporte. Ha de cuidarse que éste sea apropiado, propositivo y constructivo, apegándose hacia las evidencias encontradas durante la autoevaluación y mediciones complementarias. 26 GUIA PARA EL DESARROLLO DE CAPACIDADES También debe cuidarse y respetarse la confidencialidad de la información contenida en el reporte, cada actor tiene derecho a conservar su reporte individual y compartirlo con quienes considere. 2.2.4. ANÁLISIS DE RESULTADOS Y PLAN DE ACCION (a) Taller N° 3: Discusión de hallazgos y planificación por actor Los hallazgos contenidos en el reporte son presentados por el Comité de manera separada a cada actor en una reunión de medio día con cada uno de ellos. El Comité cursa una invitación previa a los directivos de la organización, extensiva hacia otros miembros que ellos consideren necesarios, que puedan aportar en la interpretación y definición de futuras acciones. El número de participantes no debiera exceder de 30. La duración del taller es de medio día, y se sugiere un programa del taller detallado en el Anexo N° 7. La reunión se daría bajo el siguiente esquema: Revisión de antecedentes: el objetivo de la medición de capacidades, cómo y cuándo se hizo, quienes participaron Principales hallazgos e interpretación, señalando la brecha entre las capacidades ideales y lo real. Propuesta de plan de acción para fortalecer capacidades. Esta medición de las capacidades debe proveer información valiosa para tomar decisiones de manera participativa. Debe relacionarse con las respuestas que se planteó la organización ante la pregunta “¿por qué necesitamos una evaluación de capacidades para el seguimiento y evaluación?”. Sus hallazgos permitirán conocer los niveles de inicio o puntos de partida de la organización en cuanto a desarrollo de capacidades para el SyE. El solo conocimiento de ello la ayudará a perfeccionar la gestión (aprovechando las fortalezas halladas), además de suscitar aprendizajes significativos en todos sus integrantes. La preparación de un plan de acción proporciona una base para organizar los esfuerzos en el desarrollo de capacidades. Para la priorización de las acciones, no basta con considerar aquellas capacidades en las que se tiene puntajes menores o se cae en el área roja o amarilla según el gráfico de la sección 3.2.1. Es importante considerar además si la información cualitativa se encuentra alineada en el mismo sentido, los promedios obtenidos de los puntajes asignados en la autoevaluación son referenciales. Otro aspecto a tomar en cuenta dónde hay menores resistencias o mayor acuerdo sobre la necesidad de fortalecer, y cuáles son las prioridades establecidas por la organización en el momento de la medición de las capacidades para engranarlas al plan general. No existe una forma “correcta” de hacer un plan de este tipo. Usualmente los planes de acción definen actividades, responsables, y el tiempo de ejecución (ver un ejemplo en el Anexo N° 8). Sin embargo, si no se aseguran los suficientes recursos, soporte político y alineamiento con la misión y estrategias de la organización se corre el riesgo de fracasar en el intento. También es importante ver los planes como “trabajo en progreso” más que fórmulas totalmente establecidas. Se necesita flexibilidad para modificar los planes y los procesos de implementación conforme cambian las condiciones y emergen nuevos aprendizajes. 27 GUIA PARA EL DESARROLLO DE CAPACIDADES La secuencia para organizar estos esfuerzos es importante. También las modalidades para el fortalecimiento de capacidades. Al seleccionarlas, es importante retomar algunos elementos señalados en la primera sección de este documento, y las reales posibilidades de cada organización. El Comité toma nota de lo acontecido en cada reunión y elabora un pequeño documento para su propio registro y para compartir con quienes se estime conveniente. Al hacer este recuento, tiene la tarea de identificar los aspectos comunes y los distintivos de cada actor. Al finalizar la reunión, se invita a los representantes de las organizaciones a compartir al interior estos resultados y prioridades establecidas. También se pide designar a algunos representantes de cada organización para que acompañen al Comité en la definición de una propuesta conjunta para el desarrollo de capacidades en un siguiente encuentro. (b) Taller N° 4: Planificación conjunta El Comité convoca a alrededor de 20 representantes de los dos grupos de actores a participar en este taller. Se espera formular el plan de acción conjunto para el desarrollo de capacidades, con los aportes de los participantes y en el transcurso de medio día de trabajo. En el evento se presentan los hallazgos de la medición de capacidades de manera integrada y general en relación con las capacidades y roles esperados, como un sistema. También se comparten las reacciones iniciales recogidas en cada organización, se prosigue con la búsqueda de puntos en común para construir un plan colectivo. Es importante redoblar el cuidado en cuanto a la forma de presentar las áreas débiles de cada organización para no herir susceptibilidades. Se presenta un programa de taller tentativo en el Anexo N° 9. Además de los directivos y otros miembros representativos de cada organización, en este momento estarían presentes todos los miembros del Comité y otros actores clave que sean relevantes para ambos tipos de organizaciones. El involucramiento de los actores clave (como por ejemplo donantes y socios principales) en el proceso de medición y desarrollo de capacidades en general y en este paso, es importante para identificar apropiadamente nuevas direcciones y establecer compromisos de apoyo al cambio. Pueden ser además una importante fuente de recursos para llevar adelante las iniciativas de desarrollo de capacidades. Al igual que en el ejercicio anterior, el Comité toma nota de lo acontecido en la reunión y elabora un pequeño documento para su propio registro y para compartir con quienes se considere apropiado. 28 GUIA PARA EL DESARROLLO DE CAPACIDADES 2.2.5. SEGUIMIENTO DEL PROGRESO (a) Verificación de logros del plan de acción La evaluación de los resultados de las intervenciones de desarrollo de capacidades debe estar presente desde el momento en que se establece el plan para implementarlas. Esto se hace para rendir cuentas interna y externamente sobre estos esfuerzos desplegados, como externamente hacia otros socios y actores clave. También para reajustar el plan y continuar conduciendo el fortalecimiento de capacidades de manera más eficiente. El seguimiento de la ejecución de las actividades del plan de acción y de los productos asociados a ellas es un primer nivel de evaluación, el nivel operativo. El proceso cuenta mucho en el desarrollo de las capacidades y es importante conocer en qué medida se están desarrollando las actividades según lo planeado e identificar algunos aspectos críticos para tomar medidas correctivas de manera oportuna. (b) Reaplicación de la medición de capacidades y evaluación El segundo nivel de evaluación es en cuanto a los logros o resultados alcanzados con el desarrollo de capacidades, reflejado en cambios de comportamientos y de sistemas. Las mismas herramientas consideradas para la medición de las capacidades pueden ser reaplicadas periódicamente para evaluar el progreso, y más aún, se puede aprender de la experiencia y continuar mejorando. Estas pueden complementarse con una combinación de otros métodos de recolección de información que permitan trascender a la medición de la capacidad misma, adentrarse en el desempeño de las organizaciones, y en los cambios propiciados en las poblaciones con las que se trabaja directamente. Este cuadro presenta algunas pautas relevantes para este momento, que reafirman algunos aspectos tratados con anterioridad en esta Guía. Cuadro N° 5: Qué hacer y no hacer al evaluar el desarrollo de capacidades ¿Qué hacer? Mapear la lógica del programa de desarrollo de capacidades (la jerarquía de objetivos y supuestos subyacentes) Dar seguimiento a actividades, productos, alcances. Periódicamente medir los resultados en función a los objetivos y expectativas iniciales Involucrar a los actores clave en el proceso de evaluación Pensar en términos de contribución de socios externos, en vez de impactos. ¿Qué no hacer? Evaluar los esfuerzos de desarrollo de capacidades estrictamente en base a los objetivos originales No pasar por alto el proceso de desarrollo de capacidades, y solo concentrarse en los impactos de desarrollo de largo plazo. Fuente: Horton Douglas. Planning, Implementing and Evaluating Capacity Development. ISNAR, Briefing Paper 50, Julio 2002, página 6. 29 GUIA PARA EL DESARROLLO DE CAPACIDADES TERCERA PARTE: LAS HERRAMIENTAS 3.1. BASES DE LAS HERRAMIENTAS Las dos herramientas propuestas (una para unidades de proyecto y otra para las instituciones gubernamentales) son complementarias entre sí, y se basan en un modelo teórico construido con diferentes aportes, que identifica tres tipos de capacidades relevantes para un ejercicio eficaz, participativo y empoderador del seguimiento y evaluación: Gestión Participativa del Desarrollo: se relaciona con la contribución del sistema de SyE a la gestión del proyecto u organización, teniendo como visión estratégica a la comunidad en el centro del desarrollo, y un estilo de gerencia participativo, inclusivo y equitativo. Operativa: se refiere a los recursos materiales y humanos con que se cuenta para el SyE, la forma como se distribuyen y organizan en una estructura y equipos, asumiendo responsabilidades claramente definidas. También incluye los aspectos técnicos inherentes al manejo de la información, algunos más especializados que otros, pero todos dirigidos a mostrar los efectos e impactos derivados de los cambios de una intervención para el desarrollo. Aprendizaje: considera si la organización sabe usar y comunicar resultados, es decir si maneja con eficacia y oportunidad la información sobre los cambios, según las necesidades estratégicas de los grupos de actores. Incluye además la existencia de espacios inter e intra institucionales para promover el aprendizaje, y los valores compartidos que sustentan la apertura hacia el intercambio y reflexión. La desagregación de lo que implica cada una de estas capacidades, en función a los roles esperados por cada actor en los diferentes momentos del seguimiento y evaluación y una visión ideal de los sistemas de SyE propuesta por PREVAL, es lo que da lugar a los ítems de cada herramienta. Cada conjunto de ítems plantean situaciones ideales e ilustran las implicancias de tener o no tener una capacidad. Es una condición para la viabilidad de la medición de las capacidades el que las organizaciones que van a utilizar las herramientas se identifiquen mayoritariamente con la propuesta sugerida. De haber diferencias sobre la visión y roles de SyE en una organización, pueden hacerse pequeños ajustes en los ítems de las herramientas pertinentes a dichas diferencias, modificar algunos términos utilizados, e incluso pueden incluirse algunos otros ítems, sin desvirtuar las definiciones de los tres tipos de capacidades subyacentes. De ser estas diferencias sustanciales habría que reconsiderar la pertinencia de su aplicación para esas organizaciones. 3.2. ORIENTACIÓN PARA SU APLICACIÓN Las dos herramientas son una guía para conducir un ejercicio de autoevaluación. Al mismo tiempo, pueden ser usadas como un esquema para acopiar y consolidar información proveniente de diferentes fuentes sobre las tres capacidades evaluativas identificadas. Se detalla más a continuación. 30 GUIA PARA EL DESARROLLO DE CAPACIDADES 3.2.1. AUTOEVALUACIÓN (a) Aspectos generales. La autoevaluación es la forma propuesta para medir la capacidad evaluativa en unidades de proyecto e instituciones gubernamentales ejecutoras. Este ejercicio ayuda a dichas organizaciones a compartir información y reflexionar sobre su situación actual en cuanto a su potencial para facilitar y orientar técnicamente el proceso de seguimiento y evaluación de un proyecto de desarrollo rural que busca responder a la visión de la comunidad. También ayuda a orientar un proceso de fortalecimiento de capacidades en estos aspectos. El proceso completo comprende desde el diseño de la medición hasta la formulación de un plan de acción con el que se potencien las capacidades de las organizaciones para realizar un seguimiento y evaluación participativo y empoderador. Este se describe en detalle en la segunda parte de la Guía para la Medición y Desarrollo de Capacidades en seguimiento y evaluación elaborada por PREVAL, y constituye lectura obligatoria antes de la aplicación de las herramientas de autoevaluación. En esta sección se proveen las pautas para la aplicación de dichas herramientas durante el Taller N° 2 y para su posterior procesamiento. Se asume la presencia de un facilitador interno o externo que apoya en estas tareas, y trabaja en estrecha coordinación con el Comité de Medición y Desarrollo de Capacidades Evaluativas. (b) Aplicación de la herramienta. El facilitador conduce la aplicación de la herramienta durante el taller, junto con una persona de apoyo. De partida, el facilitador debe asegurar que los participantes tienen conocimiento del proceso general de medición y desarrollo de capacidades evaluativas, y de los objetivos que se persiguen al hacerlo en cada organización. De no ser el caso, debe subsanarse esta falta de información. Si entre los participantes del taller se halla algún miembro del Comité de Medición y Desarrollo de Capacidades, le cede la palabra. El facilitador debe cuidar que el ambiente físico del taller permita la concentración de los participantes durante este tiempo, y que su ubicación sea tal que todos puedan verse las caras. Desde el inicio, debe advertir a los participantes del taller que si alguien tiene que salir del taller durante la discusión de una sección de la herramienta, no calificarán los ítems asociados a esa discusión. Se inicia la aplicación con la descripción general de la modalidad a utilizar en la autoevaluación, señalando que las respuestas son anónimas y se registran en la misma herramienta que se entrega en ese momento a cada participante. Cabe recalcar constantemente que el referente en la autoevaluación son las capacidades para el SyE que se requieren en la gestión de un proyecto seleccionado, en el que confluyen la unidad de proyecto y la institución gubernamental. Debe quedar claro, especialmente para la institución gubernamental, que cuando se piensa por ejemplo en los recursos con que se cuenta para el SyE se refieren a los que están disponibles para el proyecto sobre el que se centra la autoevaluación, no para todos los proyectos que maneja la institución. 31 GUIA PARA EL DESARROLLO DE CAPACIDADES La aplicación de la herramienta tiene dos momentos que se intercalan constantemente: Conversación Enfocada y Calificación de Ítems. La Conversación enfocada se da en base a preguntas que buscan el intercambio de información y de opiniones sobre el tema que se trata, pero no el consenso. Tras la lectura de cada ítem el facilitador abre el intercambio con preguntas abiertas dirigidas a destacar las evidencias que sustenten el grado en que se cuenta con el ideal propuesto. El siguiente ejemplo se refiere al ítem 1.6. de la herramienta para instituciones gubernamentales: ¿En qué medida en la institución gubernamental la planificación, seguimiento y evaluación referidos se articulan como un sistema integrado? ¿Dónde se refleja que éstos se articulan? ¿Cómo podemos probarlo?¿Con qué evidencias se cuenta para sustentar que se cumple con este criterio ideal?. Se destina entre 5-7 minutos por cada ítem para propiciar una participación activa y general, y la identificación de las diferentes posiciones respecto al tema. El facilitador puede también traer a colación algunos elementos rescatados de la revisión documentaria y de su conocimiento de la organización, sin imponerlo a los participantes. La Calificación de ítems se da luego de la discusión sobre cada ítem. Los participantes calificarán de manera anónima sobre cómo ven a su organización en ese aspecto. La escala es de 1 a 5: 1 es el valor más bajo (no se tiene la capacidad) y el 5 es el valor más alto (se tiene un desarrollo pleno de la capacidad). Hay espacio para calificar un ítem como no aplicable. 1 No se tiene la capacidad 2 Se tiene un desarrollo inicial de la capacidad 3 Se tiene un desarrollo parcial de la capacidad 4 Se tiene un desarrollo casi completo de la capacidad 5 Se tiene un desarrollo pleno de la capacidad Durante la aplicación de la herramienta, el facilitador y/o quien le apoya toma notas de los argumentos para justificar que se cuenta o no con alguna capacidad, de cómo se desarrolla el taller, y de cualquier comentario, observación o explicación que surja durante las discusiones, para posteriormente incorporarlos en el análisis de la información recolectada. Esta información es tan valiosa como la que proviene de la calificación de la herramienta. (c) Procesamiento de datos. Siguiendo con el proceso de autoevaluación de la capacidad evaluativa, el facilitador toma las hojas de respuestas de los participantes del taller y las numera de manera 32 GUIA PARA EL DESARROLLO DE CAPACIDADES correlativa. Luego tabula las respuestas de cada participante manualmente o en una hoja de cálculo previamente creada en Excel bajo el siguiente formato: Calificaciones por capacidades Gestión Participativa del Operativa Aprendizaje Desarrollo Item Item Sub Item Item Participantes Item Item Item Sub n n n Total n n Total n n 1 2 3 4 … Promedios Total Sub Total Los Sub totales y Totales son sumatorias simples de los puntajes otorgados por los participantes del Taller N° 2. Los promedios son la sumatoria de los puntajes entre el número total de respuestas. Los promedios de cada organización según los puntajes de los participantes se muestran en un diagrama como el que sigue. Diagrama N° 4: Puntajes de la autoevaluación por organización Capacidad baja (promedio entre 1.00 y 2.00) Capacidad media (promedio entre 2.10 y 3.90) Capacidad alta (promedio entre 4.00 y 5.00) 33 GUIA PARA EL DESARROLLO DE CAPACIDADES Estos puntajes son referenciales, y se contrastan con la información cualitativa sobre la justificación y evidencias sobre cada ítem en el reporte. 3.2.2. AUTOEVALUACIÓN COMBINADA CON OTROS MÉTODOS En esta situación, las herramientas de autoevaluación se aplican como si fueran formatos para la consolidación de conclusiones sobre las capacidades evaluativas. Luego de concluir con todo lo indicado en el punto 3.2.1., y tener a la mano la información consolidada que ha sido recolectada con otros métodos, el Comité convoca a una reunión con algunos líderes de cada organización (por separado) para asignar puntajes consensuados para cada capacidad. Se da lectura a cada ítem, se revisan las evidencias provenientes de la autoevaluación y otras fuentes disponibles, se discute y concluye por consenso cuál es el puntaje entre el 1 y el 5 que refleja mejor la capacidad actual de la organización. Se toma nota por cada ítem de las evidencias que sustentan esa apreciación. El formato de la herramienta lleno con los puntajes y evidencias constituye un reporte de las capacidades encontradas en cada organización, y puede graficarse los puntajes según el diagrama N° 4. Este insumo se lleva al Taller N° 3 se lleva al Taller N° 3 para definir cuáles son las acciones que se van a tomar para fortalecer las capacidades evaluativas. 3.3. HERRAMIENTA N° 1: UNIDAD DE PROYECTO NIVEL DE CAPACIDAD AREAS DE CAPACIDAD 1 2 3 4 5 27 JUSTIFICACION n/a del nivel de capacidad con evidencias 1. Gestión participativa del desarrollo 1.1. Unidad de Proyecto (UP) está comprometida con una visión de desarrollo donde la comunidad es el eje y la UP es el facilitador de los cambios. 1.2. El seguimiento y evaluación (SyE) es reconocido como prioridad estratégica en la gestión del proyecto y la organización. 1.3. UP sabe como formular proyectos con una teoría del cambio explícita (resultados e impactos claros) y enfoque de planificación por 27 1= No se tiene la capacidad; 2= Se tiene un desarrollo inicial de la capacidad; 3= Se tiene un desarrollo parcial de la capacidad; 4=Se tiene un desarrollo casi completo de la capacidad; 5= Se tiene un desarrollo pleno de la capacidad 34 GUIA PARA EL DESARROLLO DE CAPACIDADES NIVEL DE CAPACIDAD AREAS DE CAPACIDAD 1 resultados. 1.4. UP tiene destrezas para asesorar la medición de capacidades en SyE de la institución gubernamental ejecutora. 1.5. UP sabe cómo hacer un plan de SyE (con objetivos, indicadores, instrumentos, y metodologías apropiadas), participativo y en base a las necesidades y potencialidades la comunidad. 1.6. En UP la planificación, el seguimiento y evaluación se articulan como un sistema integrado. 1.7. UP sabe cómo conectar entre sí el SyE del proyecto y los sistemas locales de SyE. 1.8. UP cuenta con conocimientos y habilidades para la facilitación del consenso, negociación y diálogo, y participación equitativa de los actores. 1.9. UP está bien dispuesto a involucrar activamente a otros actores clave en la gestión de proyectos. 1.10. UP tiene mecanismos establecidos para recibir la retroalimentación de los actores clave sobre los productos y sistema de SyE. 2. Operativa 2.1. Existen en la UP recursos materiales y financieros disponibles para el cumplimiento del plan de SyE. 2.2. UP cuenta con personal capacitado en aspectos técnicos (técnicas cualitativas y cuantitativas, recolección y procesamiento, manejo de bases de datos, etc.) y metodologías innovativas (evaluación por imágenes, mapeo de actores, etc.) de SyE. 2.3. UP cuenta con personal preparado en metodologías 35 2 3 4 5 27 JUSTIFICACION n/a del nivel de capacidad con evidencias GUIA PARA EL DESARROLLO DE CAPACIDADES NIVEL DE CAPACIDAD AREAS DE CAPACIDAD 1 participativas de capacitación de adultos, y en gestión del conocimiento y aprendizaje en organizaciones. 2.4. UP tiene políticas de capacitación continua en SyE. 2.5. La estructura organizacional de la UP designa responsables y funciones para el SyE. 2.6. El personal de la UP se siente bien motivado por el empoderamiento de actores locales. 2.7. El SyE es percibido como un trabajo en equipo de toda la UP, no solo de especialistas en SyE. 2.8. Sistema de SyE de UP produce productos (ver detalle en cuadro anexo). 2.9. La UP tiene recursos especializados (herramientas, libros, cursos, sitios web, bases de datos, etc.) sobre SyE accesibles para el personal involucrado y otros actores clave. 3. Aprendizaje 3.1. El personal de la UP maneja técnicas de comunicación y difusión apropiadas según tipos de audiencia. 3.2. En la UP se cuentan con espacios institucionales (eventos, ambientes, boletines, sistematización, políticas, etc.) donde se promueve el aprendizaje interno y externo. 3.3. Se incentiva en la UP la escucha activa, reflexión e intercambio de aprendizajes. 3.4. UP precisa cómo la información del SyE retroalimenta la planificación (estratégica y operativa) y otras decisiones. 3.5. Se relaciona en la UP la información generada por el SyE con argumentos para la 36 2 3 4 5 27 JUSTIFICACION n/a del nivel de capacidad con evidencias GUIA PARA EL DESARROLLO DE CAPACIDADES NIVEL DE CAPACIDAD AREAS DE CAPACIDAD 1 2 3 4 27 5 JUSTIFICACION del nivel de capacidad con evidencias n/a incidencia. 3.6. La UP respalda la institucionalización y amplia difusión de mejores prácticas entre la institución y actores clave. CUADRO ANEXO PRODUCTOS DEL SISTEMA DE PLANIFICACION, SEGUIMIENTO Y EVALUACION PRODUCTOS ¿Existe? Si 1. Plan de PSE 2. Sub-sístema de Planificación 2.1. Planeamiento Estratégico (visión, misión) 2.2. Marco Lógico por Resultados 2.3. Plan Operativo Anual 2.4. Plan de uso y comunicación de resultados 2.5. Mapeo de Actores de SyE 2.6. Matriz de Seguimiento y Evaluación 2.7. Otro: 3. Sub-Sístema de Seguimiento 3.1. Instrumentos de Seguimiento reportes de avance del POA) (Formatos, 3.2. Informes de seguimiento a nivel de producto 3.3. Bases de Datos: 3.4. Otro: 4. Sub-sístema de Evaluación 4.1. Estudio de Base 4.2. Encuesta progresiva usuarios/población objetivo a 4.3. Encuesta de impacto del RIMS 4.4. Autoevaluaciones 4.5. Evaluación por imágenes 5. Sub-sistema de Sístematización 5.1. Experiencias sistematizadas 5.2. Estudios de caso 6. Sistema de datos automatizado 6.1. Hojas de cálculo en Excel u otro similar 6.2. Bases de datos en software especializado 37 No GUIA PARA EL DESARROLLO DE CAPACIDADES PRODUCTOS ¿Existe? Si No 6.3. Sistema automatizado disponible en la Web 3.4. HERRAMIENTA N° 2: INSTITUCIONES GUBERNAMENTALES NIVEL DE CAPACIDAD AREAS DE CAPACIDAD 1 2 3 4 5 28 JUSTIFICACION n/a del nivel de capacidad con evidencias 1. Gestión participativa del desarrollo 1.1. Institución gubernamental (IG) está comprometida con una visión de desarrollo donde la comunidad es el eje y la UP es el facilitador de los cambios. 1.2. El seguimiento y evaluación (SyE) es reconocido como prioridad estratégica en la gestión del proyecto y organización. 1.3. IG reconoce el valor de la teoría del cambio de un proyecto y puede explicitar y mostrar a partir de éste resultados e impactos claros. 1.4. Con el apoyo de UP, la IG puede identificar y analizar sus capacidades en SyE. 1.5. IG comprende conceptos generales sobre un plan de SyE participativo y se siente capaz de aportar. 1.6. En IG la planificación, SyE se articulan como un sistema integrado. 1.7. IG cuenta con conocimientos y habilidades para la facilitación del consenso, negociación y diálogo, y participación equitativa de los actores. 1.8. IG está bien dispuesto a involucrar activamente a otros actores clave en la gestión de proyectos. 1.9. IG conoce de 28 1= No se tiene la capacidad; 2= Se tiene un desarrollo inicial de la capacidad; 3= Se tiene un desarrollo parcial de la capacidad; 4=Se tiene un desarrollo casi completo de la capacidad; 5= Se tiene un desarrollo pleno de la capacidad 38 GUIA PARA EL DESARROLLO DE CAPACIDADES NIVEL DE CAPACIDAD AREAS DE CAPACIDAD 1 mecanismos establecidos en el proyecto para dar retroalimentación sobre la gestión del proyecto y el SyE. 2. Operativa 2.1. IG asigna recursos materiales y financieros para el cumplimiento del plan de SyE. 2.2. IG cuenta con personal capacitado en aspectos técnicos (técnicas cualitativas y cuantitativas, recolección y procesamiento, manejo de bases de datos, etc.) y metodologías innovativas (evaluación por imágenes, mapeo de actores, etc.) de SyE. 2.3. IG cuenta con personal preparado en metodologías participativas de capacitación de adultos, y en gestión del conocimiento y aprendizaje en organizaciones. 2.4. IG tiene políticas de capacitación continua en SyE. 2.5. La estructura organizacional de la IG designa responsables y funciones para el SyE. 2.6. El SyE es percibido como un trabajo en equipo de toda la IG, no solo de especialistas en SyE. 2.7. La IG tiene recursos especializados (herramientas, libros, cursos, sitios web, bases de datos, etc.) sobre SyE accesibles para el personal involucrado y otros actores clave. 3. Aprendizaje 3.1. El personal de la IG maneja técnicas de comunicación y difusión apropiadas según tipos de audiencia. 3.2. En la IG se cuentan con espacios institucionales 39 2 3 4 5 28 JUSTIFICACION n/a del nivel de capacidad con evidencias GUIA PARA EL DESARROLLO DE CAPACIDADES NIVEL DE CAPACIDAD AREAS DE CAPACIDAD 1 (eventos, ambientes, boletines, sistematización, políticas, etc.) donde se promueve el aprendizaje interno y externo. 3.3. Se incentiva en la IG la escucha activa, reflexión e intercambio de aprendizajes. 3.4. IG precisa cómo la información del SyE retroalimenta la planificación (estratégica y operativa) y otras decisiones. 3.5. Se relaciona en la IG la información generada por el SyE con argumentos para la incidencia. 3.6. La IG respalda la institucionalización y amplia difusión de mejores prácticas entre la institución y actores clave. 40 2 3 4 5 28 JUSTIFICACION n/a del nivel de capacidad con evidencias GUIA PARA EL DESARROLLO DE CAPACIDADES ANEXOS Anexo N° 1: Bibliografía revisada 1. Asociación Internacional de Facilitadores. Declaración de Valores y Código de Etica para Facilitadores. 2004. 2. Bloom Evan, et.al. Capacity building perspectives: Understanding Organizational Assessment. http://www.impactalliance.org/ev_en.php?ID=7349_201&ID2=DO_TOPIC. Connections # 2, October 2003. 3. Bucheli, Brenda, et.al. Organizational assessment: lessons from the field. 2004. 4. CARE. Herramientas de CARE para la evaluación situacional de la capacidad en Diseño, Monitoreo y Evaluación (DME). 1999. 5. Ccori, Daniel Jesús. Institucionalización de los sistemas de SyE de lucha contra la pobreza rural. Publicaciones PREVAL, Setiembre 2007. 6. Earl, Sarah; Carden, Fred; Smutylo, Ferry. Mapeo de alcances – Incorporando aprendizaje y reflexión en programas de desarrollo. IDRC, 2002. 7. Echevarría, Rafael. Ontología del lenguaje. Granica, Buenos Aires, Abril 2005. 8. Feinstein, Osvaldo. Método para el Análisis Rápido Concentrado (MARCO) de Sistemas de Seguimiento y Evaluación. FIDA, 1993. 9. FIDA. Diez claves de éxito para el desarrollo rural. 2004. 10. FIDA. Guía para el SyE de proyectos. Oficina de Evaluación y Estudios del FIDA, 2002. 11. FIDA. Experiencias Innovadoras en los proyectos FIDA en la República del Perú. Oficina de Evaluación y Estudios del FIDA, 2004. 12. Grupo Chorlavi. Proyectos de Aprendizaje Social. http://www.grupochorlavi.org/webchorlavi/docs/Aprendizaje-GrupoChorlavi.pdf . Marzo 2005. 13. Hayward, Graerne. Exploring the links between individual and social learning in the Red River Floodway Environmental Assessment. http://www.umanitoba.ca/institutes/natural_resources/canadaresearchchair/thesis/gh ayward%20masters%20thesis%202006.pdf. University of Manitota, 2006. 14. Horton, et.al. Evaluating Capacity Development – Experiences from Research and Development Organizations around the World. ISNAR /CTA/ IDRC, 2003. 15. Horton, Douglas. Planning, Implementing and Evaluating Capacity Development. ISNAR, Briefing Paper 50, July 2002. 16. IDS. Knowledge management and organisational learning for development. KM4Dev Workshop Background paper. July 2006. 17. IIRR. A practical guide to Planning, Monitoring and Evaluation at IIRR. May 23, 2005. 18. Johri. Nalin. Design, monitoring and evaluation capacity assessment – global síntesis report. CARE, 2002. 19. Khan, Khadija. Strengthening of Monitoring and Evaluation System. Pakistan Poverty Alleviation Fund, Islamabad, June 2003. 20. Lusthaus, et.al. Evaluación organizacional – Marco para el desempeño. BID-CIID, 2002. 21. Mackay, Keith. Fortalecimiento de la capacidad de evaluación – Guía para el diagnóstico y marco para la acción. OED, 1999. 41 GUIA PARA EL DESARROLLO DE CAPACIDADES 22. Management for Development. Materiales del curso “Desarrollo Organizacional para Asesores y Consultores”, Junio 2006. 23. Morgan, Peter. The idea and practice of systems thinking and their relevante for capacity development. European Centre for Development Policy Management. March 2005. 24. Olalla, Julio. Un nuevo discurso de lo que es aprender. 25. Pardhan, Aliya; Lamba, Pamela. Who is an appropriate facilitator?. Capacity.org. Issue 24. 26. Preskill, H.; Torres, R. Englewood Cliffs, NJ:Prentice Hall. 27. Patton, M.Q. 1997. 28. PREVAL. Informe del Taller de Interaprendizaje para Consultores PREVAL, 2005. 29. PREVAL. Informe de taller Pautas para la elaboración de la guía en desarrollo de capacidades en seguimiento y evaluación. Febrero 2006. 30. PREVAL. Plan estratégico de PREVAL III. 2006. 31. PREVAL. Proceso metodológico de construcción del sistema de planificación, seguimiento y autoevaluación campesina a través de los mapas parlantes – Caso MARENASS (Perú). www.preval.org, Sección Buenas Prácticas. 32. Red Venezolana de Facilitadores. Qué significa facilitar. 33. TNC, Autoevaluación institucional – una herramienta para el fortalecimiento de organizaciones sin fines de lucro. 2001. 34. Watson, David. Embracing innovative practice. http//www.capacity.org/en/layout/set/print/content/view/full/1904. Capacity.org, 2007. 35. Witkin, Belle; Altschuld James. Planning and conducting needs assessments – a practical guide. Sage Publications, 1995. 42 GUIA PARA EL DESARROLLO DE CAPACIDADES Anexo N° 2: Infografía sobre Sistemas de Seguimiento y Evaluación 43 GUIA PARA EL DESARROLLO DE CAPACIDADES Anexo N° 3: Programa detallado para el Taller N°1: visión de seguimiento y evaluación y plan de trabajo Tiempo 15’ 10´ Tema Bienvenida y presentación de participantes Presentación del taller: objetivos y programa 20’- 30’ Presentación del proceso de medición y desarrollo de capacidades para el SyE. 40´- 60´ Importancia y enfoque del SyE en los programas y proyectos de desarrollo rural. 44 Detalle Por definir. Materiales Por definir. Se hace referencia a los tres objetivos que se persiguen con este evento: 1) Se reafirme el interés por participar en un proceso como el propuesto; 2) Se identifiquen los actores con la propuesta de ideal de Sistema de SyE orientado a resultados e impacto desarrollado por PREVAL, y los roles correspondientes para las organizaciones comunales, unidad de proyecto, e institución gubernamental; 3) Se precisen los aspectos a reajustar en las herramientas para la autoevaluación; 4) Se recojan los aportes de los participantes para que el Comité elabore un plan de trabajo para conducir el proceso. Se presenta el programa del evento sin las indicaciones para los facilitadores. Se definen las reglas del taller: participación activa, respeto, concentración. Se hace un repaso de los cinco pasos que comprende el proceso y las actividades que implica cada uno, absolviendo dudas. Se identifica el momento en que se encuentran en el taller. Se hace incapie en los posibles beneficios del proceso percibidos por las organizaciones participantes. Se presenta la infografía y se solicita a los participantes que respondan a las siguientes preguntas: 1) ¿Qué te llama la atención sobre este material?, 2) ¿En que medida esta visión que propone la infografía se ajusta a lo que se persigue en el proyecto/ institución?. Si el grupo es pequeño (hasta 10 personas) puede trabajarse en plenaria con lluvia de ideas. Si es más grande, Programa del taller Presentación en power point (Anexo N° 3) Infografía de PREVAL sobre Sistemas de SyE orientados hacia resultados e Impacto. GUIA PARA EL DESARROLLO DE CAPACIDADES Tiempo Tema Detalle Materiales pueden conformarse grupos de trabajo y luego en plenaria se comparten las impresiones, y se hace un recuento. Se presta especial atención cuando se señalan discrepancias con la visión, se explora el porqué de la diferencia y se analiza en conjunto. Debe haber entre los participantes una clara identificación con la visión que trae la infografía para proseguir, reconocer que eso es lo que se quiere, habiendo espacio para algunas pequeñas diferencias que se anotan. Caso contrario, se considera la posibilidad de cancelar el taller y todo el proceso por no ajustarse a las expectativas de las organizaciones participantes. 15´ 40´- 60´ Coffee break Reflexión sobre los roles Se inicia la sesión son una Cuadro N° 4: Roles esperados para cada pregunta abierta: ¿Qué se espera por actores clave actor en el SyE. que hagan ustedes en el SyE del proyecto?. Esta pregunta es común para la Unidad de Proyecto y para la Institución gubernamental que es responsable de la ejecución del proyecto. Se anotan las ideas en un papelógrafo. Luego se divide a los participantes en grupos (se trabaja en plenaria si hay pocos participantes) y se les pide que den lectura individual o colectiva al cuadro sobre roles. Se les pide que reflexionen sobre lo siguiente empezando por el rol que les compete: ¿En qué medida estos roles son apropiados para mí?. Luego se hace el mismo análisis para los otros dos actores que se mencionan en el cuadro. Se toma nota y sintentiza en plenaria sobre las reflexiones, comparando con las respuestas anteriores. Se recalca que la infografía y el cuadro de roles son la base para la medición propuesta en la guía, por lo que es condición la 45 GUIA PARA EL DESARROLLO DE CAPACIDADES Tiempo Tema Detalle Materiales identificación con la mayoría de los aspectos mencionados. Se registran las diferencias en relación a los roles. 30’ – 40’ El plan de trabajo 20’ Siguientes pasos compromisos 10´ Cierre del taller Se discute en plenaria sobre los Por definir. siguientes aspectos: Definición de objetivos del proceso y resultados esperados (¿por qué y para qué se hace?). Discusión y acuerdos sobre la metodología (¿cómo se va a recolectar la información?¿solo la autoevaluación?). Precisión de actividades y cronograma (¿cuándo y cómo se va a hacer?). Estimación de recursos técnicos, financieros y organizacionales necesarios y disponibles (¿con qué recursos se cuenta?). Se precisa quienes van a culminar Por definir. con el plan de trabajo, y como se va a difundir. Se agradece la participación y se Por definir. despide a los participantes. 46 y GUIA PARA EL DESARROLLO DE CAPACIDADES Anexo N° 4: Ejemplo de matriz de evaluación (Basada en la herramienta de Unidad de Proyecto) ASPECTO A MEDIR 2. Capacidad Operativa 2.1. Existen en la Unidad de Proyecto (UP) recursos materiales y financieros disponibles para el cumplimiento del plan de seguimiento y evaluación (SyE). 2.2. UP cuenta con personal capacitado en aspectos técnicos (técnicas cualitativas y cuantitativas, recolección y procesamiento, manejo de bases de datos, etc.) y metodologías innovativas (evaluación por imágenes, mapeo de actores, etc.) de SyE. 2.3. UP cuenta con personal preparado en metodologías participativas de capacitación de adultos, y en gestión del conocimiento y aprendizaje en organizaciones. 2.4. UP tiene políticas de capacitación continua en SyE. 47 VARIABLES Revisión fuentes secundarias METODOLOGIA Entrevistas individuales Autoevaluación de capacidades Presupuesto asignado para actividades de SyE Personal asignado para actividades de SyE X (presupuesto, organigrama, descripción de funciones) X (directivos, responsables área administrativa, área programática) X Perfil de personal involucrado en actividades de SyE Experiencias institucionales utilizando metodologías innovativas de SyE X (CVs, informes de estudios y actividades) X (responsables área programática, recursos humanos, equipos técnicos) X Perfil de personal involucrado en actividades de SyE Experiencias institucionales utilizando metodologías de capacitación de adultos y gestión de conocimiento X (CVs, informes de estudios y actividades) X (responsables área programática, recursos humanos, equipos técnicos) X Políticas institucionales sobre capacitación y SyE X (plan estratégico, documentos sobre políticas institucionales, planes de capacitación) X (directivos, responsables área programática, recursos humanos) X GUIA PARA EL DESARROLLO DE CAPACIDADES Anexo N° 5: Programa detallado para el Taller N°2: Autoevaluación Tiempo 10’ 10´ Tema Bienvenida y presentación de participantes Presentación del taller: objetivos y programa 15’ Presentación de herramienta autoevaluación y calificación la de su 1h Aplicación herramienta la 15´ 2h Coffee break Aplicación de herramienta (continuación Siguientes pasos compromisos 15’ 10´ 48 Cierre del taller de Detalle Por definir. Materiales Por definir. Se recuerda a los participantes el motivo de la convocatoria: un ejercicio de autoevaluación de capacidades para el Seguimiento y Evaluación. También se les recuerda los objetivos que persigue la organización al realizarlo. Se retoman las características generales del proceso de medición y desarrollo de capacidades evaluativas, y dónde se ubica la autoevaluación. Luego se verifica la presencia de representantes de las diferentes áreas y niveles de la organización, no más de 20 personas. Se definen las reglas del taller: participación activa, respeto, concentración. Se entrega a los participantes la herramienta de autoevaluación, indicando dónde van a colocar sus respuestas. Se explica cómo se va a aplicar: conversación enfocada y calificación. Se hace incapié en que las respuestas son anónimas, y que si por algún motivo debe salir algún participante por un momento, no califica esa parte. Se absuelven dudas sobre la calificación y el proceso en general. Puede desarrollarse como ejemplo uno de los ítems de la herramienta. Esta se realiza según las indicaciones provistas en la Tercera Parte de la Guía para la medición y desarrollo de capacidades para el seguimiento y evaluación Programa del taller Diagrama N° 3: proceso de medición y desarrollo de capacidades en seguimiento y evaluación. Herramienta autoevaluación respectiva de Indicaciones de aplicación de herramienta la la la y Se precisa quienes y cómo van a procesar Por definir. la información de la autoevaluación, cómo se va a presentar los hallazgos, y se recuerda para qué es útil este esfuerzo. Se acuerdan fechas para los próximos talleres. Se agradece la participación y se despide Por definir. a los participantes. GUIA PARA EL DESARROLLO DE CAPACIDADES Anexo N° 6: Ejemplo de reporte individual Autoevaluación de capacidades para el Seguimiento y Evaluación de la Institución Gubernamental CELADES Reporte de resultados Nota: Este es un ejemplo simplificado elaborado con un caso ficticio. Se asume que la Institución Gubernamental CELADES trabaja en la línea de desarrollo rural. Tiene a su cargo varios proyectos pero ha decidido enfocar la autoevaluación alrededor de uno de ellos, el proyecto FIDES. Todos los participantes de este taller tienen alguna relación con este proyecto. Fecha y hora de la aplicación: Martes 18 de Octubre del 2008, de 9:00 a.m. a 12:00 pm. Participantes: 1. Sofía Rivera, Coordinadora del Área de Cadenas Productivas 2. Sergio Piérola, Coordinador del Área de Comercialización 3. Elmer Figueroa, Jefe Técnico de la región sur 4. Alma Suárez, Administradora de CELADES 5. Erika Contreras, Directora del Área de Desarrollo Rural 6. Ignacio Silva, Especialista de Planificación y Evaluación de CELADES 7. Jorge Centeno, Especialista en Capacitación de CELADES 8. Ofelia Luna, Jefa Técnica de la región centro Facilitadores: Juan Ramos Martina Buendía Resultados: El diagrama y tabla que se presentan a continuación resumen los hallazgos de la autoevaluación. 2.6 1.5 3.9 Capacidad baja (promedio entre 1.00 y 2.00) Capacidad media (promedio entre 2.10 y 3.90) Capacidad alta (promedio entre 4.00 y 5.00) 49 GUIA PARA EL DESARROLLO DE CAPACIDADES Cuadro de Síntesis AREAS DE CAPACIDAD 1. Gestión participativa del desarrollo 1.1. Institución gubernamental (IG) está comprometida con una visión de desarrollo donde la comunidad es el eje y la UP es el facilitador de los cambios. 1.2. El seguimiento y evaluación (SyE) es reconocido como prioridad estratégica en la gestión del proyecto y organización. NIVEL DE CAPACIDAD PROMEDIO 2.6 El rol de facilitación se comparte con otros actores, que también están presentes en las regiones. 4 3 1.3. IG reconoce el valor de la teoría del cambio de un proyecto y puede explicitar y mostrar a partir de éste resultados e impactos claros. 1.4. Con el apoyo de UP, la IG puede identificar y analizar sus capacidades en SyE. 1.5. IG comprende conceptos generales sobre un plan de SyE participativo y se siente capaz de aportar. 1.6. En IG la planificación, SyE se articulan como un sistema integrado. 2. Operativa 2.1. IG asigna recursos materiales y financieros para el cumplimiento del plan de SyE. 2.2. IG cuenta con personal capacitado en aspectos técnicos (técnicas cualitativas y cuantitativas, recolección y 50 Se ha avanzado en el desarrollo de instrumentos. Los coordinadores de cada área velan porque exista el seguimiento y evaluación, y la población demanda esta función. Existen documentos estratégicos donde el tema se releva. Aún se ha hecho muy poco por probar el impacto de los proyectos, se esta comenzando. 1 No tienen esta capacidad los de la UP ni la IG. 1 3 4 1.7. IG cuenta con conocimientos y habilidades para la facilitación del consenso, negociación y diálogo, y participación equitativa de los actores. 1.8. IG está bien dispuesto a involucrar activamente a otros actores clave en la gestión de proyectos. 1.9. IG conoce de mecanismos establecidos en el proyecto para dar retroalimentación sobre la gestión del proyecto y el SyE. JUSTIFICACION del nivel de capacidad con evidencias Si a nivel directivo y técnico, falta más trabajo a nivel administrativo, se está tratando de involucrarlos en el contacto con los proyectos. Si está articulado, se usa la experiencia práctica, la información del SyE alimenta la toma de decisiones, se comparte en las reuniones institucionales. Si se tiene esa capacidad, porque se trabaja activamente en la comunidad. 2 Si están considerados bajo la filosofía y políticas de la institución. 3 En proceso de construcción, buscando empatar mejor el sistema de la institución y del proyecto. 2 3.9 5 3 Se aportan recursos de contrapartida por US$ 2.0 millones, con un porcentaje (no conocido) en seguimiento y evaluación. Es un proceso nuevo, recién se ha incorporado una persona que es buena con la parte cuantitativa. Hay otros miembros del equipo que saben de técnicas cuantitativas. GUIA PARA EL DESARROLLO DE CAPACIDADES AREAS DE CAPACIDAD procesamiento, manejo de bases de datos, etc.) y metodologías innovativas (evaluación por imágenes, mapeo de actores, etc.) de SyE. 2.3. IG cuenta con personal preparado en metodologías participativas de capacitación de adultos, y en gestión del conocimiento y aprendizaje en organizaciones. 2.4. IG tiene políticas de capacitación continua en SyE. NIVEL DE CAPACIDAD PROMEDIO JUSTIFICACION del nivel de capacidad con evidencias Si, porque se tiene un especialista en capacitación que apoya a todo el equipo. En gestión de conocimiento, se busca compartir lecciones aprendidas en las reuniones de trabajo. 3 Se realizan actividades de capacitación que se deciden en las reuniones anuales, entre ellas las referidas a SyE, pero no son políticas. 3 2.5. La estructura organizacional de la IG designa responsables y funciones para el SyE. 2.6. El SyE es percibido como un trabajo en equipo de toda la IG, no solo de especialistas en SyE. 2.7. La IG tiene recursos especializados (herramientas, libros, cursos, sitios web, bases de datos, etc.) sobre SyE accesibles para el personal involucrado y otros actores clave. 3. Aprendizaje 3.1. El personal de la IG maneja técnicas de comunicación y difusión apropiadas según tipos de audiencia. Se ha incorporado recientemente. 4 Todos participan y semanalmente dan informes de seguimiento. La evaluación de impactos está en proceso. Se tienen algunos libros, y el responsable de SyE ha mandado algunos textos para leer. Hay una biblioteca en la institución y la visita gente de fuera. 4 1.5 Tema sensible, falta determinar canales adecuados y formas de comunicación con actores, no hay una estrategia de comunicación, se basan en ocurrencias de los técnicos. Hay reuniones, también espacios (2-3 veces al año) para capacitarse en un tema de interés común. Se tienen boletines. 2 En las reuniones de trabajo se comparte las experiencias, pero eso depende de cada uno. 2 2 1 3.6. La IG respalda la institucionalización y amplia difusión de mejores prácticas entre la institución y actores clave. 1 51 persona 5 1 3.2. En la IG se cuentan con espacios institucionales (eventos, ambientes, boletines, sistematización, políticas, etc.) donde se promueve el aprendizaje interno y externo. 3.3. Se incentiva en la IG la escucha activa, reflexión e intercambio de aprendizajes. 3.4. IG precisa cómo la información del SyE retroalimenta la planificación (estratégica y operativa) y otras decisiones. 3.5. Se relaciona en la IG la información generada por el SyE con argumentos para la incidencia. una No siempre, muchas veces se solicita información que no se sabe para que es y no se utiliza, representa un costo para el personal prepararla. La información se utiliza poco para incidencia de política, el técnico solo conoce lo que maneja de su proyecto en particular y no para que lo usan los directivos. Sobre las buenas prácticas se promueven en las reuniones, aunque no está sistemáticamente registrado. No necesariamente se incorporan en la institución. GUIA PARA EL DESARROLLO DE CAPACIDADES Comentarios De manera general, se observa que CELADES tiene algunos avances y se encuentra aún en proceso. Su promedio general de 2.7 es coherente con esta figura. El promedio de las calificaciones otorgadas por los participantes en la capacidad de Aprendizaje es notoriamente menor que el registrado en las otras dos áreas de capacidad. La capacidad Operativa es la que aparece como más fuertemente consolidada en CELADES, y en medio se encuentra la capacidad de Gestión Participativa de Desarrollo. Al entrar en el detalle de cada capacidad, se nota que los promedios en la capacidad de Aprendizaje son homogéneamente bajos, entre 1 y 2. Esto crea cierto acuerdo de que es un área débil de la institución, panorama que puede ser propicio para priorizar alguna intervención de desarrollo de capacidades apuntando en este sentido, aunque tomando nota que el tema de manejo de técnicas de información y comunicación según audiencias es sensible por algún motivo que no salió en la autoevaluación. Habría que explorar más la situación y analizar la pertinencia de abordarlo en este momento. Lo contrario se observa en la capacidad Gestión Participativa de Desarrollo, donde hay variaciones importantes en los puntajes promedio, siendo los más bajos aquellos referidos al manejo de teorías de cambio para probar el impacto, y a la identificación y análisis de capacidades para el SyE. De estos dos aspectos, el de medición del impacto aparece con un tono de urgencia. Cabe destacar cierto desfase entre los puntajes promedio de los ítems 1.7 y 1.8 referidos a la promoción de la participación y manejo de instrumentos para hacerlo, los comentarios son más positivos que los puntajes promedio asignados. Según los puntajes observados y la discusión generada durante la autoevaluación, la intención de promover intervenciones con una alta participación de la comunidad está expuesta, pero falta mejorar los mecanismos para hacer realidad este mandato. La capacidad Operativa, donde la institución se siente más fuerte, está en este momento en proceso de consolidación porque hay una nueva persona en ese puesto. Los puntajes promedio parecen reflejar más que la situación actual la situación esperada en un futuro que se visualiza como cercano. Adicionalmente, se ha identificado cierta divergencia de mirada en cuanto a la articulación entre los sistemas de planificación y evaluación. Mientras el promedio del ítem 1.6 señala un enlace importantemente positivo, el correspondiente al 3.4 hace un llamado crítico sobre el uso que se da a la información proveniente del SyE para la mejora institucional. 52 GUIA PARA EL DESARROLLO DE CAPACIDADES Anexo N° 7: Programa detallado para el taller N° 3: discusión de hallazgos y planificación por actor Tiempo 10’ 10´ 1h 20’ 15´ 1h 30’ Tema Bienvenida y presentación de participantes Presentación del taller: objetivos y programa Detalle Por definir. Se recuerda a los participantes el motivo de la convocatoria: 1) compartir y analizar los hallazgos de la autoevaluación de capacidades para el Seguimiento y Evaluación y 2) acordar algunas medidas para desarrollar capacidades en esa línea. Se retoman las características generales del proceso de medición y desarrollo de capacidades evaluativas, y dónde se ubica el Taller N° 3. Se definen las reglas del taller: participación activa, respeto, concentración. Se recuerda lo que persigue la organización con esta iniciativa. Presentación y análisis de Se hace una presentación de 30 minutos los hallazgos de la sobre los principales aspectos generales y autoevaluación específicos sobre la autoevaluación. Se tiene un apoyo visual. Puede también compartirse el reporte individual preparado y hacerse una lectura colectiva. Se pide a los participantes primero realizar preguntas aclaratorias (20 minutos). Luego se da pase a los comentarios y análisis, intentando comprender los hallazgos, y destacando la brecha que existe entre la situación ideal y la encontrada. Esta secuencia puede también trabajarse en grupos y reportar las reflexiones en plenaria (40 minutos). Coffee break Plan de acción Se organizan grupos por áreas de capacidad. Se pide a cada grupo que profundice su análisis en lo que se puede hacer para fortalecer las capacidades en esa área (40). El esquema de trabajo para el plan comprende los siguientes puntos: Definición de objetivos del plan de desarrollo de capacidades y resultados esperados (¿por qué y para qué se hace?). Discusión y acuerdos sobre las modalidades (¿cómo se van a fortalecer las capacidades?). Precisión de actividades y 53 Materiales Por definir. Programa taller Diagrama N° proceso medición desarrollo capacidades seguimiento evaluación. del 3: de y de en y Reporte de autoevaluación Presentación preparada para la ocasión GUIA PARA EL DESARROLLO DE CAPACIDADES Tiempo Tema Detalle 15’ Siguientes pasos compromisos 10´ Cierre del taller 54 y Materiales cronograma (¿cuándo y cómo se va a hacer?). Estimación de recursos técnicos, financieros y organizacionales necesarios y disponibles (¿con qué recursos se cuenta?). Se comparte en plenaria las propuestas y toma decisiones preliminares al respecto (50 minutos). Se precisa quienes y cómo se va a Por definir. consolidar el plan de acción, y cómo se van a tomar las decisiones sobre ese asunto. Se recuerdan lo que sigue después de ese taller y se define una fecha para el cuarto y último taller, así como los que participarán en él. Se agradece la participación y se despide Por definir. a los participantes. GUIA PARA EL DESARROLLO DE CAPACIDADES Anexo N° 8: Ejemplo de plan de acción para el desarrollo de capacidades Plan de Acción para el Desarrollo de Capacidades en Seguimiento y Evaluación de la Institución Gubernamental CELADES y Proyecto FIDES Año 2009 Nota: Este es un ejemplo simplificado elaborado con un caso ficticio, el mismo que el del ejemplo de reporte individual. Para comprenderlo hay que tomar en cuenta estos supuestos a tomar: 1) La Institución Gubernamental CELADES trabaja en la línea de desarrollo rural. Tiene a su cargo varios proyectos pero ha decidido enfocar el fortalecimiento de capacidades en seguimiento y evaluación en uno de ellos, el proyecto FIDES. 2) Ambos han pasado por un ejercicio de autoevaluación de capacidades siguiendo las indicaciones de esta guía, 3) Este es un plan tentativo, aún sujeto a aprobación, que se basa en la autoevaluación. Antecedentes: La Institución Gubernamental CELADES y uno de sus principales proyectos, FIDES, han realizado cada uno de ellos una autoevaluación de sus capacidades evaluativas, siguiendo las pautas desarrolladas por PREVAL para este fin. Parte del proceso comprende a partir de los hallazgos la identificación de puntos de interés afines y la formulación de propuestas de intervención para un plan de acción conjunto en los aspectos priorizados. En este caso, CELADES y FIDES coincidieron en la urgencia de demostrar el impacto de FIDES, ya que éste se encuentra en el tramo final y se avecinan las negociaciones para su posible continuidad. Este plan es el resultado de los acuerdos surgidos al respecto durante el taller de planificación conjunta realizado el 3 de Noviembre del 2008, y del afinamiento posterior realizado por el Comité ad hoc creado para la medición y desarrollo de capacidades en seguimiento y evaluación de ambas instancias. Si bien el foco de la intervención en desarrollo de capacidades se encuentra en la relación entre CELADES y FIDES, se entiende que los beneficios trascienden y alcanzan a CELADES y otros proyectos administrados por la institución. El plan comprende las propuestas para el año 2009. Se prevé un análisis de esta experiencia hacia fines del 2009 para proponer un nuevo plan subsiguiente. Objetivo del plan: General: Orientar el desarrollo de capacidades en CELADES y FIDES para realizar el seguimiento y evaluación de manera participativa y empoderadora. 55 GUIA PARA EL DESARROLLO DE CAPACIDADES Específico: Proponer algunas estrategias para el desarrollo de capacidades evaluativas en CELADES y FIDES. Plantear actividades para fortalecer las capacidades para el seguimiento y evaluación en CELADES y FIDES de manera conjunta. Estrategias propuestas: Se contaría con un Comité que organice y conduzca el desarrollo de capacidades evaluativas, ya sea reafirmando el anterior, recomponiéndolo, o conformando uno nuevo. Se sugiere que esté compuesto por los interesados en incorporar el seguimiento y evaluación participativo y empoderador dentro de CELADES y FIDES. Ante la ausencia de un presupuesto especialmente asignado para el desarrollo de capacidades evaluativas, se identificaría en el plan operativo de FIDES para el 2009, aquellas actividades relacionadas con el seguimiento y evaluación que puedan contribuir con la prioridad establecida, la medición de impacto. Se aseguraría que se generen oportunidades de aprendizaje para CELADES y FIDES al ejecutar dichas actividades. Puede preverse por ejemplo la sistematización de cómo se llevó a cabo el plan de desarrollo de capacidades, fomentar en paralelo grupos de interés sobre temas específicos, promover la revisión de pares sobre situaciones peculiares dentro del desarrollo de capacidades, incluir un espacio de reflexión rápida para identificar lecciones aprendidas luego de la ejecución de actividades clave, involucrar a varios integrantes de la institución en momentos oportunos, etc. Se daría especial atención a tres aspectos débiles identificados por la autoevaluación: la representación de la teoría de cambio (capacidad de gestión participativa de desarrollo), el uso de metodologías cualitativas e innovativas para el seguimiento y evaluación (capacidad operativa), la comunicación y uso de la información del seguimiento y evaluación según audiencias (capacidad de aprendizaje). Se aprovecharía la fortaleza identificada en metodologías cuantitativas. Se involucraría al principal donante de FIDES (HDS) en el desarrollo del plan de desarrollo de capacidades, e incluso si acepta, en el Comité a cargo de este proceso. Se le plantearía apoyar la contratación de un especialista en seguimiento y evaluación con fuertes habilidades en facilitación y aprendizaje, para asesorar el proceso. Podría además explorarse que otros actores estarían interesados en reforzar las capacidades para medir el impacto en FIDES y CELADES o en el estudio mismo, para conseguir recursos complementarios. Los involucrados en la promoción de capacidades evaluativas dentro de CELADES tendrían una participación activa en las actividades planteadas en este plan, y acompañarían cercanamente a FIDES. 56 GUIA PARA EL DESARROLLO DE CAPACIDADES Actividades y cronograma: Actividades Tema: Evaluación de impacto Selección de Asesor Externo Responsables Comité de Desarrollo de Capacidades en Seguimiento y Evaluación Capacitación en teorías de Asesor externo/ cambio y evaluación de Especialista en impacto a todos los capacitación de involucrados. CELADES/ Especialistas en seguimiento y evaluación de CELADES y FIDES Reconstrucción de la teoría Asesor externo/ de cambio en FIDES. Especialistas en seguimiento y evaluación de CELADES y FIDES Definición de preguntas de Comité de Desarrollo de evaluación y usos de los Capacidades en hallazgos del estudio. Seguimiento y Evaluación Asesor externo/ Especialistas en seguimiento y evaluación de CELADES y FIDES/ Directivos de CELADES y FIDES Diseño del estudio Asesor externo/ (variables, metodología, Especialistas en muestra, responsables, seguimiento y cronograma, etc.) evaluación de CELADES y FIDES Implementación del Asesor externo/ estudio Especialistas en seguimiento y evaluación de CELADES y FIDES Análisis e interpretación Comité de Desarrollo de de hallazgos. Capacidades en Seguimiento y Evaluación Asesor externo/ Especialistas en seguimiento y 57 Año 2009 Trim1 Trim2 Trim3 Trim4 X X X X X X X GUIA PARA EL DESARROLLO DE CAPACIDADES Actividades Sistematización del proceso Difusión de hallazgos. Toma de decisiones relacionadas con el estudio. Responsables evaluación de CELADES y FIDES/ Directivos de CELADES y FIDES Asesor externo/ Especialistas en seguimiento y evaluación de CELADES y FIDES Comité de Desarrollo de Capacidades en Seguimiento y Evaluación/ Directivos de CELADES y FIDES Comité de Desarrollo de Capacidades en Seguimiento y Evaluación/ Directivos de CELADES y FIDES Año 2009 X X X Recursos disponibles: Las actividades comprendidas en el plan operativo 2009 de FIDES se encuentran financiadas. De manera adicional, CELADES podría aportar con $5,000 de su presupuesto para seguimiento y evaluación, y pone a disposición las instalaciones y equipos institucionales para el desarrollo de las actividades previstas. Esta pendiente la exploración de recursos adicionales por parte del donante principal de FIDES. 58 GUIA PARA EL DESARROLLO DE CAPACIDADES Anexo N° 9: Programa detallado para el taller N° 4: planificación conjunta Tiempo 10’ 10´ 1h 20’ 15´ 1h 30’ Tema Bienvenida y presentación de participantes Presentación del taller: objetivos y programa Detalle Por definir. Se recuerda a los participantes el motivo de la convocatoria: 1) compartir y analizar los hallazgos de la autoevaluación de capacidades para el Seguimiento y Evaluación y 2) acordar algunas medidas para desarrollar capacidades de manera conjunta. Se retoman las características generales del proceso de medición y desarrollo de capacidades evaluativas, y dónde se ubica el Taller N° 4. Se definen las reglas del taller: participación activa, respeto, concentración. Se recuerda lo que persigue la organización con esta iniciativa. Presentación y análisis de Se hace una presentación de 40 minutos los hallazgos de la sobre los principales aspectos generales y autoevaluación específicos sobre la autoevaluación, comparando afinidades y diferencias entre la Unidad de Proyecto e Institución Gubernamental. Se evita entrar en detalles que puedan poner en situación incómoda a algunos de los actores. Se tiene un apoyo visual. Se pide a los participantes primero realizar preguntas aclaratorias (20 minutos). Luego se da pase a los comentarios y análisis, intentando comprender los hallazgos, y destacando la brecha que existe entre la situación ideal y la encontrada en la relación entre ambos actores. Esta secuencia puede también trabajarse en grupos y reportar las reflexiones en plenaria (40 minutos). Coffee break Plan de acción Se presentan primero los puntos en Programa del taller Diagrama N° 3: proceso de medición y desarrollo de capacidades en seguimiento y evaluación. Presentación preparada para ocasión la Presentación que tanto la Unidad de Proyecto como preparada para la Institución Gubernamental han ocasión la coincidido. Luego a modo general los aspectos en que se diferencian. Se revisa y acuerdan las acciones que se van a realizar de manera conjunta (30 minutos). Seguidamente en grupos mixtos se distribuyen las actividades y se pide desarrollar los siguientes aspectos (30 minutos): 59 Materiales Por definir. GUIA PARA EL DESARROLLO DE CAPACIDADES Tiempo Tema Detalle 15’ Siguientes pasos compromisos 10´ Cierre del taller 60 y Materiales Definición de objetivos del plan de desarrollo de capacidades y resultados esperados (¿por qué y para qué se hace?). Discusión y acuerdos sobre las modalidades (¿cómo se van a fortalecer las capacidades?). Precisión de actividades y cronograma (¿cuándo y cómo se va a hacer?). Estimación de recursos técnicos, financieros y organizacionales necesarios y disponibles (¿con qué recursos se cuenta?). Se comparte en plenaria las propuestas y toma decisiones preliminares al respecto (30 minutos). Se precisa quienes y cómo se va a Por definir. consolidar el plan de acción conjunto, y cómo se van a tomar las decisiones sobre ese asunto. Se recuerdan lo que sigue después de ese taller y se define una fecha para tener listo el plan, así como los que colaborarán en él. Se agradece la participación y se despide Por definir. a los participantes.