Fall Guía de Monitoreo, Evaluación y Planificación Integral Un manual para el monitoreo y evaluación de proyectos de investigación y desarrollo financiados por el Programa Colaborativo de Investigación de Cultivos de la Fundación McKnight 08 Índice Sección I: Introducción al MEPI....................................................................................4 Cómo el MEPI ayuda a medir un cambio complejo......................................................................... 6 La importancia de la colaboración en el MEPI ................................................................................ 7 Énfasis en el monitoreo y evaluación .............................................................................................. 9 Sección II: Documentos del Proyecto MEPI ................................................................ 10 ¿Qué es una Teoría del Cambio? ................................................................................................... 10 Componentes básicos de una TDC ................................................................................................ 11 Plan de M&E .................................................................................................................................. 15 Contribución vs. Atribución ........................................................................................................... 19 Rigor, credibilidad, utilidad y público ............................................................................................ 19 Líneas de base y diagnósticos........................................................................................................ 21 Plan de Trabajo .............................................................................................................................. 21 Sección III: Momentos clave del MEPI ....................................................................... 28 Período de arranque...................................................................................................................... 28 Revisión de medio año .................................................................................................................. 28 Reunión de la Comunidad de Práctica (CoP) ................................................................................. 29 Anexo A: Sugerencias para facilitar una sesión de lluvia de ideas sobre una Teoría del Cambio ........................................................................................................... Error! Bookmark not defined. Anexo B: Formato de monitoreo y evaluación para el CCRP ........................................................ 31 Anexo C: Plantilla del Plan de Trabajo ........................................................................................... 32 Anexo D: Protocolo para la investigación de evaluación .............................................................. 33 Anexo E: Lista de revisión para el monitoreo del Proyecto .......................................................... 34 MANUAL DEL MEPI JULIO DE 2013 2 Introducción a la Guía La presente guía tiene la intención de orientar a los equipos de los proyectos en el proceso de monitoreo, evaluación y planificación integral (MEPI) del Programa Colaborativo de Investigación de Cultivos (CCRP) de la Fundación McKnight (FM). La guía define el monitoreo, evaluación y planificación integral del CCRP; explica la teoría detrás del enfoque; e indica cómo los equipos de los proyectos usan el MEPI, incluyendo los documentos que los equipos de los proyectos producen como parte del proceso. Este es uno de los varios recursos del CCRP disponible para apoyar un trabajo eficiente y efectivo de los equipos de los proyectos y los equipos regionales. MANUAL DEL MEPI JULIO DE 2013 3 Sección I: Introducción al MEPI El MEPI es el proceso de Monitoreo, Evaluación y Planificación Integral diseñado por el equipo del Programa Colaborativo de Investigación de Cultivos (CCRP). Es un marco para aprendizaje continuo que no solo permite a los equipos de los proyectos medir sus resultados, sino también analizar su impacto, aplicar sus hallazgos en la planificación y comprender cómo sus actividades contribuyen al progreso de los objetivos del proyecto y del CCRP. Como muestra la figura 1, el MEPI brinda un marco para recopilar datos, analizarlos para producir “evidencia” y usarlos para apoyar el aprendizaje y planificación iterativo dentro de y entre los proyectos, región y programa en general. También brinda un marco para generar pruebas de cómo ocurren los cambios y cómo se podrían adaptados y usados a una mayor escala. MANUAL DEL MEPI JULIO DE 2013 4 Figura 1: Proceso del MEPI En última instancia, los resultados de la evaluación generados a través del MEPI, al igual que la evidencia científica generada a través de los proyectos de la CCRP normalmente ayudan a documentar un desarrollo basado en pruebas, que contribuye a que todos tengan acceso a comida nutritiva en gran medida producida a nivel local. Específicamente, al comprender el MANUAL DEL MEPI JULIO DE 2013 5 contexto local y utilizar los conocimientos existentes antes de diseñar las intervenciones, los equipos de los proyectos incrementan las oportunidades de hacer más efectivo al proyecto porque los beneficiarios estarán interesados y participar en el desarrollo de los productos. Es probable que el proyecto sea más eficiente porque las intervenciones serán aplicables a un contexto en particular y no duplicarán a otras. Igualmente, al involucrarse en un ciclo de intervenciones de medición y análisis, los equipos de los proyectos son capaces de mejorar continuamente sus intervenciones, en lugar de basarlas en tendencias o suposiciones. En términos de las ventajas que van más allá de los objetivos específicos de un proyecto y a las organizaciones de implementación, la evaluadora Joanne Carman destaca que entre los beneficios de la evaluación está ayudar a las organizaciones “a lograr que sus acciones e intenciones sean más estratégicas y deliberadas; a manejar el personal y los recursos de manera más efectiva; a fortalecer el financiamiento y apoyo; y a crear relaciones más fuertes con sus actores comunitarios y socios”.1 Cómo el MEPI ayuda a medir un cambio complejo A fin de elaborar los bienes, servicios y ideas que la gente necesita y usa, se debe entender el contexto en donde ocurre el cambio. La investigación y desarrollo agrícola tiende a ser un proceso social complejo. El cambio ocurre a través de la interacción y adaptación de la innovación social y técnica entre agricultores, mercados, institutos de investigación, eTdC. La mayoría de problemas en la investigación agrícola forma parte de una "esfera total de problemas de planificación social que no pueden manejarse con éxito con enfoques lineales, analíticos tradicionales".2 Debido a la naturaleza no lineal e interrelacionada de la investigación y desarrollo agrícolas, el CCRP usa un enfoque de sistemas que toma en cuenta las relaciones entre un amplio rango de componentes, de biofísicos a sociales y estructurales. El MEPI está diseñado a ayudar a los equipos de los proyectos, regiones y programa a comprender la complejidad del cambio sin perder de vista el objetivo final y sin sacrificar el rigor ni la rendición de cuentas. El centro del enfoque del MEPI es comprender cómo y por qué sucede el cambio y hasta qué punto se puede influir en las intervenciones como para generar un cambio mayor con un mejor uso de recursos. A nivel práctico, el MEPI ayuda a los equipos de los proyectos a encontrar estos puntos enfocados de influencia y recoger los datos más relevantes. Este proceso ayuda a los equipos de los proyectos, regiones y programa a comprender el verdadero impacto del trabajo y a evitar la sobresaturación o desviación de información intrusa. Carman, 2011; Carman & Fredericks, 2008 citado en Carman’s “Evaluation in an era of accountability”, AJE, 2013, 34(2)-261-265. 1 2"Tackling Wicked Problems: A Public Policy Perspective”, gobierno australiano, Comisión de Servicio Público de Australia. 2007. MANUAL DEL MEPI JULIO DE 2013 6 La importancia de la colaboración en el MEPI En las organizaciones, los equipos de los proyectos a menudo realizan actividades de M&E con el fin de compartir los resultados con los actores, pero “Los aspectos clave del pensamiento por estos (ya sean donantes, contribuyentes u otros) sistemas están logrando una visión más generalmente no colaboran con las actividades de M&E. amplia y están tomando en cuenta las En algunas situaciones, esto es apropiado, en particular perspectivas de otra gente sobre un problema o situación. La capacidad de un si el problema en cuestión puede ser resuelto con un individuo de captar una visión más amplia enfoque lineal. o una perspectiva diferente generalmente no está constreñida a la falta de información. Las restricciones básicas generalmente bloquean el pensamiento individual y las suposiciones que se hacen – las cuales casi siempre resultan desconocidas para el individuo”. -Jake Chapman citado en UtilizationFocused Evaluation Sin embargo, muchos de los problemas que enfrentan los equipos de los proyectos a través el financiamiento de la CCRP son complejos y, por su naturaleza, requieren colaboración para llegar a significados más profundos a través de varias perspectivas.3 Diferentes actores con diferentes perspectivas, experiencias, redes y recursos aportan información sobre cualquier tema que un grupo o grupos que trabajen de manera aislada nunca podrían obtener. Los conocimientos y creatividad colectiva pueden ayudar a abordar un problema o lograr un cambio que sería imposible de otra manera. La colaboración también es esencial para mejorar la adaptación o ampliar el impacto de las innovaciones. Es más probable que varios actores que representen a diferentes contribuyentes tengan los recursos financieros o humanos, conexiones con las personas que elaboran las políticas y relaciones con las comunidades o consumidores para facilitar la comunicación entre grandes cantidades de agricultores o instituciones para que las nuevas tecnologías o métodos puedan inspirarlos e influenciarlos. La comunicación y la colaboración aceleran mucho la innovación.4 Más importante aún, debido a que el MEPI se enfoca principalmente en el aprendizaje, la reflexión y la incorporación del aprendizaje al mejoramiento continuo y planificación; todos deben ser parte del proceso del MEPI: desde los investigadores a los especialistas en M&E y beneficiarios. Esta participación es necesaria para tomar decisiones sobre qué bienes y servicios se deben proveer, cómo vincular y apoyar el desarrollo de las comunidades y redes, y cómo aprovechar oportunidades importantes, pero a menudo fugaces, de contribuir a la sociedad. Por lo tanto, la colaboración entre los equipos de los proyectos y los diferentes actores no es un elemento adicional del MEPI, sino es esencial para su funcionamiento (figura 2). 3 Cousins Whitmore y Shula (2012) “Arguments for a Common Set of Principles for Collaborative Inquiry in Evaluation” American Journal of Evaluation 34 (1)_ 7-22. 4 Scientific American, marzo 2013, pg. 39: “Ejemplos sorprendentemente precoces de la inventiva tecnológica y artística indican que la creatividad human se redujo durante cientos de miles de años antes de llegar al punto de ebullición hace alrededor de 90.000 a 60.000 años en África y hace 40.000 años en Europa. Aparentemente, factores sociales, entre los cuales está el crecimiento poblacional, incrementaron los poderes de innovación de nuestros ancestros, tanto al mejorar las posibilidades de que alguien en el grupo saliera con una tecnología innovadora, como al promover la conexión entre los grupos que les permitieron intercambiar ideas”. MANUAL DEL MEPI JULIO DE 2013 7 La CCRP cree que hay muchos atores claves para considerar en el proyecto. Más allá de los actores dentro del proyecto hay actores externos que podrían incluir los agricultores, sus familias y comunidades, institutos de investigación, consumidores, personas encargadas de elaborar políticas y otros que se espera se beneficiarán del proyecto y podrían verse afectados de otras maneras por el mismo. Todos estos grupos podrán tener conocimientos que apoyen al MEPI y, por lo tanto, se alienta a que los equipos de los proyectos colaboren con ellos en la mayor medida posible. MANUAL DEL MEPI JULIO DE 2013 8 Por supuesto, las colaboraciones crean desafíos y oportunidades únicas de M&E. Por ejemplo, la experiencia y cultura organizativa de los socios respecto al monitoreo y evaluación puede variar. Algunas organizaciones tendrán conocimiento del MEPI o enfoques similares; para otras será algo nuevo. Dado su rango de experiencia, la CCRP hace énfasis en la eficiencia y la flexibilidad: si un socio ya estuviera utilizando un enfoque integral de monitoreo y evaluación, los procesos del MEPI deberán fundirse con el enfoque existente del proyecto para evitar duplicar esfuerzos. Los miembros del equipo regional deberán estar disponibles para ayudar a los equipos de los proyectos a entender cómo usar el MEPI y facilitar estas discusiones. Énfasis en el monitoreo y evaluación Otra característica importante del MEPI es que distingue entre las actividades de monitoreo y las actividades de evaluación, y aprecia a ambas por igual. El monitoreo es esencial para saber si el proyecto está implementando su intervención de acuerdo a los planes y con base en lo que se conoce acerca de la práctica efectiva. La evaluación va un paso más allá para saber si la intervención ha tenido éxito en contribuir con un cambio positivo para los beneficiarios del proyecto y por qué o por qué no. Por ejemplo, un buen monitoreo en respuesta a una pregunta de evaluación sobre como un aumento en conocimiento lleva a un cambio en comportamiento rastreará cuántas personas asisten a las sesiones de capacitación, si los individuos objetivo asisten y cuáles son sus percepciones de las sesiones.5 En la evaluación se preguntará cómo la capacitación ha afectado los comportamientos de los participantes y si ha constituido una diferencia en sus vidas y/o la vida de los demás. Pensar sobre lo que está detrás del éxito o fracaso de un proyecto puede también ilustrar la diferencia entre el monitoreo y la evaluación. Hay dos amplias razones por las que un proyecto podría no tener éxito: 1) el proyecto no fue implementado correctamente, por ejemplo, el proyecto proponía un fitomejoramiento participativo, pero la forma en que se implementó la metodología estuvo errada y no fue realmente participativa; o, 2) las suposiciones del proyecto no fueron correctas. Por ejemplo, el proyecto propone que un mayor conocimiento de los agricultores acerca de las avispas depredadoras cambiarán el comportamiento de los agricultores, pero resulta que la hipótesis fue incorrecta. El monitoreo le ayudará a comprender la primera de estas razones; y la evaluación le ayudará a comprender la segunda. Muchas organizaciones se enfocan en el monitoreo –recopilan datos sobre las formas y el alcance con el que se han implementado las actividades y si se cumplieron las metas del proyecto. Sin embargo, no analizan de manera rutinaria si el cumplimiento de la actividad o las metas contribuyó al cambio al que querían llegar. Lo que a menudo se conoce como "M&E", frecuentemente solo es monitoreo. Mientras el monitoreo (si se lo hace en la debida forma) generará datos relevantes y confiables, también deberá realizarse la evaluación de los alcances para tener el verdadero conocimiento de los resultados del proyecto. 5 Michael Quinn Patton, Essentials of Utilization-Focused Evaluation pág 123-125 MANUAL DEL MEPI JULIO DE 2013 9 Sección II: Documentos del Proyecto MEPI En el proceso del MEPI, los equipos de los proyectos crearán y usarán tres documentos del centro de la “caja de herramientas”: La Teoría del Cambio (TDC) El Plan de M&E El Plan de Trabajo Estos documentos ayudan a los equipos de los proyectos y a los equipos regionales a mantener un ciclo continuo de planificación, monitoreo y evaluación para incorporar nuevos conocimientos y mejorar los resultados, y son requeridos por la Fundación. También ayudan a los equipos a recoger pruebas de cómo las nuevas tecnologías, métodos e ideas pueden ser ampliados en otros contextos. Finalmente, revelan las áreas en donde se puede fortalecer el MEPI en mayor medida para generar mejores perspectivas, investigaciones de mejor calidad u otros mejoramientos para actores, equipos de los proyectos y el CCRP. Es ideal que estos documentos se elaboren al final del período de arranque de un proyecto (que se aborda en la Sección 3), cuando los equipos de los proyectos se encuentren revisando los textos y datos, reuniéndose con los actores relevantes y, en general, adquiriendo una mayor comprensión de los contextos biofísicos y socioeconómicos, las necesidades, barreras y oportunidades del proyecto. Como se verá más adelante en esta Sección, se deberá completar la planificación antes de iniciar el extenso trabajo de campo, ya que los planes que elaboren los equipos guiarán el trabajo de campo y la investigación, y asegurarán que estén alineados con una visión estratégica. A medida que inicia la investigación luego del período de arranque, los equipos de los proyectos deben recordar que el MEPI es un proceso constante y que la "caja de herramientas" es un conjunto de documentos vivos usados en múltiples maneras por el proyecto, región, programa y Fundación. El valor del MEPI es incrementar la posibilidad de que se usen y adapten los productos de un proyecto –nuevas tecnologías y conocimientos. El MEPI ayuda a los equipos de los proyectos a considerar cómo podría contribuir su investigación a impactos de mediano y largo plazo para los actores del proyecto. A medida que cambia el diseño de la investigación durante la implementación, esos cambios deberán ser reflejados en los documentos del MEPI. ¿Qué es una Teoría del Cambio? La Teoría del Cambio (TdC) es una herramienta útil para elaborar soluciones a problemas complejos. Una Teoría del Cambio es un proceso de colaboración, pensamiento lógico y mapeo visual cuyo producto es un diagrama que explica cómo el grupo de resultados o productos puede conducir a efectos o resultados anticipados e intermedios que, a su vez, prepara el escenario para los impactos a largo plazo. El diagrama de la TdC deberá ser reconsiderado y MANUAL DEL MEPI JULIO DE 2013 10 revisado regularmente a medida que los equipos de los proyectos sigan colaborando, obtengan nueva información e interpreten los resultados de su trabajo.6 Una Teoría del Cambio más completa detalla las suposiciones acerca del proceso por el cual tiene lugar el cambio. También especifica las formas cómo ocurrirán y se documentarán todos los efectos anticipados e intermedios requeridos que conducen al cambio de largo plazo.7 Los equipos de los proyectos, los equipos regionales y los diferentes actores deberán debatir estas suposiciones durante la creación de la TDC –lo ideal sería durante el período de arranque– para que las suposiciones puedan ser incluidas en un texto que adjunte el diagrama de la TDC (para mayor información ver el Anexo A). Una TdC difiere de un modelo o marco lógico en el sentido de que, en lugar de delinear una secuencia lógica de eventos, una TdC intenta explicar los mecanismos de cambio previstos. Además, a diferencia de los enfoques que hacen énfasis en vínculos (como el mapeo resultante o el análisis del camino de los impactos), la TdC elabora teorías, hipótesis y suposiciones específicas que no solo describen si ocurrió el cambio, sino también cuándo.8 Sin embargo, es importante recordar que ningún modelo puede establecer definitivamente cómo y si ocurrirá el cambio. La TdC representa los mejores pensamientos del equipo en ese momento. Componentes básicos de una TdC Impactos: Cambios más amplios a plazos más largos en la subsistencia de las familias y comunidades agrícolas, así como en el ambiente de los agricultores al que ha contribuido el proyecto.9 A menudo, medir los impactos a más largo plazo estará más allá del alcance del proyecto, pero es importante considerarlos durante la elaboración de estrategias. Por ejemplo, si el objetivo a largo plazo fuera reducir las deficiencias de hierro en niños y niñas, y nadie se alimentará de un cultivo fortificado con hierro que estuviera desarrollando el proyecto, el equipo deberá inmediatamente revisar los productos y resultados relativos al objetivo de largo plazo. Resultados: Cambios en los conocimientos, destrezas, actitudes y prácticas, y otros factores que resulten del uso o adopción de uno o más productos por parte de los actores. Los resultados, que deberán estar relacionados con las áreas de resultados del CCRP (productividad, subsistencias, cambio nutrición) son los cambios en los agricultores, comunidades, mercados, instituciones, eTdC. a los que el equipo espera contribuir con el proyecto. El proyecto probablemente tratará de medir, con diversos niveles de certeza, los resultados a menor plazo. Los resultados deberán ser lo suficientemente específicos como para reflejar lo que el proyecto está tratando de lograr sin entrar en detalles innecesarios. Por ejemplo, en un proyecto de integración de garbanzo, "mayor producción de legumbres" sería demasiado general; “mayor integración de garbanzo rotado con los cultivos existentes entre los beneficiarios del proyecto" es mejor porque logra el balance correcto entre detalle y brevedad, y también diferencia entre conocimiento o creación del producto y el uso real. 6 ActKnowledge.org Adaptado de Anderson, A. 8 Patton, M. Q. (2012). Essentials of utilization-focused evaluation. Thousand Oaks, CA: SAGE Publications. Pg. 236 9 Fundación Valles. 7 MANUAL DEL MEPI JULIO DE 2013 11 Productos: Resultados tangibles de las actividades que están bajo el control directo del proyecto, como nuevos conocimientos o tecnologías creados por el proyecto.10 11 Por ejemplo, un “producto” sería una “nueva variedad de garbanzo tolerante a la sequía con las características propuestas por los agricultores”. 10 11 Paz, Rodrigo. Documentos internos, Fundación Valles, Cochabamba Bolivia, 2011 Eoyang, Glenda Manual del MEPI del CCRP, diciembre 2010 MANUAL DEL MEPI JULIO DE 2013 12 MANUAL DEL MEPI JULIO DE 2013 13 ¿Cuál es el propósito de una TDC? En el proceso de diagramar un camino para encontrar soluciones a problemas complejos, la TDC sirve a una serie de otras funciones importantes. Una TDC: Crea entendimiento compartido entre los actores del proyecto12 acerca de cómo los resultados contribuyen a un cambio significativo. Comprender la relación de los resultados con el cambio es especialmente valioso en proyectos que reúnen diversas formas de conocimiento. Articula suposiciones. En el proceso de crear una TDC, los actores deben ser explícitos acerca de las suposiciones, lo cual ayuda a los equipos de los proyectos a reconocer las barreras y oportunidades y a responder a ellas más rápidamente. Ayuda a mantener las expectativas. Las TDC ilustran cuánto y qué tipo de trabajo se requiere para lograr los resultados esperados, de manera que los equipos de los proyectos puedan determinar qué recursos se necesitarán para ese trabajo. Crea consenso sobre cómo se debe medir el cambio. Un entendimiento común de la relación entre los productos, resultados e impacto ayuda a los equipos de los proyectos a crear planes de evaluación sólidos para medir el cambio. Comunica ideas clave rápidamente. Como una representación visual del cambio, la TDC ayuda a los actores internos y externos a ver de una sola mirada los componentes más destacados de un proyecto y cómo calzan entre sí. En el caso del CCRP, la ToC es particularmente útil para visualizar y plantear estrategias sobre la conexión entre investigación y desarrollo. A menudo la investigación es participativa y trata de la creación de resultados. Por lo tanto, es útil ubicar las preguntas de investigación o hipótesis en el mismo plan. Las preguntas de evaluación deberán derivarse de la TdC para medir la relación entre los productos (efectos) y resultados (Ver Figura 4.) Las preguntas de evaluación ayudan a los equipos de los proyectos a comprender las pregunta de “¿y qué?” de las intervenciones de un proyecto; en otras palabras, cómo el cambio ocurrió o no y por qué. A pesar de estar enfocada en diferentes tipos de preguntas, la evaluación comparte los enfoques y métodos con la investigación a fin de tomar muestras, recopilar y analizar datos; esto incluye métodos generalmente usados en las ciencias biofísicas y sociales (por ejemplo, encuestas, entrevistas, grupos focales, estudios de caso, etc.) 13 14. Una definición de trabajo 12 Funnell & Rogers, 2011 13 Para una muestra de un protocolo de evaluación, ver el Anexo D y también Introduction to Social Science Research for Agronomist Handbook. 14 Las preguntas de monitoreo generalmente tratan de lo que sucedió y podrían ser parte de proceso interno de rendición de cuentas. Aunque no es necesario incluir este nivel de detalle en los informes anuales u otros documentos del MEPI, si es útil para el proyecto, se podrán incluir en el Plan de M&E, siempre y cuando se denominen preguntas de monitoreo y no reemplacen a las preguntas de evaluación. Datos de monitoreo serian integrados en el análisis de datos de evaluación con frecuencia – por ejemplo, alcances para los agricultores (evaluación) puedan ser MANUAL DEL MEPI JULIO DE 2013 14 para investigación es que crea nuevos conocimientos, mientras que la evaluación evalúa cómo se usan o no se usan esos conocimientos. Sin embargo, en ocasiones la distinción entre preguntas de investigación y evaluación no es tan clara ni tan importante. También existe la investigación evaluativa que, en el caso del CCRP, a menudo es investigación sobre desarrollo: ¿por qué la gente adopta prácticas o tecnologías? ¿qué, cómo y por qué funciona? También hay evaluación de la investigación: ¿qué sucedió durante el proceso de investigación? ¿Fue realmente participativo? Al ubicar tanto preguntas de investigación como de evaluación o hipótesis en la TdC, es más fácil comprender por qué se relacionan con la estrategia general del proyecto y ayudan a encontrar el enfoque y coherencia del mismo. Características de una buena TDC La colaboración es clave para la creación de una TDC exitosa que refleje una negociación y acuerdo mutuo entre el equipo del proyecto, los actores y el equipo regional acerca de la estrategia del proyecto. Una TDC exitosa es: Adaptable. Debido a que el MEPI es un proceso reiterativo, la TDC debe reflejar los nuevos aprendizajes e información que el equipo del proyecto y los actores vayan adquiriendo a medida que se implementa el proyecto. Durante la implementación del proyecto, se reconsiderarán o reemplazarán las suposiciones a medida que cambien las condiciones y surjan nuevos desafíos y oportunidades. La TDC evoluciona para reflejar este proceso. Conciso. Los productos, resultados e impactos deberán ser descritos clara pero sucintamente, de manera que la TDC sirva como guía para planificar, monitorear y evaluar a medida que progresa el proyecto. Esclarecedor. Una buena TDC revela las conexiones entre los resultados, productos, impactos y, en ocasiones, objetivos; y muestra cómo pueden combinarse estos componentes para descubrir nuevos caminos al cambio. Plausible. The connections among productos, resultadose impactos also highlight suposiciones and help teams examine whether the plan is realistic. Plan de M&E Luego de que un equipo de proyecto termina su TDC, el siguiente paso es elaborar un Plan de M&E. El Plan de M&E incluye preguntas de evaluación del proyecto, actores, indicadores y medios de verificación. Las preguntas de evaluación (ver arriba) Los actores pueden ser beneficiarios directos o indirectos, agricultores individuales o en asociaciones, negocios, instituciones de investigación y desarrollo , eTdC. Una pregunta de evaluación podría pertenecer a varios actores, pero es importante ser lo más específicos posible acerca de cuál cambio está relacionado con qué grupo. analizados por los tipos de capacitaciones en que los agricultores hayan participados, o por genero (información de monitoreo.) MANUAL DEL MEPI JULIO DE 2013 15 Los indicadores son una variable o factor para medir el cambio. El equipo del CCRP está interesado en los indicadores de resultados o impactos en este plan, no en aquellos rastreados en los informes anuales. Medios de verificación son las herramientas o instrumentos usados para recopilar datos. El Plan de M&E deberá proporcionar detalles clave sobre los medios que se usarán. Si tuvieran relación con una metodología específica, se deberá elaborar un documento de planificación o protocolo separado. MANUAL DEL MEPI JULIO DE 2013 16 Muestra del Plan de M&E El siguiente es un ejemplo ficticio en donde se ha producido la variedad X y el objetivo de la evaluación es medir si las intervenciones han tenido impacto sobre los beneficiarios relevantes (agricultores, fabricantes de comida, eTdC.) ¿Qué cambio ¿En qué grupos de personas ¿Cómo sabremos si ocurrió el ¿Cómo sabremos o mediremos si el cambio existe para un esperamos ver un cambio? cambio y por qué ocurrió? ocurrió? beneficiario (beneficiarios/actores) (indicadores) (medios de verificación) específico? (pregunta de evaluación) ¿Están sembrando Al final de cada evento de capacitación se realizará 100 familias de Uso de variedad X por los pequeños una especie de evaluación en la que se preguntará a agricultores en las parte de los agricultores: agricultores los participantes qué han aprendido y cómo lo comunidades of xx, yy toneladas de semilla variedad X? ¿Por y zz (beneficiarios producida, incremento de aplicarán. En la siguiente sesión de entrenamiento, qué (si o no)? se hará un seguimiento de si es que sucedió y por directos) la producción La provincia de X Percepciones y razones de qué (ver protocolo adjunto) y/o (beneficiarios los agricultores para usar Se visitará y entrevistará a una submuestra de XX indirectos) la variedad X o no agricultores objetivo en cada pueblo durante X meses al final de intervención para ver si están usando la variedad X o no y por qué. La selección de la muestra de agricultores tratará de tomar en cuenta la diversidad de las condiciones agroecológicas y tipos de agricultores (hombres/mujeres, cantidad de tiempo invertido en la agricultura, participación en talleres, ingresos totales, eTdC.) con base en un ejercicio de mapeo de ingresos durante los talleres (ver el protocolo total de investigación) y/o Se realizará una línea de base y encuesta final de XXX agricultores elegidos al azar en la provincia de X acerca los cultivos y variedades plantan (ver MANUAL DEL MEPI JULIO DE 2013 17 protocolo adjunto) MANUAL DEL MEPI JULIO DE 2013 18 Contribución vs. Atribución Un desafío común con el monitoreo y evaluación es cómo "probar" que un rendimiento o impacto específico es el resultado directo de un producto o grupo de productos. No siempre es posible mostrar con total certeza la relación causa-efecto entre productos y resultados. Se torna aún más difícil al tratar de mostrar la relación entre productos e impactos, a más largo plazo y generalmente son afectados por muchos otros factores que están fuera del control de un proyecto. Así es que en lugar de asignar la atribución, el MEPI analiza la contribución para identificar y articular cambios a largo plazo para los actores.15 El análisis de la contribución se enfoca en determinar la posibilidad del impacto y en minimizar la incerteza: "En lugar de vincular la contribución de un programa definitivamente a los resultados deseados, el análisis de la contribución busca brindar pruebas plausibles que puedan reducir la incerteza sobre la 'diferencia' que un programa tiene acerca de los resultados observados".16 El análisis de la contribución también toma en cuenta el hecho de que los cambios toman tiempo en manifestarse plenamente, de ahí que es contraproducente forzar a los programas a mostrar las pruebas del impacto antes de que sea realista esperar tales pruebas.17 Mostrar la contribución a un cambio en lugar de a una atribución definitiva no afecta la calidad de los datos. Sin embargo, indicar cómo los productos de un proyecto interactúan con una serie de otros factores para contribuir al cambio puede ser una forma mucho más poderosa y plena para comprender cómo se resuelven problemas complejos. The Fundacion McKnight es mas interesado con contribución a cambio en vez de atribución en reconocimiento de la naturaleza compleja e interconectada de los sistemas agricultora y investigación + desarrollo. Rigor, credibilidad, utilidad y público En el CCRP, toda recopilación de datos, no importa el propósito, deberá ser rigurosa. En otras palabras, los métodos y objetivos de recopilación de datos deberán estar claros, explícitos, documentados y meticulosos de manera que las conclusiones del equipo del proyecto acerca de los datos puedan respaldarse adecuadamente con los métodos de recolección de la información. Dicho de otro modo, el rigor no está relacionado con el uso de un método específico (por ejemplo, pruebas controladas al azar), sino más bien con escoger los métodos apropiados "El uso de estudios de caso, métodos de observación, entrevistas estructuradas o no estructuradas, investigaciones con encuestas en línea o por teléfono, un casi experimento o un ensayo experimental controlado al azar para responder las preguntas clave de evaluación depende de las discusiones del evaluador con los actores relevantes sobre qué pruebas serían verosímiles en este contexto y qué sería factible dadas las limitaciones prácticas y financieras." --Stewart Donaldson 15 Mayne 1999, “Addressing attribution through contribution analysis: using performance measures sensibly: discussion paper” Office of the Auditor General of Canada, June 16 Mayne 2001, “Addressing attribution through contribution analysis: using performance measure sensibly” The Canadian Journal of Program Evaluation, vol. 16, no. 1, pp1-24. 17 Kotvojs, Shrimpton (2007) “Contribution Analysis: A New Approach to Evaluation in International Development” Evaluation Journal of Australasia, Vol. 7, No. 1, 2007, pp. 27-35 MANUAL DEL MEPI JULIO DE 2013 19 para respaldar las afirmaciones que se realizarán e implementar esos métodos de acuerdo a la situación. La forma en que un determinado público equilibra la credibilidad y la utilidad influirá en los métodos y enfoques que se usarán. El grado de credibilidad que es útil para un público académico, por ejemplo, tal vez no lo sea para un público de agricultores. No siempre será posible, ni deseable, recopilar gran cantidad de datos para realizar una afirmación definitiva sobre los resultados del proyecto. El nivel de credibilidad depende de las expectativas y necesidades de los diferentes públicos; y los equipos deberán discutir el tema durante el proceso de planificación. Por ejemplo, si la meta para el equipo del proyecto es verificar cómo está funcionando una tecnología en el campo para su propio aprendizaje y mejoramiento, probablemente podrán lograr un nivel satisfactorio de credibilidad sin invertir demasiado tiempo ni recursos: tal vez sea suficiente una inspección al azar para saber si están en el camino correcto. Si, por el otro lado, la meta es influir en la política nacional sobre la conexión entre las intervenciones agrícolas y los resultados de nutrición, se necesitará un mayor nivel de credibilidad. A menudo se asume que el uso de ciertos métodos, como grupos de control al azar y grandes muestras representativas, generan resultados verosímiles; sin embargo, así como el rigor no se define por el uso de métodos específicos, usar métodos específicos no garantiza la credibilidad si el diseño o las suposiciones de la investigación están erradas. Por ejemplo, no importa cuán representativa sea una muestra si se están haciendo las preguntas equivocadas o el entrevistado no contesta con la verdad. Incrementar el nivel de credibilidad a menudo puede ser más fácil de lo que parece. Durante el proceso de planificación de la evaluación, los actores con frecuencia pueden hacer simples mejoras solo a través de la revisión de pares y una discusión más minuciosa de la metodología. A veces hacer preguntas de una manera ligeramente diferente, pensar de manera más profunda acerca del público y los participantes, o buscar sinergias con otras actividades del proyecto puede generar mejor información sin mayor inversión de tiempo, dinero o capital social.18 Los siguientes principios podrían ayudar a los equipos de los proyectos, con el apoyo del equipo regional, a dar un enfoque pragmático para determinar el nivel apropiado de certeza:19 Es preferible tener datos menos certeros disponibles en el tiempo, para que los encargados de tomar decisiones actúen, que tener datos más certeros que no están disponibles sino hasta después de la fecha límite para la toma de decisiones. Es preferible tener datos "más suaves" o menos certeros sobre asuntos importantes, que datos “duros” sobre asuntos menos importantes. A menudo menos es más, cuando los datos se enfocan en asuntos y usos prioritarios. El enfoque de menos es más ayuda a evitar una sobrecarga de información. Tener muchos datos de alta calidad que no se han analizado resulta menos útil que tener datos analizados que pueden brindar pruebas de acción y aprendizaje. Para más información, ver el manual de ciencias sociales y el sitio http://betterevaluation.org/. 18 19 Program Theory-Driven Evaluation Science: Strategies and Applications, Stewart I. Donaldson, 2007 NY, NY, p. 11 From Michael Patton, Getting to Maybe, 395 MANUAL DEL MEPI JULIO DE 2013 20 Líneas de base y diagnósticos "(Las encuestas de base) no constituyen un proceso objetivo e inductivo de recopilación de datos. Están informadas por suposiciones que todos tenemos acerca de causas y efectos, y las motivaciones del comportamiento humano. …con demasiada frecuencia, estas suposiciones son incorrectas. Por ende, estamos diseñando amplios instrumentos de encuestas que plantean las preguntas equivocadas a la gente equivocada. Luego, los datos de estos instrumentos son interpretados a través de lentes a menudo inapropiados. El resultado termina siendo graves malentendidos y tergiversaciones." --Edward Carr A menudo el grado en que los equipos de los proyectos pueden abordar la credibilidad y mostrar cómo contribuyeron los productos al cambio global depende de los datos de base y de la evaluación final. Sin embargo, es importante hacer énfasis en que la forma cómo se recopilan los datos puede, no solo afectar la utilidad de la información, sino también las relaciones con los beneficiarios/actores. Una recopilación de datos defectuosa e innecesaria puede ser perjudicial para ambos.20 Muchos equipos de proyectos se ven tentados a comenzar una recopilación integral de datos de base sin considerar el costo-beneficio del trabajo o los contextos locales, y sin una planificación apropiada, incluyendo revisión de textos y análisis de datos secundarios. Un extenso trabajo de campo requiere recursos financieros, usa capital social y toma tiempo; ninguno de estos debería ser invertido sin tener un objetivo claro de qué, cómo y para qué se deberá recopilar. Antes de empezar una línea base, que medirá el cambio en una población específica, primero es necesario tener una buena comprensión del contexto local a través de actividades de diagnóstico que pueden ayudar a una comprensión de la población general y luego a trazar una estrategia de evaluación para una población específica. Los datos de línea de base y finales pueden provenir de muchas fuentes, incluyendo los datos de base existentes para la población que otras organizaciones o estudios pudieran tener. Por este motivo, el CCRP sugiere firmemente que los equipos de los proyectos planifiquen con cuidado los métodos y objetivos de la recopilación de datos de línea base antes de iniciar el trabajo de campo. Plan de Trabajo El Plan de Trabajo, al reflejar los objetivos y estrategias expresadas en la TDC y Plan de M&E, es la guía anual para implementar el proyecto, también es requerido para todos las propuestas y informes anuales. Los equipos de los proyectos pueden crear planes que cumplan con sus circunstancias específicas y necesidades de investigación, pero los planes deberán incluir tres elementos básicos: Objetivos 20 Carr, Edward. May, 2013 blogpost: http://www.edwardrcarr.com/opentheechochamber/2013/05/29/why-bigpanelbaseline-surveys-often-set-us-back-and-why-it-doesnt-have-to-be-that-way/ MANUAL DEL MEPI JULIO DE 2013 21 Pregunta de investigación relacionada (tal vez no haya una pregunta para un determinado objetivo, por ejemplo un objetivo de desarrollo o varios –ver a continuación) Pregunta relacionada de evaluación (tal vez no haya una pregunta para un determinado objetivo, por ejemplo una que se concentre en una investigación más básica, o varias – ver a continuación) Actividades Responsable, línea de tiempo y ubicación Cálculo de costos: Identificar el tipo de unidades, número de unidades y otros pensamientos que se usaron en el cálculo del costo de la actividad. La suma de todas las actividades del objetivo 1 deberá coincidir con el costo del objetivo en el presupuesto. Si los montos por objetivo en el presupuesto deben ser ajustados para coincidir con el Plan de Trabajo, eso deberá ser incluido en el Plan de Trabajo. Un uso importante del MEPI es que para cualquier problema u objetivo determinado, el equipo del proyecto pueda enfocarse en la investigación y en las preguntas de evaluación que son una prioridad en términos de importancia y consecución. Siempre habrá muchas preguntas que un proyecto puede hacer, pero se deberá usar la TDC del proyecto para limitarlas a las más importantes y poder responderlas bien. MANUAL DEL MEPI JULIO DE 2013 22 Muestra de Plan de Trabajo A continuación se presenta una muestra de Plan de Trabajo con un solo objetivo y dos actividades para mostrar cómo se organizan estos componentes. Un Plan de Trabajo real tendrá varios objetivos y muchas más actividades. Ver el Anexo C que contiene una plantilla en blanco. Es necesario anotar que el objetivo y preguntas corresponden a la TDC de la figura 4. Objetivo 1: Mejorar y diversificar el barbecho para incrementar la fertilidad del suelo, el nivel de productividad y rentabilidad del lote, y contribuir a la resiliencia del agroecosistema frente al cambio climático en un sitio representativo con suelos típicos de ladera en los Andes centrales. Pregunta de investigación: Diseñar ensamblajes de planta con propiedades complementarias y añadir pequeñas cantidades de inoculantes microbianos para cambiar el fertilizante puede mejorar la funcionalidad y rentabilidad del barbecho a través de incrementos de la biomasa, de la calidad nutricional y la movilización de nutrientes en los suelos. Pregunta de evaluación asociada: ¿Hay cambios en el manejo del barbecho para una mayor diversidad y regeneración de suelos asociado con la implementación del proyecto entre las 3 comunidades de la intervención? Actividades planificadas Partes responsables, lugar, hora 1. Taller de introducción y recolección de insumos para experimentación. Inmediatamente luego de iniciado el proyecto, Yanapai convocará a talleres en Quillcas, en donde se realizarán las prácticas con mayor posibilidades de éxito y pruebas en maceta; y Castillapata, en donde se realizarán los mejores ensayos. Estos talleres de un día se basarán en las opciones tecnológicas presentadas en la fase inicial y se identificarán especies para el estudio en maceta y las mejores opciones para los ensayos con los agricultores. Introduciremos estos ensayos y recopilaremos insumos de los hombres y mujeres que manejan cultivos y ganado y sus percepciones sobre estas opciones y los cambios en las mejores prácticas o especies que sugieran u otras prácticas locales Septiembre 2013, Yanapai, Steve Fonte, Steve Vanek; Quillcas y Castillapata Cálculo de costos21 Agrónomo de Yanapai, $1500 (10% of tiempo comprometido para Obj. 1) Otro personal de Yanapai, $500 (16% del tiempo del personal para Obj. 1) Honorarios/viaje consultor: $3480 (30% del tiempo del consultor para el Obj. 1) Viajes en tierra, dos comunidades, equipo del taller, $700 Provisiones y comida para talleres, 2 El cálculo de costos debe coincidir con el presupuesto del proyecto, puede ser muy detallado como este ejemplo o puede ser utilizado como un espacio que refleja el pensamiento. 21 MANUAL DEL MEPI JULIO DE 2013 23 que deberían incluirse. También nos basaremos en nuestros resultados de las encuestas de fase inicial para entender mejor las tipologías de los suelos locales para localizar los mejores ensayos y recoger tierra para el estudio de macetas. Yanapai diseñará un cronograma para el grupo focal / acompañamiento que permita una participación igualitaria de hombres y mujeres, incluyendo a los pastores de la comunidad. talleres: $600 Materiales para visitas comunitarias, $100 Varios, $100 TOTAL: $6980 2. Textos y revisión institucional: Antes de las mejores prácticas y ensayos de selección de macetas, seguiremos nuestro proceso en la fase inicial de revisar los textos y contactarnos con otros investigadores andinos en forraje para identificar especies y prácticas prometedoras para la intensificación sostenible de barbecho. Con este proceso también se verificará y asegurará la semilla y otras fuentes de propágulos para las opciones de especies, un proceso que ya comenzamos en la fase inicial. Resumiremos nuestras elecciones y razonamiento en un documento de 5-10 páginas que puede circularse entre los asociados, la plataforma de investigación y la COP andina de McKnight. Septiembre 2013, S. Fonte, S. Vanek, Yanapai, otros asociados 3. Fase uno de las mejores pruebas en Quillcas y Castillapata, Perú, a partir del primer año: a inicios de octubre de 2013, Yanapai, en cercana coordinación con las comunidades de Quillcas y Castillapata y los doctores Fonte y Vanek, establecerá pruebas de 3 a 5 opciones prometedoras de especies/barbechos de los textos y revisiones institucionales. Un agrónomo contratado por Yanapai para el personal del proyecto será principalmente responsable de coordinar estos esfuerzos junto con otros miembros del equipo de Yanapai y los doctores Fonte y Vanek. Dependiendo de si la propiedad de la tierra en las diferentes zonas comunitarias fuese comunitaria o privada, la comunidad o familias individuales proveerán tierras (25-100 m2 por tratamiento, con 2-3 réplicas por tratamiento) que estén de vuelta al barbecho, en donde los tratamientos se pueden evaluar por hasta tres años durante el proyecto. Entre los ejemplos de tratamientos se incluiría el trasplante o germinación de hierba nativa, trébol blanco, barreras de arbustos de forraje/mala hierba phalaris y la exclusión del pastoreo para promover la recuperación del barbecho. El proyecto suministrará semillas y otras provisiones, incluyendo cercas para exclusiones en donde se ensayará el pastoreo reducido y en donde estará disponible para los agricultores la mayor parte de Octubre 2013Septiembre 2014 (y continuará) MANUAL DEL MEPI JULIO DE 2013 Honorarios/viajes consultor: $1160 (10% del tiempo del consultor para Obj. 1) Otro personal de Yanapai, $500 (16% del tiempo del personal para Obj. 1) TOTAL: $1660 Yanapai y comunidades, Steve Fonte, Steve Vanek Quillcas y Castillapata Ensayos satelitales: Agrónomo de Yanapai, $4000 (33% del tiempo del agrónomo para Obj. 1) Otro personal de Yanapai, $600 (20% del tiempo del personal para Obj. 1) Honorarios/viajes consultor: $3480 (30% del tiempo del consultor para Obj. 1) Manutención estudiantil y trabajo de campo, $1000 (50% del apoyo de campo para Obj. 1) Provisiones y comida visitas, 2 comunidades: $400 Viajes terrestres, dos comunidades, muestreo de campo, $2400 Equipo de campo y provisiones, $1000 24 biomasa no muestreada para pastoreo o cosecha. Se tomarán pruebas iniciales de suelos (pH, total carbono orgánico, textura, fósforo disponible al mínimo) para evaluar la variabilidad in situ que podría ayudar a explicar las respuestas. Intentaremos seleccionar sitios que agrupen algunas de las variables locales de los tipos de suelo. Sacaremos muestras de estos lotes en forma periódica en busca de biomasa, cobertura de suelo, erosión, y las propiedades del suelo/rizosfera (ver métodos), a inicios de abril de 2014. La biomasa en los lotes encerrados puede usarse en el estudio de paisaje (Objetivo 2) como indicador de la productividad neta primaria potencial en el uso de la tierra de barbecho. 4. Ensayos satelitales con las mejores probabilidades, Tapacarí, Bolivia. Para mejorar los datos de las opciones de barbecho y enriquecer el conjunto de datos para los análisis a nivel de paisaje y plataforma multiinstitucional, el proyecto apoyará 10 - 15 ensayos con las mejores probabilidades en fincas de Bolivia, que contratarán a Agrecol y a CIF con la comunidad local y agricultores expertos de Yapuchiri para identificar y probar un conjunto de las mejores opciones tomadas de los textos y revisión institucional (con base en las anteriores actividades 1 y 2). Los recursos se utilizarán para un taller de coordinación, provisiones para los ensayos y costos de viaje para evaluar los experimentos con los agricultores. Análisis de laboratorio, $1000 Provisiones de oficina para registro de datos y otras actividades experimentales, $200 Varios, $100 TOTAL: $14,180 Agrecol/CIF/ S. Vanek, S. Fonte Grupo agrícola Yapuchiri en Ayllus Urinsaya y Majasaya (ver presupuesto Agrecol) Mantenimiento para el personal existente, $400, taller y pruebas de campo Viajes terrestres, $400 coordinación taller y muestras de campo, dos talleres Provisiones y comida para los talleres de coordinación: $200 Provisiones para ensayos de campo, $800 Manutención estudiantil y trabajo de campo, $200 TOTAL: $2000 5. Estudio en macetas en Quillcas, Perú, fase uno: selección de especies. El estudio inicial de maceta se realizará en Quillcas desde noviembre de 2013, después de las actividades de la mejor opción. Se usará Quillcas porque tiene disponible irrigación y un acceso relativamente fácil para el personal de campo, a pesar de que tanto los suelos de Quillcas como Castillapata podrían usarse en MANUAL DEL MEPI JULIO DE 2013 Noviembre 2014 junio 2014 Yanapai, Steve Agrónomo de Yanapai, $4000 (33% del tiempo del agrónomo para Obj. 1) Otro personal de Yanapai, $600 (20% del tiempo del personal para Obj. 1) Honorarios/viajes consultor: $3480 25 este sitio. El agrónomo del proyecto Yanapai manejará el experimento en coordinación con el personal local contratado, doctores Fonte y Vanek, así como el personal de Yanapai. Compararemos 40 especies de diversos tipos funcionales (hierbas de tamaño grande y pequeño, auto-resembrado y legumbres perennes, especies de arbustos, otras malezas nativas vs. introducidas) en macetas, colocadas en el suelo con tierra representativa del áreas y plenamente caracterizada en sus propiedades químicas y físicas (se puede usar hasta dos suelos). Se usará irrigación, acordada con la comunidad según sus normas (pago vs. Donación comunitaria, eTdC.) de ser necesaria para mantener la humedad en las macetas instaladas en el campo, a niveles similares a los suelos de los campos adyacentes. En abril o mayo de 2014 se cosecharán las macetas en forma destructiva para biomasa aérea y radicular, acumulación de N y P y fijación de N (para legumbres) Fonte, Steve Vanek. (30% del tiempo del consultor para Obj. 1) Quillcas Manutención estudiantil y trabajo de campo, $1000 (50% del apoyo de campo para Obj. 1) Provisiones y comida visitas, una comunidad: $200 Viajes terrestres, una comunidad, muestreo, $1600 Equipo de campo y provisiones, $1000 Análisis de laboratorio, $1500 Varios, $100 TOTAL: $14,480 6. Taller de evaluación de experimentos en Quillcas y Castillapata: En abril o mayo de 2014, Yanapai organizará los días de evaluación de campo para pedir los insumos de los agricultores sobre los experimentos con mayores probabilidades de éxito y los de maceta, seguidos de un taller en septiembre de 2014, que presentará datos procesados preliminares de las pruebas y también se combinarán con la profundización de nuestros conocimiento acerca de los usos y roles del barbecho en la producción de cultivos y el pastoreo (actividad 7 más adelante). Estos permitirán que los hombres y mujeres de la comunidad proporcionen retroalimentación sobre los tratamientos que pueden incorporarse en la segunda ronda de los ensayos con las mejores probabilidades. El taller de evaluación y el día de campo para las mejores opciones en Quillcas también incluirán una visita y evaluación participativa de este estudio en macetas para ayudar a guiar la selección de especies en la fase dos del estudio en macetas en el año dos, al examinar los mecanismos de interacción de las especies y el uso de insumos estratégicos. 7. Actividades de la encuesta/grupo focal en Quillcas y Castillapata, Perú para comprender los roles de los barbechos en la producción de cultivos y pastoreo de acuerdo a las estrategias de manutención y género: Como parte de las actividades del taller que evaluarán las pruebas de MANUAL DEL MEPI JULIO DE 2013 Agrónomo de Yanapai, $1500 (10% del tiempo comprometido para Obj. 1) Otro personal de Yanapai, $400 (16% del tiempo del personal para Obj. 1) Viajes terrestres, dos comunidades, equipo del taller, $700 Provisiones y comida para los talleres, 2 talleres: $600 Material para visitas comunitarias, $100 TOTAL: $3300 Abril o mayo 2014 Agrónomo de Yanapai, $1000 (7% del tiempo comprometido para Obj. 1) Yanapai, Steve 26 investigación en septiembre de 2014, Yanapai incluirá las actividades que deberán ser planificadas para profundizar la información desde la fase inicial sobre el manejo de barbechos y el rol de la tierra de barbecho como fuente de forraje y cómo esto podría influenciar en la adopción de diferentes especies o nuevas prácticas de barbecho. Estas actividades estarán particularmente apuntadas a las diferencias en los puntos de vista sobre el manejo del barbecho definido por género que podría resultar de las actividades de los hombres, más orientadas al cultivo, y de las actividades de las mujeres, más orientadas al ganado. Las actividades también explorarán cómo los puntos de vista sobre el barbecho y fuentes de forraje varían con las diferentes estrategias de manutención (agricultura vs ganadería vs otras actividades) que existen dentro de las comunidades y que son particularmente pronunciadas en Quillcas. MANUAL DEL MEPI JULIO DE 2013 Fonte, Steve Vanek Otro personal de Yanapai, $400 (13% del tiempo del personal para Obj. 1) Quillcas y Castillapata Viajes terrestres, dos comunidades, equipo del taller, $600 TOTAL: $2000 27 Sección III: Momentos clave para MEPI procesos La reflexión, aprendizaje y mejoramiento de los proyectos internos ocurre de manera informal durante todo el ciclo del proyecto y como parte del proceso del MEPI. Sin embargo, es importante contar con momentos formales en donde se puedan consolidar, discutir, actuar, documentar y compartir las reflexiones. Período de arranque El período de arranque, que podría durar desde unos pocos meses hasta un año, dependiendo de la naturaleza del proyecto, brinda a los equipos de los proyectos y a los equipos regionales tiempo para comprender los contextos locales y situación actual de conocimiento, reflexionar sobre que piensa producir el proyecto y el cambio que espera lograr; y luego elaborar los documentos apropiados de planificación, como la TDC, el Plan de M&E, el Plan de Trabajo y protocolos de investigación. A fines del período de arranque, los documentos que los equipos de los proyectos elaboren como resultado de ese trabajo deberán establecer claramente la dirección de la implementación. Específicamente, el equipo del proyecto deberá basarse más en la realidad y estar consciente de las oportunidades y desafíos. Más aún, el diseño del proyecto deberá reflejar un plan más claro y específico para obtener mejores resultados. Estos documentos deben estar incluidos en el informe final del periodo de arranque. Revisión de medio año El propósito de la revisión de medio año, que podría tener lugar antes o después en el año del proyecto, dependiendo de los cronogramas de los actores, es dar un paso atrás y considerar el proyecto en el gran contexto. La revisión de medio año no solo está diseñada para revisar el presupuesto, el progreso de las actividades o cumplir las tareas cotidianas; también es la oportunidad para que los actores del proyecto intercambien conocimientos (¿qué?), exploren ideas, reflexionen en los éxitos y desafíos (¿y qué?), y el plan (¿ahora qué?). 22 Debido a que la TdC representa el cambio y estrategia para lograr ese cambio, en la revisión de medio año los participantes querrán usar este documento como herramienta y trampolín para tener conversaciones e ideas creativas sobre qué es trabajar, qué debe modificarse, qué nueva información o factores pueden o deben considerarse para seguir avanzando, eTdC. Los equipos de los proyectos no necesitan producir amplios informes sobre los resultados de la revisión de medio año. El equipo del CCRP necesitará un breve correo electrónico que explique lo que ocurrió durante la reunión y qué cambios realizados deberán reflejarse en la TdC, el Plan de M&E y el Plan de Trabajo. El equipo del proyecto también deberá realizar una lista de revisión para el monitoreo del proyecto (tratado en el Anexo E) y lo enviará al equipo regional. 22 Para mas informacion ve: http://wiki.hsdinstitute.org/adaptive_action MANUAL DEL MEPI JULIO DE 2013 28 La lista de revisión para monitoreo (LM) deberá ser llenada una vez al año, tanto por el equipo regional, como por el equipo del proyecto. Mientras que la TdC refleja la estrategia del proyecto, la LM ayudará al equipo regional y al equipo del proyecto a reflexionar sobre la calidad del proyecto. La TdC trata de “hacer lo correcto”, mientras que la LM está dirigida a “hacer las cosas bien” para lograr una investigación rigurosa y relevante. El equipo regional debe llenar la LM una vez al año para cada proyecto a fin de rastrear la percepción de RT sobre la calidad del proyecto. El equipo del proyecto también deberá llenar la LM una vez al año, idealmente en un grupo, durante la revisión de medio año. Más importante que la marca es el reflejo de la calidad y proceso que inicia la LM. Reunión de la Comunidad de Práctica (CoP) El MEPI es un proceso constante que tiene lugar a todo nivel en el CCRP: comunidad, proyecto, región y programa. La reunión anual de la CoP es un momento en el que los equipos de los proyectos se reúnen con otros en su región, junto con los miembros del equipo regional y otros actores, de manera que todos tengan la oportunidad de reflexionar, aprender y realizar lluvias de ideas desde una perspectiva regional. La reunión CdP es también un momento para acción adaptiva, para preguntar “¿que?”, “¿y que?”, y “¿ahora que?” como un red y colaborar. Los equipos de los proyectos están principalmente midiendo el cambio a nivel de las fincas y las comunidades, de manera que emerjan sinergias, aprendizajes y pruebas. Los equipos regionales y de programa buscan principalmente al cambio en los sistema de investigación y desarrollo (R&D) para que surjan reflexiones a este nivel también. A través de la exposición de las varias perspectivas, todos los que trabajen en la región podrán ver cómo sus esfuerzos convergen o no para crear el cambio. Durante la reunión de la CoP, los participantes recopilan y analizan información y las percepciones sobre el cambio en los proyectos para elaborar y refinar estrategias. Entre las herramientas útiles para este proceso están la TDC regional y las preguntas de evaluación a nivel de programa, así como la lista de revisión para el monitoreo, toda evaluación externa o estudios de caso y evaluaciones de los talleres de la CoP u otros eventos que hubieran ocurrido durante el año. MANUAL DEL MEPI JULIO DE 2013 29 Bibliografía Anderson, A. A. (2005). The community builder’s approach to Theory of Change: A practical guide to theory development. Tomado de http://www.aspeninstitute.org/policywork/comunidad-cambio/publicacións Funnell, S. C. & Rogers, P. J. (2011). Purposeful program theory: Effective use of theories of change and logic models. San Francisco, CA : Jossey-Bass. Glouberman, S. & Zimmerman, B. (2002). Complicated and complex systems: What would successful reform of Medicare look like? Retrieved from www.plexusinstitute.org/resource/collection/6528ed29-9907-4bc7-8d008dc907679fed/ComplicatedAndComplexSystemsZimmermanReport_Medicare_reform.pdf?hhSearchTerms=zimmerman Patton, M. Q. (2012). Essentials of utilization-focused evaluation. Thousand Oaks, CA: SAGE Publications. Hivos (200) Theory of Change: an introduction. MANUAL DEL MEPI JULIO DE 2013 30 Anexo B: Formato de monitoreo y evaluación para el CCRP Este es un formato sugerido. Las preguntas de evaluación deberán coincide con aquellas enumeradas en el Plan de Trabajo, al igual que las actividades mencionadas en los medios de verificación también deberá constar en el Plan de Trabajo. Preguntas de evaluación: ¿Qué cambio existe para un actor específico? Actores: ¿En que grupos de personas esperamos ver un cambio? Indicadores: ¿Cómo sabremos si ocurrió el cambio? Medios de verificación: ¿Cómo sabremos o mediremos si el cambio ocurrió? Pregunta de Evaluación #1 Pregunta de Evaluación #2 Pregunta de Evaluación #3 MANUAL DEL MEPI JULIO DE 2013 31 Anexo C: Plantilla del Plan de Trabajo Objetivo #1: Pregunta(s) de evaluación relacionadas (de haber) Pregunta(s) de evaluación relacionadas (de haber) Actividades Responsable, línea de tiempo y lugar Costo ($US) Total (para la columna de costos) Agregue otras filas/tablas para otras actividades y objetivos. MANUAL DEL MEPI JULIO DE 2013 32 Anexo D: Protocolo para preguntas de investigación o evaluación Una evaluación profunda requiere el mismo rigor, una recopilación estructurada de datos, análisis e interpretación, al igual que otros tipos de investigación. Antes de comenzar este tipo de evaluación, los equipos de los proyectos deberán elaborar un protocolo y compartirlo con sus compañeros para retroalimentación. El protocolo deberá incluir los siguientes componentes: Antecedentes, contexto, declaración del problema y pregunta de investigación Describa el lugar y los participantes, incluyendo los factores geográficos, ecológicos, sociales, culturales e institucionales que pueden influir el estudio y cómo interactúan. Se puede y debe usar información secundaria, incluyendo una revisión de textos. Métodos de investigación Describa los métodos y por qué usted los escogió. Incluya las siguientes áreas: Estrategia de muestreo Describa cómo por qué se escogieron a los participantes o unidades de análisis, cómo se usarán y por qué es apropiado el tamaño de la muestra. Describa la escala, alcance y características de la población. El esquema de muestreo deberá definir y cubrir los dominios de interferencia. Métodos de recopilación de datos Discuta el rol y protocolo del investigador(es) en la recopilación de datos; cómo se relacionan los datos con la pregunta de evaluación; cómo y dónde se almacenarán los datos; con quién se los compartirá; y cómo se los compartirá. Incluya los formatos o descripción de las herramientas en el Anexo. Enfoque del análisis de datos Una vez que usted realice la investigación y recopile los datos, su informe deberá abordar cómo usted analizó e interpretó los datos para contestar las preguntas de evaluación. Si hubiera alguna irregularidad en los datos, explique cómo las descubrió y qué impacto tienen en el análisis. Asegúrese de que sus datos estén completos, de haber revisado los errores y colocado en un formato comprensible. Usted deberá analizar los resultados antes de la siguiente ronda de recopilación de datos. MANUAL DEL MEPI JULIO DE 2013 33 Anexo E: Lista de revisión para el monitoreo del Proyecto Marca - 1 a 5 (escoja uno) Pregunta Comentarios A. Diseño General del Proyecto A.1 - ¿Cuáles son las preguntas de investigación y cómo son “útiles” – cómo llenará este proyecto una brecha importante en conocimientos? - Preguntas de investigación y de evaluación claras que: aborden temas desconocidos, aborden barreras claras a los objetivos y resultados del proyecto y que produzcan resultados de investigación viables. - Revisión integral de los textos que: o se refiera a los textos biofísicos, económicos y sociales relevantes de la región y a nivel global. o usen referencias clave recientes. o brinde una base para la TDC o muestre que las preguntas de investigación son abiertas y razonables. A.2 - ¿Se ha recopilado información de la evaluación de necesidades/línea de base contra los objetivos generales del proyecto? Esta información deberá incluir: datos espaciales para caracterizar el área geográfica a los que se aplican los resultados (dominio de inferencia) datos para el análisis de sistemas (relevantes al proyecto), incluyendo el ambiente (institucional) de investigación y desarrollo en el que trabajará el proyecto. - 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A datos secundarios en la población objetivo amplia. MANUAL DEL MEPI JULIO DE 2013 34 Marca - 1 a 5 (escoja uno) Pregunta A.3 – Si el proyecto tiene éxito a escala, ¿cómo y en qué medida podría influir este proyecto en la productividad, manutención y nutrición de la gente vulnerable? - Identificación de la escala, alcance y características de la población que se verá impactada a escala (junto con revisión de textos) - Evaluación contextual realizada del potencial a escala A.4 - ¿Cómo y en qué medida integra el proyecto los principios de AEI? - Contribuye a la sostenibilidad productiva, nutricional y ambiental - Se basa en una comprensión del sistema, no solo componentes individuales - Reconoce la heterogeneidad social y ecológica - Apoya a la agricultura multifuncional - A.5 – Funcionamiento del equipo: En esta etapa, ¿en qué medida está la gente correcta involucrada activamente en el proyecto y cuán bien están trabajando juntos? 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional Comentarios N/A 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A A.6: Es factible cumplir con los objetivos del proyecto objetivos en el tiempo y con los recursos disponibles. Hay suficiente enfoque y las metas son fácilmente cuantificables. MANUAL DEL MEPI 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno JULIO DE 2013 35 Marca - 1 a 5 (escoja uno) Pregunta 5: Comentarios Excepcional N/A A.7: ¿Tiene sentido la visión general y estrategia del proyecto? - Una TDC convincente, consistente con las condiciones locales, la ciencia global, tendencias importantes y prioridades locales/nacionales. - La visión/estrategia del proyecto está alineada con la TDC. - Amplios objetivos del proyecto que se alinean con la TDC, abordan la productividad, manutención y cambio nutricional. - Comprensión demostrada de los programas de cambio de otros equipos que trabajan en el tema. 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A B. Diseño de investigación B.1 - ¿Cómo y en qué medida abordan las preguntas de investigación los objetivos generales del proyecto? - Las preguntas de investigación y de evaluación se sacan a componentes que pueden ser abordados con estudios individual (pero relacionados) - Como grupo, las preguntas de investigación abordan adecuadamente los objetivos del proyecto 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A B.2 – ¿Es apropiado el diseño general de la investigación? 1: Para nada 2: Inferior a la media Para todos los componentes de investigación (sociales y biofísicos): Decisiones sobre la selección de los métodos de estudio (por ej. estudios experimentales v observacionales) con 3: Adecuado 4: Bueno 5: Excepcional MANUAL DEL MEPI JULIO DE 2013 36 Marca - 1 a 5 (escoja uno) Pregunta - justificación. Todos los datos a ser recopilados (cualitativos y cuantitativos) relacionados con las preguntas de investigación cambian las preguntas de evaluación. Las compensaciones en las decisiones de diseño están claramente articuladas. La naturaleza y el grado de participación de los actores están explicados y son apropiados para generar resultados relevantes y verosímiles. B.3 - ¿Es apropiado el diseño del muestreo? Para todos los componentes de investigación (sociales y biofísicos): Los ‘dominios de interferencia’ están claramente definidos El muestreo es apropiado: representativo, objetivo y eficiente Los tamaños de las muestras están justificados con un argumento acerca de por qué el tamaño propuesto de la muestra será adecuado Comentarios N/A 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A B.3 - ¿Es apropiado el diseño del muestreo? Para todos los componentes de investigación (sociales y biofísicos): Los ‘dominios de interferencia’ están claramente definidos y abordados El muestreo es apropiado: representativo, objetivo y eficiente Los tamaños de las muestras están justificados con un argumento acerca de por qué el tamaño propuesto de la muestra será adecuado 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional B.4 – ¿Hay protocolos para todas las actividades de investigación y comentarios elaborados compartidos y aprobados (por PI?) antes de que inicie la actividad? 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno MANUAL DEL MEPI N/A JULIO DE 2013 37 Marca - 1 a 5 (escoja uno) Pregunta 5: Comentarios Excepcional N/A B.5 – Manejo de datos: - Existe un plan explícito para velar por los datos y documentos (DDS) del proyecto. - Hay procedimientos de control de calidad diseñados para todas las etapas de recopilación, análisis y reporte de datos 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A B.6– ¿Hay recursos apropiados? - El equipo del proyecto está calificado para conducir las actividades planificadas de investigación y desarrollo. - Hay recursos adecuados disponibles y accesibles para conducir las actividades de investigación planificadas. 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A B.7 – ¿Los temas éticos de investigación han sido manejados de acuerdo a las normas y leyes nacionales? - Se obtiene el consentimiento previo. Las autoridades relevantes aprueban los protocolos. La confidencialidad de los datos personales está asegurada. Costo: Se ha considerado el beneficio de la comunidad. Los resultado de la investigación han sido devueltos a los actores en forma oportuna y accesible. 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A C. Implementación MANUAL DEL MEPI JULIO DE 2013 38 Marca - 1 a 5 (escoja uno) Pregunta C.1 - ¿Se implementa la investigación según lo planificado, adaptada al cambio según se ha indicado? - Se siguen los protocolos incluyendo protocolos DDS. - Las barreras a la implementación de protocolos están documentadas. - Las adaptaciones del proyecto, incluyendo razones claras de adaptación, están documentadas. C.2 - ¿Se analiza apropiada y oportunamente los datos? - Los grupos de datos completos y bien formateados están disponibles centralmente de cada estudio - Se descubren y explican las irregularidades en los datos - Resultados estadísticamente válidos proveen nueva información sobre preguntas de investigación - Los resultado se producen antes de la siguiente ronda de recopilación de datos relacionados 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional Comentarios N/A 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A D. Interpretación D.1 - ¿Cómo usan los resultados de los datos los proyectos (incluyendo resultados no esperados) para comprender las preguntas de investigación y crear nuevos conocimientos? - La interpretación e implicaciones de los resultados se documentan y presentan para la crítica. - El diseño, hipótesis y cambio de la TDC del proyecto se adaptan con base en la interpretación de los resultados. - Los resultados de la interpretación se retroalimentan a todo el equipo de investigación y a todos los que presentaron los datos. MANUAL DEL MEPI 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A JULIO DE 2013 39 Marca - 1 a 5 (escoja uno) Pregunta D.2 ¿Están bien documentados los hallazgos del proyecto y se generan reportes y publicaciones bien documentadas y de alta calidad? 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional Comentarios N/A E. Fortalecimiento Institucional E.1 – Está el proyecto adecuadamente respaldado por las respectivas instituciones asociadas? Criterios Recursos Liderazgo Desarrollo de destrezas Autoridad Tutoría científica Publicación de respaldo - - Métodos de investigación/M&E Enfoque y centro de investigación (AEI/Sistemas) Desarrollo de liderazgo Colaboración Política E.3 ¿El proyecto es capaz de influir en las MANUAL DEL MEPI Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A E.2 – ¿Contribuye el proyecto a fortalecer las respectivas instituciones asociadas, u otras instituciones/organizaciones relevantes de manera que sea probable que sigan luego de que termina el proyecto? - 1: 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A 1: JULIO DE 2013 Para nada 40 Marca - 1 a 5 (escoja uno) Pregunta instituciones (organizaciones, mercados, grupos de agricultores, gobiernos) con las que trabajan? -¿Están integrándose y comunicándose con otros departamentos? -¿Son parte de los debates sobre políticas? -¿Se están creando nuevas posiciones permanentes durante o después del proyecto y financiadas por las instituciones locales? -¿Se extiende la creación de capacidad más allá de aquellos directamente involucrados en el proyecto? -¿Hay evidencia de que otros proyectos/ departamentos están usando las herramientas del CCRP debido a la influencia directa o indirecta de los proyectos? 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional Comentarios N/A F. Desarrollo F.1 – ¿Están los resultado de investigación informando acerca de intervenciones de desarrollo? 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A F.2 ¿Incluyen las asociaciones a organización(es) que trabajen directamente con y son valoradas por los agricultores? - ¿Están representados los agricultores en estas organizaciones? - ¿Cuánto tiempo han trabajado las organizaciones en el áreas objetivo? - ¿Reflejan los agentes de extensión el género y grupo étnico MANUAL DEL MEPI 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A JULIO DE 2013 41 Marca - 1 a 5 (escoja uno) Pregunta Comentarios de la población objetivo? ¿Hablan la lengua nativa? - ¿Permiten los métodos de interacción entre los socios implementadores y los beneficiarios un diálogo de dos vías? - ¿Cuántos agricultores asisten a eventos organizados por el proyecto en relación con toda la comunidad? - ¿Se solicitan y documentan las opiniones y percepciones de los beneficiarios? - Apoya la determinación local de las trayectorias de desarrollo. F.3 – ¿Mide el proyecto los impactos de su intervención en términos del cambio en la nutrición de manutención de la población objetivo? 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A F.3 ¿Se reconoce la heterogeneidad de los agricultores y la comunidad y se intenta alcanzar a los diferentes agricultores? 1: Para nada 2: Inferior a la media 3: Adecuado 4: Bueno 5: Excepcional N/A MANUAL DEL MEPI JULIO DE 2013 42