Herramientas de Evaluación en Proyectos de Innovación Social Santiago, del 23 de abril al 14 de mayo de 2014 Guía: Uso de Evidencia en el Diseño de Proyectos En el proceso de diseño de un programa, producto o servicio es importante incluir la evidencia que ya tenemos al respecto. Nuestro diseño puede parecer excelente, pero podemos estar olvidando algunos aspectos relevantes que podrían hacerlo fracasar, ya sea en términos de rentabilidad, como de un impacto social distinto del pronosticado. En este sentido, es importante recolectar evidencia sobre cómo han resultado iniciativas parecidas antes, sobre el contexto en el que queremos operar, etc. Esta evidencia puede agruparse en las siguientes categorías: Evidencia entregada por la Experiencia: basada en la experiencia profesional, el entendimiento del problema, vivencias, habilidades, etc. tanto de uno mismo como de los demás, conocido como conocimiento intuitivo o tácito. Evidencia sobre el Contexto: basada en la información que podemos recolectar sobre nuestros potenciales beneficiarios (sus preferencias, necesidades, limitaciones), su comunidad, el marco regulatorio del país, nuestra competencia, el contexto sociopolítico, etc. Evidencia Científica: basada en la mejor evidencia rigurosa disponible relevante para el problema en cuestión. Existen diversas formas de recoger esta evidencia, entre las que está la experiencia, la observación, y diversas herramientas de análisis cualitativo y cuantitativo, el primero enfocado en entender en profundidad las razones del comportamiento humano, y el segundo introduce herramientas y análisis estadístico al mismo problema. Todas estas fuentes son igual de útiles, y debieran ser incluidas en nuestro diseño. Esta guía busca profundizar en el uso y selección de evidencia científica, y es un apoyo a los contenidos del curso, y será complementada durante las clases y talleres. ¿Cómo revisar la mejor Evidencia Científica Disponible? Continuamente escuchamos lo importante que es incluir “evidencia científica” en nuestros diseños. No obstante, existen numerosos estudios académicos sobre la eficacia de intervenciones sociales, y resulta difícil diferenciar entre “buena” y “mala” evidencia. Este documento pretende servir como una guía no-técnica para evaluar la calidad de evaluaciones de impacto de programas sociales, y para determinar cuándo se puede aplicar sus resultados al diseño de un programa nuevo, aun cuando el contexto y la localidad sean distintos que la evaluación original. 1 Herramientas de Evaluación en Proyectos de Innovación Social Santiago, del 23 de abril al 14 de mayo de 2014 Validez Interna y Validez Externa Para determinar que evidencia debemos usar, es crucial asegurarnos que el estudio que estamos revisando tiene tanto validez interna como validez externa. La validez interna se refiere a que la evaluación sea metodológicamente consistente y que los resultados, dentro del contexto específico de la evaluación, sean científicamente legítim0s. Para el propósito de este documento, vamos a asumir que los estudios publicados en revistas académicas tienen validez interna, dado que tiene que pasar por el proceso de revisión de pares. A diferencia de la validez interna, que podemos confiársela a los pares de los investigadores, quiénes revisan el estudio antes de que éste sea publicado, la validez externa, o generalización, es más difícil de determinar. Para evaluar cómo los resultados de un estudio se aplicarían a un contexto diferente, hay que revisar cuidadosamente el contexto en que queremos aplicar los resultados, y si acaso estos se debieran mantener en el nuevo contexto. Estas suposiciones pueden ser más o menos razonables, y por eso es importante hacerlas de manera responsable. ¿Cómo evaluar Validez Externa? El diseño de una evaluación a veces permite fácilmente generalizar los resultados. Por ejemplo, si los participantes de una evaluación fueron elegidos aleatoriamente de un grupo bien definido (ej. distritos de una región, o hogares de una aldea), se puede generalizar seguramente los resultados al grupo entero sin tener que hacer un Revisando evidencia científica a primera vista juicio. Sin embargo, si quieres usar los Evaluar la calidad de un artículo académico puede ser resultados de una evaluación fuera de complicado. No obstante, hay varios indicios que su contexto original, hay que estimar pueden ayudarte antes de empezar a leer: que tan generalizable sería el estudio Calidad de la revista: El proceso de publicar un en el contexto distinto. Para hacer artículo en una revista académica es muy competitivo, esto, hay que tomar en cuenta lo por regla general las mejores revistas publican los mejores artículos. Si no sabes cuales, puedes consultar siguiente: esta lista: http://www.scimagojr.com/journalrank.php Diseño de la intervención: Y para artículos en economía: Ciertas estudios fueron diseñados http://ideas.repec.org/top/top.journals.all10.html para ser más generalizables que Universidad o institución de los autores: otros. Para analizar estas diferencias, Generalmente, instituciones académicas eligen a sus investigadores por la calidad de su investigación. Si el hay que enfocarse en el diseño de la autor de una publicación es de una institución buena, intervención. ¿Cómo funciona en es probable que su evaluación sea rigurosa. Puedes teoría? encontrar las mejores instituciones en economía acá: Por ejemplo, si un medicamento http://ideas.repec.org/top/top.inst.all.html nuevo ha sido testeado en un lugar y Citas: Si un artículo académico ha tenido un gran ha resultado eficaz, es muy probable impacto en el mundo académico y de políticas que el medicamento tenga un públicas, es probable que haya sido citado mucho. Se resultado muy parecido en cualquier puede averiguar cuantas citas tiene un artículo lugar del mundo donde exista la buscando aquí: http://www.scholar.google.com 2 Herramientas de Evaluación en Proyectos de Innovación Social Santiago, del 23 de abril al 14 de mayo de 2014 enfermedad. Obviamente, el contexto siempre es importante. No tendría sentido implementar un programa de anti-malaria en un lugar donde no existe la malaria. En contraste, otr0s estudios están diseñados para contextos muy específicos, y cómo funciona la intervención depende mucho del implementador, el contexto institucional, y la población específica que recibe el programa, entre otros variables. Por ejemplo, en una evaluación de un currículo escolar nuevo, influyen muchas variables como la calidad de los profesores y las escuelas, el sistema institucional de la educación del país y otras variables similares, y puede resultar difícil aplicar los resultados de la evaluación a cualquier contexto. Mientras más variables afecten la intervención, más difícil será generalizar una evaluación. Contexto de la evaluación y contextos en los que te gustaría usar los resultados: Aun si una evaluación tiene un diseño que no resulta muy generalizable, a veces es posible usar los resultados en un contexto nuevo si ambos contextos son suficientemente parecidos en ¿Dónde puedo encontrar evaluaciones de términos de los factores que pueden impacto rigurosas? afectar la implementación del Numerosas organizaciones han hecho esfuerzos programa. En el ejemplo de por reunir la evidencia en sitios web más educación de la sección anterior, accesibles. Revísalas acá: podría ser posible usar los resultados Abdul Latif Jameel Poverty Action Lab*: de la evaluación de un currículo http://www.povertyactionlab.org/evaluations nuevo en el caso de que el contexto Innovations for Poverty Action: donde se desea implementar un http://www.poverty-action.org/work/publications Development Impact Evaluation, World Bank: currículo similar sea suficientemente http://www.worldbank.org/dime parecido al contexto de la evaluación Social Science Registry, American Economic original (sistema de educación del Association: país, tipo de escuela donde se https://www.socialscienceregistry.org/ implementará el programa, nivel de * El sitio tiene también versión en español. educación de los profesores, grado y desempeño de los estudiantes, entre También puedes encontrar artículos especializados en revisiones de literatura, y los otros). Se puede hacer esta puedes encontrar enfocando la búsqueda en comparación utilizando datos “literatura review” o “review”, incluyendo el cualitativos y cuantitativos. Cuanta tópico que te interesa. Puedes encontrar algunas más información tengas sobre el aquí: contexto de la evaluación y el Abdul Latif Jameel Poverty Action Lab: contexto en el que quieres usar la http://www.povertyactionlab.org/publications evidencia, más puedes confiar en Annual Reviews: que esos resultados se aplican en tu http://www.annualreviews.org/ contexto. 3 Herramientas de Evaluación en Proyectos de Innovación Social Santiago, del 23 de abril al 14 de mayo de 2014 Cuándo diseñes un programa, o cuando ya lo estés desarrollando, no olvides consultar regularmente nueva evidencia. El proceso de producción de evidencia es dinámico, y así como tu proyecto va cambiando, la evidencia relevante también, y cada día se terminan nuevos estudios, van cambiando los contextos, van cambiando las necesidades de la gente, la gente va conociendo tu proyecto, etc. No dejes de recoger información, y de generar tu propia evidencia: qué funciona en tu proyecto, que no, y porqué. Es fundamental que puedas identificar los factores, los procesos, los componentes, etc. que están generando los resultados, para mejorar lo que no está funcionando bien, y hacer más de lo que si funciona. Ten especial cuidado cuando leas sobre estudios en la prensa, internet, redes sociales, etc. Asegúrate de revisar las fuentes, con la misma rigurosidad que revisarías un estudio que encontraras tú mismo. 4