EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 96. ¿El programa recolecta regularmente información veraz y oportuna sobre sus indicadores de Propósito y Fin? Respuesta: No. El FONART no recolecta información sobre indicadores de Propósito y Fin porque dichos indicadores fueron inexistentes en 2007, ya que los únicos indicadores que reportó, según lo establecido en las Reglas de Operación, contabilizan los resultados a nivel de componente (número de adquisiciones a artesanos; número de artesanos capacitados; número de artesanos premiados en concurso, y financiamientos otorgados a artesanos). Asimismo, durante 2007 se realizó un ejercicio de implementación de indicadores enfocados al Propósito y Fin del Programa; a nivel de Fin se propuso el indicador “Porcentaje de artesanos beneficiados por FONART que incrementaron su ingreso derivado de la actividad artesanal respecto al total de artesanos beneficiados”. A nivel de Propósito se propusieron cuatro indicadores: 1. Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas con respecto al total de artesanos capacitados. 2. Porcentaje de artesanos financiados que incrementaron su producción con respecto al total de artesanos financiados. 3. Porcentaje de artesanos beneficiados por adquisición que ampliaron mercado con respecto al total de artesanos beneficiados por adquisición. 4. Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos con respecto al total de artesanos concursantes. Para el levantamiento sistematizado de información veraz y oportuna que da lugar a estos indicadores, así como para el seguimiento de los mismos, el FONART debe llevar a cabo los cambios organizacionales que se requieran para determinar cuál será el área encargada de estas actividades de conformación y seguimiento de los indicadores de impacto del Programa. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 106 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 97. ¿El programa ha llevado a cabo evaluaciones externas con metodologías rigurosas que le permitan medir el impacto del programa en la población objetivo (evaluaciones que permitan medir los avances en términos de su Propósito y Fin)? Respuesta: Sí. El FONART ha realizado evaluaciones externas basadas en metodologías rigurosas,1 que le han permitido medir el impacto del Programa en su población objetivo y registrar la percepción del beneficiario respecto a los apoyos que le brinda la entidad.2 En la evaluación externa de 2005 (realizada por UNICEDER) se implementó una metodología mixta para la medición de los resultados e impactos intermedios de las vertientes del Fondo. Para el análisis cuantitativo se diseñó una muestra utilizando una precisión del 4.8 por ciento y una confiabilidad del 95 por ciento. El marco de muestreo utilizado para las cuatro vertientes fue de 3,668 beneficiarios. La evaluación registró si los beneficiarios consideraban que había mejoría en su situación económica tras recibir los apoyos del FONART, además de analizar el diseño, operación, cobertura y focalización del Programa. En la evaluación de 2006, donde la institución evaluadora fue Alternativas en Economía, se realizó un análisis cualitativo y cuantitativo en campo para conocer los cambios generados en las condiciones socioeconómicas de los artesanos como consecuencia de los apoyos otorgados por el FONART. Se realizó un diseño muestral que determinó visitar 18 entidades y 40 municipios, donde se aplicaron a cada beneficiario dos cuestionarios: uno denominado de Beneficiario y otro de Hogar. Aquí también se registró la opinión de los beneficiarios respecto a los avances que han notado en su situación económica desde que son apoyados por el FONART, así como los alcances del Programa en términos de su Diseño, Operación, Cobertura, Focalización y Resultados. 1 De acuerdo con el apartado 8.2 de las Reglas de Operación, las evaluaciones externas que se realizan al programa son coordinadas por la Dirección General de Evaluación y Monitoreo de Programas Sociales de la SEDESOL. 2 Cabe indicar que estas evaluaciones respondieron a los objetivos generales de evaluación de los años en los que fueron realizadas, es decir, no se enfocaron a medir el avance del Programa en términos del Propósito y Fin del mismo, pues en ese momento la Metodología de Marco Lógico no era utilizada en la evaluación de los programas sociales ni se tenía una Matriz de Indicadores para cada uno de ellos. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 107 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 98. Con base en las evaluaciones externas, ¿cuáles han sido los principales impactos del programa?* Las evaluaciones externas destacan el hecho de que el FONART, “teniendo una infraestructura y estructura operativa pequeña con respecto a la dimensión de necesidades y población que existe en el sector artesanal, ha logrado una amplia cobertura nacional”.3 También destaca que las acciones desarrolladas por el FONART a través de las vertientes son congruentes respecto de la población objetivo, ya que algunas estimaciones de pobreza formuladas a partir de un “Cuestionario de Hogares” aplicado a una muestra de artesanos apoyados, refleja que 72 por ciento de los entrevistados efectivamente están situados dentro de los umbrales de pobreza, lo que va desde pobreza alimentaria (37.2 por ciento), de capacidades (11.3 por ciento) y patrimonial (23.3 por ciento).4 La vinculación de las vertientes de Capacitación y Asesoría Técnica con Financiamiento y de Adquisiciones de Artesanías permite un apoyo integral al beneficiario, cubriendo todas las necesidades para integrar al mercado sus productos. Los concursos aumentan la calidad de las obras. Asimismo, los premios sirven para realizar mejoras al taller y comprar materiales; apoyo a la economía del hogar y, en menor grado, comprar bienes y viajes. Del mismo modo, se identificó que a lo largo de los últimos cuatro ejercicios presupuestales se ha ampliado la participación de la mujer como receptora directa de los apoyos otorgados por el FONART; durante el año 2006 las dos terceras partes de los beneficiarios directos fueron personas del sexo femenino, lo que permite establecer que no existen criterios o acciones que propicien una discriminación de la mujer. 3 4 UNICEDER, Evaluación Externa del FONART, 2005. Alternativas en Economía, Evaluación Externa del FONART, 2006. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 108 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 99. ¿El diseño y la operación del programa permiten realizar una evaluación de impacto rigurosa? Si no es así, explicar y proponer los ajustes necesarios para que sean compatibles. Respuesta: No. De acuerdo con el Diseño del Programa no es viable la elaboración de evaluaciones de impacto rigurosas debido a que el FONART determina su población objetivo en Reglas de Operación mediante el establecimiento de dos condiciones simultáneas que no necesariamente se pueden cumplir: apoyar a los artesanos que viven en condiciones de pobreza y que preservan técnicas y diseños tradicionales, situación que se refleja en su operación al terminar privilegiando el fomento de la artesanía sobre el nivel socioeconómico del beneficiario. Adicionalmente, su Diseño no permite la elaboración de indicadores de por lo menos una muestra aleatoria de un grupo de beneficiarios que permita medir el impacto del programa, y por lo mismo no se ha establecido una línea basal para estimar el avance, por ejemplo, en los ingresos de los artesanos tras recibir el apoyo de las vertientes del FONART o en el nivel de pobreza que tienen los artesanos que han sido beneficiados con las vertientes del Programa. Por otro lado, el Programa no cuenta con una estructura adecuada que permita el levantamiento de la información necesaria para la conformación de indicadores de impacto ni para establecer un grupo contrafactual que permita estimar el impacto del programa a lo largo del tiempo. Por lo tanto, se sugiere en primer término continuar con el esfuerzo de cuantificar y cualificar la población objetivo del Programa mediante la incorporación de una Cédula de Información Socioeconómica y la consolidación de un Padrón de Artesanos. Asimismo, se sugiere llevar a cabo la reestructuración administrativa y operativa que requiera el Fondo para sistematizar la información que alimentarán los indicadores. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 109 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART 100. Con base en la información obtenida de los distintos instrumentos, ¿el programa ha demostrado adecuado progreso en alcanzar su Propósito y Fin? Especificar los principales resultados. Respuesta: No. El FONART tiene importantes problemas de Diseño que no le han permitido alcanzar su Propósito y Fin, pues si bien brinda apoyos a los artesanos (capacitación, financiamiento, apertura de mercado mediante la adquisición de mercancías y fomento del arte popular por medio de los concursos), no tiene elementos para determinar que éstos son los que se encuentran en condición de pobreza y que por sus condiciones de vulnerabilidad económica no tienen acceso a instituciones crediticias ni al mercado, ya que el Programa no cuenta con mecanismos para caracterizar a sus beneficiarios, razón por la que no cumple con las Reglas de Operación en el sentido de que sus actividades y productos deben enfocarse únicamente a la atención de artesanos en condición de pobreza. La problemática es aún mayor si se considera que al atender a los artesanos en pobreza el Fondo debe potenciar la creación de artesanías con técnicas y diseños tradicionales, que tengan gran calidad para tener acceso al mercado. Por lo tanto, el FONART debe hacer adecuaciones importantes para que su Diseño responda a las Reglas de Operación y pueda tener un impacto importante sobre su población objetivo; en primer término debe resolverse la dualidad que presenta el FONART de promover la actividad artesanal del país, preservando las técnicas y los diseños tradicionales, mientras que se impulsa a los artesanos en condición de pobreza ubicados prioritariamente en localidades de alta y muy alta marginación. Para ello es necesario que el FONART genere un programa específico de atención a los artesanos en condición de pobreza (basado en recursos del Ramo 20 y por lo tanto sujeto a Reglas de Operación) y que el resto de sus actividades de promoción y comercialización artesanal se abran al fomento de las artesanías y artesanos en general. En segundo lugar, debe subsanarse la ausencia de caracterización y cuantificación de la población que atiende el FONART mediante la incorporación de una Cédula de Información Socioeconómica. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 110