EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA FONDO NACIONAL PARA EL FOMENTO A LAS ARTESANIAS 2007 INFORME FINAL MARZO 20, 2008 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART Resumen Ejecutivo A continuación se presentan los aspectos más relevantes de la Evaluación de Consistencia y Resultados de FONART 2007, para los temas evaluados. Diseño Este apartado fue reevaluado con base en la Matriz de Indicadores Modificada, originada con las sugerencias del evaluador y de SEDESOL a la Matriz original presentada por FONART. De esta forma, de las 34 preguntas que componen el capítulo 14 tuvieron respuesta positiva, 11 fueron negativas y 9 fueron respuestas abiertas. En las respuestas positivas, destaca: • La lógica vertical de la Matriz de Indicadores Modificada se valida, ya que las actividades señaladas son necesarias y suficientes para el logro de los Componentes; los Componentes de la Matriz modificada son indicados para alcanzar el Propósito; el Propósito está claramente definido (artesanos en situación de pobreza fortalecidos en su ciclo productivo) y el logro del mismo contribuye plenamente al logro del Fin (contribuir al incremento del ingreso de los artesanos en situación de pobreza). • La lógica horizontal de la Matriz modificada se valida pues todos los indicadores de la Matriz modificada son claros, relevantes, económicos, adecuados y monitoreables; los indicadores tienen línea base, y los supuestos son consistentes para la realización del objetivo del nivel inmediato superior (recuérdese que el análisis de los supuestos se vincula a la lógica vertical). En cuanto a las respuestas negativas, es importante mencionar: • El problema al que va enfocado FONART no está definido con claridad, ya que presenta el doble objetivo de atender a los artesanos en pobreza y de fomentar las artesanías tradicionales y de calidad. • El Programa no cuenta con un diagnóstico adecuado y actualizado que otorgue sustento a su existencia. • Las Poblaciones Potencial y Objetivo presentan problemas en su definición. La primera no define con exactitud el tipo de artesano que presenta el problema al que se dirige el Programa (en situación de pobreza y que crea artesanías de calidad basadas en técnicas y ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 1 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART diseños tradicionales); la segunda es imprecisa en las Reglas de Operación, de acuerdo a los criterios establecidos por el CONEVAL 1 . • Aunque existe información sobre quiénes reciben los apoyos del FONART, ésta no presenta datos sobre las características socioeconómicas de los artesanos atendidos. • El FONART no cuenta con un mecanismo específico que le permita determinar las duplicidades con otros programas federales. Respecto a las preguntas abiertas: • El FONART se vincula al objetivo número 2 del Programa Sectorial de Desarrollo Social (“abatir el rezago que enfrentan los grupos sociales vulnerables a través de estrategias de asistencia social que les permita desarrollar sus potencialidades con independencia y plenitud”) y con el objetivo número 3 (“disminuir las disparidades regionales a través de un patrón territorial ordenado y una infraestructura social que permita la integración de las regiones marginadas a los procesos de desarrollo y detonar las potencialidades productivas”). Planeación Estratégica De las 14 preguntas de este capítulo, seis tuvieron respuestas positivas, seis negativas y dos abiertas. Las respuestas positivas se refieren a: • FONART tiene planes de corto y mediano plazos. • FONART recolecta periódicamente información sobre su operación, lo que permite tomar acciones correctivas cuando esto es necesario. • El Programa tiene metas y plazos específicos para sus indicadores de gestión. • El Programa ha llevado a cabo evaluaciones externas y ha utilizado recomendaciones de las evaluaciones externas para mejorar su operación, por ejemplo, la integración de un Comité de Compras; la incorporación del Sistema NETZEN, entre otras. 1 Población potencial: Población total que presenta la necesidad y/o problema que justifica el programa y por ende pudiera ser elegible para su atención. Población objetivo: Población que el programa tiene planeado o programado atender en un periodo dado de tiempo, pudiendo corresponder a la totalidad de la población potencial o a una parte de ella. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 2 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART En las respuestas negativas se destaca: • FONART no tiene un plan estratégico de largo plazo (más de seis años). • En los planes de corto y mediano plazos se establecen indicadores y metas del programa, aunque no se indican estrategias y políticas para alcanzar dichas metas, ni se especifican programas de trabajo para la implementación de las estrategias del FONART. • Ninguno de los indicadores que reportó FONART en 2007 mide el impacto que sus acciones tienen en los beneficiarios, pues se trata de indicadores de los productos (componentes), además de que no cuentan con una línea base. En las preguntas abiertas: • La fuente de financiamiento del Programa son los recursos fiscales del Ramo 20. • Las evaluaciones externas realizadas analizan el año fiscal para el que fueron contratadas. Los temas que se han evaluado desde el 2002 al 2006 son diseño; cobertura y focalización; operación; resultados; percepción de la población atendida en términos cuantitativo y cualitativo. Estos dos últimos temas han requerido trabajo de campo, mientras que los restantes se apoyaron en trabajo de gabinete. Cobertura y Focalización En este apartado no hubo respuestas positivas, y fueron 5 negativas y 3 abiertas. Entre las negativas se encuentran: • Las principales carencias fueron el método para cuantificar las poblaciones potencial y objetivo, así como la falta de estrategias de cobertura de mediano y largo plazos. • La población atendida durante 2007 no se apegó a las especificaciones de las Reglas de Operación, dado que no todos los artesanos beneficiados se encuentran en pobreza. Las preguntas abiertas tienen que ver con la información necesaria para evaluar cuantitativamente la operación del programa, y se encontró que: • Las vertientes del programa han estimado como metas las acciones a realizar, no así su población objetivo, es decir, sus beneficiarios, lo que impide evaluar correctamente el logro de sus objetivos. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 3 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART Operación En este apartado hubo 18 respuestas positivas, 14 negativas 2 y cuatro abiertas. Entre las positivas se encuentran: • Los apoyos que ofrece el FONART en cada una de sus vertientes cumplen con las características establecidas en las Reglas de Operación. • Se han realizado esfuerzos para mejorar la operación de las diferentes vertientes del programa, entre otros: unificación del padrón de beneficiarios, reducción de tiempos de entrega de las piezas que participan en los concursos, reducción de tiempos de respuesta a las solicitudes de financiamiento, y en el proceso de capacitación. • El programa mostró progreso en la entrega de sus Componentes (capacitación, financiamiento, adquisición y concursos) en 2007, pues los cuatro indicadores reportados superaron el 100 por ciento en sus resultados en cuanto a acciones realizadas en cada vertiente. • Los mecanismos de transparencia con que cuenta FONART cumplen con lo establecido en las Reglas de Operación. Entre las negativas se encuentran: • No hay homogeneización en los formatos de solicitud de los apoyos, las vertientes de financiamiento y concursos cuentan con un formato, pero adquisición y capacitación se basan en un escrito libre. • El Programa no tiene un sistema de información que le permita conocer la demanda total de apoyos. • En la estructura organizacional no se cuenta con un área específica para la operación de la vertiente de Financiamientos y la vertiente de concursos sólo es operada por el subdirector con apoyo del Director. • Los sistemas que se utilizan para llevar la administración financiera, no están integrados. • FONART no realiza una cuantificación de cuánto cuesta otorgar el apoyo de cada vertiente, es decir, no establece un costo de operación; tampoco tiene elaborado el costo – efectividad de su ejecución. 2 Las respuestas 75, 79 y 80 son negativas, pero se refieren a elementos que a FONART no le hacen falta para su buena operación, por lo que en realidad tienen un sentido positivo en la evaluación. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 4 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART • Los mecanismos de actualización del padrón no son los adecuados, ya que no cuenta con procedimientos ni documentación que permitan validar su creación y actualización. En las preguntas abiertas destaca: • El Programa de FONART no recibe aportaciones de terceros. • El FONART cuenta con cinco sistemas de información (SICPRE, MBA, CONTPAQ i, CHEQPAQ, Padrón de beneficiarios) y algunas aplicaciones en Excel que permiten controlar la gestión de las vertientes. Percepción de la Población Objetivo En este apartado no hubo respuestas positivas, al ser 2 negativas y 1 abierta. Entre las negativas se encuentran: • Ninguna de las vertientes que opera el FONART cuenta con instrumentos para medir el nivel de satisfacción de la población objetivo. En la pregunta abierta destaca: • Se realizó una encuesta de campo y grupos de enfoque en el año 2006, que mostró aceptación del programa del FONART, particularmente entre los artesanos de tiempo completo, donde se menciona que el programa permitió elevar sus ingresos. Resultados Este apartado tuvo una respuesta positiva, tres negativas y una abierta. La respuesta positiva se refiera a que FONART ha realizado evaluaciones externas basadas en metodologías rigurosas, que le han permitido medir el impacto del Programa en su población objetivo y registrar la percepción del beneficiario respecto a los apoyos que le brinda FONART. En cuanto a las negativas: • El Diseño del Programa no permite la elaboración de evaluaciones de impacto rigurosas debido a que el FONART, al determinar su población objetivo en Reglas de Operación, establece condiciones simultáneas, que no necesariamente se pueden cumplir. • El Programa no ha demostrado un adecuado progreso para alcanzar su Propósito y Fin, porque tiene importantes problemas en el Diseño, que impactan en su operación. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 5 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DEL FONART La pregunta abierta se refiere a los resultados de las evaluaciones que ha tenido FONART en los últimos dos años, que establecen que las acciones desarrolladas por el FONART a través de las vertientes son congruentes respecto de la población objetivo, ya que algunas estimaciones de pobreza formuladas a partir de un “Cuestionario de Hogares” aplicado a una muestra de artesanos apoyados, refleja que 72% de los entrevistados efectivamente están situados dentro de los umbrales de pobreza, lo que va desde pobreza alimentaria (37.2%), de capacidades (11.3%) y patrimonial (23.3%). 3 3 Alternativas en Economía, Evaluación Externa del FONART, 2006. ALTERNATIVAS EN ECONOMÍA, S. A. de C.V.- Gabriel Mancera 1654, Col. Del Valle, C. P. 03100 Teléfono 55-34-34-56 6