Reporte Monitoreo y Evaluación a CIDE

Sistema Estatal de Rendición de Cuentas
Rubro Monitoreo y Evaluación
Rubro: Monitoreo y Evaluación.
Responsable: Carlos Camarena Torres, Coordinador de Proyectos Estratégicos,
Coordinación General de Políticas Públicas.
Coordinación General de Políticas Públicas.
PUNTO DE PARTIDA EN MATERIA DE MONITOREO Y EVALUACIÓN
Uno de los principales retos que todavía tiene que enfrentar el gobierno del estado
de Guanajuato en materia de monitoreo y evaluación tiene que ver precisamente
con la propia organización al interior de la administración. Si no hay una estructura
clara de quiénes tendrán que encargarse de la evaluación de los programas, será
muy difícil que las evaluaciones se realicen de manera pertinente y que después
esa información realmente sea utilizada para la toma de decisiones al interior del
propio gobierno. Es por ello que es necesario que este equipo de trabajo no deje
de tener presente que hace falta consolidar avances en los siguientes aspectos:
• Definir qué organismo tendrá la responsabilidad de las evaluaciones en el futuro.
• Contratar a quienes llevarán a cabo las evaluaciones planeadas de una manera
transparente.
• Determinar los mecanismos del seguimiento que se dará a los resultados de las
evaluaciones, así como de qué manera dichos resultados se vincularán con la
planeación presupuestal y el ajuste programático anual.
• Garantizar la publicación de los resultados de las evaluaciones, para que la
sociedad civil vil conozca la manera en que el Gobierno del Estado se está
encargando de hacer las mejoras pertinentes a sus programas.
• Diseñar mecanismos de vinculación entre la evaluación y la asignación
presupuestal.
1
Sistema Estatal de Rendición de Cuentas
Rubro Monitoreo y Evaluación
AVANCES Y TAREAS PENDIENTES DE LAS RECOMENDACIONES
INICIALES.
Resumen de Logros y tareas en Monitoreo y
Evaluación
RECOMENDACIÓN
INICIAL
ACCIONES
REALIZADAS Y
ESTRATEGIAS
SUGERIDAS
Ya se definió
el paquete
de
programas a
Integración de
evaluar (se
un paquete
encuentra en
evaluativo que
proceso de
sirva como
evaluación).
ejemplo para
En su
construir bases
momento se
sólidas de
validarán los
evaluación en
términos de
la entidad.
referencia
para las
evaluaciones
.
Definir los
Todavía no
lineamientos
se han
para consolidar iniciado los
un Sistema
trabajos para
Estatal de
definir los
Evaluación.
lineamientos.
HORIZONTES
PROYECTADOS
PARA EL FINAL
DEL PROYECTO
ESTATUS
ACTUAL
Al último corte
Se
elaboraron y
Para la
entregaron
finalización
términos de
del proyecto referencia
se prevé que para cada
todas las
evaluación
evaluaciones del paquete.
estén en
A la espera
curso.
del concurso
para asignar
evaluadores.
Propuesta
de
Lineamiento
s para
integrar el
Sistema
Estatal de
Evaluación.
El GAE
entregó una
propuesta de
lineamientos
que debe
validar y
complementa
r el equipo de
Guanajuato.
2
Actualización 2015
ESTATUS
ACTUAL
A mayo 2015
Temas por
atender
Los
Aun no se
documentos
cuenta con
de los TR
los recursos
están listos
para la
para su
contratación.
aplicación, se
han realizado La gestión
corre a
algunas
cargo
del
adecuacione
Coordinador
s a los
General de
mismos a
raíz de la
Políticas
intervención
Públicas
que con
IPLANEG
tuvo el Banco
Mundial.
La CGPP
está
participando
en las
reuniones
de trabajo
para la
creación del
Sistema
Estatal de
Monitoreo y
Evaluación
Se prevé la
Coordinació
n de
IPLANEG en
conjunto con
la
intervención
del Banco
Mundial.
Sistema Estatal de Rendición de Cuentas
Rubro Monitoreo y Evaluación
Secretaría de Desarrollo Social y Humano
Responsable: Juan Carlos Meléndez Sánchez, Director de Evaluación, Secretaría
de Desarrollo Social y Humano.
CONTEXTO
La Ley de Desarrollo Social y Humano para el Estado y los Municipios de
Guanajuato, en su artículo 38, refiere que la evaluación de la política pública
estatal de desarrollo social y humano estará a cargo de esta Secretaría de
Desarrollo Social y Humano (SDSH), cuyo objetivo será el revisar periódicamente
el cumplimiento de los programas sociales en materia de desarrollo social y
humano; para lo cual, cada Dependencia determinará la programación de
acciones de evaluación en función de la naturaleza técnica de los programas.
Considerando lo anterior, la SDSH ha estructurado sus actividades en las tres
líneas de trabajo:
1. Fortalecimiento de la Normatividad en materia de M&E.- Formalizar criterios o
lineamientos para regular las actividades de monitoreo y evaluación emprendidas
por dependencias y entidades en la materia;
2. Implementación de Procesos de M&E.- Desarrollar actividades propias del
Monitoreo y Evaluación; y
3. Institucionalización de una cultura de M&E.- Capacitar y difundir las prácticas de
monitoreo y evaluación.
AVANCES
A continuación se mencionan los avances alcanzados en cada una de las líneas
de trabajo mencionada anteriormente:
1. Fortalecimiento de la Normatividad en materia de M&E
a. Publicación del documento “Criterios de Monitoreo y Evaluación,
seguimiento a recomendaciones, creación de programas y programación
de acciones, en materia de desarrollo social y humano”, Link.http://desarrollosocial.guanajuato.gob.mx/pdf/criterios.pdf
b. Publicación de Reglas de Operación de Programas Sociales Estatales.http://portalsocial.guanajuato.gob.mx/sites/default/files/documentos/2015_S
EDESHU_%20Catalogo_de_programas_sociales_estatales_2015.pdf
3
Sistema Estatal de Rendición de Cuentas
Rubro Monitoreo y Evaluación
2. Implementación de Procesos de M&E
a. Publicación del Programa Sectorial Social y Humano Visión 2018,
http://periodico.guanajuato.gob.mx/periodico/archivos/PO_198_5ta_Parte_2
0141211_2012_4.pdf
b. Terminación de estudio Política Social de Guanajuato, línea base para la
evaluación, http://desarrollosocial.guanajuato.gob.mx/estudio/2014/La%20Pol
%C3%ADtica%20Social%20en%20el%20Estado%20de%20Guanajuato14abril.pdf
i. Programas y Acciones Sociales Estatales
1. Fichas básicas
2. Fichas Técnicas de Indicadores
ii. Indicadores para evaluar la política social
iii. Propuesta metodológica para evaluar la Estrategia IMPULSO
c. Realización de Evaluaciones a Programas de la SDSH,
http://desarrollosocial.guanajuato.gob.mx/evaluacion-programas.php
d. Arranque de investigaciones en materia de desarrollo Social y Humano,
http://concyteg.gob.mx/index.php?r=contenido/convocatorias/sedeshu.php
e. Elaboración de Fichas de monitoreo de los Programas Sociales de la SDSH,
http://portalsocial.guanajuato.gob.mx/sites/default/files/documentos/2015_SED
ESHU_Fichas_de_monitoreo_programas_sociales_2015.pdf
i. Diseño de los Programas
ii. Alineación a la planeación
iii. Indicadores y metas
iv. Presupuestación
v. Evaluación
vi. Seguimiento a recomendaciones
f. Integración de Sistema de Inversión Social y Control de Obras,
http://portalsocial.guanajuato.gob.mx/?q=content/aviso-importante
3. Institucionalización de una cultura de M&E
a. Capacitaciones en M&E, con instituciones académicas: CIDE, CONEVAL, e
INSP;
b. Evento de Mejores Prácticas para mejorar la calidad de vida,
http://portalsocial.guanajuato.gob.mx/?q=node/2737
4
Sistema Estatal de Rendición de Cuentas
Rubro Monitoreo y Evaluación
c. Mesa interinstitucional donde participan Secretaría de Finanzas, Inversión y
Administración, Secretaría de la Transparencia y Rendición de Cuentas,
Instituto de Planeación, Coordinación General Jurídica, Coordinación General
de Políticas Públicas con el fin de diseñar y operar el proceso de M&E en
Programas Sociales Estatales, de la cual los principales resultados son:
i. Definición consensuada de Programa Social Estatal, criterios,
componentes y su gestión (Terminado)
ii. Integración de un Catálogo único de Programas Sociales Estatales
(Terminado)
iii. Integración de una propuesta de Lineamientos para Monitoreo y Evaluación
de Programas Sociales Estatales (En proceso)
d.
Difusión
en
web
de
las
actividades
de
M&E,
http://portalsocial.guanajuato.gob.mx/
5
Sistema Estatal de Rendición de Cuentas
Rubro Monitoreo y Evaluación
Instituto de Planeación, Estadística y Geografía del Estado de
Guanajuato
Responsable: Linda Karina Quintero Lee, Directora de Vinculación con el
Entorno.
CONTEXTO
El enfoque de Gestión por Resultados (GpR) en el Estado de Guanajuato está en
proceso de consolidación. Existen avances en los procesos de planeación,
programación, presupuestación, armonización contable, información para el
desarrollo, y rendición de cuentas. Sin embargo, la gestión basada en resultados
requiere un adecuado sistema de monitoreo y evaluación. Este sistema necesita
tener la capacidad de monitorear un conjunto de indicadores que satisfagan las
necesidades de información del sector público en el Estado para que las políticas
y programas puedan formularse, implementarse, seguirse y evaluarse de manera
efectiva, haciendo exitoso el proceso de cambio.
Una pieza fundamental para el sistema de monitoreo y evaluación es contar con la
información estadística oportuna y de calidad que permita la construcción de
indicadores relevantes, por tal motivo, en octubre de 2014 se firma el Acuerdo de
Cooperación Técnica (Reimbursable Advisory Services Agreement) entre el
Instituto Nacional de Estadística y Geografía, el Instituto de Planeación,
Estadística y Geografía del Estado de Guanajuato y el Banco Internacional de
Reconstrucción y Fomento, con el objetivo de:
i.
ii.
iii.
Evaluar la calidad de los indicadores existentes para programas
estatales prioritarios en sectores clave identificados y seleccionados;
Administrar la herramienta de auto-evaluación (HECRA) para analizar la
calidad de registros administrativos relacionados con los indicadores de
los programas estatales prioritarios en sectores seleccionados,
incluyendo el suministro de apoyo para la capacitación técnica en el uso
de HECRA y para su implementación y análisis, así como el desarrollo
de un plan de acción para mejorar la calidad de datos en los programas
estatales prioritarios en los sectores seleccionados; y
Capacitación en Estándares de documentación de Datos (DDI) para la
preservación de los microdatos, su documentación y diseminación en el
sector seleccionado.
Cabe mencionar que este proyecto incluyó varias innovaciones importantes.
Además de ser uno de los pocos proyectos con un enfoque solo estatal, la
innovación primordial era la conexión explícita entre el sistema estadístico y el
6
Sistema Estatal de Rendición de Cuentas
Rubro Monitoreo y Evaluación
sistema estatal de planeación, monitoreo y evaluación. No es novedoso que se
derive una serie de beneficios de dicha conexión explícita, sin embargo, son pocos
los países, y aún menos las unidades sub-nacionales que han dirigido sus
esfuerzos para fortalecer sus sistemas de información explícitamente para
responder a las necesidades del sistema de monitoreo y evaluación. La otra
innovación del proyecto fue su enfoque en los sistemas de datos o registros
administrativos. Este tipo de información (se produce una gran cantidad de datos
a nivel muy desagregado y en una forma continua) se ha utilizado poco, en parte
por interrogantes en cuanto a su calidad y su carácter de dato administrativo sin
condiciones en muchas ocasiones para ser aprovechado estadísticamente. Para
ello se implementó la HECRA, herramienta para la evaluación de calidad de los
registros administrativos y para el desarrollo de estrategias para mejorarlos.
AVANCES
i.
Evaluación de indicadores
Bajo la Cooperación Técnica, se evaluó la calidad de más de 60 indicadores en
MIRS seleccionadas de 26 proyectos específicos contenidos en el Sistema de
Evaluación al Desempeño (SED) de la Secretaría de Finanzas, Inversión y
Administración. Para lo cual se cuenta con un reporte de evaluación y una serie de
recomendaciones realizadas por el Banco Mundial, entre las que destaca el uso
regular de la HECI, Herramienta para la Evaluación de la Calidad de los
Indicadores implementada en el marco de la cooperación.
Síntesis del reporte de evaluación de la calidad de los indicadores. Los
hallazgos de la evaluación muestran que en general los indicadores están bien
formulados, y que los problemas se encuentran en la definición de sus metas y en
la calidad de sus fuentes de información. Aunque los diversos tipos de indicadores
muestran la misma tendencia, los indicadores de propósito son los que presentan
más deficiencias en la definición de metas y en la calidad de sus fuentes de
información.
ii.
Evaluación de Registros Administrativos
Se seleccionaron y evaluaron 17 registros administrativos con HECRA, a partir de
su vínculo con los indicadores de las MIRs evaluados previamente a través de la
Herramienta de Evaluación de la Calidad de Indicadores (HECI). Se cuenta con
un reporte que detalla el proceso de implementación de la HECRA con las
entidades y dependencias, el cual incluyó una caracterización de los registros
administrativos, la evaluación de los registros y culminó con la elaboración de los
planes de mejora por registro para cada dependencia participante. El equipo
7
Sistema Estatal de Rendición de Cuentas
Rubro Monitoreo y Evaluación
técnico del IPLANEG fue capacitado en
herramienta.
el uso e implementación de la
La implementación de la HECRA permitió evaluar cuatro dimensiones de los
registros administrativos, a saber:
a) fuente de datos administrativos: análisis de tributos de la calidad asociada
al entorno institucional, marco legal, seguridad de la información,
procedimientos y entrega y tratamiento de los datos;
b) metadatos: los atributos de la calidad vinculados a la documentación de los
datos del registro administrativo;
c) datos: la cobertura, métodos de unión, omisiones, medición, claves de
identificación, procesamiento y precisión de datos, uso de códigos y
clasificadores internacionales, actualidad de los datos, registros múltiples,
entre otros; y,
d) producto estadístico final: cifras, cuadros estadísticos y/o microdatos
elaborados a partir registros administrativos, ya como marco de encuestas
por muestreo, o generando cifras estadísticas directamente del
procesamiento de datos del RRAA.
Síntesis del reporte de evaluación de los registros administrativos. En
promedio se observó que los registros se encuentran en un estatus de
“aceptables”, no obstante, presentan un amplio margen de mejora. Las principales
áreas de oportunidad encontradas están vinculadas a la seguridad, gestión y
análisis de la información, al desarrollo de marcos de gestión de calidad y de
elaboración de metadatos, así como de evaluación de la satisfacción de usuarios
y uso de clasificadores.
iii.
Capacitación en DDI
Se realizó una capacitación en el estándar de documentación de microdatos DDI y
herramientas de gestión de microdatos, con la finalidad de ordenar la producción
estadística de los registros administrativos (RRAA) más relevantes, así como para
promover su difusión.
Síntesis del reporte de DDI. Se capacitaron 31 funcionarios de 10 dependencias.
Los hallazgos derivados del proceso de la documentación de los registros
administrativos fueron de dos tipos: (i) sobre la estructura de los datos a
documentar; y, (ii) sobre la calidad de la documentación alcanzada. En la mayoría
de los casos, la estructura de datos de los RRAA no estaba preparada para
comenzar a documentar. Al reorganizar los archivos a efectos de prepararlos para
8
Sistema Estatal de Rendición de Cuentas
Rubro Monitoreo y Evaluación
su documentación, se evidenció la falta de un estándar mínimo para constituir un
archivo de datos listo para ser aprovechado estadísticamente. Una vez ajustados
los archivos, se realizó la documentación. Durante el taller se logró un avance
importante del 85% de documentación.
El Acuerdo de Cooperación Técnica se terminó exitosamente el pasado mes de
abril y, las recomendaciones derivas del mismo, están siendo implementadas
actualmente para el mejoramiento de la calidad de la información y
subsecuentemente para el fortalecimiento del Sistema de Gestión por Resultados
(GpR) en el estado de Guanajuato.
9