E , VALUACIÓN DE LA CALIDAD DE REGISTROS
Anuncio
Fortalecimiento de las políticas públicas basada en evidencia EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS, CON PLANES DE MEJORA Estado de Guanajuato, México Abril 2015 Síntesis ejecutiva El enfoque de gestión por resultados (GpR) en el estado de Guanajuato está en proceso de consolidación. Existen avances importantes en procesos de planeación, programación, presupuestación, rendición de cuentas, e iniciativas iniciales en evaluación del desempeño de la gestión pública. Sin embargo, falta una estrategia de coordinación entre los órganos rectores de la GpR, y lineamientos para su implementación. Su implementación es principalmente a través del sistema de evaluación del desempeño a cargo de la Secretaría de Finanzas, Inversión y Administración, a través de las matrices de indicadores de resultados (MIRs) como un instrumento para vincular el programa de gobierno con los programas presupuestales. La calidad de sus indicadores resulta muy importante para su adecuada utilización. La cooperación del Banco Mundial inició con la evaluación de la calidad de indicadores en MIRs de 26 proyectos específicos priorizados, demostrando que los indicadores en general están bien formulados, pero que hay problemas en la definición de sus metas y en la calidad de sus fuentes de información, en especial registros administrativos (RRAA). En esta fase, el equipo del BM, junto al IPLANEG y el INEGI, facilitó la evaluación de 25 RRAA vinculados a MIRs estratégicas. Se aplicó la Herramienta de Evaluación de la Calidad de Registros Administrativos (HECRA). La calificación promedio obtenida fue de 3.15 (en una escala 1 a 5, donde 5 es el puntaje máximo), lo cual expresa un nivel de calidad de los RRAA aceptable. Los principales problemas encontrados están vinculados a la seguridad, gestión y análisis de la información, así como a la ausencia de un marco de gestión de calidad y carencia de metadatos. La gestión de la información de registros administrativos no ha sido incorporada a la gestión institucional de manera habitual. Las actividades de captura, procesamiento, análisis, uso y difusión de la información derivada de RRAA no están estandarizada. Las entidades evaluadas no han identificado el potencial de la información generada por sus RRAA, lo que genera un bajo nivel de análisis y explotación, y compromete la calidad de los indicadores de las MIRs. Se sugiere el uso regular y recurrente de esta herramienta, liderado por el IPLANEG en el marco del Comité Estatal de Información Geográfica y Estadística. Agradecimientos El equipo del Banco Mundial agradece el apoyo de Horacio Guerrero, Director General del IPLANEG, Laura Ortega González, Directora General del Sistema Estatal de Información Estadística y Geográfica del IPLANEG, y al resto de su equipo técnico. Asimismo, a Rolando Almaguer, Director de Coordinación en la Operación Regional de INEGI y a Jorge Humberto Dueñas Acuña, Coordinador Estatal de INEGI en Guanajuato por su contribución en torno de esta cooperación técnica. Además, agradece a la Secretaría de Finanzas y a la Coordinación General de Políticas Públicas del Gobierno del Estado. Este reporte fue preparado por Alejandro Medina Giopp y Jonna Lundwall de la práctica global de Pobreza, con insumos de Julio Ortegón y Federico Segui. Cuenta con la retroalimentación de Amparo Ballivian y Ximena Fernández Ordoñez. La revisión final estuvo a cargo de Louise Cord, gerente del sector de Pobreza del Banco Mundial. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. |2 Contenido Síntesis ejecutiva ........................................................................................................................................2 Agradecimientos .........................................................................................................................................2 Contenido ...................................................................................................................................................3 Siglas y abreviaciones .................................................................................................................................4 1. Introducción....................................................................................................................................................5 1.1 Objetivo de la cooperación técnica del Banco Mundial ...........................................................................5 1.2 Relevancia de la información de Registros Administrativos en el marco de la GpR ................................6 2. La herramienta de evaluación de la calidad de los registros administrativos ..............................................11 2.1 Características de la herramienta ...........................................................................................................11 2.2 Aplicación de la HECRA en Guanajuato ..................................................................................................15 3. Evaluación de los registros administrativos .................................................................................................16 3.1 Identificación de los RRAA ......................................................................................................................16 3.2 Hallazgos .................................................................................................................................................19 4. Conclusiones y Sugerencias ..........................................................................................................................24 Anexos ..............................................................................................................................................................27 ANEXO I. Ficha de caracterización e identificación de registros administrativos ........................................28 ANEXO II. Invitación para las entidades y dependencias a la presentación de la HECRA ............................31 ANEXO III. Cronograma de trabajo para aplicación de la HECRA .................................................................32 ANEXO IV. Planes de mejora.........................................................................................................................34 Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. |3 Siglas y abreviaciones AGEB APF BM CEIEG CIDE CONEVAL COPLADEG COPLADEM DOF EML GpR HECRA HECI INEGI IPLANEG LFPRH LGDS Área Geo-Estadística Básica Administración Pública Federal Banco Mundial Comité Estatal de Información Estadística y Geográfica del Estado de Guanajuato Centro de Investigación y Docencia Económicas Consejo Nacional de Evaluación de la Política de Desarrollo Social Consejo de Planeación para el Desarrollo del Estado de Guanajuato Consejo de Planeación para el Desarrollo Municipal Diario Oficial de la Federación Enfoque de Marco Lógico Gestión por Resultados Herramienta de Evaluación de la Calidad de Registros Administrativos Herramienta de Evaluación de la Calidad de Indicadores Instituto Nacional de Estadística y Geografía Instituto de Planeación, Estadística y Geografía de Guanajuato M&E MGSMP MIR MML OCDE PbR POA PPP PROMAP RRAA SED SFIA SHCP SNIEG Monitoreo y Evaluación Marco de Gasto Sectorial de Mediano Plazo Matriz de Indicadores de Resultados Matriz de Marco Lógico Organización para la Cooperación y el Desarrollo Económico Presupuesto basado en Resultados Programa Operativo Anual Presupuesto por Programas Programa de Modernización de la Administración Pública Federal Registros Administrativos Sistema de Evaluación del Desempeño Secretaría de Finanzas, Inversión y Administración Secretaría de Hacienda y Crédito Público Sistema Nacional de Información Estadística Geográfica La Ley Federal de Presupuesto y Responsabilidad Hacendaria La Ley General de Desarrollo Social Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. |4 1. INTRODUCCIÓN 1.1 Objetivo de la cooperación técnica del Banco Mundial Conocer la calidad del gasto público permite apreciar los logros alcanzados en el bienestar de la población derivados de los programas y proyectos públicos. Para contar con una Administración Pública eficiente y eficaz en la gestión del gasto público, el enfoque de Gestión por Resultados (GpR) se ha constituido en una práctica recurrente. La GpR se basa en la identificación de resultados, y el desarrollo e implementación de los sistemas de gestión necesarios para asegurar la medición de avances y la eficiente asignación del presupuesto. La implementación de este enfoque implica un conjunto articulado de principios gerenciales, prácticas y técnicas de gestión orientados a conocer el desempeño de programas públicos, rendir cuentas de los resultados de la gestión pública, así como también para informar oportunamente a la entidad presupuestal para que ésta mejore los procesos de asignación y reasignación de recursos. Uno de los aspectos menos abordados en la implementación de este enfoque ha sido el de contar con indicadores y fuentes de información oportunos y confiables, piezas fundamentales de su adecuada implementación, ya que se constituyen en mecanismos de integración de los procesos de planeación, programación, presupuestación, monitoreo y evaluación. Con el objetivo general de apoyar a la consolidación del enfoque de Gestión por Resultados del Estado de Guanajuato se firmó en octubre 2014 un acuerdo tripartito de cooperación técnica entre el Instituto de Planeación, Estadística y Geografía del Estado de Guanajuato (IPLANEG), el Instituto Nacional de Estadística y Geografía (INEGI) y el Banco Mundial (BM). Más específicamente, el objetivo de la cooperación del Banco Mundial es de apoyar al mejoramiento del Sistema Estatal de Información Estadística y Geográfica, del cual el IPLANEG es el encargado de sus coordinación y administración como insumo indispensable para la planeación del estado y sus municipios, con la finalidad de facilitar la gestión basada en resultados y mejorar los resultados de las políticas públicas. La segunda de las tres actividades acordadas en el marco de la cooperación técnica es la evaluación de los registros administrativos prioritarios de los programas sociales más importantes y sus planes de mejora. Este reporte corresponde al producto (ii) Reporte detallando un plan de calidad de datos y un plan de acción para los indicadores estratégicos de sectores clave seleccionado por el IPLANEG, de la actividad (a) “Preparar recomendaciones para la implementación de la Estrategia Estatal de Estadística”. El IPLANEG, junto a la Coordinación General de Políticas Públicas del Estado de Guanajuato y con apoyo del BM, definió una serie de indicadores estratégicos de 26 intervenciones prioritarias (proyectos específicos) en sectores claves, de los que se identificaron los registros administrativos (RRAA) a evaluar. El documento se estructura en cinco apartados. El primero de introducción presenta el objetivo de la asistencia técnica del Banco Mundial y la importancia de los RRAA en el marco del enfoque de Gestión por Resultados (GpR), y en el contexto del Estado de Guanajuato. El segundo apartado presenta la Herramienta de Evaluación de la Calidad de Registros Administrativos (HECRA) y su aplicación en el Estado de Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. |5 Guanajuato. El bloque tres presenta los resultados de la aplicación de la HECRA a los RRAA seleccionadas y evaluadas. Se presentan conclusiones y sugerencias en el apartado 4, y finalmente los anexos. 1.2 Relevancia de la información de Registros Administrativos en el marco de la GpR La producción estadística distingue dos ámbitos: fuentes básicas o primarias y estadísticas derivadas o de síntesis. Las fuentes básicas se constituyen de diversos tipos y modalidades de registros administrativos, censos y encuestas1 . Las estadísticas derivadas se producen al combinar fuentes básicas2. El contexto y las condiciones en que se desarrollan los registros administrativos son distintas a las de censos o encuestas. Censos y encuestas se producen sobre objetivos estadísticos y fundamentos conceptuales y metodológicos explícitos y formalmente establecidos. Existen estándares internacionales para su desarrollo, por ejemplo: la Guía para el diseño de encuesta de hogares (2005) y los Principios y Recomendaciones para la Elaboración de Censos de Población y Vivienda (2008) publicados por la División de Estadística de las Naciones Unidas3, entre otros. Por su parte, los registros administrativos (ver algunas definiciones en el recuadro 1) vinculan hechos, eventos o sucesos a regulaciones administrativas. Los registros administrativos responden a propósitos normativos y administrativos más sujetos a regulación o control de una dependencia u organismo del sector público que a Recuadro 1. Definición de Registro Administrativo La Organización para la Cooperación y el Desarrollo Económico (OCDE) define a los registros administrativos como la unidad de organización responsable de implementar una regulación administrativa (o grupo de regulaciones), cuyo registro correspondiente de unidades y transacciones se ven como fuente de datos estadísticos. El manual de calidad de datos del sistema estadístico Europeo (EUROSTAT) incluye en su glosario la definición de registro administrativo, cuya descripción inician con: “Datos originalmente recolectados para propósitos no estadísticos…..”. Siguiendo a la definición aplicada por el Instituto Nacional de Estadística y Geografía de México (INEGI) el registro administrativo es conceptualizado como la serie de datos sobre un hecho, evento, suceso o acción sujeto a regulación o control que recaba una dependencia u organismo del sector público como parte de su función. Organization for Economic Cooperation and Development OCDE (2003). Quality framework and guidelines for OCDE statistical activities; EUROSTAT (2007). Handbook on Data Quality Assessment Methods and Tools. European Commission; INEGI (2010). Captación en registros administrativos. Serie: Documentos técnicos para la generación de estadística básica. México. 1 Algunas clasificaciones incluyen las proyecciones de población también como fuentes básicas o primarias de información. 2 Algunas de las orientaciones de este apartado están basadas en: Instituto Nacional de Geografía y Estadística INEGI (2010). Captación en registros administrativos. Serie: Documentos técnicos para la generación de estadística básica. México; Departamento Administrativo Nacional de Estadística, DANE (2010). Dirección de Regulación, Planeación, Normalización y Estandarización, DIRPEN (2010). Metodología para el Fortalecimiento de Registros Administrativos. Colombia; y, Medina Giopp, Alejandro (2011). Revisión de marcos de evaluación de calidad estadística. Bases para la elaboración de una guía de calidad de registros administrativos. Banco Mundial. 3 Ver los siguientes vínculos: http://unstats.un.org/unsd/demographic/sources/surveys/Handbook23June05.pdf y http://unstats.un.org/unsd/publication/seriesM/seriesm_67Rev2s.pdf Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. |6 fines estadísticos. Si bien también existen estándares internacionales para registros administrativos, éstos se limitan a sólo algunos de ellos que frecuentemente son consolidados por las Oficinas Nacionales de Estadística, tales como las denominadas estadísticas vitales que comprenden fenómenos como nacimientos, defunciones, matrimonios, etc4. Es frecuente que los datos provenientes de registros carezcan del uso de definiciones, codificaciones o clasificaciones estandarizadas, lo que limita su aprovechamiento estadístico. Los elementos clave para caracterizar a los registros administrativos son relacionados con la recolección de datos, la periodicidad, la unidad de análisis y la cobertura. Los registros administrativos cuentan con instrumentos propios de recolección de datos: plantillas, formatos, formularios, fichas, tarjetas, cuadernos, libros de actas, y otros. Los registros tienen una periodicidad establecida para su levantamiento en caso de ser continuos (menor de una día, diarios, semanal, mensual, trimestral, semestral, anual, etc.) o bien un levantamiento puntual. A diferencia de las encuestas o censos, en los registros administrativos usualmente no hay controles sobre el proceso de recolección de datos. En el caso de México su cobertura geográfica puede ser local, municipal, regional estatal o nacional y su desagregación geográfica va desde coordenadas geo-referenciadas hasta el nivel nacional pasando por manzana, Área Geo-Estadística Básica (AGEB), colonia, localidad, municipio, región y entidad federativa. Finalmente, los registros administrativos pueden identificarse por la unidad de observación que comprenden, por ejemplo: personas, hogares, predios, vivienda, unidad económica, infraestructura, predio, bien inmueble, equipamiento urbano, hechos, etc. Los registros administrativos pueden constituir una estrategia costo-efectiva para la produccion estadistica. Constituyen una fuente básica de información de una diversidad de temas relativos a fenómenos demográficos, sociales, económicos y ambientales. Además, muchas veces los registros presentan amplios niveles de cobertura geográfica. Los registros administrativos podrian constituirse en una estrategia costo-efectiva para la producción estadística, por las siguientes razones: Bajo costo de la adaptación de los registros administrativos para su uso estadístico. El costo de su producción de datos es cero ya que su principal ventaja es simplemente que ya existen, es decir fueron producidos por otros fines; cobertura amplia (en muchos casos están disponibles para el universo completo); no existencia de errores muestrales; desagregación geográfica, suelen tener un alto nivel de desagregación lo que resulta de gran utilidad para la evaluación de programas y políticas reducción de duplicación de producción estadística entre entidades y dependencias; permite integración con otras fuentes de información; favorece oportunidad y continuidad de las estadísticas; reduce la carga a informantes; y 4 Véase como ejemplo el Cuestionario de Estadísticas Vitales de Naciones Unidas: http://unstats.un.org/unsd/demographic/products/dyb/DYB%20questionnaires/vit_stat_rev.pdf Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. |7 permite la construcción y mantenimiento de marcos muestrales5; entre otras. Así como hay ventajas, también se identifican desventajas del uso de registros administrativos. Destaca el ineludible proceso de conversión de unidades administrativas a unidades estadísticas; la ausencia de conceptos estándar para fines de compatibilidad e integración, entre otras desventajas. Sin embargo, el balance final es positivo de manera contundente. Para potenciar el uso estadístico de los registros administrativos, primero hay que auditar su calidad y establecer un plan para su mejora y utilización como fuente estadística. Para ello es necesario contar con guías conceptuales y herramientas prácticas que permitan evaluar la calidad de los registros administrativos y permitir su aprovechamiento estadístico. Los registros administrativos a nivel federal en el marco de la GpR A nivel federal, uno de los principales instrumentos de la GpR son las matrices de indicadores de resultados (MIR). La aproximación de gestión por resultados en México tiene dos grandes vertientes, por un lado el presupuesto basado en resultados (PbR) y por el otro el sistema de evaluación del desempeño (SED). A través del PbR se realizó una profunda reforma a la estructura programática presupuestal con el fin de poder establecer vínculo directos con la planeación, además de importantes avances en la armonización contable. A través del SED se evalúan los programas públicos federales, información que sirve para informar los logros derivados de la inversión pública. El punto de contacto entre el SED y el PbR lo constituyen las matrices de indicadores de resultados o MIRs, éstas son matrices derivadas del enfoque marco lógico y se asocian a programas presupuestales alineados a los ejes sectoriales y del plan nacional de desarrollo (en la nueva estructura programático presupuestal), de modo que los programas presupuestales cuentan con una marco de resultados. Se ha avanzado bien en la elaboración de las MIRs, menos atención se ha prestado a la calidad de sus indicadores y la confiabilidad y oportunidad de sus fuentes de información. México tiene un sólido sistema estadístico nacional liderado por la oficina nacional de estadística INEGI, y cuenta con otros importantes productores estadísticos en el campo sociodemográfico y económico que permiten la elaboración de las MIRs. Sin embargo, buena parte de los indicadores están asociados a fuentes de información distintas al INEGI y a los más importantes productores estadísticos; generalmente están ligados a la información administrativa de las propias entidades que dirigen los programas, es decir a sus registros administrativos, es aquí donde aún falta estandarizar las metodologías y mejores prácticas para generar estadísticas a través de registros administrativos. Este es un importante desafío de la GpR. 5 El directorio estadístico de empresas, por ejemplo, es un activo muy valorado para la creación de sistemas de información, apoyar procesos de muestreo y estratificación de encuestas, realizar estudios de demografía de empresas, etc. Además, los inventarios de vivienda son claves como actividad precensal. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. |8 El INEGI es el órgano rector del Sistema Nacional de Información Estadística y Geográfica (SNIEG), y como tal establece marcos conceptuales para la captación estadística a través de registros administrativos y su aprovechamiento estadístico. INEGI lidera los procesos de evaluación de calidad e integración de los registros administrativos de interés nacional y establece las pautas metodológicas para la producción de RRAA de los productores estadísticos del SNIEG. El Consejo Nacional para la Evaluación de La Política de Desarrollo Social (CONEVAL) es la agencia responsable de la evaluación de programas federales, y ha definido estrategias para la mejora de los registros en programas federales. El CONEVAL coordina las evaluaciones de los programas federales. Uno de los hallazgos recurrentes de dichas evaluaciones es la falta de confiabilidad y oportunidades de los indicadores, metas y sus fuentes de información. En especial, de los indicadores a nivel de componentes de las matrices de indicadores de resultados, las que están asociadas regularmente a los registros administrativos de las entidades que dirigen los programas sociales. Los indicadores de las MIRs a nivel de fin o de propósito, provienen regularmente de la estadística producida por INEGI u otras agencias federales, que tienen buenos estándares de calidad como ya fue mencionado. El CONEVAL, ante la evidencia de la necesidad de mejorar los registros administrativos, ha desarrollado recientemente una herramienta para poder realizar evaluaciones rápidas de la calidad de los registros administrativos. Esta iniciativa está orientada por una parte a mejorar la calidad de los indicadores de las Matrices de Indicadores de Resultados (MIRs) de los programas sociales federales, y por otra parte a la difusión de herramientas de gestión estadística a las dependencias de la Administración pública federal. El CONEVAL con otros órganos rectores del modelo federal de la GpR como la Secretaria de la Función Pública y la Secretaria de Hacienda evalúan en conjunto indicadores para la programación presupuestal. La herramienta desarrollada por CONEVAL es un cuestionario reducido, que tomo como referencia la herramienta de evaluación de registros administrativos (HECRA) desarrollada en el marco de la cooperación técnica del Banco Mundial y el Gobierno del Estado de Yucatán con la asistencia técnica del INEGI. Bajo esta lógica CONEVAL denomina a su herramienta como mini HECRA. Los registros administrativos en el Estado de Guanajuato El modelo GpR del Estado de Guanajuato apuesta también por las MIRs. El estado ha dado pasos importantes en su sistema de evaluación del desempeño (SED), reforma presupuestal y en sus mecanismos de transparencia. También, como en el nivel federal las MIRs son el punto de encuentro entre la planeación del desarrollo y el presupuesto. Una evaluación realizada por el Banco Mundial a 63 indicadores de las MIRs, a través de una herramienta denominada herramienta de evaluación de calidad de indicadores (HECI), desarrollada para este fin, revelo áreas para su mejora que incluyen precisamente la mejora de registros administrativos. En el marco de los avances de la GpR en el Estado de Guanajuato, el diseño y la gestión de sus programas estratégicos, pueden ser monitoreados a través de las matrices de indicadores de resultados (MIR). Este modelo se basa en la existencia de MIRs de buena calidad. Para ello, la elaboración de las MIRs puede Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. |9 beneficiarse del uso de la herramienta de evaluación de la calidad de indicadores (HECI), para conocer y mejorar sus indicadores. Los indicadores que estén asociados a RRAA, podrán ser evaluados con la herramienta para la evaluación de la calidad de los registros administrativos (HECRA) y establecer sus planes de mejora, que se describen en este reporte, lo que redituará en mejores MIR para el SED y mejor seguimiento. Finalmente, la estadística mejorada es sujeta de documentación a través del estándar de documentación de metadatos. Esta es la lógica de las actividades 1, 2 y 3 de la presente cooperación técnica entre el Banco Mundial, IPLANEG y el INEGI. Este reporte describe los resultados de la actividad 2. La secuencia de utilización de estas herramientas se aprecia en el gráfico 1. Gráfico 1. Mejora de la calidad de los registros administrativos en el marco de la GpR El IPLANEG es el impulsor de las iniciativas para mejorar los registros administrativos en el marco de la GpR. El IPLANEG se constituye en un órgano rector muy importante en el marco de la GpR a nivel estatal. Lidera técnicamente el proceso de planeación para el desarrollo y realiza rectoría sobre la producción y diseminación de información estadística y geográfica de calidad que demanda la planeación para el desarrollo. El IPLANEG se constituye también en el coordinador técnico del Comité Estatal de Información Estadística y Geográfica. En este contexto, y dada su experiencia reciente con el trabajo de asistencia en las matrices de indicadores de resultados del Sistema de Evaluación al Desempeño (SED) a cargo de la Secretaria de Finanzas, Inversión y Administración (SFIA), además de liderar los procesos de evaluación de calidad e integración de los registros administrativos de interés estatal en coordinación con el INEGI, el IPLANEG ha identificado como prioritario mejorar los registros administrativos de las entidades y dependencias que construyen las MIRs para el SED. Además, la Secretaría de Finanzas, Inversión y Administración (SFIA) ha valorado como pieza clave del SED la mejora de los RRAA. Dado que la SFIA ha identificado que la calidad de las MIRs que contiene el SED puede mejorar y que parte de su mejora depende de la calidad de los registros administrativos, apoya de manera importante la aplicación de la HECRA e implementación de sus planes de mejora. Otra utilidad Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 10 inmediata para el SED es mejorar la estandarización de la información en el sistema, a través de códigos y clasificadores estandarizados que permitan agregar y agrupar la información, lo que dará más facilidad al monitoreo de la ejecución del gasto con información de planeación y programación presupuestal de las entidades y dependencias de la Administración pública estatal. A pesar del interés de agencias coordinadoras (INEGI, IPLANEG, SFIA, etc.), existen también entidades y dependencias que podrían presentar resistencias a estas iniciativas. Una Secretaria de Estado se resistió a la autoevaluación, pidiendo tiempo para conocer más de las iniciativas. Algunas entidades y dependencias podrían presentar resistencia tanto a la presentación de información que se requiere con estas nuevas iniciativas, como a ser sujetos de evaluación. Por otra parte, al no existir un marco jurídico a este nivel de detalle técnico que marque con claridad los roles y funciones de cada coordinador, podrían potencialmente presentarse conflictos por la falta de una definición clara y consensuada de los roles. 2. LA HERRAMIENTA DE EVALUACIÓN DE LA CALIDAD DE LOS REGISTROS ADMINISTRATIVOS 2.1 Características de la herramienta La Herramienta para la Evaluación de la Calidad de los Registros Administrativos (HECRA) surge de la necesidad de contar con un instrumento práctico para evaluar la calidad de los registros administrativos. Dicha herramienta fue el resultado de la experiencia de trabajo conjunto entre el INEGI y el Banco Mundial para asistir técnicamente al Estado de Yucatán. Si bien no se discute la importancia de los RRAA o la necesidad de evaluar su calidad e impulsar su mejora, no existen muchas herramientas técnicas que permitan una valoración integral de todos los elementos que involucra un registro administrativo6. Para contar con esta visión más integral, la HECRA considera las mejores prácticas internacionales para evaluar registros administrativos, tales como los manuales para evaluar la calidad de registros de empresas de EUROSTAT; el marco de evaluación de la calidad de datos de la Oficina de Estadística de Holanda; el reporte de evaluación del Bureau de Censos de los Estados Unidos; entre otros. La integralidad de la herramienta permite auditar en detalle los aspectos de gestión, calidad de los datos, y utilización de los RRAA. Se evalúan concretamente cuatro dimensiones: i) fuente de datos administrativos: análisis de tributos de la calidad asociada al entorno institucional, marco legal, seguridad de la información, procedimientos y entrega y tratamiento de los datos; 6 Existen algunas herramientas para la evaluación de la calidad de registros administrativos desarrolladas por el Bureau de Censos de los Estados Unidos de Norteamérica; así como herramientas desarrolladas por EUROSTAT y las oficinas estadísticas de Holanda y países nórdicos. La HECRA toma elementos de éstas y las integra constituyéndose en una herramienta de mayor alcance. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 11 ii) metadatos: los atributos de la calidad vinculados a la documentación de los datos del registro administrativo; iii) datos: la cobertura, métodos de unión, omisiones, medición, claves de identificación, procesamiento y precisión de datos, uso de códigos y clasificadores internacionales, actualidad de los datos, registros múltiples, entre otros; y, iv) producto estadístico final: cifras, cuadros estadísticos y/o microdatos elaborados a partir registros administrativos, ya como marco de encuestas por muestreo, o generando cifras estadísticas directamente del procesamiento de datos del RRAA. La HECRA tiene un recorrido que va de 0 a 5, en donde 5 es el máximo valor obtenido y 0 significa que el registro está en las peores condiciones y no permite su aprovechamiento estadístico y ni siquiera su evaluación. El valor del HECRA resulta de la suma de los valores obtenidos en cada sección y dimensión del cuestionario. Cada pregunta presenta alternativas de respuesta que describen las diversas situaciones posibles que pueden presentarse en un registro administrativo. Para cada sección la calificación se obtiene de un cociente entre el total obtenido de cada pregunta entre el máximo posible. La HECRA tiene un panel de control en donde se visualiza de forma resumida el resultado alcanzado. El cuadro 1 muestra un ejemplo del resultado para cada una de las cuatro dimensiones y el resultado de global. Cuadro 1. Panel de evaluación de calidad de la HECRA Panel de evaluación de la calidad global de los Registros Administrativos aprovechados con fines estadísticos Evaluación de la Calidad de los Registros Administrativos: Usos previstos: ___________________________ Programa: Elemento _________________________ Id. Programa: Indicador de la Calidad Global Sin información (1) Alertas (2) Fuente de Datos 5 0 0 Metadatos 5 0 0 Datos 5 0 0 Resultado: 4.26873 Muy bueno 2.07492 Producto Estadístico Final (1) a los efectos de la calificación final, el RRAA será calificado como "no aceptable" en los casos que se responda a alguna pregunta con la opción 0 - "no sabe..." o "se desconoce…". (2) a los efectos de la calificación final, el RRAA será calificado como "no aceptable" en los casos que se obtengan más de 3 respuestas correspondientes a la opción 1. Referencia: 0 1 2 3 4 5 No aceptable No aceptable No aceptable Aceptable Muy bueno Excelente La calificación global y el grado de aceptabilidad asociado a los registros evaluados presenta la siguiente escala: 0 a 2 califica como “No aceptable”, 3 como “Aceptable”, 4 como “Muy bueno” y 5 como “Excelente”. Adicionalmente existen tres condicionantes que determinan el grado de aceptabilidad. Dos relacionadas con la incidencia de preguntas calificadas con valores muy bajos, y otra con la calidad del producto estadístico final. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 12 Las dos primeras condiciones se relacionan con las respuestas que se calificaron con 0 (sin información) y 1 (alertas), dado que la herramienta contabiliza el número de respuestas con esa calificación. La incidencia de estas respuestas afecta el grado de aceptabilidad. Esto resulta en que la calificación puede ser 3 o más, lo que indicaría que el registro es aceptable, pero por la existencia de respuestas calificadas con 0 y 1 hará que la variante cualitativa de la calificación (el grado de aceptabilidad) sea considerada como “No aceptable”. Para que esto suceda se deben dar las condiciones son las siguientes: - En los que se responda a alguna pregunta con la opción 0 - "no sabe..." o "se desconoce…". En los que se obtengan más de 3 respuestas correspondientes a la opción 1. En ambos casos aun cuando la calificación fuese aceptable (valores de 3, 4 o 5), la incidencia de estos elementos modifican la calificación cualitativa y lo califica como “No aceptable”. Otro elemento que determina la calidad y cambia el grado de aceptabilidad del registro son las siguientes condiciones que se presentan en el módulo “Producto estadístico”. La condicionante es la siguiente: - Si en la calificación de alguna de las 6 dimensiones de la calidad evaluadas en este apartado, alguna obtiene algún resultado por debajo de 2.50, el puntaje final no será considerado como el mínimo aceptable. Adicionalmente para cada dimensión analizada la HECRA produce un gráfico que muestra la situación del registro frente a la situación óptima. Esto permite conocer la calificación global, así como el resultado especifico de cada dimensión y que aspectos en cada dimensión son los que deberían ser mejorados. En la siguiente figura se muestra los resultados de las dimensiones de un RRRA evaluado durante la cooperación técnica dimensión (ver el cuadro 2). Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 13 Cuadro 2: Ejemplo de gráficos sobre dimensiones de calidad de la HECRA Calidad asociada con la fuente de datos administrativa I.1. Relevancia 5 I.2. 4 I.5. 3 Seguridad Tratamient 2 de la o de los 1 Información 0 datos y… I.3. Entrega de los datos I.4. Procedimie ntos II.1.a los Metadatos Calidad asociada Documentac ión de metadatos 5 4 3 2 II.2. II.4. 1 Completitud Comparabili 0 y claridad dad II.3. Uso de claves únicas Después de la evaluación, la HECRA aporta los elementos requeridos para la preparación y validación por parte de las entidades y dependencias, de planes de mejora de los registros administrativos. Los resultados del autodiagnóstico asistido permiten identificar los principales problemas y cuellos de botella que limita la calidad de los RRAA, y con base en ellos se puede preparar un plan para su mejora. El plan plantea recomendaciones puntuales para la mejora de cada uno de los registros administrativos a corto y mediano plazo, el que se discute con los responsables de los registros en cada entidad a efectos de valorar su viabilidad técnica y financiera. La estructura de los planes se basa en la identificación no solo de los problemas sino también de sus causas. Los planes de mejora describen el contexto y presentan la visualización gráfica de los resultados, para después sistematizar en una tabla los problemas detectados (o potenciales), así como sus causas y la estrategia de corrección observaciones pertinentes (el anexo IV del presente informe presenta los planes de mejora elaborados en el marco de esta cooperación). Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 14 Objetividad, oportunidad y bajo costo son parte de las ventajas de esta herramienta. A pesar de aplicarse a través de un autodiagnóstico asistido, las preguntas tienen un alto grado de objetividad, ya que en su mayoría identifican si los registros cuentan o no con ciertas condiciones, por ejemplo metadatos, así como cuantifican ciertas características, por ejemplo la longitud de sus series de tiempo, errores de cobertura, etc. Parte de su aplicación implica identificar las áreas de oportunidad para las intervenciones de mejora. Su costo es más reducido en comparación con evaluaciones externas u auditorias de información. Recuadro 2. Aplicación de la HECRA en Chile La Subsecretaría de Evaluación Social del Ministerio de Desarrollo Social de Chile tomó la decisión de priorizar el análisis de la calidad de los datos disponibles en su Ficha de Protección Social (FPS). La evaluación de la calidad la realizó un equipo del Banco Mundial durante los meses de mayo y junio de 2014, a través de la aplicación de la herramienta HECRA. Se realizaron sesiones de capacitación básica sobre la HECRA, posteriormente, se aplicó la herramientas a la FPS basado en entrevistas, y análisis de archivos de datos que respondieron técnicos de las áreas involucradas en la utilización de la FPS. Para el análisis se entrevistó a funcionarios, quienes completaron los cuestionarios de recolección de información. Adicionalmente, se realizó un análisis documental. Se presentaron los hallazgos y recomendaciones puntuales basadas en el análisis de los registros administrativos que forman la base para la FPS al equipo de la Subsecretaria. Las principales recomendaciones se orientaron a mejorar la documentación (metadatos) de la FPS, preparar protocolos de entrega de microdatos, evaluar la satisfacción de clientes internos y externos de los datos de la FPS, así como controlar su calidad calculando los mismos indicadores con fuentes similares. Siendo que la FPS es solo un módulo del Sistema Integrado de Información Social y que este sistema determina la asignación de beneficios sociales, la Subsecretaria decidió extender la aplicación de la HECRA en todos los demás módulos del SIIS. 2.2 Aplicación de la HECRA en Guanajuato El IPLANEG, guiado por el Banco Mundial, seleccionó 20 indicadores de las MIR a los que se asocian 25 registros administrativos evaluados a través del HECRA. La selección de los RRAA se basó en el trabajo realizado anteriormente para evaluar la calidad de los indicadores, y los criterios se detallan en el siguiente apartado. La implementación de la HECRA con las entidades y dependencias fue un proceso que inició con su convocatoria y culminó con la elaboración de los planes de mejora. Una vez seleccionados los RRAA, se convocó a las entidades y dependencias relevantes con el objetivo de informarles de la evaluación de sus registros administrativos. También se solicitó que completarán un formato de caracterización de sus registros administrativos a efectos de contar con información previa a su evaluación (ver el anexo I para la ficha de caracterización e identificación de registros administrativos). Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 15 El equipo técnico del IPLANEG fue capacitado de manera previa a la implementación de la HECRA. Previamente a la misión del BM, el INEGI se encargó de realizar una capacitación al equipo técnico de IPLANEG designado para participar en los equipos de trabajo definidos para la aplicación de la herramienta. La aplicación de la herramienta inició con una sensibilización a las entidades seleccionadas. El IPLANEG expuso el marco de los trabajos de colaboración con el Banco Mundial y el INEGI. Por su parte, el equipo del Banco Mundial presentó los avances de la cooperación técnica, la relevancia de los registros administrativos, así como el alcance global de la herramienta describiendo sus dimensiones de análisis, y mostrando la temática del cuestionario. (Ver la invitación para las entidades y dependencias estatales a la presentación del HECRA en el anexo II). La dinámica de evaluación de los registros administrativos se basó en una autoevaluación asistida. La evaluación se realizó por equipos de trabajo compuestos por uno o dos funcionarios de INEGI, uno de IPLANEG y un consultor del BM. Las entidades explicaron la forma como capturan los datos, su procesamiento y entrega al usuario primario. Las respuestas provistas por las entidades se verificaron con la evidencia disponible, y se logró consenso. No se realizó una auditoría exhaustiva para la comprobación de todas las respuestas. El equipo del INEGI y de IPLANEG trabajó en conjunto para identificar las causas de los problemas y para definir sus acciones correctivas en planes de mejora. Los planes de mejoras en este reporte corresponden a la versión revisada por IPLANEG, INEGI y el Banco Mundial y en proceso de validación final por las entidades relevantes. 3. EVALUACIÓN DE LOS REGISTROS ADMINISTRATIVOS 3.1 Identificación de los RRAA La selección de los registros administrativos se realizó tomando en consideración la previa selección de 26 proyectos específicos y los indicadores de sus MIRs. La secuencia de la selección fue la siguiente: La selección de proyectos específicos partió de la definición de criterios técnicos definidos por IPLANEG y la Coordinación General de Políticas Públicas. Los criterios considerados fueron los siguientes: Formar parte de las estrategias de largo plazo al 2035 Formar parte de las prioridades del Gobernador Tener una población atendida considerable (cobertura) Tener un monto significativo de inversión (% del gasto público) Constituir en temas de la agenda pública Se seleccionaron 26 proyectos específicos prioritarios con base en estos criterios. Todos los proyectos cumplen con al menos tres de los criterios descritos y están vinculados a las MIRs sectoriales. A Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 16 continuación, se presentan los proyectos agrupados de acuerdo a ejes estratégicos del plan estatal de desarrollo. Tabla 1. Lista de proyectos específicos priorizados Calidad de vida Cobertura en Salud Prevención en Salud Calidad y Calidez en Servicios de Salud 4. Paciente participativo 5. Mejorar la calidad de la atención médica 6. Rehabilitación integral de Asentamientos Humanos en Pobreza 7. Centros de Impulso Social 8. Gestión Social 9. Red Móvil Guanajuato Comunidad Diferente 10. Asistencia y orientación alimentaria 11. Prevención de riesgos psicosociales 12. Atención a la Violencia Intrafamiliar y escolar 1. 2. 3. Educación para la vida 13. Sistema Único de Becas. 14. Atención personalizada a la reprobación y deserción. 15. Calidad educativa educación media superior y superior Empleo y prosperidad 16. Formación Empresarial. 17. Competitividad de los sectores productivos 18. Cadenas de empresas tecnológicas y de alto valor agregado 19. Apertura rápida de empresas 20. Cadena agro-alimentaria 21. Comercialización de los productos del campo. 22. Innovación en el Campo 23. Cadena de valor del turismo 24. Guanajuato como destino cultural y turístico de México Estado derecho 25. Participación de la sociedad en la prevención de delitos 26. Espacios públicos dignos y seguros. A partir de estos 26 proyectos, la selección de indicadores fue definida por el equipo técnico del BM y el IPLANEG. Se identificaron 201 indicadores con la siguiente distribución: 16 de fin, 15 de propósito y 170 de componente. De la totalidad de 201 indicadores, se seleccionaron 62 para ser evaluados a través de la herramienta HECI. La selección de los indicadores (de fin, de propósito y de componente) se basó en la identificación de aquellos que fuesen distintos entre sí y no el mismo tipo de indicador con ligeras variaciones. Por ejemplo, el indicador de cobertura en educación tenía la misma estructura y fuente de datos para diversos niveles educativos, por lo que el análisis de uno de ellos permitió identificar la calidad de este tipo de indicador. Los 62 indicadores tienen diversas fuentes de información, y para la etapa de la evaluación de la calidad de registros administrativos se identificaron los indicadores que se alimentan con RRAA. Para lograr la mayor diversidad posible y para maximizar la representatividad del ejercicio, se seleccionaron los RRAA asociados a 20 indicadores que obtuvieron puntajes más altos y más bajos en la aplicación de la HECI, y se añadieron algunos RRAA por su tamaño (algunos con un número grande de observaciones y otros con pocas observaciones). La tabla a continuación muestra los 20 indicadores con sus 25 registros administrativos que fueron seleccionados para ser evaluados. Tabla 2. Lista de registros administrativos evaluados Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 17 Responsable Nombre del indicador Registros Administrativos % cumplimiento del taller de formación para mejoramiento de relaciones médico-paciente. 1. Perspectiva de derechos 1. % niños atendidos que no repiten conductas 2. violentas 1 CECAMED 2 DIF 3 DIF % raciones de desayuno frío que aseguran la ingesta de nutrimentos energéticos 4 ISAPEG % personas afiliadas seguro popular que recibieron consulta segura 5 ISAPEG % población con esquemas de vacunación completos por grupos de edad 6 ISAPEG Número de defunciones maternas totales 7 SDSH % personas capacitadas para impactar positivamente en su entorno familiar, comunitario y social 8 SDSH 9 SDSH % familias beneficiadas con obras o acciones en servicios básicos. % eventos de capacitación realizados para fortalecer los servicios que brindan las asociaciones civiles 1. 2. 1. 1. 2. 1. 1. 1. 1. 1. 10 IMUG 11 SDAYR 12 SDAYR Tasa de variación mujeres víctimas de violencia que reciben atención multidisciplinaria 2. 3. % organizaciones de productores agropecuarios que aplican instrumentos para 1. los procesos de comercialización de granos en el estado % avance cumplido en el establecimiento, seguimiento y operación de plataformas 1. tecnológicas Sistema de Atención de Quejas Médicas Lista de niñas y niños promotores de la paz Resultados de aplicación del test CAHV-28 (Cuestionario de actitudes hacia la violencia) Seguimiento de Remisiones Padrón de beneficiarios de desayunos escolares Sistema de Administración del Padrón de Beneficiarios del Sistema de Protección Social en Salud Censo Nominal de Vacunación para el Registro de Esquemas de Vacunación Registro de Aplicación de Biológicos Formato Notificación Inmediata de Muerte Materna Personas programadas a capacitar para impactar positivamente en su entorno familiar, comunitario y social Sistema de Inversión Social y Control de Obra (SISCO) Impulso - eventos de capacitación realizados para fortalecer servicios que brindan las asociaciones civiles Atención multidisciplinaria a mujeres víctimas de violencia. Registro de personas atendidas en el Servicio de Atención Externa Padrón de beneficiarios de los proyectos productivos para el empoderamiento de las 7 mujeres No RRAA 1 2 2 1 2 1 1 1 1 3 Directorio de organizaciones económicas de productores agropecuarios 1 Información Coordinadores Mensual (Masagro) 1 7 Mientras que el registro “Padrón de beneficiarios de los proyectos productivos para el empoderamiento de las mujeres”, fue identificado como parte del indicador de violencia, durante la misión se analizó la información del indicador y de los RRAA, y se verificó que dicho RRAA no aporta información al indicador dado su enfoque productivo. Sin embargo, se analizó el registro y se generó su Plan de Mejoras. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 18 Responsable Nombre del indicador 13 SDES 14 SECTUR 15 SEG 16 SEG 17 SEG 18 SEG 19 SEG 20 Seguridad pública TOTAL RRAA % gestiones realizadas de trámites empresariales Registros Administrativos 1. % inversión productiva nacional y extranjera en turismo % registros de alumnos actualizados dentro del 1. sistema de control escolar % planteles públicos de educación media 1. superior que ingresan al sistema nacional de bachillerato % de fases del diseño y operación realizados 1. del sistema único del registro para el ingreso % de organismos públicos de educación media 1. superior participando en las estrategias de atención a la reprobación o abandono % de alumnos de educación básica en riesgo 1. de reprobar o desertar con apoyos otorgados % personas informadas en materia de prevención social de la violencia y la delincuencia No RRAA Servicios de trámites y asesorías para mipymes (Centro de Atención Empresarial) 1 1. 1 Atracción de Inversiones Turísticas Registro de alumnos actualizados dentro del sistema de control escolar Planteles Públicos en Educación Media Superior que ingresan al Sistema Nacional de Bachilleratos. Sistema Único de Registro para el Ingreso de la Educación Media Superior. 1 1 1 Organismos Públicos de Educación Media Superior 1 Historial Académico de los Alumnos de Educación Básica 1 1. 1 Registro de acciones de prevención 25 3.2 Hallazgos El resultado promedio de los registros administrativos evaluados fue de 3.35. La medición de los indicadores arroja que hay cinco registros administrativos con las calificaciones superiores a 4; doce RRAA con valores superiores a 3. Los cuatro RRAA restantes tienen valores inferiores a 3. La tabla 3 muestra el ranking de los registros administrativos. La lista es de los 20 usos estadísticos o indicadores que utilizan a los 25 registros administrativos identificados. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 19 Tabla 3. Ranking de resultados del HECRA de los registros administrativos evaluados Nombre del (de los) Registro(s) administrativo(s) evaluados Sistema de Administración del Padrón de Beneficiarios del Sistema de Protección Social en Salud Formato Notificación Inmediata de Muerte Materna Sistema Único de Registro para el Ingreso de la Educación Media Superior. Registro de alumnos actualizados dentro del sistema de control escolar Sistema de Atención de Quejas Médicas Historial Académico de los Alumnos de Educación Básica Registro de acciones de prevención Organismos Públicos de Educación Media Superior Planteles Públicos en Educación Media Superior que ingresan al Sistema Nacional de Bachilleratos. Servicios de trámites y asesorías para mipymes (Centro de Atención Empresarial) Atención multidisciplinaria a mujeres víctimas de violencia / Registro de personas atendidas en el Servicio de Atención Externa Censo Nominal de Vacunación para el Registro de Esquemas de Vacunación / Registro de Aplicación de Biológicos Personas programadas a capacitar para impactar positivamente en su entorno familiar, comunitario y social Sistema de Inversión Social y Control de Obra (SISCO) Atracción de Inversiones Turísticas Padrón de beneficiarios de los proyectos productivos para el empoderamiento de las mujeres Directorio de organizaciones económicas de productores agropecuarios Información Coordinadores Mensual (Masagro) Impulso - eventos de capacitación realizados para fortalecer servicios que brindan las asociaciones civiles Seguimiento de Remisiones/Padrón de beneficiarios de desayunos escolares Lista de niñas y niños promotores de la paz/Resultados de aplicación del test CAHV-28 (Cuestionario de actitudes hacia la violencia) Calificación HECRA 4.33 4.33 4.80 4.37 4.26 3.99 3.99 3.94 3.59 3.35 3.35 3.33 3.33 3.33 3.22 3.10 3.00 2.67 2.31 2.00 1.67 En el anexo IV, se encuentran las evaluaciones de la HECRA, las que pueden ser consultadas para conocer los detalles de la evaluación de cada uno de los registros administrativo evaluados, la visualización gráfica de sus resultados y detalles técnicos del registro. La incorporación de los elementos cualitativos o estándares arroja que el Sistema Único de Registro para el Ingreso de la Educación Media Superior es el único registro administrativo evaluado que cumple todos los criterios cualitativos de calidad. El resto de los usos estadísticos presenta alguna incidencia de respuestas calificadas con 0, más de tres respuestas calificadas con 1 o alguna dimensión del módulo “Uso estadístico” con calificación menor a 2.5.| Los principales problemas encontrados están vinculados a la seguridad, gestión y análisis de la información, así como a la ausencia de marco de gestión de calidad y carencia de metadatos. Se identificaron 19 problemas que limitan la calidad de los registros administrativos y que hacen que no tengan un nivel general de calidad aceptable o buena. La tabla 3 muestra los problemas y la frecuencia que se presentaron en la aplicación del instrumento (HECRA). Esto nos permitió realizar bloques sobre la base de los problemas. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 20 Todos los RRAA presentan problemas relacionados a la seguridad y gestión de la información. Ninguno de los registros evaluados se identificación planes orientados a garantizar la continuidad de la disponibilidad de los datos. Es decir, en caso de pérdida de información del sistema o falta de acceso (sistema no disponible por fallas o por mantenimiento) no se cuenta con medios alternos o procedimientos (protocolos) para recuperar la información y poder calcular los indicadores y estadísticas derivadas de estos registros. Esto implica que existe un riesgo de pérdida de datos y de interrupción de su disponibilidad. Tampoco hay acuerdos de confidencialidad entre la institución y sus funcionarios sobre el anonimato de los archivos de datos. La falta de un marco de gestión de calidad y de mejora continua y la falta de metadatos son otros problemas presentes en casi todos los registros evaluados. No hay un proceso formal de gestión para la entrega de los datos entre la fuente administrativa y el usuario primario que integra los datos de distintas fuentes. Tampoco existe un registro de los cambios o ajustes que se realizan en la definición de variables, uso de códigos o ajustes en los archivos de datos. Esto hace que los datos sean menos confiables, dadas las múltiples versiones existentes. No hay un marco de trabajo sobre las bases de un modelo de calidad enfocado en mejora continua, que permita el seguimiento desde el proceso de generación y colecta de datos hasta su difusión a usuarios internos y externos. Finalmente, también hay ausencia de metadatos. Ausencia de evaluación de la satisfacción de usuarios primarios y finales y de control interno y validación. Un bloque de problemas que se presenta en entre 82 y 94 por ciento de los registros está relacionado con la falta de evaluación de la satisfacción de usuarios primarios y finales, así como de validación de resultados con otras fuentes de información y esquemas de análisis y validación de datos. Si no existe una valoración permanente de los usuarios primarios y finales de los registros administrativos, es muy complicado que éstos puedan mejorar y potenciar su uso. Es decir, si no hay demanda desde las MIRs y otros mecanismos de programación y gestión de programas, no hay mecanismos de retroalimentación. Otro problema que se destaca en este bloque es la ausencia de controles, desde los propios de unidades de control interno y supervisión, hasta validaciones por pares, o verificación de resultados de los archivos de datos de los registros con otras fuentes de información. Otro déficit en este bloque es la ausencia de motores de bases de datos que permitan un almacenamiento y gestión adecuado de los datos de los registros. Ausencia de variables de identificación única en alguno de los registros lo que limita su aprovechamiento. Esto implica que en algunos registros no hay variables de identificación única tales como la clave única del registro de población (CURP); credencial del seguro social (IMSS); credencial del Instituto Nacional Electoral (INE), etc. Sin estas claves es imposible unir registros para poder construir bases de información con un mayor número de variables. Ausencia del uso de clasificadores. No hay un uso de clasificadores estándar de uso en el Estado o en el país, de tipo geográfico, económico, social y/o ambiental, lo cual dificulta la comparabilidad de las estadísticas que puedan obtenerse de estos registros. La tabla 4 resume los resultados encontrados en los registros evaluados. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 21 Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 22 Tabla 4. Problemas encontrados en los registros administrativos según la frecuencia encontrada PROBLEMA % No hay políticas/ procedimientos documentados de seguridad de información. A veces ni siquiera acuerdos de confidencialidad entre institución y funcionarios. No existen planes de continuidad del proceso. En caso de pérdida de información o falta de acceso, no se cuenta con medios alternos para recuperar información y poder calcular los indicadores/ estadísticas. Débil gestión de calidad, mejora de procesos, documentación de las actividades realizadas. Debilidad en seguridad y gestión de información No están formalizados los términos de entrega de los datos entre fuente administrativa y el usuario primario. No existe un procedimiento de control de los cambios (ya sea en procedimientos, variables del cuestionario, normas, documentos, etc.). No hay mecanismo de mejora continua de procesos, a través de grupos de trabajo conformados por la fuente administrativa y el usuario primario. Ausencia de metadatos del registro administrativo. No existe un procedimiento documentado que describa el proceso de gestión del RRAA. Sin información documentada de satisfacción y requerimientos de usuario primario. No se evalúa cómo son entregados los servicios/información de un área a otra en la institución. No hay métricas de calidad (tiempo, volumen y costo) de procesos, en particular del procesamiento y entrega de datos. Faltan controles externos al proceso (revisión entre pares, supervisión, auditorías internas). No se hace evaluación de la satisfacción de los usuarios finales. En algunos casos sin manejadores de bases de datos para almacenar y manejar datos del registro administrativo en medios electrónicos No se tiene formación ni experiencia en producción estadística. Sin esquema de análisis y validación de la información estadística generada. No se utilizan clasificadores estándar de codificación. En algunos registros no hay claves de identificación En algunos casos las claves de identificación única de registros no evita que se generen duplicidades, pues se utiliza un número de folio o número secuencial no ligado a las unidades del registro administrativo. 100 100 100 100 94 94 94 92 88 82 82 82 53 53 53 53 41 29 24 La falta de un esquema de análisis y gestión de la información genera una subutilización de la información capturada. La gestión de la información de los registros administrativos no ha sido incorporada a la gestión institucional de manera habitual. Esto implica que las actividades de captura, procesamiento, análisis, uso y difusión de la información derivada de los registros administrativos no se encuentran estandarizada. Por lo general, las entidades y dependencias evaluadas no han identificado el potencial que tiene la información generada por sus registros administrativos, lo que genera su bajo nivel de análisis y explotación. El uso de los registros, en general, se limita a la extracción de algunas variables que se transfieren al usuario primario, quien calcula indicadores del desempeño sin conocer el marco de información estadística de los registros administrativos. Existen procesos no estructurados que vinculan la oferta y la demanda de información de los registros administrativos. Los mecanismos de intercambio de información son generalmente informales, es decir sin protocolos, estándares o mecanismos formales de coordinación. La informalidad limita la explotación de los RRAA. Si se tuviera un análisis detallado de la oferta de información que contienen los registros en relación a los indicadores de desempeño, se podría contar con una base y un vínculo más coherente con los procesos de gestión de programas presupuestarios o acciones públicas. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 23 La identificación de áreas de mejora, permiten formular acciones correctivas para mejorar la confiabilidad y oportunidad de las estadísticas derivadas de los RRAA. Los problemas detectados son insumos relevantes de los planes de mejora. Estos problemas y la identificación de sus causas, permiten establecer acciones correctivas y hojas de ruta para mejorar la calidad y confiabilidad y oportunidad de las estadísticas derivadas de los registros administrativos. En el anexo IV se puede revisar los planes de mejora de los principales registros administrativos evaluados. 4. CONCLUSIONES Y SUGERENCIAS A continuación se presentan las conclusiones principales y sugerencias derivadas de la aplicación de la Herramienta de Evaluación de la Calidad de Registros Administrativos (HECRA) en 25 registros administrativos vinculados a 21 indicadores. Dicha herramienta, en conjunto con otros instrumentos de evaluación vinculados a mejorar la confiabilidad y oportunidad de la información estadística, se constituye en un elemento indispensable para contar con insumos de calidad que soporten las MIR del SED y la estrategia de GpR en el Estado de Guanajuato. La evaluación de la calidad de los registros administrativos de manera habitual requiere de un conjunto de acuerdos interinstitucionales, del liderazgo técnico del IPLANEG y de un plan de acción que ordene su implementación. El uso de los registros administrativos en el marco de la GpR debe ser una estrategia explicita y prioritaria del IPLANEG utilizando al Comité Estatal de Información Estadística y Geográfica del Estado de Guanajuato (CEIEG) como mecanismo de coordinación interinstitucional. El IPLANEG, a través del Comité, debe brindar el marco de coordinación institucional para el desarrollo y la implementación de una estrategia para el mejoramiento de la calidad y el uso de los RRAA relacionado con la GpR. Este trabajo implica establecer los mecanismos y herramientas a implementarse, incluyendo la disponibilidad de las herramientas, la guía técnica de implementación, materiales técnicos del INEGI para la producción de estadística a través de RRAA, etc. Es importante que se coordine el uso estandarizado y coordinado de las metodologías de evaluación de indicadores y fuentes de información con el órgano de fiscalización superior del congreso del Estado, para evitar duplicidades y posibles mensajes contradictores a las entidades. Deben ser definidos los principales roles y funciones de los órganos involucrados en la mejora de la calidad de los registros administrativos y la promoción de su uso. Como ya se había mencionado, el IPLANEG es el líder técnico de la mejora de la información estadística y geográfica a nivel estatal en el marco de la GpR, y su actuación se puede enmarcarse en el CEIEG como mecanismo de coordinación interinstitucional. Junto al IPLANEG hay dos principales órganos involucrados en la mejora de la información estadística y geográfica en Guanajuato: la Secretaria de Finanzas, Inversión y Administración (SFIA), y Transparencia. Es importante mencionar también que la Dirección General de Coordinación de Políticas Publicas se constituye en un usuario especializado de información estadística y geográfica que facilitara la articulación entre la oferta y demanda de información para políticas públicas. El INEGI se constituye como entidad de apoyo técnico que tiene entre sus funciones normar la producción estadística a través de registros administrativos, por lo que su rol en la difusión, capacitación e implementación de la HECRA es Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 24 clave. Otras entidades y dependencias deben realizar tareas relevantes para el mejoramiento de esta información pero éstas deben derivarse de los acuerdos entre los órganos rectores. Es necesario realizar un diagnóstico de la normativa existente de dichos órganos y destacar sus funciones y mandatos en materia de monitoreo y evaluación de la gestión pública, a efectos de definir a través de reuniones técnicas, los arreglos instituciones y mecanismos de coordinación requeridos. De este diagnóstico se derivaran los ajustes normativos requeridos de acuerdo a los roles definidos y acuerdos realizados. La elaboración de la MIRs debería beneficiarse directamente de la utilización de la HECRA. Dentro de los lineamientos de la SFIA para la elaboración del presupuesto, el proceso de elaboración de las MIRs debería señalar la existencia de la HECRA y su utilidad para la mejora de los indicadores de la MIR ligados a RRAA. La plataforma del SED podría incluir la guía de la implementación de la HECRA y la disponibilidad de asistencia técnica por parte del IPLANEG y de la SFIA a efectos de apoyar la mejora de su calidad. La información derivada de las MIRs, permitirá al SED la preparación de reportes de seguimiento físico y financiero del gasto asociados a los indicadores de desarrollo. Estos ejercicios de mejora de los registros, deben también mejorar la armonización estadística, es decir la estandarización en el uso de clasificadores, códigos, definiciones, etc. que permitan integrar archivos de datos y tener bases de datos más completas. Por lo tanto, es importante que IPLANEG junto con el resto de órganos rectores de la GpR definan los resultados esperados derivados de la mejora de los registros. Se han identificado acciones de mejora para las entidades cuyos RRAAs han sido evaluados. Sin bien las entidades han recibido planes de mejora de sus registros administrativos, el IPLANEG puede iniciar un conjunto de acciones de manera inmediata para hacer frente a los problemas identificados como recurrentes y comunes. Las principales acciones recomendadas son: i) Capacitar, sensibilizar y asesorar a los equipos técnicos de las entidades (a los responsables de tecnología de información, estadística, planeación y presupuesto) sobre los temas donde se encontraron mayores debilidades con la HECRA. Esto se podría realizar mediante acuerdos con otras instituciones como Transparencia, SFIA, INEGI, etc. Temas de capacitación deben incluir: Gestión de la información. Esto implica establecer procesos y procedimientos precisos del ciclo de vida de los registros administrativos, desde que se origina el dato, hasta la generación de estadística y su difusión; Gestión documental y mejora de procesos en la conformación de los RRAA. Sobre los procesos y procedimientos establecidos, generar puntos de control y supervisión de los flujos de información. Seguridad de la información. Contar con políticas y protocolos para garantizar la seguridad y la continuidad de los datos. Producción estadística basada en registros administrativos. Esto implica que las entidades y dependencias a cargos de registros administrativos, sean capaces del diseño de formularios, uso de clasificadores, uso de estándares de metadatos, controles de calidad, manejo de metodologías para producir estadística con registros, etc. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 25 ii) iii) Incorporar de manera permanente la iniciativa de evaluación de la calidad de registros administrativos (y otras herramientas) a las áreas de gestión de la calidad, procesos o planificación de cada institución que ya las hayan creado. Esto significa fortalecer la función estadística de las áreas de planeación y presupuestación en las entidades y dependencias de la Administración Pública Estatal. Promover a las entidades la relevancia de contar con un grupo sobre “Gestión de la información” dentro de cada entidad para trabajar en mejorar la comunicación entre las áreas, documentación de procesos, gestión de la información, políticas de seguridad, etc. Establecer un plan de trabajo para lograr un sistema de contabilidad través de registros administrativos. Finalmente, esta iniciativa de mejora de los registros administrativos en el Estado, es un inicio, que sienta las bases para organizar sistemas continuos de información de personas, establecimientos comerciales, fincas, viviendas, etc. que permitan capturar información regularmente que pueda ser complementaria a la de censos y encuestas, y en futuro poder incluso sustituirla. El primer paso es continuar evaluando y mejorando la calidad de los RRAA; posteriormente ordenarlos de acuerdo a su unidad de análisis y finalmente integrarlos en sistemas contables y establecer sus vínculos con otras fuentes de información. Se recomienda establecer, con el apoyo técnico del INEGI, un plan de trabajo hacia el logro de este objetivo. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 26 ANEXOS ANEXO I. Ficha de caracterización e identificación de registros administrativos ANEXO II. Invitación para las entidades y dependencias estatales a la presentación de la HECRA ANEXO III. Cronograma de trabajo para aplicación de la HECRA ANEXO IV. Planes de Mejora Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 27 ANEXO I. Ficha de caracterización e identificación de registros administrativos Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 28 Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 29 Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 30 ANEXO II. Invitación para las entidades y dependencias a la presentación de la HECRA Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 31 ANEXO III. Cronograma de trabajo para aplicación de la HECRA Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 32 Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 33 ANEXO IV. Planes de mejora Ver archivo separado. Es importante destacar que también se ha compartido con el IPLANEG el archivo completo de cada una de las aplicaciones de la HECRA. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. | 34
