Premio Interamericano a la Innovación para la Gestión Pública Efectiva 2013 Bases de Postulación Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) ANEXO I Formato de Postulación “Premio Interamericano a la Innovación para la Gestión Pública Efectiva” I. Información General Estado miembro Postulante México Institución pública Postulante Instituto Municipal de Planeación del Mpio. de Puebla Nombre de la Experiencia Innovadora: Sistema de Evaluación del Desempeño Municipal (SEDEM) Categoría a la que postula: Planeación y/o evaluación de políticas públicas A continuación, favor de contestar las siguientes preguntas: ¿Por qué su institución entiende que la experiencia presentada es innovadora? El Sistema de Evaluación del Desempeño Municipal (SEDEM) lleva operando 8 años a través de tres administraciones, emanadas de dos partidos políticos diferentes. El SEDEM surge de la necesidad de ofrecer información oportuna y veraz para la toma de decisiones, con un enfoque orientado a resultados y con bases sólida para su institucionalización, fomentando la rendición de cuentas y la participación ciudadana. ¿Qué experiencias innovadoras similares a la presentada, conoce su institución? En México son pocos los casos que se conocen de sistemas de medición y evaluación del desempeño en gobiernos locales, destacan los municipios de Chihuahua, Chih.; San Nicolás de los Garza, N.L.; Tepic, Nay.; así como iniciativas para promover la medición del desempeño en los municipios, como es el caso de las Auditorías de los Estados de Campeche y Tabasco o el Programa SINDES que opera la Asociación Internacional de Administración de Ciudades y Condados (ICMA por sus siglas en inglés). Las experiencias internacionales son en su mayoría de ejecución del gasto, sólo en algunos casos se experimenta con indicadores de otros tipos; un caso destacable es el SINIM de Chile. ¿Cuál es la diferencia de la experiencia innovadora presentada por su institución respecto a las otras similares? El SEDEM es un sistema de medición y evaluación del desempeño desarrollado por personal del propio Ayuntamiento, el cual en sus inicios se nutrió de la experiencia del SINDES, pero su alcance es mucho más extenso. Entre los puntos a destacar a diferencia de los otros sistemas es su antigüedad institucional, ya que el modelo ha mostrado solidez en su diseño, lo que le ha permitido permanecer por tres trienios y ha logrado institucionalizar su función al formar parte de las responsabilidades de un órgano descentralizado, el IMPLAN y ser reconocido por el Cabildo y por los propios servidores públicos. La creación del Consejo Ciudadano de Desempeño Gubernamental el cual lleva operando más de 7 años, le ha permitido la apertura ciudadana al tema. Además de existir memoria institucional por la permanencia no sólo del modelo, sino de quienes participaron en su diseño. -2- Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) II. Breve presentación/Sumilla de la Experiencia Innovadora: Actualmente la base de operación del SEDEM está en el recién creado Instituto Municipal de Planeación del Municipio de Puebla en el Estado de Puebla. Durante estos años este sistema ha pasado por etapas de consolidación institucional que le permiten constituirse como una herramienta de apoyo indispensable para dar seguimiento a los planes, programas y proyectos de las dependencias y entidades del gobierno municipal, identificando logros, deficiencias y áreas de oportunidad para sostener eficientemente la mejora continua en la gestión, y crear condiciones para la satisfacción de las necesidades y demandas ciudadanas en el Municipio de Puebla, además de contribuir a la rendición de cuentas y a la transparencia. III. Información Institucional Nombre de la Entidad Postulante: Instituto Municipal de Planeación del Municipio de Puebla Dirección: calle 8 oriente No. 1014 Barrio del Alto Municipio de Puebla, Puebla Teléfono: 2 29 00 60 ext.180 o 181 Fax: Página web:www.implanpuebla.gob.mx Correo electrónico: veronica.flores@pueblacapital.gob.mx verofm18@hotmail.com Nivel administrativo de la entidad Nivel Nacional Nivel Estadual - regional Nivel Local ( ) ( ) (X) Naturaleza administrativa Poder del Estado Ministerio, Secretaría Órgano Autónomo ( ) ( ) ( ) Agencia especializada ( ) Empresa Pública ( ) Otros- explique (X) Organismo Público Descentralizado de la Administración Pública del Municipio de Puebla. IV. Información de la Experiencia Innovadora 1. Descripción de la problemática previa El Municipio de Puebla está en el Estado de Puebla, México y es el cuarto municipio más grande del país, su actividad económica en su mayoría es terciaria (Comercio, servicios, turismo) y secundaria (manufactura) por su cercanía con la planta armadora de autos Volkswagen. Antes del año 2004 el Ayuntamiento de Puebla, no contaba con instrumentos formales para el seguimiento y evaluación de sus planes y programas, destacando los siguientes puntos: El marco normativo a nivel federal, estatal y municipal no era tan exigente como en la actualidad, respecto a la existencia mecanismos formales para evaluar si los recursos económicos de que dispone el municipio se administran con eficiencia, eficacia, economía, transparencia y honradez. Las unidades administrativas de las dependencias y entidades no contaban con Programas Operativos anuales (POA’s) en donde se plasmaran los objetivos, metas indicadores y acciones a realizar para dar cumplimiento al Plan Municipal de Desarrollo (PMD) -3- Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) No existía un registro de indicadores ni datos históricos para medir el desempeño de los planes, programas y servicios ofrecidos por el Ayuntamiento, que permitirá conocer el impacto de las acciones en el bienestar de la población. No existía una cultura de medición del desempeño de la gestión municipal, por lo que los servidores públicos tenían una escasa comprensión de como incidían sus acciones y funciones diarias en el bienestar de la población. Los procesos de planeación, programación, presupuestación, seguimiento y evaluación no estaban vinculados y/o eran incipientes, dificultando a la ciudadanía contar con información más precisa sobre el uso de los recursos. No se publicaba información de los avances y resultados de los planes y programas, y no existían unidades de acceso a la información al igual que el resto de los municipios y estados del país. No se fomentaba la participación de la ciudadanía en los procesos de medición y evaluación de la gestión municipal. La primer iniciativa que se tiene registrada en el Ayuntamiento de Puebla sobre medición del desempeño fue en el año 2004 con la inscripción al Programa Sistema de Indicadores de Desempeño (SINDES), la cual es una iniciativa de la Asociación Internacional de Administración de Ciudades y Condados (ICMA, por sus siglas en Inglés) y tiene por objetivo ayudar a los gobiernos locales a mejorar la eficacia y eficiencia de los servicios públicos, a través de la medición de 101 indicadores y la comparación de los resultados obtenidos contra otros municipios del país. 2. Descripción de la experiencia innovadora La evaluación del desempeño en los gobiernos locales surge como un componente indispensable para medir los avances en materia de gestión pública y capacidad institucional, con el fin de satisfacer las expectativas de una ciudadanía que demanda mejores servicios; sin embargo pocos sistemas en México y América Latina han logrado alcanzar el nivel de madurez institucional requerido para su consolidación, lo que es un insumo indispensable para la mejora continua de los servicios públicos y de los programas que ofrece el municipio. En este apartado se presentan los avances y resultados obtenidos derivados de la implantación del Sistema de Evaluación del Desempeño Municipal (SEDEM) del Ayuntamiento de Puebla, desde sus orígenes en el año 2005 a la fecha, pasando por dos cambios de alternancia política y tres administraciones. El SEDEM tiene los siguientes objetivos: Objetivo General: Ser una herramienta para dar seguimiento y evaluación a los planes y programas de la Administración Pública Municipal, para la toma de decisiones. Objetivos Particulares: -4- Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) Verificar y dar seguimiento al cumplimiento de las metas y objetivos, con base en indicadores estratégicos y de gestión que permitan conocer los resultados y las áreas de mejora de los planes y programas. Facilitar a los servidores públicos la comprensión de sus objetivos, tareas y funciones diarias, así como el impacto de éstas en el bienestar de la población, a través de la vinculación del Programa Operativo Anual con el Plan Municipal de Desarrollo. Reforzar las capacidades de los servidores públicos en el aprendizaje institucional y la toma de decisiones basada en información de calidad, a través de un mayor conocimiento en el diseño, aplicación y seguimiento de los indicadores de desempeño. Vincular la planeación, programación y presupuestación con el proceso de implantación y operación del Sistema de Evaluación del Desempeño Municipal (SEDEM), permitiéndole al gobierno municipal y a la ciudadanía contar con información más precisa sobre el uso de los recursos y el desempeño de la gestión. Contribuir a la redición de cuentas y a la transparencia, a través de la publicación de los informes, reportes y manuales del SEDEM en el portal electrónico del Ayuntamiento y del IMPLAN. Fomentar la participación ciudadana en los procesos de medición y evaluación del desempeño gubernamental. Institucionalizar los procesos de medición y evaluación del gobierno municipal, con el fin de mejorar e innovar sobre bases ya establecidas. Actualmente el SEDEM cuenta con 969 indicadores, entre estratégicos y operativos: 755 indicadores reportados en los POA’s y 214 indicadores vinculados al Programa SINDES y al Programa REFIM. Componentes del SEDEM El SEDEM está integrado por cinco componentes: -5- Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) Sistemas informáticos para colectar, organizar, procesar y almacenar datos y resultados: a) Software SEDEM-POA’s: el cual opera desde el año 2005 a la fecha, bajo una plataforma en ambiente Web. Esta herramienta fue desarrollada en el Departamento de Evaluación sin ayuda externa y con recursos propios. A través de esta aplicación se vincula la visión y la estrategia del municipio plasmados en el Plan Municipal de Desarrollo (PMD) con sus operaciones y su presupuesto, es decir, los Programas Operativos Anuales (POA’s) de las dependencias y entidades. Esta aplicación es interna, pero los resultados de los POAs se encuentran publicados en el Portal de Transparencia del Ayuntamiento y en la página principal del Software SEDEMProgramas. b) Software SEDEM-Programas: A través de esta aplicación se da seguimiento a los indicadores que están vinculados a los objetivos del Plan Municipal de Desarrollo y con otros programas como es el SINDES y el Programa de Reconocimiento al Fortalecimiento Institucional Municipal (REFIM) que también opera ICMA-Latinoamérica. Adicionalmente se tiene cargada la versión pública de los POA’s de las dependencias y entidades, con el fin de integrar en una sola plataforma la totalidad de los resultados de los indicadores que se tiene registrados en el SEDEM. Esta aplicación trabaja en ambiente Web y está disponible a toda la ciudadanía a través del Portal del IMPLAN www.implanpuebla.gob.mx, apartado SEDEM). Metodología - Metodología para la evaluación de los POA’s Se diseñó el Software del SEDEM tomando como base aspectos metodológicos del Balanced Scorecard, Marco Lógico y Administración de proyectos en la elaboración de los POA’s y se definió un sistema de semaforización con base en el cumplimiento en tiempo y forma de las tareas y metas programadas, con el propósito de identificar áreas de oportunidad que permitan una mejora continua en la gestión municipal y ofrecer mejores servicios a la ciudadanía: Verde, productos que se están alcanzando de forma satisfactoria, conforme a lo programado. Amarillo, productos que presentan una tendencia negativa con relación a lo programado. Rojo, productos que cuyos resultados no se están alcanzando conforme a lo programado. -6- Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) Con la información reportada en el SEDEM el Instituto Municipal de Planeación, lleva a cabo el Reporte Ejecutivo de Evaluación Operativa (REEO), el cual refleja de forma simplificada los resultados y avances de los productos reportados en el POA y su semaforización. Estos reportes son entregados al Presidente Municipal, Regidores, Contralor y Auditores Externos. - Metodología para la definición y verificación de los datos y resultados reportados al SEDEM Para la clasificación y definición de los indicadores se tomó en consideración lo establecido por el Consejo Nacional de Armonización Contable (CONAC) así como criterios internos que se han ido afinando a lo largo de los años. Los indicadores están clasificados por tema, tipo, dimensión y ámbito de control, además de contar con una clave alfanumérica única e irrepetible. Los parámetros que el Departamento de Evaluación debe tomar como referencia para verificar la calidad de la información son: La aplicación de una banda de verificación de más menos 10% al dato reportado en el mismo periodo. Comprobación de los indicadores que son complementarios o seriados, es decir, la suma de éstos debe dar como resultado el 100%. Identificación de datos atípicos a partir de la observación de series estadísticas generadas con los datos de periodos anteriores. Comparación de los resultados reportados con otras fuentes de información, en los casos donde sea posible. Cabe mencionar que además de la revisión que hace el Departamento de Evaluación, la Contraloría Municipal y los Auditores Externos llevan a cabo revisiones con las dependencias y entidades para constatar la veracidad de los datos reportados. Personal especializado y capacitado en el manejo y operación del SEDEM. El área responsable del manejo y operación del SEDEM es el Departamento de Evaluación adscrito a la Coordinación General del IMPLAN atendiendo a lo dispuesto en el artículo 17, fracción V y artículo 37 y 38 del Decreto de Creación del Instituto Municipal de Planeación. Este -7- Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) Departamento trabaja de manera coordinada con la Dirección de Planeación Estratégica y con el Departamento de Programación del IMPLAN quienes también dependen de la Coordinación General. Asimismo, el Departamento de Evaluación debe proporcionar a la Contraloría Municipal y a los Auditores Externos todas las herramientas necesarias para realizar un correcto seguimiento y control del funcionamiento de la Administración Pública Municipal, en materia de medición del desempeño. El IMPLAN diseña y ejecuta los procesos que vinculan la planeación y la evaluación de la gestión municipal, dando seguimiento a los resultados de los indicadores de desempeño de las 23 dependencias y entidades, remitiendo dichos resultados al Cabildo Municipal y a los entes fiscalizadores. Además participan otras áreas en el desarrollo y perfeccionamiento del SEDEM: Consejo Ciudadano de Desempeño Gubernamental (CCDG): Es un órgano consultivo conformado en un cien por ciento por miembros de la sociedad civil, iniciativa privada y/o academia, dedicado al análisis de los resultados y temas relativos a la medición del desempeño del gobierno municipal; asimismo propone mejoras y apoya la institucionalización de las acciones, dando continuidad a los programas más allá de la transición política. El CCDG inició operaciones en el año 2006 y forman parte de los 16 Consejos de Participación Ciudadana que tiene el municipio y que dependen logísticamente del IMPLAN, los cuales se encuentran regidos por el Código Reglamentario para el Municipio de Puebla. Cabildo Municipal: Puede participar en cualquiera de las etapas del proceso de evaluación, como órgano colegiado o a través de sus miembros. Dentro de sus principales responsabilidades está la de solicitar los resultados generados por el SEDEM. Contraloría Municipal: Es la dependencia responsable de revisar las evidencias documentales que sustentan los avances y resultados reportados en el SEDEM, con base en los “Lineamientos generales para las revisiones administrativas en Dependencias y Entidades de la Administración Pública Municipal” Dependencias y Entidades Proporcionan la información necesaria para medir y evaluar los planes, programas, acciones y servicios de su competencia, a través de la generación y actualización de indicadores para medir la gestión del gobierno municipal y su impacto en la calidad de vida de la ciudadanía; para lo cual el SEDEM se apoya de una red de 23 Enlaces, siendo uno por cada Dependencia y Entidad; Cabe mencionar que los Enlaces deben ser capacitados por lo menos dos veces al año, de acuerdo a lo establecido en el Manual de Políticas del SEDEM. Manuales de políticas y operación: Actualmente el SEDEM cuenta con cinco manuales. El manual general es el Manual de políticas del SEDEM, el cual fue aprobado por unanimidad por el Cabildo Municipal el 14 de junio de 2009. La última actualización del Manual fue el 12 de diciembre de 2012 y se encuentra publicado en el Portal de Transparencia del Ayuntamiento y en la página Web del IMPLAN. También se cuenta con otros cuatro manuales: manual de funciones, manual de procedimientos, manual de usuario y manual técnico de los sistemas informáticos, los cuales han sido registrados por la Contraloría Municipal. -8- Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) Fichas Técnicas de Indicadores (FTI) Contienen información que describe al indicador, además de proporcionar los datos necesarios para su construcción y medición, además de ser un instrumento de transparencia al hacer pública la información tanto en el portal del Ayuntamiento como en el Portal Web del IMPLAN. Haciendo un símil la FTI es como el acta de nacimiento de una persona, ya es el documento oficial de identificación de la FTI; sus principales elementos son: nombre del indicador, objetivo del indicador, interpretación, tipo, dimensión, ámbito de control, vinculación con otros programas, variables, método de cálculo, glosario de términos, nombre y firma de la persona que elaboró, validó y autorizó. Cabe mencionar que el formato de la FTI ha ido evolucionando durante los 8 años de operación del SEDEM. Presupuesto destinado al SEDEM: El SEDEM se financia con recursos propios y tiene un presupuesto para el año 2013 de 1 millón 171 mil 055 pesos: 11% para el mejoramiento de la infraestructura del SEDEM y participación en programas externos, 89% para los sueldos del personal del Departamento de Evaluación. Modelo de Operación del SEDEM El SEDEM cuenta con un modelo de operación que se ha ido construyendo a través de estos 8 años, el cual ha mostrado su flexibilidad, logrando asimilar diversas propuestas de transformación, además de interactuar actores internos (Cabildo, dependencias y entidades) y actores externos (Evaluadores, Auditores Externos, Consejo Ciudadano de Desempeño Gubernamental y la ciudadanía en general). -9- Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) Evolución de la Implantación del SEDEM En el año 2004 el Ayuntamiento de Puebla, participó por primera vez en el Programa SINDES. Durante el primer trimestre de 2005 existe un cambio de administración y de alternancia política. El nuevo Alcalde emanado de otro partido político mantiene el interés por el SINDES, dando continuidad entre administraciones, lo cual es poco común en los gobiernos municipales. A partir de marzo de 2005 y retomando la experiencia del SINDES el gobierno municipal de Puebla decide crear su propio sistema de medición y evaluación de la gestión municipal, denominado “Sistema de Evaluación del Desempeño Municipal (SEDEM)” atendiendo a lo establecido en el Plan Municipal de Desarrollo 2005-2008 “Puebla, con un gobierno de resultados y cercano a la gente” y entre las principales acciones que llevaron a cabo está: a) el desarrollo del software del SEDEM-POA’s, b) la elaboración de manuales de usuario, organización y procedimientos del SEDEM, c) la creación del Consejo Ciudadano de Desempeño Gubernamental, d) la publicación por primera vez de los indicadores del Programa SINDES, e) Se inicia la participación en el Programa de Reconocimiento al Fortalecimiento Institucional Municipal (REFIM), f) se organiza el Primer Foro Nacional de Medición del Desempeño en los Gobiernos Locales en colaboración con la Fundación Konrad Adenauer, g) Se participa con Agencia de los Estados Unidos para el Desarrollo Internacional (USAID) en el Estudio Comparado sobre sistemas de medición de desempeño en América Latina. Posteriormente, la administración 2008-2011 da continuidad al SEDEM y emprende acciones para dar cumplimiento al Programa 17 del PMD “Gobernanza e Innovación”, línea de acción 12 “Consolidar un sistema de evaluación integral del desempeño y resultados del gobierno municipal, con base en las prioridades de los ciudadanos y con transparencia en su cálculo y ejecución”; para alcanzar este compromiso con la ciudadanía: a) Se da continuidad a las acciones anteriores, b) ICMA e INEGI imparten cursos a los servidores públicos para el diseño y construcción de indicadores, b) se elabora la metodología para fundamentar el presupuesto de egresos con base en los POA’s, c) se inicia con un control programático presupuestal de los POAs, d) Se empieza a trabajar con las áreas en la elaboración de fichas técnicas de indicadores para su publicación, e) el Cabildo aprueba el Manual de Políticas del SEDEM y se publica en el portal del Ayuntamiento, f) en el marco del Programa REFIM se generaron indicadores para medir las áreas de planeación, recursos humanos, finanzas y marco legal, g) se evalúa la pertinencia e institucionalidad del SEDEM a través de la Certificación SIMED de ICMA, h) el Consejo Ciudadano de Desempeño Gubernamental participa con el gobierno municipal en diversos proyectos. Durante el primer trimestre de 2011 se da el cambio de administración y nuevamente de alternancia política, al tomar protesta un Alcalde emanado de otro partido político, quien decide impulsar ante el Cabildo Municipal y el Congreso del Estado de Puebla la creación del Instituto Municipal de Planeación (IMPLAN), el cual se convirtió en una realidad el dos de mayo de 2011, a tan sólo tres meses del inicio de la administración. El Instituto Municipal de Planeación (IMPLAN) es un Organismo Público Descentralizado de la Administración Pública Municipal, con personalidad jurídica y patrimonio propios, responsable de fortalecer y dar continuidad institucional al Sistema Municipal de Planeación Democrática Integral. El IMPLAN tiene por objeto formular, dar seguimiento a los Planes y Programas contemplados en el Sistema Municipal de Planeación Democrática Integral del Municipio de Puebla, y al Sistema de Evaluación del Desempeño Municipal (SEDEM), así como de los proyectos que se deriven del mismo; auspiciando en todo momento a través de ellos la modernización, innovación y desarrollo - 10 - Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) del Municipio; promoviendo el crecimiento socioeconómico sostenido y sustentable del Municipio; atendiendo al carácter metropolitano de sus funciones económicas, sociales, culturales y de servicios administrativos. El IMPLAN cuenta con una Junta de Gobierno integrada por ciudadanos y autoridades municipales. Esta junta es el máximo órgano de decisión del Instituto y es el único facultado para avalar las decisiones financieras y legales del IMPLAN. Al transferir el SEDEM al IMPLAN también se da un gran paso en la vinculación y el fortalecimiento de los procesos de planeación, programación, presupuestación, seguimiento y evaluación del Gobierno Municipal, atendiendo a lo dispuesto por el Plan Municipal de Desarrollo 2011-2014 en su eje 5 “Mejores prácticas municipales”, línea estratégica 5.6 “Planeación Estratégica Municipal”, objetivos particulares 5.6.2 “Fortalecer los procesos de seguimiento y evaluación del desempeño del gobierno municipal” y 5.6.3 Propiciar la participación ciudadana en la planeación y seguimiento de la gestión del gobierno municipal”. En este sentido, la nueva administración 2011-2014 retomó la experiencia del SEDEM, para continuar mejorando e innovando sobre bases ya establecidas. Entre las principales acciones que ha llevado a cabo esta administración se encuentran: a) la capacitación a los Enlaces SEDEM en la construcción de indicadores, b) integración de los POA’s y - 11 - Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) uso de los sistemas informáticos, c) se revisó la metodología de los indicadores del SEDEM conforme a los criterios del CONAC, d) se rediseñó el formato de ficha técnica de indicadores, e) se actualizó el manual de políticas del SEDEM y se publicó en Internet, f) se actualizaron y crearon nuevos indicadores vinculados al Programa SINDES y REFIM los cuales están publicados, g) por primera vez se publicaron los resultados de los Programas Operativos Anuales del 100% de las dependencias y entidades, h) se adquirió un nuevo software con el propósito de concentrar en una sola plataforma los indicadores y resultados del SEDEM, i) En el marco de la Ley General de Contabilidad Gubernamental (LGCG), se trabajó junto con la Tesorería, SATI y Contraloría en la vinculación de los POA’s con la nueva Clasificación Funcional del Gasto establecida por la CONAC, para lo cual también se tuvieron que homologar criterios con el sistema informático de la Tesorería y el software del SEDEM-POA’s, j) en atención a la LGCG se inició el primer ejercicio para la elaboración de los Programas Presupuestarios a través de la integración de las Matrices de Indicadores para Resultados (MIR), dejando las bases a la próxima administración que entrará en funciones el próximo 15 de febrero de 2014 para la implementación del PbR vinculado al SEDEM. Retos afrontados Entre los principales retos esta la generación de una cultura sobre medición y evaluación del desempeño a nivel organizacional, así como el temor de algunos servidores públicos por sentirse evidenciados; aunque cabe aclarar que el SEDEM evalúa los objetivos institucionales y no al personal; Otro gran reto ha sido demostrar en cada cambio de administración la utilidad e importancia del SEDEM con resultados tangibles, además de establecer mecanismo a nivel normativo que promuevan su institucionalización. - 12 - Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) Resultados obtenidos Problemática Estado Inicial: Febrero 2005 Las dependencias y entidades no establecen metas y objetivos de manera formal. No existen indicadores para medir los resultados de los planes y programas del municipio. No existe un cultura de medición del desempeño, por lo que los servidores públicos tienen una escasa comprensión de como inciden sus acciones y funciones diarias en el bienestar de la población. No existe capacitación en materia de medición del desempeño y no existen reportes de evaluación del desempeño de las áreas respecto a sus metas y objetivos vinculados al PMD. Objetivos del SEDEM Verificar y dar seguimiento al cumplimiento de las metas y objetivos, con base en indicadores estratégicos y de gestión que permitan conocer los resultados y las áreas de mejora de los planes y programas. Facilitar a los servidores públicos la comprensión de sus objetivos, tareas y funciones diarias, así como el impacto de éstas en el bienestar de la población, a través de la vinculación del Programa Operativo Anual con el Plan Municipal de Desarrollo. Reforzar las capacidades de los servidores públicos en el aprendizaje institucional y la toma de decisiones basada en información de calidad, a través de un mayor conocimiento en el diseño, aplicación y seguimiento de los indicadores de desempeño. Resultados 2005 a la fecha El SEDEM cuenta 969 indicadores, entre estratégicos y operativos, además de sus fichas técnicas para dar seguimiento a los planes y programas del gobierno municipal. Se cuentan con datos históricos de los indicadores de 2004 a la fecha. El 100% de los POA’s están vinculados al Plan Municipal de Desarrollo. De forma trimestral se evalúan los avances. Se cuenta con una red de 23 enlaces SEDEM, uno por cada dependencia o entidad. Se han aplicado encuestas para conocer el grado de aceptación del SEDEM Se capacita y asesora a los servidores públicos en la construcción de indicadores de desempeño y en la elaboración de los Programas Operativos Anuales (POAs) Por política los Enlaces deben ser capacitados por lo menos dos veces al año. Se elabora trimestralmente el REEO que es entregado al Cabildo Municipal y a los entes fiscalizadores. Los resultados del SEDEM se utilizan para la integración del Informe Anual de Gobierno del Alcalde. No existen Programas Operativos Anuales y los objetivos y metas no estaban vinculados en un 100% al PMD. El presupuesto de egresos no se fundamentaba en los programas de trabajo de las dependencias y entidades No existen unidades de acceso a la Vincular la planeación, programación y presupuestación con el proceso de implantación y operación del Sistema de Evaluación del Desempeño Municipal (SEDEM), permitiéndole al gobierno municipal y a la ciudadanía contar con información más precisa sobre el uso de los recursos y el desempeño de la gestión. Contribuir a la redición de cuentas y - 13 - La información del SEDEM es utilizada en reuniones de gabinete. El presupuesto de Egresos está fundamentado en los POA’s. Los POA’s están vinculados con la Clasificación Funcional del Gasto establecida por el CONAC. Se lleva con control programático presupuestal de cada uno de los productos del POA. Se cuenta con Unidades de Acceso a la Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) información pública. No se publica información de los objetivos y metas de las dependencias ni del presupuesto. No se publican manuales de organización y procedimientos. No existen manuales para la elaboración de planes y programas. a la transparencia, a través de la publicación de los informes, reportes y manuales del SEDEM en el portal electrónico de Internet del Ayuntamiento y del IMPLAN. Existen consejos ciudadanos en el Ayuntamiento, pero ninguno enfocado al desempeño del Municipio. Fomentar la participación ciudadana en los procesos de medición y evaluación del desempeño gubernamental. No se cuenta con un sistema de medición y evaluación del desempeño reconocido por el Cabildo. Institucionalizar los procesos de medición y evaluación del gobierno municipal, con el fin de mejorar e innovar sobre bases ya establecidas. Información en cada una Dependencias y Entidades. de las En el Portal de transparencia se publican: PMD POA’s Indicadores de Gestión Fichas Técnicas de Indicadores Manuales del SEDEM Responsables del SEDEM El Consejo Ciudadano de Desempeño Gubernamental lleva 7 años operando. En el año 2010 este consejo ganó el premio de Contraloría Social que otorga el Gobierno Federal. El SEDEM está reconocido por el Cabildo. Se cuenta con un Manual de Políticas del SEDEM Se cuenta con otros operaciones aprobados Contraloría Municipal manuales por la Desde el año 2005 se continúa participando en el Programa de Reconocimiento al Fortalecimiento Institucional Municipal (REFIM) Desde el año 2004 se continúa participando en el Programa Sistema de Indicadores de Desempeño (SINDES) Se cuenta con una evaluación de la pertinencia e institucionalidad del SEDEM a través de la Certificación SIMED de ICMA. Como se puede apreciar en la tabla se han dado pasos consistentes y contundentes para ir consolidando el SEDEM, incidiendo de forma paralela en la generación de una cultura del desempeño, basada en procesos estandarizados y documentados, permitiendo obtener resultados cuantificables y verificables vinculados al presupuesto de egresos, así como contar con información para la toma de decisiones, en pro de la mejora continua de los servicios públicos y de los programas del gobierno municipal. Organizaciones Externas al Ayuntamiento han reconocido los avances y resultados obtenidos por el SEDEM durante sus tres etapas: En el año 2006 el SEDEM fue tomado como caso de estudio por la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID), en un estudio comparado sobre Sistemas de Medición de Desempeño Municipal en América Latina. En el año 2006 el Software del SEDEM fue considerado por la revista especializada Política Digital como una buena práctica digna de replicarse en otros municipios del país. - 14 - Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) En el año 2010 el SEDEM resultó ganador del Premio Gobierno y Gestión Local del Centro de Investigación y Docencia Económicas (CIDE) entre 259 programas municipales que se inscribieron en la edición 2010 del CIDE y este año publicará un libro con las 5 prácticas ganadoras de la edición 2010. Durante seis años el SEDEM ha obtenido el máximo reconocimiento que otorga el Programa SINDES, siendo el único municipio en obtener tal distinción de forma consecutiva. Después 8 años de participación en el Programa REFIM de ICMA, el área de Planeación logró subir al 5to. Grado (Las variables son del conocimiento público y se vincula a la ciudadanía), en donde cabe mencionar que éste es el nivel máximo del Programa y es el único de los 4 módulos que cuenta con este grado. Cabe destacar que el IMPLAN aprobó y registró en el SEDEM 149 fichas técnicas de indicadores de las 4 áreas del REFIM, contribuyendo a que durante esta administración el Ayuntamiento subiera del 2do al 4to Grado por contar con medidas de desempeño y publicar los resultados. 3. Vinculación de la Experiencia Innovadora con los criterios de evaluación A continuación le pedimos proporcione información específica que será valorada por el Jurado. Le pedimos por favor brevedad y en lo posible proporcionar datos específicos: a. Originalidad Consideramos que el SEDEM es único por su antigüedad y autenticidad, tiene una estructura de cinco áreas de trabajo articuladas en un sistema en el que cada una de estas áreas hace más productivas a las otras: Metodología, Personal Especializado en Capacitación permanente, desarrollo de Manuales y Sistemas de Trabajo que documentan la experiencia, Sistemas Informáticos para reportes y consulta, y Fichas Técnicas de Indicadores. Nuestro modelo de operación ha demostrado flexibilidad a los cambios normativos y a los cambios de administración. El SEDEM cuenta en la actualidad con 969 indicadores, vinculados a distintas aplicaciones. Una parte significativa de ellos son utilizados en los Programas Operativos Anuales de las 23 dependencias y entidades; esto indica que el SEDEM está ampliamente vinculado a las tareas cotidianas de la administración en todos los niveles, relacionando la visión y la estrategia del Ayuntamiento con sus operaciones, facilitando el alineamiento de los Programas y Presupuestos en los que se ha invertido para dar cumplimiento al Plan Municipal de Desarrollo (PMD). Desde sus inicios uno de los principales objetivos fue la institucionalización, a través de la diversos documentos normativos y de la generación de una cultura de medición y evaluación en el Ayuntamiento, la cual medimos desde hace 8 años a través del Programa REFIM y la pertinencia y mejora del modelo de operación del propio SEDEM a través de la certificación SIMED de ICMA. Contamos con un Consejo Ciudadano de Desempeño Gubernamental que ha permitido la apertura a la ciudadanía en el proceso de evaluación. La ciudadanización de la evaluación favorece este proceso, lo legitima a la vez que lo enriquece y fortalece. También nos medimos contra otros municipios del país a través del Programa SINDES y contamos con datos históricos de 2004 a la fecha. Asimismo las dependencias y entidades han ido desarrollando sus propios indicadores, y se han ido apropiando de la herramienta, para facilitarse su trabajo cotidiano, además de contar con información del estado que guarda la gestión en cada cambio de administración. - 15 - Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) b. Impacto Ciudadano El beneficio final es a la sociedad en general, ya que el SEDEM está cambiando la base de operación de toda la administración municipal, actuando en la mejora de la práctica administrativa, sobre todo de aquellas cuestiones que el ciudadano no ve pero que deben ser mejoradas para que los problemas que ve y sufre tengan una solución sustentable. El SEDEM está creando la estructura de evaluación, medición de desempeño, identificando logros, deficiencias y áreas de oportunidad, para sostener eficientemente la mejora continua y la satisfacción de las necesidades y demandas ciudadanas. Un ejemplo claro de esto es el estudio de Inversión en Infancia y Adolescencia que recientemente elaboró el IMPLAN y el DIF tomando como base la información que las dependencias y entidades reportan al SEDEM y los criterios definidos por UNICEF, quien se ha interesado en conocer la metodología empleada por el IMPLAN para replicarlo en otros municipios y estados del país; adicionalmente este tipo de estudios le permitirán al Ayuntamiento saber la situación actual y cómo podemos mejorar nuestro actuar. También el ciudadano cuenta con más información sobre los resultados de la gestión y la disponibilidad y acceso a la información es mayor, ya sea a través de las Unidades de Acceso a la Información (UAI), como a través del Portal de Transparencia del Ayuntamiento o de la página Web del IMPLAN. c. Replicabilidad Ls experiencia del SEDEM puede ser transferible y adecuarse a las necesidades del municipio que desee iniciar o institucionalizar su propio sistema de medición y evaluación del desempeño, dando cumplimiento principalmente a los artículos 6 y 134 de la Constitución Política de los Estados Unidos Mexicanos y a los artículos 19, 54, 79, 161 y Transitorio Cuarto de la ley General de Contabilidad Gubernamental (LGCG), ya que a la fecha son pocos los municipios que cumplen a cabalidad con este mandato. Cabe mencionar que de acuerdo a la LGCG los más de 4 mil municipios de México tienen como fecha límite el 31 de diciembre de 2014 para incorporar los resultados que se deriven de los procesos de implantación y operación del presupuesto basado en resultados (PbR) y de su sistema de evaluación del desempeño (SED) a la información financiera de sus presupuestos y a la cuenta pública; sin embargo la gran mayoría aún no están preparados o no cuentan con un sistema de evaluación del desempeño. La experiencia también puede replicarse en los otros países ya que las bases en las que esta cimentado el SEDEM son la organización, la administración, la institucionalidad, la eficacia y la eficiencia, ejes universales para cualquier sistema de medición y evaluación. Desde sus inicios la práctica del SEDEM ha sido compartida en diferentes foros nacionales e internacionales como la 92a Conferencia Anual de ICMA en San Antonio, Texas, ante especialistas en materia de medición del desempeño de diferentes países; con los municipios que participan en el Programa SINDES, con la Auditoría Superior del Estado de Puebla (ASEP); de forma muy puntual durante los 8 años de operación del SEDEM con los Ayuntamientos de San Nicolás de los Garza, Nuevo León; Tula, Hidalgo y Zapopan, Jalisco. Próximamente la experiencia del SEDEM se compartirá en el VIII Congreso Internacional de la Red de Investigadores en Gobiernos Locales Mexicanos (IGLOM) a llevarse a cabo en el mes de septiembre. - 16 - Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) d. Eficacia Como se pudo observar en el apartado de resultados obtenidos durante estos 8 años se han obtenido avances significativos en los objetivos propuestos en comparación a la situación inicial en la que se encontraba el Ayuntamiento de Puebla. Otro indicador de la eficacia del Programa ha sido la permanencia del SEDEM a pesar de los cambios de administración y de alternancia política, ya que cada administración lo ha adoptado y ha encontrado ventajas que le han permitido mejorar e innovar sobre bases ya establecidas. e. Eficiencia El Municipio de Puebla es el cuarto municipio más grande del país con más de 1 millón 539 mil 819 habitantes de acuerdo al censo 2010. El Gobierno Municipal está conformado por 23 dependencias y entidades, con un presupuesto anual para el año 2013 de 3 mil 366 millones 864 mil 406 pesos. En este contexto podemos decir que los recursos humanos, materiales y económicos con los que opera el SEDEM son limitados, pero no así sus resultados: Recursos humanos: El Departamento de Evaluación es el área a cargo del SEDEM de acuerdo al Decreto de Creación del IMPLAN y opera con 7 personas apoyados por una red de 23 Enlaces para atender al 100% de las dependencias y entidades, así como a los requerimientos de los auditores externos. Recursos Materiales Se cuenta con dos sistemas informáticos, el SEDEM-POA’s desarrollado en un ambiente Web, con recursos propios y con personal del Departamento de Evaluación; el SEDEM-programas se adquirió a través de ICMA a un costo relativamente bajo y también opera en un ambiente Web. A través de estos sistemas el IMPLAN y la Contraloría pueden llevar a cabo la revisión de los resultados de los indicadores sin necesidad de desplazarse a las unidades administrativas a menos que lo consideren necesario, con lo cual se reducen tiempos de traslado. Recursos Económicos En el año 2012 el gobierno municipal invirtió el 0.9% de los egresos en Planeación y este año el IMPLAN cuenta con un presupuesto de 24 millones 900 mil pesos de los cuales 1 millón 320 mil pesos están destinados al SEDEM, de esta cantidad el 11% se destinan al fortalecimiento del modelo de operación del SEDEM y el 89% a los sueldos del personal del Departamento de Evaluación. f. Complejidad del problema que soluciona Como se indicó en la problemática antes del SEDEM no existían en el Ayuntamiento de Puebla, mecanismo para la medición y evaluación de los planes y programas, así como el impacto de estos en el bienestar de la población. La medición y evaluación del desempeño puede ayudar a una organización a obtener información importante de actividades pasadas y en curso que se pueden usar como base para ajustar la programación, reorientarla y para la planificación futura. Sin una planificación, un seguimiento y una evaluación eficaces, sería imposible juzgar si el trabajo que se realiza en pro del bienestar de la sociedad va en la dirección correcta. - 17 - Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) Adicionalmente para muchos gobiernos municipales resulta complejo ligar el presupuesto con la planeación, sin embargo es de suma importancia contar con elementos que nos permitan tomar mejores decisiones y rendir mejores cuentas a la ciudadanía. Un gobierno que no se mide, no puede mejorar su gestión, y un gobierno sin una gestión enfocada a resultados no puede ser competitivo, de ahí la importancia de contar con el SEDEM y de continuar promoviendo su desarrollo y crecimiento. Aún falta mucho por hacer en la mejora de los informes y reportes aplicados al análisis de políticas públicas en temas específicos y en la generación de más indicadores de tipo estratégico, pero se está en el camino correcto, ya que se cuenta con bases sólidas para que la siguiente administración, que iniciará en febrero de 2014, enfoque sus esfuerzos en estos aspectos y se profesionalice aún más al personal, para poder lograr este fin. Asimismo, los sistemas de medición y evaluación del desempeño representan un reto cultural, más que un reto técnico; en este sentido el SEDEM busca traer consigo cambios culturales positivos en toda la estructura del gobierno municipal, que conduzcan a un mejor desempeño, mejor rendición de cuentas y transparencia, mayor aprendiza y conocimiento institucional. g. Sustentabilidad de la experiencia El gobierno del municipio de Puebla ha sido uno de los pioneros en México y América Latina en materia de medición y evaluación del desempeño, además de ser de los pocos municipios que han implementado acciones de manera consistente e ininterrumpida durante 8 años, a través de tres administraciones, emanadas de dos partidos políticos diferentes PRI y PAN. Lo anterior ha sido posible gracias a que las administraciones en turno han reconocido en administraciones anteriores acciones sólidas y que han generado resultados favorables para el gobierno municipal y para la población, permitiendo el crecimiento y desarrollo del SEDEM de una manera sustentable, sin buscar reinventar el hilo negro como popularmente se dice. Por ejemplo al inicio de la administración 2005-2008 el SEDEM retomó componentes del SINDES y los adecuó a su realidad institucional e incluyó aspectos metodológicos como el Balanced Scorecard, el Marco Lógico y la Administración de Proyectos en la metodología del SEDEM. Durante la administración 2008-2011 se da continuidad e inicia el proceso de vinculación del Presupuesto de Egresos con el POA, lo cual le hubiera llevado más de tres años si hubiera querido empezar de cero. Actualmente esta administración retoma la experiencia del SEDEM y esto le permite ir a la delantera de los cambios que la normatividad federal ha ido imponiendo a los tres niveles de gobierno, en materia de Contabilidad Gubernamental, Presupuesto Basado en Resultados y Sistema de Evaluación de Desempeño, o al menos, tener capacidad de reacción ante las nuevas exigencias; que para muchos municipios significó una revolución en sus sistemas de trabajo y la incapacidad de cumplir, pero que para el SEDEM, ha significado apurar el paso para estar en tiempo. El IMPLAN fue creado por decreto del Honorable Congreso del Estado de Puebla, así que para que el SEDEM deje de existir debe ser aprobado por el Cabildo Municipal y por el Congreso del Estado de Puebla, sin embargo resulta poco probable que esto suceda ya que los municipios tienen hasta el 14 de diciembre de 2014 para contar con un Sistema de Evaluación del Desempeño (SED) y para dar cumplimiento a la Ley General de Contabilidad Gubernamental, en este sentido Puebla ya cuenta con el SEDEM. - 18 - Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) V. Declaración de los participantes La institución Postulante, a través de quien suscribe, declara que: 1. Conoce las Bases de la actividad “Premio Interamericano a la Innovación para la Gestión Pública Efectiva” y acepta todos sus alcances. 2. Toda la información expuesta en el formato de postulación es veraz y verificable y de entera responsabilidad del postulante. 3. Esta dispuesta a proporcionar al Departamento para la Gestión Pública Efectiva de la OEA toda la información complementaria que le sea solicitada durante el proceso de evaluación. 4. No tiene, o no ha tenido en los últimos cinco años, ningún tipo de vinculación (exceptúese la nacionalidad) con alguno de los Jurados o miembro del Departamento para la Gestión Pública Efectiva. 5. El departamento para la Gestión Pública Efectiva de la OEA está autorizado a realizar la difusión de la experiencia innovadora en postulación, así como de los resultados del proceso de reconocimiento. Lugar y fecha: Puebla, Puebla. México; 30 de julio de 2013 Firmado por: (1) Institución Postulante Firma del Representante Legal: Nombre: L.D. Luis Armando Olmos Pineda Cargo: Coordinador General de IMPLAN Firma de persona de contacto Nombre: María de Lourdes Verónica Flores Morales Cargo: Jefa del Departamento de Evaluación Teléfono: 229 00 60 ext. 180 o 181 Dirección Electrónica: veronica.flores@pueblacapital.gob.mx - 19 - Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) ANEXO II RESUMEN EJECUTIVO El Sistema de Evaluación del Desempeño Municipal (SEDEM), lleva operando 8 años, a través de tres administraciones, emanadas de dos partidos políticos diferentes. Actualmente su base de operación está en el recién creado Instituto Municipal de Planeación (IMPLAN). El SEDEM surge de la necesidad de ofrecer información oportuna y veraz para la toma de decisiones, con un enfoque orientado a resultados y con bases sólida para su institucionalización, fomentando la rendición de cuentas y la participación ciudadana. Este sistema fue desarrollado por personal del propio Ayuntamiento, el cual en sus inicios se nutrió de la experiencia del Programa Sistema de Indicadores de Desempeño (SINDES), una iniciativa de la Asociación Internacional de Administración de Ciudades y Condados (ICMA, por sus siglas en inglés), pero el alcance del SEDEM es mucho más extenso. Entre los puntos a destacar a diferencia de los otros sistemas de medición que existen en México y en América Latina es su antigüedad institucional, ya que el modelo ha mostrado solidez en su diseño, lo que le ha permitido permanecer por tres trienios, logrado institucionalizar su función al formar parte de las responsabilidades de un órgano descentralizado, el IMPLAN, además de ser reconocido por el Cabildo y por los propios servidores públicos, como una herramienta útil. La creación del Consejo Ciudadano de Desempeño Gubernamental, el cual lleva operando más de 7 años, le ha permitido al Ayuntamiento la apertura ciudadana al tema. Además de existir memoria institucional por la permanencia no sólo del modelo, sino de quienes participaron en su diseño. Antes del año 2004 el Ayuntamiento de Puebla, no contaba con instrumentos formales para el seguimiento y evaluación de sus planes y programas y el marco normativo a nivel federal, estatal y municipal no era tan exigente como en la actualidad; además de que la rendición de cuentas y la transparencia no estaban en la agenda de los gobiernos locales; por lo que esta experiencia presentan los avances y resultados obtenidos derivados de la implantación del Sistema de Evaluación del Desempeño Municipal (SEDEM) del Ayuntamiento de Puebla, desde sus orígenes en el año 2005 a la fecha. El SEDEM tiene una estructura de cinco áreas de trabajo articuladas en un sistema en el que cada una de estas áreas hace más productivas a las otras: Metodología, Personal Especializado en Capacitación permanente, desarrollo de Manuales y Sistemas de Trabajo que documentan la experiencia, Sistemas Informáticos para reportes y consulta, y Fichas Técnicas de Indicadores. El SEDEM cuenta con un modelo de operación que se ha ido construyendo a través de estos 8 años, el cual ha mostrado su flexibilidad, logrando asimilar diversas propuestas de transformación, además de interactuar actores internos (Cabildo, dependencias y entidades) y actores externos (Evaluadores, Auditores Externos, Consejo Ciudadano de Desempeño Gubernamental y la ciudadanía en general). Finalmente podemos decir que el SEDEM está cambiando la base de operación de toda la administración municipal, actuando en la mejora de la práctica administrativa, sobre todo de aquellas cuestiones que el ciudadano no ve pero que deben ser mejoradas para que los problemas que ve y sufre tengan una solución sustentable. - 20 - Secretaría de Asuntos Políticos (SAP)/ Departamento para la Gestión Pública Efectiva (DGPE) GLOSARIO SEDEM.- Sistema de Evaluación del Desempeño Municipal. POA.- Programas Operativos Anuales. Programa SINDES.- Sistema de Indicadores de Desempeño. Programa REFIM.- Reconocimiento de Reconocimiento al Fortalecimiento Institucional Municipal. IMPLAN.- Instituto Municipal de Planeación. PMD.- Plan Municipal de Desarrollo. ICMA.- Asociación Internacional de Administración de Ciudades y Condados (ICMA, por sus siglas en Inglés) FTI.- Fichas Técnicas de Indicadores. CONAC.- Consejo Nacional de Armonización Contable. REEO.- Reporte Ejecutivo de Evaluación Operativa. CCDG.- Consejo Ciudadano de Desempeño Gubernamental. LGCG.- Ley General de Contabilidad Gubernamental. MIR.- Matrices de Indicadores para Resultados. PbR.- Presupuesto basado en Resultados. SED.- Sistema de Evaluación del Desempeño ASEP.- Auditoría Superior del Estado de Puebla. - 21 -