RRP - 2011 - Calidad del Dato DANE.

DEPARTAMENTO ADMINISTRATIVO
NACIONAL DE ESTADÍSTICA – DANE
ASEGURAMIENTO DE LA CALIDAD DE LA
INFORMACIÓN ESTADÍSTICA
Dirección de Regulación, Planeación,
Estandarización y Normalización
- DIRPEN –
EVALUACIÓN DE LA CALIDAD DEL
PROCESO ESTADÍSTICO
Julio de 2011
Aseguramiento de la Calidad de la
Información Estadística
Objetivo:
Asegurar la calidad del proceso estadístico dentro del
marco de los principios fundamentales de Naciones
Unidas y de los criterios de calidad considerados por
el DANE como pertinentes para cumplir con los
requisitos y necesidades de los usuarios, para
generar credibilidad, confiabilidad y transparencia en
la producción de información estadística.
Marcos conceptuales y referentes internacionales
del modelo de evaluación de Colombia
- Principios fundamentales de las estadísticas oficiales
- Código de buenas prácticas de las estadísticas europeas
- Cuestionario europeo de autoevaluación para los responsables de encuestas
- Indicadores estándar de calidad
- Handbook on data quality assessment methods and Tools.
-Sistema General de Divulgación de Datos (SGDD).
-Guía para los participantes y usuarios.
- Marco para evaluar la calidad de los datos
- Marco de calidad y directrices para las actividades estadísticas de la
OECD
- Marco de aseguramiento de la calidad.
Marcos conceptuales y referentes internacionales
del modelo de evaluación de Colombia
- Code of Practice for Oficial Statistics.
- Producer Handbook for the Assessment Process.
- Quality Standards in German Official Statistics.
- South African Statistical Quality Assessment Framework (SASQAF).
- ISO 20252:2006
- ISO/IEC 65: 1996
- ISO 19011
- ISO 27000: 2005
- ISO/IEC 9075-1, 2, 3, 4, 9, 10, 11, 13:2008
Beneficios del proceso de aseguramiento
Contribuir al fortalecimiento
de la credibilidad, integridad
y transparencia de las
estadísticas.
Desarrollar e intercambiar
las "mejores prácticas" para
la producción estadística
Fortalecer la relevancia de
las estadísticas para el
seguimiento de políticas
públicas
Adoptar el
proceso de
aseguramiento
de la calidad
estadística
permite:
Integrarse dentro de un
sistema coordinado de
métodos y herramientas
establecidas
internacionalmente.
Mantener el nivel de calidad
óptimo, mediante el
seguimiento periódico de los
procesos estadísticos.
Formalizar la calidad de las
estadísticas producidas por
la entidad responsable de la
OE.
Proceso
Aprobación Comité interno DANE
Recolección
Selección de OE
•Sensibilización
• Revisión de la
oferta (PENDES)
Evaluación
Cumplimiento de los
requisitos de calidad
• Obtención de
información
• Importancia para
Cuentas Nacionales
y OCDE
Formulario de
características
técnicas de OE
• Revisión de temas
económicos y
sociales de impacto
Evidencias y
soportes
documentales
Calificación
calidad
Informe expertos
concepto previo
Formulación del Plan
de Mejoramiento
Seguimiento integral
Certificación
Verificación y
evaluación de:
Implementación de
estándares
Implementación del
plan de
mejoramiento
•Buenas Prácticas
•PAD
•Metodologías
•Conceptos
•Nomenclaturas y
Clasificaciones
Certificación
O.E y BD*
Actividades para
el fortalecimiento
*La base de datos será incorporada a la Infraestructura Colombiana de Datos – ICD
Revisión concepto
previo de
certificación
Decisión de
certificación: comité
interno DANE
Equipo de trabajo
Grupo base
DANE
Comisión de
Expertos
Independientes CEI
Expertos
temáticos
Comité Interno
DANE
Expertos
transversales
Equipo de trabajo
TEMÁTICOS
•
•
•
•
Diseño metodológico.
Logística con entidades.
Levantamiento de información.
Apoyo en la evaluación y formulación
de planes de mejoramiento.
• Seguimiento integral.
• Promover y velar por la aplicación del
modelo metodológico.
GRUPO
BASE DANE
INGENIEROS
DE
SISTEMAS
• Levantamiento de documentación de
Base de datos.
• Evaluación de BD.
• Formulación de planes de mejoramiento.
• Seguimiento integral.
Equipo de trabajo
EXPERTO
TEMÁTICO
COMISIÓN DE
EXPERTOS
INDEPENDIENTES
CEI
• Revisión de la coherencia, comparabilidad y
oportunidad.
• Puntualidad en la difusión.
• Revisión documentación temática y de los
conceptos utilizados. Estudio de las
principales variables, coberturas temática y
geográfica.
• Verificación de los indicadores.
• Validaciones temáticas.
• Cuadros de salida y medios de difusión.
EXPERTO
PROCESO DE
PRODUCCIÓN
ESTADÍSTICA
• Revisión de la estructura funcional.
• Proceso de recolección.
• Mecanismos de control del flujo
información.
• Controles en campo.
• Procesamiento, análisis y difusión.
EXPERTO
ESTADÍSTICO
• Diseño muestral (en caso de encuestas por
muestreo).
• Revisión del diseño estadístico (en el caso de
registros administrativos).
• Análisis de las técnicas del procesamiento de
la información recolectada. Validaciones.
• Imputaciones.
• Controles de consistencia.
• Coeficientes de variación, entre otros
de
la
¿Qué se evalúa?
Atributos de calidad
establecidos
internacionalmente
• Pertinencia
• Exactitud
• Puntualidad y Oportunidad
• Accesibilidad
• Interpretabilidad
• Coherencia
• Integridad y consistencia
Requisitos de
calidad definidos
por el DANE
Conjunto de propiedades adaptadas y
adoptadas por el DANE para evaluar el
nivel de calidad del proceso de
producción
de
una
operación
estadística
Matriz de
Calificación
COMPONENTES
EVALUADOS
• Entorno de la OE
• Proceso Estadístico
• Base de Datos
MEDICIÓN DE
CALIDAD
ESTADÍSTICA
Requisitos de calidad
Proceso estadístico
Entorno de la
OE
TEMA
No. DE REQUISITOS
Marco normativo
1
Recursos
1
Compromiso de calidad
1
Planeación
2
Diseño
5
Ejecución
7
Análisis
2
Difusión y acceso
6
TOTAL
25
Requisitos de calidad
BASE DE DATOS
TEMA
No. DE REQUISITOS
Entorno tecnológico
3
Entorno de base de
datos
4
TOTAL
7
Atributos y requisitos de calidad a evaluar
COMPONENTE
ENTORNO DE LA
OPERACIÓN
ESTADÍSTICA
PROCESO
ESTADÍSTICO
REQUISITO
ATRIBUTO DE CALIDAD
A EVALUAR
Marco Normativo y base legal
Continuidad
Compromiso de calidad
Pertienencia y relevancia;
Continuidad
Disponibilidad de recursos
Continuidad
Identificación y necesidades de
usuarios y del sector
Pertinencia y relevancia
Uso y nivel de adopción de las
nomenclaturas y clasificaciones
Pertinencia y relevancia
Comparabilidad;
Coherencia
Documentación del proceso
estadístico
Pertinencia de la fuente
Relevancia y pertinencia;
Transparencia;
Accesibilidad
Pertinencia y relevancia;
Exactitud
Atributos y requisitos de calidad a evaluar
COMPONENTE
PROCESO
ESTADÍSTICO
REQUISITO
ATRIBUTO DE CALIDAD A
EVALUAR
Utilidad para políticas públicas
Pertinencia y relevancia
Pertinencia del diseño de instrumentos
Pertinencia y Relevancia;
Coherencia; Exactitud
Desgaste en la fuente
Exactitud
Identificación y mejoramiento de los
problemas de recolección
Relevancia y pertinencia;
Exactitud; Oportunidad y
puntualidad; Coherencia
Completitud de la recolección y control
flujo de la información
Exactitud; Coherencia
Identificación y mejoramiento de los
problemas de procesamiento
Relevancia y pertinencia;
Exactitud; Oportunidad y
puntualidad; Coherencia
Critica y validación de la información
capturada
Exactitud; Coherencia
Atributos y requisitos de calidad a evaluar
COMPONENTE
REQUISITO
Análisis estadísticos coherentes
Comparabilidad de las series
históricas
PROCESO
ESTADÍSTICO
Documentación y publicación de
correcciones en los resultados
publicados.
Difusión clara y oportuna
Identificación y mejoramiento de los
problemas de difusión
Difusión de series históricas
Acceso Micro datos
Difusión de la Ficha técnica de la OE
ATRIBUTO DE CALIDAD A
EVALUAR
Relevancia y pertinencia;
Exactitud; Oportunidad y
puntualidad; coherencia
Relevancia y pertinencia;
Exactitud; Oportunidad y
puntualidad; Coherencia
Interpretabilidad; Accesibilidad;
Transparencia
Pertinencia y relevancia,
Interpretabilidad; Accesibilidad;
Oportunidad y puntualidad
Exactitud; Oportunidad y
puntualidad; coherencia;
Accesibilidad
Accesibilidad, coherencia y
pertinencia
Accesibilidad
Atributos y requisitos de calidad a evaluar
COMPONENTE
REQUISITO
ATRIBUTO DE
CALIDAD A EVALUAR
La seguridad de los datos es garantizada por
medio de controles y perfiles de acceso, según
Accesibilidad
el tipo de usuario.
BASE DE
DATOS
Existencia y uso adecuado de las herramientas
tecnológicas para algunas o varias de las
Recursos
Entorno
etapas del proceso estadístico.
Tecnológico Procedimientos definidos para realizar respaldo
y recuperación de la información producida por
Accesibilidad
la operación estadística.
Disponibilidad del modelo entidad relación o
modelo de datos actualizado de la operación
Transparencia
estadística.
BASE DE
Disponibilidad del diccionario de datos
Transparencia
DATOS
actualizado de la operación estadística.
Existencia de las reglas de validación de
Entorno de
y
consistencia
de
datos,
Base de Datos integridad
Transparencia
documentadas y actualizadas de la operación
estadística.
Integridad y consistencia de la base de datos a Exactitud, Integridad y
nivel de campo, variable y registro.
consistencia
Tipos de Certificación
Tipo de
certificación
Puntaje
Vigencia de
certificación
A – Excelente
Entre 91 y 100
Tres años
B – Bueno
Entre 81 y 90
Dos años
C – Aceptable
Entre 71 y 80
Un año
No certificada
Entre 0 y 70
N/A
Características de un plan de mejoramiento
El plan de mejoramiento contiene las recomendaciones realizadas
por la CEI y las actividades a ser implementadas por los
responsables de las operaciones estadísticas, con el fin de
asegurar la calidad del proceso de estadística.
Planeación y diseño
Las acciones de mejora se
enfocan al fortalecimiento
de las debilidades
evidenciadas por la CEI en
el proceso estadístico y la
base de datos
Ejecución
Análisis
Difusión
Base de Datos
Fortalecimiento de registros administrativos
El fortalecimiento de registros administrativos se formulan con el fin
de mejorar la calidad de éstos como fuente de información para la
generación de estadísticas relevantes para el país.
¿Qué se busca
fortalecer?
Base
conceptual y
metodológica
Clasificaciones
y variables
investigadas
Cobertura
alcanzada
Disponibilidad
de la
información
recolectada
Procesamiento
de los datos
CEPAL, División de Estadística y Proyecciones Económicas; Registros administrativos, calidad de los datos
y credibilidad pública: presentación y debate de los temas sustantivos de la segunda reunión de la
Conferencia Estadística; Santiago de Chile, diciembre de 2003.
GRACIAS