Departamento de Estadística e Investigación Operativa Universidad de Sevilla Sevilla, 12 de noviembre de 2008 La Encuesta Social Europea: aspectos metodológicos y consideraciones desde una perspectiva docente e investigadora Anna Cuxart Jardí equipo español de la ESE anna.cuxart@upf.edu Premio Descartes 2005 de Ciencia de la UE Investigación financiada por el proyecto SEJ2007-29562-E ¿Una encuesta más? ¿Por qué? ¿Qué características técnicas la hacen diferente? Guión del seminario • Introducción: ¿por qué otra encuesta europea? • • – ¿Quien la promueve? – ¿Con qué objetivos? – Países participantes y organización La ESE en España: implementación y balance de las tres primeras olas – Cuestionario – Diseño muestral – Trabajo de campo El futuro y sus retos – La ESE en la docencia de la estadística – La ESE y la investigación – La misma ESE debería adaptarse a los cambios: economía, integración de nuevas técnicas estadísticas,… Introducción ¿Por qué una encuesta europea? • Diversidad de culturas en la Europa actual • Europa es un laboratorio de observación para las ciencias sociales • Limitaciones de las encuestas existentes – – – – en el diseño muestral : en general, no probabilísticas en el trabajo de campo: deficiencias de difícil comparación entre países de difícil acceso para los investigadores La Encuesta Social Europea Estudio comparado y longitudinal de las actitudes, valores y comportamientos de los ciudadanos europeos en los ámbitos económico, social y político Objetivos de la ESE Ofrecer infraestructuras de investigación Facilitar estudios comparados y longitudinales Impulsar la generación de indicadores sociales Difundir estándares de rigor La Encuesta Social Europea Acceso libre a los datos y a toda la documentación, incluyendo el fichero del trabajo de campo: http://www.europeansocialsurvey.org http://ess.nsd.uib.no Estructura de la ESE: una parte común a todas las rondas (evolución) 2 o 3 módulos para estudiar la actualidad La Encuesta Social Europea ¿Quién promueve la ESE? la European Science Foundation ¿Quien la financia? la European Science Foundation la Comisión Europea (5º y 6º programas marco) los países participantes Países participantes País Alemania (DE) Austria (AT) Bélgica (BE) Bulgaria (BG) Chipre (CY) Croacia (CR) Dinamarca (DK) Eslovaquia (SK) Eslovenia (SI) España (ES) Estonia (EE) Finlandia (FI) Francia (FR) Grecia (GR) Hungría (HU) Irlanda (IE) Islandia (IS) Ola 1 Ola 2 Ola 3 Ola 4 • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • País Israel (IL) Italia (IT) Lituania (LV) Luxemburgo (LU) Noruega (NO) Países Bajos (NL) Polonia (PL) Portugal (PT) Reino Unido (GB) República Checa (CZ) Rumania (RO) Federación Rusa (RU) Suecia (SE) Suiza (CH) Turquía (TK) Ucrania (UA) Total participantes Ola 1 Ola 2 Ola 3 Ola 4 • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 22 26 25 30 Organización Organización central en Europa: Central Coordinating Team, CCT Scientific Advisory Board, SAB Grupos de expertos por áreas Organización en España: Equipo de coordinación dirigido por Mariano Torcal de la UPF Consejo asesor (Ministerio, CSIC , J.R. Montero del SAB) Empresa trabajo de campo: Metroscopia (3ª y 4ª olas) Colaboración del Instituto Nacional de Estadística, INE Colaboración con otras instituciones (Xunta de Galicia y Generalitat de Cataluña, novedad de la 4ª ola,…) Organización Specialist Advisory Groups Question Design Teams Methods Group Sampling Panel Scientific Advisory Board Funders’ Forum Central Coordinating Team National Coordinators and Survey Institutes Country 1 Country 2 Translation Taskforce Country 3 etc… Aspectos metodológicos Población: residentes en domicilios ≥ 15 años, sea cual fuere la nacionalidad, ciudadanía o estado legal Periodicidad: bianual Dos cuestionarios: – Cuestionario principal, entrevista cara a cara (duración ≈ 1 hora) – Cuestionario autoadministrado (≈ 7 minutos) con 21 items de la escala de valores Schwartz y 6 preguntas para aplicar MTMM – Traducción a todas las lenguas habladas como primera lengua por un 5% de la población Pretest: para verificar las traducciones, unos 50 casos Aspectos metodológicos Muestra totalmente probabilística la probabilidad de selección debe ser conocida y documentada no se admiten sustituciones Tasa de respuesta ≥ 70% Diseño muestral en cada país: a propuesta del equipo local supervisado por los expertos de la ESS Tamaño efectivo de la muestra ≥ 1.500 Aspectos metodológicos Requisitos del trabajo de campo Agotamiento de todas las posibilidades de contacto y respuesta (primer contacto personal con un mínimo de 4 intentos, uno en fin de semana y otro por la tarde-noche) Documentación exhaustiva de todo el proceso (intentos de contacto, características del rechazo, entorno físico... en un FORMULARIO DE CONTACTO) Formación (de entrevistadores y coordinadores) e incentivos Limitación del volumen de entrevistas por entrevistador (24/48) Monitorización de todo el proceso (por parte de la empresa encuestadora y por parte del equipo local) Recopilación de datos contextuales Cuestionario principal, olas 1-4 1 módulo permanente 2-3 módulos rotatorios (a concurso) 1ª ola: - Ciudadanos y Democracia - Inmigración 2ª ola: - Familia, Trabajo y Bienestar, - Opiniones sobre salud y cuidados - Moral y Economía en Europa: el mercado y la ciudadanía 3ª ola: - Bienestar personal y social: creando indicadores - La organización de nuestra vida 4ª ola: - Envejecimiento - Actitudes en relación a las políticas de bienestar La ESE en España Implementación en España de la cuarta ola y balance de las tres primeras olas La ESE en España: cuarta ola Traducción de los cuestionarios Principio de equivalencia funcional, necesidad de aunar: • Corrección lingüística • Uso del lenguaje propio del ámbito político-social • Registro comprensible para el ciudadano Protocolo: • Traducción a todas las lengua habladas por un mínimo del 5% (castellano, catalán y gallego) • Dos equipos independientes de traductores para cada lengua • Una reunión para discutir la mejor alternativa • Un árbitro que decide la formulación final • Documentación y justificación de todas las decisiones La ESE en España: cuarta ola Diseño muestral Población: todas las personas de 15 años o más, residentes en domicilios particulares (incluyendo Ceuta y Melilla) Marco de muestreo: registro de habitantes por secciones censales procedente del Padrón Continuo actualizado anualmente por el INE Tipo de muestreo: estratificado polietápico (tres etapas en la 1ª ola, dos en las siguientes) Estratos: CCAA y tamaño de hábitat (2 tamaños en la 1ª ola, 3 en la segunda y 4 a partir de la tercera). La ESE en España: cuarta ola Muestra estratificada de dos etapas Estratos que resultan del cruce de 18 CCAA y 4 tamaños de municipio (más de 100.000 habitantes; entre 50.001 y 100.000; entre 10.001 y 50.000; 10.000 o menos) En los 64 estratos no vacíos: Primera etapa: selección de 446 UPMs, secciones censales, proporcionalmente a la población de 15 o más años Segunda etapa: selección aleatoria de 6 o 7 individuos en cada UPM ¿ Necesidad de sobrerepresentación en la cuarta ola? Los datos de la tercera ola no evidencian la necesidad En Galicia y Cataluña se extrae una muestra complementaria con el mismo tipo de muestreo La ESE en España, cuarta ola Determinación del tamaño de la muestra 2008 Estimaciones preliminares basadas en los datos de la ola 2006 Presencia de Efecto de diseño EDc debido a la selección de 6/7 casos en una misma sección censal (cluster). Varc (θˆ) EDc = Varmas (θˆ) (Kish, 1995) EDc = 1 + (b − 1) ⋅ ρ = 1 + (3,72 − 1) ⋅ 0,046 = 1,126 siendo b el promedio de respuestas por sección y ρ el coeficiente de correlación intra La ESE en España, cuarta ola Determinación del tamaño de la muestra 2008 Proporción de casos válidos: 0,87 Tasa de respuesta: 0,67 Efecto de diseño: 1,126 Tamaño mínimo efectivo: 1.500 En consecuencia: Tamaño neto: 1.500 · 1,126 = 1.689 Tamaño bruto: 1.689/(0,87·0,67) =2.898 Tamaño bruto final: 3.962 casos (incluyendo muestras complementarias) Mejoras introducidas entre la primera y la tercera ola y balance Mejoras introducidas entre la 1ª y 3ª olas Relativas al cuestionario • En la calidad de las preguntas formuladas: – Estudios de validez y fiabilidad de las preguntas (MTMM) – Creación de un programa semiautomático de evaluación a priori de la calidad de las preguntas y de corrección a posteriori de los errores de medida (Saris y Gallhofer, 2007) • • En – – – la comparabilidad de los datos: Análisis de la variabilidad de las respuestas por países Búsqueda de la equivalencia funcional en las traducciones Eliminación de preguntas no válidas En la medición de variables complejas: – Análisis de los casos de no respuesta o de respuestas incompletas – Diseño de estrategias alternativas de obtención de información Mejoras introducidas entre la 1ª y 3ª olas Relativas al diseño de la muestra • Capacidad representativa de la muestra: – Reducción del número de etapas: muestra de individuos en vez de muestra de hogares – Refinamiento de la estratificación: 4 tramos de tamaño de hábitat en lugar de dos – Reducción del número de individuos por conglomerado • • Estimación de los efectos de diseño: – Valores sugeridos por expertos en la primera ola – Estimados a partir de los datos de la ola anterior en las siguientes Aumento de la precisión en el cálculo del tamaño de la muestra a partir de: – El análisis de las tasas de respuesta por estratos y – El cálculo de la tasa de casos inelegibles de las olas anteriores Mejoras introducidas entre la 1ª y 3ª olas En relación al trabajo de campo • Formación inicial: – Más sesiones formativas a entrevistadores y coordinadores con participación activa del equipo de la ESE – Mejora de los materiales formativos, con inclusión de estrategias de reconversión de negativas • • Incentivos económicos a los entrevistadores: – Bonificaciones crecientes en función de la tasa de respuesta alcanzada – Bonificación extra por la correcta documentación de los registros Realización de las tareas de campo: – Mejora de la información a los ciudadanos – Mayor esfuerzo de localización y contacto – Uso de información sobre los momentos en los que es más probable tener éxito procedente de la ola anterior • Capacidad de supervisión y control: – Uso de CAPI e incremento del rol supervisor del equipo de la ESE – Reducción y adaptación del formulario de contacto Trabajo de campo a examen Grado de cumplimiento de objetivos 1a ola 2a ola 3a ola 2.088 1.829 1904 1.736 1.663 1.876 Número de casos elegibles 3.702 3.033 2.846 Porcentaje de respuesta 51,7 54,8 65,9 Entrevistas completadas / requisito de 2.000 Entrevistas completadas / necesarias para tamaño efectivo de 1.500 0,87 0,83 0,94 0,83 0,91 0,98 Número de entrevistas necesarias para un tamaño efectivo de 1.500 Número de entrevistas completadas Tasa de respuesta por países y olas 90 80 70 60 50 España 40 30 20 10 0 CH FR ES DE GB BE AT IE NO 1ª Ola NL DK 2ª Ola PT SE HU 3ª Ola SI PL FI GR SK EE Balance de las tres primeras olas • • • • En las encuestas periódicas, el análisis de los datos de las olas precedentes proporciona información esencial para la mejora de las siguientes olas El fichero con la información del formulario de contacto se revela como una herramienta importantísima en ese proceso de mejora. Usado en conjunción con el fichero de respuestas: – Facilita un diseño muestral adaptado a las características de cada país – Posibilita un cálculo más ajustado del tamaño de la muestra – Dota de una mayor eficacia a las tareas de campo La colaboración entre académicos y empresas encuestadoras ayuda a la difusión de buenas prácticas entre los profesionales de las encuestas y pone en contacto con la realidad a los académicos La ESE en la docencia de la estadística La ESE en la docencia Los ficheros de la ESE proporcionan un material de gran utilidad en la elaboración de trabajos de estadística aplicada por parte de los estudiantes A nivel de grado, posgrado y doctorado Además, EduNet es un proyecto en marcha que ya da sus frutos (módulo de comparación de medias, de regresión,… La ESE como infraestructura de investigación Ámbitos de investigación en metodología Cuestionario: Split-ballot MTMM, proyecto en curso con el soporte de los modelos de ecuaciones estructurales,… (Saris y Gallhofer,2007) Identificación de las características del no-contacto y del rechazo a la participación Creación de indicadores sociales Creación de indicadores de actitud El rol de los entrevistadores, ¿cómo adaptar su formación a las necesidades actuales? … Un ejercicio en curso ¿Cuando y cómo deberíamos tener en cuenta la presencia del Efecto de diseño ED? En el cálculo del tamaño de la muestra de la ola siguiente En la determinación de la precisión de las estimaciones Efecto de diseño en la tercera ola Relativa homogeneidad de las respuestas de individuos que pertenecen a un mismo conglomerado (sección censal, UPM). Necesidad de considerar el llamado Efecto de diseño Varc (θˆ) EDc = Varmas (θˆ) ¿Cuando y cómo deberíamos tener en cuenta la presencia del ED? • El tamaño efectivo de una muestra es el tamaño de una muestra aleatoria simple con la cual se obtendría el mismo grado de precisión: nefec = n EDc Efecto del diseño y tamaño de la muestra • Antes de la encuesta: en la determinación del tamaño de la muestra EDc = 1 + (b − 1) ⋅ ρ = 1 + (3,829 − 1) ⋅ 0,095 = 1,269 siendo b el promedio de respuestas por sección y ρ el coeficiente de correlación intra – tamaño efectivo: 1.500 – efecto de diseño estimado: 1,269 – tamaño neto = 1.500 · 1,269 = 1.904 – total de casos válidos: 1.904/0,62= 3.070 la tasa de respuesta esperada para la 3ª ola era del 62% – tamaño bruto = 3.070/0,95 = 3.232 se esperaba un 5% de casos ineligibles – tamaño bruto final (incluyendo sobrerepresetación y redondeo): 3.290 Efecto del diseño y precisión • Después de la encuesta: en la corrección de los errores estándar. Por ejemplo, el cálculo del margen de error máximo en la estimación de porcentajes globales para una confianza del 95%, para los datos de la tercera ola en España, sería: m = 1,96 ⋅ 0,5 ⋅ 0,5 = 0,0226 ⇒ 2,26% 1.876 0,226 ⋅ 1,269 = 0,0255 ⇒ 2,55%, con la corrección estimada inicialmente 0,226 ⋅ 1,126 = 0,0240 ⇒ 2,40%, con la corrección calculada a partir de los respuestas Efectos de diseño en promedio por países País DFc en la ESE 1 DFc en la ESE 2 Alemania 2,03 2,01 Austria 1,61 1,47 Bélgica 1,22 1,19 Eslovenia 1,33 1,39 España 1,60 1,40 Francia 1,34 1,36 Grecia 1,64 1,36 Holanda 1,00 1,00 Hungría 1,36 2,41 Irlanda 1,92 1,87 Luxemburgo 1,00 1,00 Noruega 1,60 1,00 Polonia 1,83 1,57 Portugal 1,57 1,88 Reino Unido 1,39 1,34 República Checa 1,28 2,60 Suiza 1,27 1,25 Ucrania 1,95 Media 1,47 1,56 Mediana 1,39 1,39 Fuente: QEM1, 2007 ¿Cómo estimar el coeficiente ρ? • Modelización estadística: ANOVA (utilizada por el CCT de la ESE), modelos multinivel,... yic = µ + uc + ε ic σ u2 ρ= 2 σu +σ 2 uc ≈ N (0, σ u2 ) ε ic ≈ N (0, σ 2 ) ¿Y el efecto del entrevistador? Fowler, 1991; Hox, de Leeuw and Kreft, 1991; Schnell and Kreuter, 2005 Una primera aproximación para los datos de la ESE de España: yice = µ + ve + uce + ε ice nivel 1: individuos , i nivel 2: secciones censales, c nivel 3: entrevista dores, e Descomposición de la varianza (tres niveles) Varianza Variables Confianza en el sistema legal Confianza en los políticos Satisfacción con la democracia Años de educación Número de miembros en el hogar Edad entre individuos entre secciones entre entrevistadores 4,902 0,141 0,475 23% 77% 0,188 0,345 35% 65% 0,197 0,226 47% 53% 2,008 1,514 57% 43% 0,001 0,039 2% 98% 0,014 5,439 0% 100% 4,605 3,323 24,332 1,702 351,288 varianza explicada 0,616 13% 0,533 12% 0,423 13% 3,522 14% 0,0397 2% 5,453 2% Balance y futuro • • • Las mejoras introducidas en el diseño de la muestra de la ESE en España han permitido reducir el efecto de diseño y, en consecuencia, aumentar la precisión de las estimaciones en las sucesivas olas. Sin embargo, el estudio exploratorio llevado a cabo sugiere asimismo la existencia de un segundo efecto: el debido al investigador. Como era de esperar, dicho efecto aparece con más relevancia en preguntas de opinión. El CCT de la ESE, consciente de que esta situación es común a la mayoría de países participantes en el proyecto: – Se plantea publicar en el futuro la pertenencia de cada individuo a su correspondiente UPM, con el objetivo de permitir que los usuarios puedan corregir los errores estándar para cada variable. – Insta a estudiar en cada país tanto las magnitudes de los efectos debidos a la agrupación (EDc) como las de los efectos debidos al entrevistador (EDe). – Ha requerido la incorporación en el formulario de contacto de la 4ª ronda de información relativa al entrevistador (edad y sexo, para empezar) Referencias sobre efecto de diseño • • • • • • • • • Biemer, P.P. and Trewin, D. (1997). A Review of Measurement Error Effects on the Analysis of Survey Data. In Survey Measurement and Process Quality, L.E. Lyberg, P.P. Biemer, M. Collins , E. DeLeeuw, C. Dippo, N. Shwarz, and D. Trewin (eds), 603-632. New York: John Wiley and Sons. Fowler, F.J.(1991). Reducing Interviewer-related Error through Interviewer Training Supervision, and Other Means. In Measurement Errors in Surveys (eds P.P. Biemer, R.M. Groves, L.E. Lyberg, N.A. Mathiowetz and S. Sudman). New York: Wiley. Hox, J.J., de Leeuw, E.D. and Kreft, I.G.G. (1991) The effect of interviewer and respondent characteristics on the quality of survey data: a multilevel model. In Measurement Errors in Surveys (eds P.P. Biemer, R.M. Groves, L.E. Lyberg, N.A. Mathiowetz and S. Sudman). New York: Wiley. Kish, L. (1995a y 1965). Survey Sampling. New York : Wiley-Interscience. Kish, L. (1995b). Methods for Design effects. Journal of Official statistics, 11, 55-77. Schnell, R. and Kreuter, F. (2005) Separating Interviewer and Sampling Effects. Journal of Official Statistics, 21, 389-410. O’Muircheartaigh, C. and Campanelli, P. (1998) The Relative Impact of Interviewer Effects and Simple Design effects on Survey Precision. Journal of the Royal Statistical Society, Series A, 161, 63-77. Saris, W.E. y Gallhofer, I. (2007) Design, Evaluation and analysis of questionnaires for survey research, New Jersey, John Wiley and Sons. Wiggins, R.D., Longford, N. And O’Muircheartaigh, C.A. (1992). A variance components approach to interviewer effects. In Survey and Statistical Computing, A. Westlake, R.Bancks, C. Payne and T. Orchard (eds), 243-254. Amsterdam: Elsevier Precisión y calidad de los datos • Design Effects and Interviewer Effects in the European Social Survey: Where are we now and where do we want to go tomorrow? ESS Disemination Activities. Quality Enhancement, QEM1, http://www.europeansocialsurvey.org • British Household Panel Study (encuesta anual desde 1991, de la que se dispone de amplios estudios sobre la magnitud e impacto de ambos efectos, el debido al diseño y el debido al investigador) http://www.iser.essex.ac.uk/ulsc/bhps , • Design effect Study,DEFECT, estudio comparativo de los errores en diseños complejos en Alemania, http://www.uni-konstanz.de/FuF/Verwiss/Schnell/defect Otros proyectos de la ESE • La Encuesta Social Europea está preparando un Libro-guía sobre la no-respuesta cuyo contenido versará sobre: – La tasa de respuesta como un elemento de calidad de los datos – Tasas de respuesta en estudios comparativos y componentes – Ejemplos prácticos y recomendaciones • El reducido número de países participantes en cada ronda de la ESE limita la aplicación de estudios multinivel. La ESE ha decidido crear una base de datos contextuales de nivel nacional y regional que: – Integrará información procedente de fuentes diversas – Proporcionará conocimiento de las diferencias estructurales en Europa (sistemas educativos, electorales,…) – Permitirá la visualización a través de mapas Financiación de ambos proyectos: el Premio Descartes 2005 La calidad de los datos de encuesta como materia de investigación en España • DÍAZ de RADA, V. y NÚÑEZ, A. (2008). Estudio de las incidencias en la investigación con encuesta. El caso de los barómetros del CIS. Madrid: CIS, colección Monografías, nº 251. • Cea d’Ancona, Mª A. (2004). Métodos de Encuesta: teoría y práctica, errores y mejora. Madrid: Síntesis. • SILVA, Luis Carlos (2000). Diseño razonado de muestras y captación de datos para la investigación sanitaria. Madrid: Ediciones Díaz de Santos. •… Publicaciones del equipo de la CCT • • • • R Jowell and the Central Coordinating Team, European Social Survey 2002/03: Technical Report, London: Centre for Comparative Social Surveys, City University (2003) R Jowell and the Central Coordinating Team, European Social Survey 2004/05: Technical Report, London: Centre for Comparative Social Surveys, City University (2005) R Jowell and the Central Coordinating Team, European Social Survey 2006/07: Technical Report, London: Centre for Comparative Social Surveys, City University (2007) BILLIET, Jaak y PLEYSIER, Stefaan (2007) “Response Based Quality Assessment in the ESS-Round 2. An update for 26 countries”, disponible en http://ess.nsd.uib.no (survey documentation). Publicaciones del equipo español Riba, C. y Cuxart, A. (2003) “Construyendo las bases para una comparación fiable: la Encuesta Social Europea 2002 en España” en Revista Española de Ciencia Política, nº 8, pp.165-185. España: sociedad y política en perspectiva comparada, M. Torcal, L. Morales, S. Perez-Nievas, (Eds), Tirant lo Blanch, Valencia 2005. Torcal, M., Morales, L. y Riba, C. (2006) “Supervisión y control de calidad del trabajo de campo de la Encuesta Social Europea en España: Evaluación y resultados” Metodología de Encuestas, vol. 8, pp.75-97. Cuxart, A. y Riba, C. Mejorando a partir de la experiencia: la implementación de la tercera ola de la ESE en España, en Economics and Business WP 1036, http://www.econ.upf.edu/en/research/onepaper.php?id=1036 aceptada su publicación en Revista Española de Investigaciones Sociológicas, 2009. En proceso de edición un segundo libro del equipo español por el CIS Véase la Web http://upf.edu/grcp/ess Otras iniciativas a partir de la ESS ESRA (European Survey Research Association) Congresos de la ESRA (Barcelona 2005; Praga 2007 y Varsovia 2009) La revista SRM (Survey Research Methods) Diversas publicaciones (información actualizada en el boletín de la ESE y en la Bibliografía de la WEB http://www.europeansocialsurvey.org). Conclusiones Conclusiones • La Encuesta Social Europea está avanzando en el cumplimiento de sus objetivos (generación de datos de calidad y difusión de estándares de rigor) • Ahora es cuando está en condiciones de avanzar en la creación y difusión de indicadores de actitud y de opinión sólidamente contrastados • El reto que se plantea en el futuro es la aceptación generalizada de estos indicadores sociales y su amplia utilización tanto en el ámbito de la investigación como en el de la gestión. Un apunte personal A la vista de la situación actual – la economía mundial experimenta una recesión – la población muestra un cierto agotamiento ante el creciente alud de sondeos de opinión a los qué se ve expuesta – la ciencia estadística aporta nuevos métodos de estimación que no necesitan de grandes tamaños de muestra como imputación de datos (Rubin, 1987); estimación en áreas pequeñas (Longford, 2005; Satorra et al., 2006); … Quizás sea el momento de introducir innovación creativa, también en los diseños de la ESE, que permita: – reducir el número de encuestas, el tamaño de las muestras y la longitud de los cuestionarios – Ganando, al mismo tiempo, calidad en los datos y eficiencia global RUBIN, D. B. (1987), Multiple Imputation for Nonresponse in Surveys. New Cork, Wiley SATORRA, A., VENTURA, E. y COSTA, À. (2006). Improving small area estimation by combining surveys: new perspectives in regional statistics. SORT (Statistics and Operations Research Transactions) vol. 30, 101-122. Muchas gracias por su atención!!! Con la financiación de: