Cómo Afecta la Forma de Preguntar a las Respuestas de los

CÓMO AFECTA LA FORMA DE PREGUNTAR
Cómo Afecta la Forma de Preguntar a las Respuestas de los Participantes.
¿Tiene Sentido Hablar del Principio de Indeterminación en Ciencias Sociales?
Orfelio G. León
Nani Ruiz Hernando
Universidad Autónoma de Madrid
2010
Nota de Autor
Orfelio G. León, Facultad de Psicología, Universidad Autónoma de Madrid
correspondencia puede dirigirse a: c/ Iván Pavlov 6, 28049, Madrid.
E-mail: orfelio.leon@uam.es
1
CÓMO AFECTA LA FORMA DE PREGUNTAR
2
Resumen
¿Los cuestionarios con preguntas cerradas interfieren en lo medido hasta el punto de
alterar esencialmente los resultados? En una serie de tres experimentos, la misma
cuestión (¿qué te preocupa?) se planteó a dos subgrupos aleatorios y equivalentes de
sendas muestras de estudiantes universitarios. A una mitad se le presentó de forma
cerrada con 26 opciones procedentes de una encuesta del CIS; a la otra mitad de manera
abierta. Tras el análisis de los resultados concluimos que las respuestas fueron
esencialmente distintas: distintas preocupaciones; distinta la cantidad de
preocupaciones. Por lo tanto, la validez de una investigación que use cuestionarios de
respuestas cerradas estaría amenazada. En definitiva, tiene sentido discutir el principio
de indeterminación en la medición en ciencias sociales.
Palabras clave: Sesgo de Instrumentación, métodos de investigación, validez,
efecto de la pregunta sobre los resultados.
Abstract
Do open-ended questionnaires interfere in the results to the point that conclusions
distorted? Along a series of three true experiments, the same question (what worry
you?) was asked to two sub-groups randomized and equivalent of university students.
One of the sub-groups answered through an open-ended questionnaire of 26 items,
(obtained from a government institution, CIS); the other sub-group responded freely to
the question. We concluded, through the results, that the worries informed were
essentially different and also that the two sub-groups appeared troubled in a very
different amount. In consequence, the validity of a research done with open-ended
questionnaire is threatened. In sum, it makes sense to discuss whether or not the
indetermination principle has a similitude in social science research.
CÓMO AFECTA LA FORMA DE PREGUNTAR
Keywords: Artifact threat, research methods, validity, influence of the question
on the results.
3
CÓMO AFECTA LA FORMA DE PREGUNTAR
4
Cómo Afecta la Forma de Preguntar a las Respuestas de los Participantes.
¿Tiene Sentido Hablar del Principio de Indeterminación en Ciencias Sociales?
El 7 de febrero de 1986 se publicó en el Boletín Oficial del Estado el Real
Decreto 214/1986, por el que se sometió a referéndum de la nación la decisión del
Gobierno en relación con la Alianza Atlántica. La redacción de la pregunta fue la
siguiente: "¿Considera conveniente para España permanecer en la Alianza Atlántica en
los términos acordados por el Gobierno de la Nación?"
Los analistas políticos, periodistas y los intelectuales que hicieron saber su
opinión discutieron sobre el hecho de si la presentación de la pregunta era inocente; por
ejemplo Pastor, (2001, p. 462) ha dicho lo siguiente de la redacción: “[…] producto de
la ingeniería sociológica más avanzada, que pretende neutralizar los sentimientos
antinorteamericanos y antinucleares predominantes en la opinión pública a cambio de su
aceptación de la OTAN.” Es decir, lo que los críticos de la época mantenían era que si
la pregunta hubiera sido ¿OTAN sí, o no? Las respuestas de los ciudadanos hubieran
sido otras; si no radicalmente distintas sí lo suficiente para que España no hubiera
permanecido en la OTAN.
El anterior es un ejemplo contextuado cultural e históricamente en el que se ve la
importancia que tiene la manera de obtener evidencia empírica, cuando se realiza a
través de preguntas a las personas. Nosotros, como investigadores sociales, debemos ser
conscientes de hasta qué punto la forma de averiguar interfiere en lo averiguado. En
lenguaje de la metodología positiva, “cómo se ve afectada la validez de la
investigación” y en lenguaje cualitativo, “qué confianza nos inspira la evidencia
registrada”. El problema de la interferencia en la adquisición del conocimiento no es
exclusivo de los científicos sociales por ser sus unidades de investigación seres
humanos que reaccionan más allá del mero hecho de la indagación. En micro física
CÓMO AFECTA LA FORMA DE PREGUNTAR
5
existe desde hace tiempo una formulación que estudia el límite en donde los
procedimientos de medida pierden su precisión por interferir en lo medido. Permita el
lector experto que exponga al profano cómo para detectar la posición de un electrón es
necesario lanzar un fotón que impacte con él, desviando en ese acto la velocidad y
posición del primero. Este suele ser el ejemplo que se pone para entender el propósito
del Principio de Indeterminación de Heisenberg (1901-1976). Con cierto respeto a
introducirnos en un campo que nos es ajeno, nos atrevemos a decir que con los
presupuestos de medida de la física newtoniana no se podía estudiar la física de
partículas. La inocencia de la objetividad de Galileo observando el universo no podía
aplicarse a la micro física; todo registro instrumental llevaba ahora una interferencia.
Volviendo a las ciencias sociales: por supuesto, se ha reconocido siempre en los
manuales de métodos de investigación que las preguntas cerradas en los cuestionarios
pueden “not accurately reflect the respondent’s opinion” (Shaugnessy, Zechmeister y
Zechmeister, 2006, p. 179). Y se ha producido investigación para rastrear el efecto de
estas desviaciones. Por ejemplo, Tusini (2002) afirma que la formulación de las
preguntas en las entrevistas es crucial para la integridad de los resultados en
subsiguientes análisis; simultáneamente, concluye que no se puede prescribir una forma
insesgada de preguntar y que el investigador es responsable de una cuidadosa
formulación de la manera más adecuada a la situación.
En otras investigaciones recientes, como la de Wahl, Svensson, y Hydén (2010)
han encontrado que diferencias en la formulación de las preguntas de un cuestionario
producía diferencias significativas en la estimación de variables relacionadas con el
tráfico como, frecuencia de accidentes, frecuencia de incidentes y velocidad.
Adicionalmente, Singer, Couper, Raghunathan, Antonucci, Burmeister, y Van Hoewyk
(2010) han informado que las explicaciones de diferencias de grupos raciales con base
CÓMO AFECTA LA FORMA DE PREGUNTAR
6
en la genética se encontraban si se utilizaban viñetas, pero no si se preguntaba por
diferencias entre los individuos de distinta raza. Más ejemplos de trabajos que detectan
efectos significativos asociados a la redacción de las preguntas (question wording effect)
son los de: Beckers, y Billiet, 2009; Blasius y Friedrichs, 2009 y Schneider, 2009.
Como conclusión de la evidencia en la literatura citaremos un trabajo que a su
vez revisa la documentación sobre el tema: Karlsson, Marttunen, Karlsson, Kaprio, y
Hillevi (2010) enfatizan que, en cualquier caso, hay pocas investigaciones que se
ocupen del posible impacto de pequeñas variaciones en la formulación de preguntas de
cuestionarios de diagnóstico sobre los resultados de los mismos; aportando ellos datos
en el contexto de la estimación de la prevalencia de episodios depresivos mayores.
En definitiva, existe efecto distorsionador asociado a la forma de preguntar, pero
se evalúa solo en términos de precisión (fiabilidad) y no lleva a un cuestionamiento de
si afecta a la esencia de lo que se desea registrar; no lleva a plantearse la validez del
proceso de medida, ni, por supuesto, al enfoque epistemológico donde se ubica.
De lo anterior surge la pregunta que motiva esta investigación ¿hasta dónde
influye el instrumento de recogida de evidencia, en ciencias sociales, en el resultado de
la averiguación? Y en términos más operacionales: asumiendo la igualdad del objeto de
estudio, ¿se obtendrán resultados esencialmente distintos si lo hacemos mediante una
pregunta abierta respecto a si lo hacemos con una pregunta de respuesta cerrada? Por
“esencial” queremos decir que las conclusiones de lo descrito no reflejen lo mismo; no
que se produzcan diferencias que sean estadísticamente distintas de cero.
Método General
Lógica
Contrastamos si la forma de preguntar por las preocupaciones personales
mediante una pregunta abierta o una cerrada daba lugar a resultados distintos. Los
CÓMO AFECTA LA FORMA DE PREGUNTAR
7
participantes fueron estudiantes de la Universidad Autónoma de Madrid a los que se
invitó a participar, voluntariamente, contestando a una pregunta por escrito. (A todos se
les informó de que si durante el proceso decidían dejarlo eran libres de hacerlo.)
Material y Procedimiento
Comenzamos pidiendo a los colaboradores que salieran del aula y se
emparejaran por edad y sexo (en la medida de lo posible) y que regresaran por parejas.
Al volver a entrar, sorteamos, mediante asignación aleatoria (con ayuda de la función
random de una calculadora), su pertenencia al grupo de pregunta abierta o cerrada. Cada
grupo se sentó en un lado de la clase, dividida por un pasillo. Así mismo, nos
aseguramos de que entre un estudiante y otro hubiera un lugar vacío. Como orientación
general, les dijimos que se trataba de una pregunta personal y que, por lo tanto, no tenía
sentido comentar nada con los compañeros; también les comunicamos que todos no
tenían que contestar a la misma cuestión y, en consecuencia, no procedía realizar
explicaciones en voz alta; cada uno tenía las instrucciones necesarias en la cabecera de
su hoja. Por último, les indicamos que disponían del tiempo que consideraran oportuno
y que una vez finalizada la tarea podían abandonar el aula.
La pregunta abierta fue la siguiente:
“¿Hay alguna/s cosa/s que le preocupe/n a usted? Por favor, tómese un tiempo y
después descríbala/s. Muchas gracias por su colaboración.”
La pregunta cerrada rezaba de la siguiente manera:
“Aquí le presentamos un conjunto de temas que preocupan a la población
española, según una encuesta reciente. Léalos detenidamente y marque con una cruz en
la casilla que indique el grado de preocupación que le suponen a usted. Muchas gracias
por su colaboración”.
CÓMO AFECTA LA FORMA DE PREGUNTAR
8
Los ítems de la pregunta cerrada figuran en el Apéndice A. Estos motivos de
preocupación los obtuvimos de una pregunta del Barómetro del CIS de Julio de 2010.
(El registro de la evidencia empírica lo realizamos en septiembre de 2010 y septiembre
de 2011.) Junto a cada elemento añadimos un sistema de graduación, como sigue:
“Nada = 0; 1; 2; 3; 4= Mucho”.
Análisis de Datos
Las respuestas a las “preocupaciones” cerradas las resumimos solo en torno a las
que más les preocupaban (grado 3 o 4); ya que los del grupo del formato abierto no
hablarían de lo que no les preocupaba. Solamente informamos de aquellas
“preocupaciones” marcadas por el 50% o más de los participantes, por razones de
simplicidad.
Por su lado, para resumir las respuestas a la pregunta abierta primero procedimos
a leer varias veces el total de las contestaciones. Segundo, marcamos aquellos
fragmentos de texto que describían una preocupación distintiva (V.g., “Me preocupa no
poder seguir mis estudios en esta universidad el año próximo.”). Tercero, generamos
categorías para definir las preocupaciones previamente marcadas, participante a
participante (V.g., “Superación exitosa del grado/máster”). Cuarto, contrastamos que las
categorías servían para las respuestas de todos los estudiantes, de forma que cuando
apreciamos diferencias modificamos los nombres de las categorías hasta que pudieran
utilizarse con todos los casos. Quinto, agrupamos las categorías por similitud y
procedimos a nombrar estos conglomerados (V.g., “la familia”, “relaciones amorosas”,
relaciones con los amigos”… los agrupamos en: “entorno social”). Sexto y último, de
manera independiente cada uno de los autores, volvimos a leer y a categorizar los
escritos de los participantes y contamos las apariciones de cada categoría. (Para el caso
de la pregunta abierta hemos escrito en las tablas todas las categorías/preocupaciones
CÓMO AFECTA LA FORMA DE PREGUNTAR
para que el lector tenga una información completa, comparable a la lista del Apéndice
A, del que disponían el grupo de la pregunta cerrada.)
Experimento 1
Participantes
Sesenta y ocho estudiantes de primero de grado en Psicología. El rango de edad
fue de 18-32 años, siendo la moda 18 años (57/68), y con una distribución por sexo de
54 chicas y 14 chicos. (Septiembre de 2010.)
Resultados
9
10
CÓMO AFECTA LA FORMA DE PREGUNTAR
Tabla 1
Preocupaciones de los estudiantes de primero de Grado-2010, en función del tipo de respuesta
Respuestas cerradas marcadas por más del 50% (18) de los participantes (n = 34)
Con grado de preocupación 3 o 4
Preocupaciones/ situaciones personales (31/34)
La inseguridad Ciudadana (19/34)
La violencia contra la mujer (31/34)
Funcionamiento de servicios públicos (19/34)
La educación (28/34)
La vivienda (18/34)
El paro (22/34)
La administración de la justicia (18/34)
La sanidad (21/34)
La crisis de valores (18/34)
El terrorismo, ETA (19/34)
Todas las respuestas abiertas (n = 34)
Universidad
Relaciones sociales
Superación exitosa del grado (13/34)
La familia (14/34)
Incertidumbre vida universitaria (10/34)
Relaciones con los amigos (11/34)
Inseguridades personales (9/34)
Relaciones amorosas (1/34)
Cambio de residencia (3/34)
Problemas de la juventud (2/34)
Resolución trámites universitarios (2/34)
Tener internet en casa (1/34)
Futuro
Grandes temas
Encontrar trabajo (11/34)
Drogas (1/34)
Independencia económica (6/34)
Guerra/Paz (2/34)
Mi futuro (10/34)
Pobreza (3/34)
Hambre (4/34)
Cambio Climático (2/34)
Empatía (3/34)
Injusticias (4/34)
Violencia de Género (3/34)
Accidentes (1/34)
Salud (1/34)
Personas sin hogar (1/34)
Ámbito Socio-Político-Económico
Paro (5/34)
Crisis económica (5/34)
Representantes e ideas políticas (3/34)
Nota: en negrita las que son marcadas por más del 25% (9) de los participantes.
CÓMO AFECTA LA FORMA DE PREGUNTAR
11
En la Tabla 1 se observa que con el formato cerrado aparecen 7 preocupaciones
valoradas con grado 3 o 4, por más de la mitad de los participantes, que no aparecen en
el abierto y son las siguientes:
Inseguridad ciudadana (19/34); el terrorismo, ETA (19/34); la vivienda (18/34);
la administración de la justicia (18/34); la crisis de valores (18/34); la educación
(28/34); el funcionamiento de los servicios públicos (19/34).
En el formato de pregunta abierta no apareció ninguna categoría nombrada por
el 50% o más (17) de los participantes, razón por la que nos vimos obligados a rebajar
el criterio a más del 25% (9); en consecuencia, al realizar la comparación,
encontramos las siguientes categorías de preocupaciones que no aparecen en el cerrado:
Incertidumbre de la vida universitaria, v.g., “me preocupa la forma en que se van
a dar las clases, el sistema de evaluación, los profes…” (n = 10/34).
Superación exitosa del grado, v.g., “me preocupa conseguir superar las pruebas y
actividades que se me presentan y poder ir superando los cursos” (n = 13/34).
La familia, v.g., “estoy preocupada por los problemas de la gente a mi alrededor,
sobre todo de mi familia y todo lo relacionado con ellos” o “me preocupa la salud física
o psíquica de mis familiares” (n = 14/34).
Relaciones con los amigos, v.g., “otra de mis preocupaciones es conseguir
sentirme cómoda con la gente de la facultad, tanto como lo estaba en el colegio y
conseguir mantener la amistad con mis amigos del colegio” (n = 11/34).
Adicionalmente, el grupo que es preguntado mediante respuestas sugeridas
parece estar más preocupado (18 personas de 34 marcan 15 o más respuestas con grado
3 o 4) mientras que el otro grupo, que lo hace espontáneamente, tiene ¡cinco veces
menos de preocupaciones!: 19 de 34 expresan 2 o 3 preocupaciones.
Discusión
CÓMO AFECTA LA FORMA DE PREGUNTAR
12
A través de los resultados del primer experimento apreciamos lo siguiente: las
preocupaciones del subgrupo que es preguntado con una pregunta abierta son distintas
del subgrupo que es preguntado con una pregunta de respuesta cerrada. Puesto que son
estudiantes de la misma ciudad, universidad, facultad, del mismo curso, bloqueada la
edad y sexo… y su división se realizó mediante estricta asignación aleatoria, las
diferencias en las preocupaciones no se pueden explicar por azar, sino por la distinta
forma de la pregunta.
Las diferencias entre los grupos no son cuestión de grado, sino que son
cualitativas (v.g., el grupo “cerrado” afirma que le preocupa el terrorismo de ETA -pero
no puede decir si le preocupa pasar los exámenes, porque esa opción no está disponible.
En el otro extremo: el grupo “abierto” afirma que le preocupa la adaptación a la vida
universitaria, asunto que un investigador no podría recoger en el grupo “cerrado” (no
está disponible), obligándole a concluir que ese punto no es preocupante para los
jóvenes.
Y sumado a lo anterior, el subgrupo preguntado con respuestas cerradas
comunica estar mucho más preocupado (15 o más preocupaciones) que el grupo que
habla espontáneamente (2 o 3 preocupaciones).
Llegados a este punto y con el propósito de ganar validez externa, decidimos
replicar el experimento un año después con estudiantes similares y con otros de mayor
edad y formación (nivel de máster). Con esta lógica, si los resultados fueran similares
rechazaríamos la amenaza de selección (selection as threat to validity; Shadish, Cook y
Campbell, 2002) de la muestra inicial.
Experimento 2
Participantes
CÓMO AFECTA LA FORMA DE PREGUNTAR
13
Cincuenta y dos estudiantes de primero de grado en Psicología (24 formato
abierto y 28 el cerrado) participaron voluntariamente. El rango de edad fue de 18-38
años, siendo la moda 18 años (39/52), y con una distribución por sexo de 43 chicas y 9
chicos. (Septiembre de 2011.)
Resultados
14
CÓMO AFECTA LA FORMA DE PREGUNTAR
Tabla 2
Preocupaciones de los estudiantes de primero de Grado-2011, en función del tipo de respuesta
Respuestas cerradas marcadas por más del 50% (15) de los participantes (n = 28)
Con grado de preocupación 3 o 4
La educación (28/28)
Problemas de índole social (22/28)
El paro (26/28)
El funcionamiento de servicios públicos (21/28)
Preocupaciones y situaciones personales (26/28)
La corrupción y el fraude (20/28)
La sanidad (25/28)
La crisis de valores (20/28)
La violencia contra la mujer (24/28)
Los problemas medioambientales (18/28)
Problemas relacionados con la juventud (24/28)
La inmigración (17/28)
Calidad del empleo (23/28)
La inseguridad ciudadana (16/28)
La vivienda (23/28)
El terrorismo, ETA (16/28)
Problemas de índole económica (22/28)
La administración de justicia (16/28)
Todas las respuestas abiertas (n = 24)
Universidad/Presente Personal
Entorno social
Superación exitosa del grado (12/24)
La familia (13/24)
Inseguridades personales (3/24)
Relaciones amorosas (6/24)
Incertidumbre vida universitaria (2/24)
Relaciones con los amigos (5/24)
Salud (4/24)
Rechazo/soledad (3/24)
Problemas de la juventud (1/24)
Futuro
Grandes temas
Mi futuro (7/24)
Guerra/Paz (2/24)
Ser feliz (4/24)
Hambre (2/24)
Muerte (2/24)
Pobreza (1/24)
Independencia económica (1/24)
Ayudar a necesitados (1/24)
Ámbito Socio-Político-Económico
Crisis económica (4/24)
Representantes e ideas políticas (1/24)
Falta de valores (2/24)
Crisis social (1/24)
Nota: En cursiva las categorías nuevas respecto a “Primero de grado-2010”; en negrita las que son
marcadas por el 25% o más (6) de los participantes.
CÓMO AFECTA LA FORMA DE PREGUNTAR
15
En la Tabla 2 se muestra que mientras que el 60% (14/24) de los estudiantes que
contestaron libremente sobre sus preocupaciones informó de tener solo dos o tres, en la
otra mitad equivalente del aula, con los temas sugeridos, el 57% (16/28) marcó 17 o
más respuestas con un grado de preocupación de 3 o 4.
En el formato de pregunta abierta encontramos las siguientes categorías de
preocupaciones, nombradas por el 25% o más de los participantes, que no aparecen en
el cerrado (seis categorías en el total fueron nuevas respecto al grupo de 2010):
La familia, (n = 13/24); Superación exitosa del grado, (n = 12/24); Mi futuro, (n
= 7/24); y Relaciones amorosas, (n = 6/24).
En el formato cerrado aparecen 13 preocupaciones valoradas con grado 3 o 4,
por más de la mitad de los participantes, que no aparecen en el abierto:
La educación, (n = 28/28); El paro, (n = 26/28); La sanidad (n = 25/28); La
violencia contra la mujer, (n = 24/28); La calidad del empleo (23/28); La vivienda
(23/28); El funcionamiento de los servicios públicos (21/28); La corrupción y el fraude
(20/28); Los problemas medioambientales (18/28); La inmigración (17/28); Inseguridad
ciudadana (16/28); El terrorismo, ETA (16/28); La administración de la justicia (16/28).
Experimento 3
Participantes
Cincuenta y cinco estudiantes de dos másteres en Educación (29 en el formato
abierto y 26 en el cerrado) participaron voluntariamente. El rango de edad fue de 23-46
años, estando la moda en el intervalo (24-29) con 23 alumnos y con una distribución por
sexo de 39 chicas y 16 chicos. (Septiembre de 2011.)
Resultados
16
CÓMO AFECTA LA FORMA DE PREGUNTAR
Tabla 3
Preocupaciones de los estudiantes de máster-2011, en función del tipo de respuesta
Respuestas cerradas marcadas por el 50% o más (n = 26)
Con grado de preocupación 3 o 4
El paro (24/26)
La vivienda (20/26)
La educación (24/26)
Problemas de índole económica (19/26)
Preocupaciones y situaciones personales (23/26)
P. relacionados con la calidad del empleo (19/26)
La violencia contra la mujer (23/26)
El terrorismo, ETA (18/26)
La sanidad (21/26)
Los problemas medioambientales (15/26)
Problemas de índole social (21/26)
Funcionamiento de los servicios públicos (14/26)
Todas las respuestas abiertas (n = 29)
Universidad/Presente Personal
Entorno social
Superación exitosa del máster (12/29)
La familia (8/29)
Inseguridades personales (5/29)
Salud (7/29)
Situación laboral actual (5/29)
Relaciones amorosas (5/29)
Falta de tiempo (3/29)
Relaciones con los amigos (4/29)
Falta de preparación (1/29)
Alumnos propios (4/29)
Manejo del español (1/29)
Lejos de la familia (1/29)
Incertidumbre vida universitaria (1/29)
Futuro
Grandes temas
Mi futuro (12/29)
Educación (10/29)
Encontrar trabajo (8/29)
Injusticias (8/29)
Independencia económica (3/29)
Pobreza (4/29)
Futuro de los hijos (2/29)
Medio Ambiente (4/29)
Ir al extranjero (1/29)
Guerra/Paz (3/29)
No defraudar a los padres (1/29)
Hambre (1/29)
Minorías Étnicas (1/29)
Riesgo exclusión social (1/29)
Derechos de los animales (1/29)
Ámbito Socio-Político-Económico
Crisis económica (6/29)
Representantes e ideas políticas (4/29)
Paro (3/29)
Falta de valores (1/29)
Nota: En cursiva las categorías nuevas respecto a “Primero de grado-2010”; en negrita las que
son marcadas por más del 25% (8) de los participantes.
CÓMO AFECTA LA FORMA DE PREGUNTAR
17
En la Tabla 3 podemos ver que aproximadamente el 60% (17/29) de los
participantes que contestaron a la pregunta abierta nombraron entre 4 y 6
preocupaciones; de sus compañeros equivalentes (15/26) el 71% marcaron entre 15 y
21 preocupaciones, con grado 3 o 4.
En el formato de pregunta abierta encontramos las siguientes categorías de
preocupaciones, expresadas por el 25% o más de los participantes, que no aparecen en
el cerrado:
Superación exitosa del máster, (n = 12/29); Mi futuro, (n = 12/29); y La familia,
(n = 8/29).
En el formato cerrado aparecen 5 preocupaciones valoradas con grado 3 o 4, por
más de la mitad de los participantes, que no aparecen en el abierto:
Violencia contra la mujer, (n = 23/26); La sanidad, (n = 21/26); La vivienda
(20/26); El terrorismo (18/26); y El funcionamiento de los servicios públicos (14/26).
Discusión General
1) ¿En dos grupos equivalentes, se reflejan de la misma manera sus
preocupaciones si les pedimos que marquen sobre un listado de temas o si lo hacen
libremente?: No. En el experimento 1, asumida la equiparación de los grupos por la
asignación aleatoria y el bloqueo de edad y sexo debemos concluir que la forma de
preguntar interfiere en los resultados. Ante la pregunta que motivó los experimentos 2 y
3, de si la amenaza de la selección del grupo podría haber producido un efecto espurio,
podemos concluir que: un año después, en estudiantes de las mismas características el
efecto aparece igual. Es más, en jóvenes adultos en una fase de la vida distinta
(acabados los estudios de grado) el efecto fue similar.
2) Según la literatura analizada en la introducción, los resultados de nuestros tres
experimentos concuerdan con el hecho de que la forma de plantear la pregunta tiene
CÓMO AFECTA LA FORMA DE PREGUNTAR
18
impacto sobre las respuestas de las personas cuestionadas. Y van más allá, puesto que
no se trata de una diferencia de grado, sino esencial, al comunicar preocupaciones
distintas. (Llama poderosamente la atención que en grupos mayoritariamente
femeninos, cuando se les sugiere como tema de preocupación “la violencia contra la
mujer” casi todos lo marquen como preocupante, mientras que no aparece en las
expresiones espontáneas; lo mismo ocurre con el terrorismo.)
3) Si nos elevamos en el nivel epistemológico, y nos apoyamos en la evidencia
encontrada, defendemos que no podemos permanecer indiferentes al hecho de que la
manera de preguntar mediante opciones cerradas distorsione la respuesta de los
participantes, en relación a una información espontánea. Planteamos que, en esta
evidencia empírica, lo que registramos está modificado por la forma de registrar; o lo
que es lo mismo, metafóricamente, este fenómeno se podría considerar una muestra de
cómo el principio de incertidumbre (débil) se observa en la investigación social
mediante cuestionarios. Obsérvese que no decimos que exista una forma buena y otra
mala; si la pregunta en vez de ser planteada sobre una hoja de papel en blanco, por un
profesor en un aula, lo hubiera sido de manera verbal por un igual en la cafetería… las
respuestas, seguramente, también variarían. Lo que defendemos es que hay examinar en
qué medida nuestros instrumentos están interfiriendo/cambiando las respuestas de
nuestros colaboradores. Llevar estos resultados a más ámbitos de la investigación en
psicología y ciencias sociales excede la capacidad de generalización en este trabajo, lo
que no es óbice para que dejemos planteada una duda razonable.
Una posible explicación de las diferencias entre los dos tipos de respuestas (en
los tres experimentos) fruto de las conversaciones accidentales con algunos
participantes, es que cuando se les sugieren temas que ellos consideran que la sociedad
valora como importantes –preocupantes- tienden a concordar con esta apreciación,
CÓMO AFECTA LA FORMA DE PREGUNTAR
19
haciéndola suya. Sin embargo, cuando en el anonimato expresan aquellas que les vienen
a la cabeza, estos “grandes temas” quedan fuera y manifiestan, principalmente, lo que
les afecta (lo que les preocupa a ellos de forma directa).
En respuesta a la pregunta con la que comenzamos la investigación: habiendo
asumido la similitud de las preocupaciones de los dos subgrupos de estudiantes, hemos
obtenido resultados esencialmente distintos cuando lo hicimos mediante una pregunta
abierta respecto a cuando lo hicimos con una pregunta de respuesta cerrada.
Concluimos invitando a los investigadores a que contrasten si el uso de
cuestionarios (ya sea con respuesta cerrada o no) interfiere con las que serían las
contestaciones espontáneas de sus colaboradores; esto se debería hacer –en nuestra
opinión- con un grupo piloto o control –o cuasi control- lo más equivalente al grupo
principal. En caso de no haber concordancia, en aras a la validez de la investigación, los
procedimientos más intrusivos deberían ceder ante las formas más naturales de obtener
los registros.
CÓMO AFECTA LA FORMA DE PREGUNTAR
20
Referencias
Beckers, M., y Billiet, J. (2009). “Maintain” or “recall”? A study of question wording in
twelve local referenda in Flanders. Res Publica, 51, 53-82.
Blasius, J., y Friedrichs, J. (2009).The effect of phrasing scale items in low-brow or
high-brow language on responses. International Journal of Public Opinion
Research, 21, 235-247.
Pastor, J. (2001). El movimiento pacifista (1977-1997). En M. Ortiz, D. Ruiz y I.
Sánchez, Movimientos sociales y estado en la España contemporánea (pp. 457452). Universidad de Castilla-La Mancha: Ed. de la Universidad de Castilla-La
Mancha.
Schneider, M. (2009). The difference a word makes: Responding to questions on
'disability' and 'difficulty' in South Africa. Disability and Rehabilitation: An
International, Multidisciplinary Journal. Special Issue: Realising the rights of
persons with disability in Africa, 31, 42-50.
Shadish, W. R., Cook, T. D., y Campbell, D. T. (2002). Experimental and quasiexperimental designs for generalized causal inference. New York, NY:
Houghton Mifflin Co.
Shaughnessy, J. J., Zechmeister, E. B., y Zechmeister, J. S. (2006). Research methods in
psychology (7ª ed.). New York, NY: McGraw-Hill.
Singer, E., Couper, M. P., Raghunathan, T. E., Antonucci, T. C., Burmeister, M., y Van
Hoewyk, J, (2010). The effect of question framing and response options on the
relationship between racial attitudes and beliefs about genes as causes of
behavior. Public Opinion Quarterly, 74, 460-476.
Tusini, S. (2002). Semantic surprises: interviewees and questions. Sociologia e Ricerca
Sociale, 23, (67), 141-167.
CÓMO AFECTA LA FORMA DE PREGUNTAR
Wahl, C., Svensson, Հ., y Hydén, C. (2010). Effects of minor phrasing variations in
traffic-related questionnaires—Comparison of objective equivalences and
respondents’ subjective statements. Transportation Research Part F: Traffic
Psychology and Behaviour, 13, 315-328.
21
22
CÓMO AFECTA LA FORMA DE PREGUNTAR
Apéndice A
Hoja para la Respuesta Cerrada
Preocupación
El paro
Las drogas
La inseguridad ciudadana
El terrorismo, ETA
Las infraestructuras
La sanidad
La vivienda
Los problemas de índole
económica
Los problemas relacionados
con la calidad del empleo
Los problemas de la
agricultura, ganadería y pesca
La corrupción y el fraude
Las pensiones
La clase política, los partidos
políticos
La Administración de Justicia
Los problemas de índole social
La inmigración
La violencia contra la mujer
Los problemas relacionados
con la juventud
La crisis de valores
La educación
Los problemas
medioambientales
El Gobierno, los políticos y los
partidos
El funcionamiento de los
servicios públicos
Los nacionalismos
Las preocupaciones y
situaciones personales
El Estatuto de Cataluña
Nada=0
Nada=0
Nada=0
Nada=0
Nada=0
Nada=0
Nada=0
Nada=0
Nada=0
1
1
1
1
1
1
1
1
1
2
2
2
2
2
2
2
2
2
3
3
3
3
3
3
3
3
3
Mucho=4
Mucho=4
Nada=4
Mucho=4
Mucho=4
Mucho=4
Mucho=4
Mucho=4
Mucho=4
Nada=0
1
2
3
Mucho=4
Nada=0
1
2
3
Mucho=4
Nada=0
Nada=0
Nada=0
1
1
1
2
2
2
3
3
3
Mucho=4
Mucho=4
Mucho=4
Nada=0
Nada=0
Nada=0
Nada=0
Nada=0
1
1
1
1
1
2
2
2
2
2
3
3
3
3
3
Mucho=4
Mucho=4
Mucho=4
Mucho=4
Mucho=4
Nada=0
Nada=0
Nada=0
1
1
1
2
2
2
3
3
3
Mucho=4
Mucho=4
Mucho=4
Nada=0
1
2
3
Mucho=4
Nada=0
1
2
3
Mucho=4
Nada=0
Nada=0
1
1
2
2
3
3
Mucho=4
Mucho=4
Nada=0
1
2
3
Mucho=4