Cuàn Comparable es el Análisis Comparativo?

Cuàn Comparable es el Análisis Comparativo?
Reflexiones sobre Temas de Equivalencia y Criterios de Selección
Gabriela Catterberg
Universidad de Bologna, Buenos Aires
gcatterberg@unibo.edu
Esta ponencia se concentra en el debate acerca de la validez substantiva y
metodológica de estudios comparativos basados en sondeos de opinión dentro del
ámbito de la sociología y la ciencia política. Su objetivo es facilitar focos de reflexión
en el panel sobre metodología del 6to Congreso de la SAAP. En la primera parte se
describen los dos problemas asociados más frecuentemente con aquellos estudios que
incluyen un número relativamente grande de casos: el problema de contexto y el
problema de equivalencia. Luego se analiza la respuesta de Inglehart (2003, 1997),
Van Deth (1997) et al. al escepticismo originado por la aparente incidencia de dichos
problemas en la ‘precisión’ de las conclusiones de los proyectos globales. Finalmente
se estudia la viabilidad del criterio de selección basado en un ‘pequeño número de
casos comparables’ propuesto por Kuechler (1998), Jowell (1998) et al., prestándose
especial atención a problemas relacionados con la omisión de instancias particulares
de la variable dependiente.
Ponencia presentada para el 6to Congreso de la Sociedad Argentina
de Análisis Político, Rosario, Santa Fe, 5-8 Noviembre, 2003
Cuán Comparable es el Análisis Comparativo?
I. El Debate
Aún entre autores críticos de la ‘exportación’ de estudios socio-políticos
basados en sondeos de opinión (o social survey research) existe consenso acerca de la
importancia y utilidad de los estudios comparativos. Como señalan Bulmer, Jowell, y
Kuechler (1998), estos ayudan a revelar tanto diferencias entre países y culturas como
aspectos de la cultura propia que serian difíciles de detectar del análisis exclusivo de
la data domestica. Pero, por otra parte, estos mismos autores sostienen que existe una
tendencia creciente a aceptar estándares de menor rigor en los estudios de opinión
comparativos que en los nacionales, ‘leading to heroic conclusions about differences
between nations on the basis of obviously faulty data.’
Subyacente al escepticismo acerca de la viabilidad del análisis comparativo es
la existencia de dos problemas intrínsicamente relacionados: el de contexto y el de
equivalencia conceptual. El problema de contexto refiere a la importancia de
absorber ‘subconcientemente’ la información y conocimiento de los sujetos y el
setting en el cual serán realizadas las entrevistas. Por ejemplo, entrevistar a mujeres
en sociedades musulmanas, indica Bulmer, involucra diversas etapas que enfatizan
elementos culturales específicos, como el issue de la privacidad. Estos elementos, a
su vez, implican formas peculiares asociadas con la dinámica de las entrevistas.
Choldin, Kahn, y Ara (1997) ilustran este efecto contextual en la realización de un
sondeo acerca de la fertilidad femenina entre mujeres rurales de Bangladesh. Según
estos investigadores, la presencia de un familiar cercano durante la entrevista imponía
(o reforzaba) actitudes tradicionales sobre las entrevistadas, implicando efectos
distorsivos para las conclusiones extraídas del informe.
2
Gabriela Catterberg
El problema de equivalencia conceptual, por su parte, refiere a la necesidad
que los términos utilizados respondan a conceptos similares en las diferentes
sociedades estudiadas. Este problema, como señala Jowell, esta también presente a
nivel nacional porque ningún país es totalmente homogéneo respecto, entre otros
factores, a su vocabulario, modos de expresión, y educación. Dado que diferencias
importantes generalmente están presente dentro de una sociedad, este es un obstáculo
aún mayor para la realización de encuestas globales. En palabras de Jowell, “In trying
to achieve such equality or equivalence in multinational surveys researchers are
always likely to be defeated by a host of major cultural differences…Languages are
not just equivalent means of defining and communicating the same ideas and
concepts…they reflect different though processes, institutional frameworks, and
underlying values” (170).
Fundamental al problema contextual y de equivalencia es lo que Sartori
define como ‘conceptual stretching.’ Esto es, la deformación conceptual asociada al
intento de implementar conceptos a un amplio rango de casos al fracasar el
significado asociado con el concepto original. Siguiendo la línea central de este
argumento, Bulmer critica el ‘etnocentrismo anglosajón’ utilizado en las encuestas
globales --o, en otras palabras, su ignorancia acerca de la idiosincrasia cultural ligada
a cada sociedad. En particular, se detiene en la pieza pivotal del análisis comparativo
contemporáneo, The Civic Culture, basado en el famoso estudio de Almond y Verba
(1963) sobre las culturas políticas en cinco sociedades. Según Bulmer, Almond y
Verba omiten en su análisis si el concepto de ‘orgullo’ es el mismo en las diferentes
sociedades --es decir, si a los diferentes entrevistados se les realizó la misma pregunta.
En particular, Bulmer sostiene que no es posible comparar el orgullo respecto al
3
Cuán Comparable es el Análisis Comparativo?
gobierno de los italianos del de los ingleses o alemanes ya que cada contexto
institucional esta caracterizado por un rango de virtudes y emociones particulares.
Esta perspectiva es también planteada por Kuechler, quien es fuertemente
escéptico respecto a la comparación de actitudes entre sociedades diversas.
Necesitamos cuestionar, plantea Kuechler, si la estructura del cuestionario, la elección
de terminología, y la administración del sondeo diseñados en las democracias
industriales pueden (y deben) ser aplicadas de forma uniforme en contextos de
inestabilidad política y económica: “It may be necessary to investigate the need for
cultural adaptions of the method…Pushed to an extreme, the pivotal concepts of
standarization may have to be abandoned” (195).
Cuál es entonces la solución a los problemas de contexto y equivalencia
aportada por este grupo de autores? La respuesta es ‘small n-comparisons,’ o
comparaciones con un pequeño número de casos. Dado que cuanto más disperso el
foco del estudio, más ‘borrosas’ serán sus conclusiones, los estudios comparativos
deberían idealmente concentrase en el menor número de países posibles.
Dos reglas son sugeridas. Primero, las naciones seleccionadas deben tener
experiencias similares en la exposición de sus poblaciones hacia las encuestas de
opinión. Segundo, en una primera etapa, la data de cada país debe ser analizada
separadamente, lo que permitirá, asumen Kuechler et al., establecer patrones sujetos a
cada sociedad. Análisis comparativos deben realizarse sólo en una segunda etapa,
considerando el patrón identificado en la primera instancia.
Pero tanto el escepticismo con respecto a la ‘comparabilidad’ de proyectos de
investigación basados en un número relativamente grande de casos como el criterio de
selección basado en un pequeño número de observaciones son sujetos a dos
4
Gabriela Catterberg
consideraciones fundamentales. Por un lado, un mayor grado de abstracción en las
preguntas realizadas y un análisis de la consistencia de los índices construidos y sus
correlaciones demográficas, como sugiere la sección siguiente, disminuyen los efectos
de equivalencia y contexto significativamente. Por el otro, el criterio de selección
propuesto por Kuechler et al., como indica la última sección, implica la introducción
de un sesgo sistemático en aquellas conclusiones inferidas a partir de instancias
particulares del fenómeno a explicar.
II. Equivalencia
Inglehart (1997) también reconoce, respecto a los problemas de contexto y de
equivalencia, que en los estudios comparativos comúnmente se presentan diferencias
en la interpretación de preguntas: ‘one never attains perfect comparability: crossculturally identical questions do not exist.’ Pero sostiene, al mismo tiempo, que el
significado común del concepto planteado puede ser lo suficientemente próximo
como para comunicar el punto esencial del mismo. En este sentido, Inglehart plantea
que el tipo de pregunta ‘adecuada’ requiere un nivel relativamente alto de abstracción.
Si uno busca comparabilidad a través de distintas culturas debería plantear preguntas
que refieran a preocupaciones que sean substantivas en un espectro amplio de
contextos--es decir, se debería evitar realizar preguntas que refieran a situaciones o
fenómenos pertenecientes a ámbitos específicos. Como señala Van Deth (1997),
“The question is not whether two phenomena are identical, but only whether we can
restrict the differences between these phenomena to some intrinsic, non-relational
properties that are irrelevant for the specific goal of our research” (5).
5
Cuán Comparable es el Análisis Comparativo?
Una pregunta sobre el uso de velo en instituciones públicas, por ejemplo,
puede tener connotaciones muy diferentes dependiendo de la sociedad en la que se
realiza. En Francia, grupos conservadores se han opuesto a su uso, en Turquía ha sido
rechazado por los sectores más liberales, mientras que en otros contextos la pregunta
no es asociada necesariamente con un significado de tipo religioso, o no tiene
relevancia conceptual. Pero una pregunta acerca de la importancia de la religión,
como indican análisis basados en la Encuesta Mundial de Valores, en la vida del
entrevistado es significativa en prácticamente todas las sociedades, incluyendo
aquellas en las cuales el impacto de la religión es marginal (Inglehart 2003, Dalton
2003, Norris 1999).
Inglehart y Van Deth también sostienen que el test crucial de comparabilidad
es efectuado luego de la realización del trabajo de campo. Esta instancia permite
examinar el grado en el cual ciertas preguntas evocan preocupaciones e imágenes
similares en las distintas sociedades a través del análisis de la consistencia interna de
los índices utilizados, sus connotaciones, sus correlaciones demográficas, y la
‘cristalizacion’ de las respuestas. En particular enfatizan, a diferencia de Kuetchler et
al., que la evaluación conjunta (y no en forma individual) es lo que precisamente
permite analizar la penetración de las actitudes estudiadas en una sociedad, facilitando
en ultima instancia la identificación de patrones o clusters.
La consistencia interna de un indicador refiere a su estructura.
Configuraciones similares son esperadas si representan significados equivalentes en
diferentes culturas. La consistencia externa refiere al tipo de interrelación de los
valores bajo estudio con variables de tipo demográficas. Dada la teoría planteada por
el investigador, variables claves deberían mostrar relaciones especificas con clase
6
Gabriela Catterberg
social, religión, o género. Desviaciones de la relación requieren interpretación ya que
pueden reflejar tanto diferencias substantivas dentro de una sociedad como
interpretaciones diferentes de una pregunta. Pero a su vez, no sólo se debe analizar si
las orientaciones están correlacionadas de manera consistente sino también la
intensidad de dicha interacción. Una estructura altamente ‘cristalizada,’ basada en
fuertes correlaciones entre actitudes, sugiere que el fenómeno es saliente y
generalmente entendido. Pero estructuras débiles actitudinales sugieren generalmente,
controlando por otras variables, que el concepto no es significativo (o saliente) para
una proporción importante de los entrevistados, o que las actitudes no polarizan a lo
largo de la dimensión esperada.
La data de la Encuesta Mundial muestra precisamente como es posible
identificar comparativamente dimensiones culturales. Retomando el ejemplo sobre la
viabilidad de la pregunta ‘cuán importante es en su vidas la religión?,’ la EMV indica
que esta pregunta se yuxtapone con una dimensión cultural presente a nivel global.
Esto es, es entendida a través del mundo, y las correlaciones demográficas e
ideológicas de ser religioso (o no serlo) muestran un grado de similitud fuerte a través
de más de 80 sociedades. Lo mismo sucede en el caso de ‘respeto por la autoridad.’
Evaluaciones respecto a lideres específicos tienen probablemente significados
diversos en distintas sociedades; pero una pregunta acerca de si respeto por la
autoridad es considerado positivo o negativo pareciera ser significativa y comparable
globalmente.
7
Cuán Comparable es el Análisis Comparativo?
III. Selección de Casos
Fundamental al enfoque de pequeño número de casos sugerido por Kuechler et
al. es el interrogante acerca del criterio que debería guiar la selección de los mismos.
Esta es una pregunta crucial al comenzar cualquier trabajo de investigación en las
ciencias sociales pero adquiere particular importancia en el contexto del análisis
comparativo. Se debe elegir casos con marcados contrastes? O, por el contrario,
aquellos casos con fuertes similitudes? O, como sugería Liphart (1971) hace más de
tres décadas, habría que focalizarse en ‘casos comparables’--esto es, similares en un
número importante de características pero diferentes en lo concerniente a las variables
que se intenta analizar?
A partir de lo descrito en los párrafos anteriores se deduce del análisis de
Kuetchler et al. que se deberían seleccionar observaciones similares en un número
relativamente alto de factores con el fin de lograr un mayor control (o una menor
variabilidad) sobre los contextos bajo estudio.
Sin embargo, como cuestionan King, Kehoane, y Verba (1994), es posible
estudiar un fenómeno si las observaciones elegidas para su análisis no presentan
fluctuaciones significativas? En otras palabras, es posible explicar un fenómeno
social si el mismo es asumido como una constante?
La elección de valores elegidos en base a una instancia particular del objeto a
explicar es un elemento constitutivo del criterio de similitud propuesto por Kuetchler
et al. Al omitirse el continuo de la variable dependiente en su totalidad, se introduce
un sesgo sistemático en las inferencias causales, subestimándose o sobrestimándose el
efecto de las variables explicativas. A su vez, la magnitud del efecto dependerá de la
severidad en la ‘imparcialidad’ de la selección; esto es, la medida en la que la regla de
8
Gabriela Catterberg
selección es afectada por los valores de la variable dependiente. Como señala Geddes
(1990), la dificultad fundamental asociada a la selección de valores en la variable
dependiente es que, cuando se estudian únicamente las naciones A y B, sólo se colecta
parte de la información necesitada. Sin embargo, difícilmente se pueda inferir que los
factores identificados (Xi….Xn) sean cruciales para comprender el fenómeno bajo
estudio sin un análisis previo de otros casos con el fin de
asegurarse que no sean caracterizados por los factores (Zi….Zn). 1
Ejemplos de selección en la variable dependiente se presentan generalmente
en la literatura sobre crecimiento y democracia. En particular, una estrecha relación
entre desarrollo e implementación de políticas coercitivas es sugerida por diversos
estudios basados en los procesos económicos del sudeste asiático. Pero la inclusión
de otros países donde políticas autoritarias no han presentado una relación positiva
con crecimiento económico muestra la tendencia inversa. Ante esta omisión
sistemática, Geddes sostiene: “In order to establish the plausability of the claim that
labor repression contributes to development, it is necessary to select a sample of cases
without reference to their position on the dependent variable, rate each on its level of
repression, and show that on average, countries with higher levels of repression grow
faster” (135).
Las figuras 1 y 2 describen la dinámica de la participación en actividades de
protesta en las democracias nuevas y establecidas respectivamente en las dos últimas
1
La selección de las observaciones incluidas en el caso de las variables explicativas
no produce, por el contrario, problemas de inferencia. El procedimiento de selección
no predetermina el outcome del estudio debido a que no es restringido el grado de
variación de la variable dependiente. Esto es cierto si y sólo si la selección de valores
de la variable explicativa no fue realizada en función de determinados valores de la
variable dependiente.
9
Cuán Comparable es el Análisis Comparativo?
décadas. Una comparación entre ellas ilustra precisamente la visión parcial que se
obtiene al excluir el segundo grupo del análisis. Si el estudio se basara únicamente en
las democracias establecidas, se inferiría que el porcentaje de aquellos ciudadanos que
dicen haber participado en por lo menos una actividad se ha incrementado
sistemáticamente desde los 80`s. Sin embargo, la inclusión de las nuevas democracias
indica que esta tendencia no ha sido global. Por el contrario, la figura 2 señala que el
efecto contrario ha caracterizado a las nuevas democracias luego del cambio de
régimen (Inglehart y Catterberg, 2003), resaltando el impacto de las transiciones
democráticas en la dinámica participativa.
Figura 1
Participación en Actividades de Protesta: Democracias Establecidas
average number of activities in which citizens were enganged
2,00
1,80
1,60
1,40
1,20
Established
Democracies
1,00
0,80
0,60
0,40
0,20
0,00
before/during regime change
after regime change
1981/1991
1995/2001
N=131,786
source: 1981-2001 World Values Survey
10
Gabriela Catterberg
Figura 2
Participación en Actividades de Protesta: Nuevas Democracias & Democracias
Establecidas
% saying they enganged in at least one political act
100
90
80
Established
Democracies
70
60
50
Former Soviet Reps.
40
Eastern Europe
30
Latin America
20
10
0
before/during regime change
1981/1991
after regime change
1995/2001
N= 131,786
source: 1981-2001 World Values Survey
IV. Observaciones Finales
Los nuevos proyectos globales plantean nuevos desafíos en el análisis político
comparado, implicando transformaciones profundas en la disciplina. El camino que
abrieron Almond y Verba hace más de cuatro décadas ha sido continuado con la
expansión de los sondeos globales, los cuales han incorporado sistemáticamente desde
los 80s sociedades donde nunca antes se habían realizado sondeos de opinión.
Metodológicamente, esta expansión implica (i) la intensificación del debate sobre los
efectos potenciales de los problemas de contexto y equivalencia, (ii) el desarrollo de
análisis estadísticos que contemplen la variabilidad y peculiaridad de las distintas
11
Cuán Comparable es el Análisis Comparativo?
muestras, y (iii) la contemplación de fenómenos en sus múltiples instancias.
Teóricamente, esta expansión posibilita un mayor entendimiento de la dinámica de la
cultura política en aquellos países tradicionalmente relegados del estudio comparativo
por la ausencia de datos disponibles. Si bien el campo por explorar es aún
significativo, las encuestas globales han sido un componente clave en el análisis de
los procesos de cambio de régimen y consolidación democrática en América Latina,
Europa del Este, y el Sudeste Asiático.
12
Gabriela Catterberg
Referencias
Almond, Gabriel A. and Sidney Verba. 1963. The Civic Culture: Political Culture
and Democracy in Five Nations. Princeton: Princeton University Press.
Bulmer, M. 1998. “The Problem of Exporting Social Survey Research,” American
Behavioralist Scientist, 42 (2): 153-176.
Collier, David. 1991. “The Comparative Method: Two Decades of Change,” in
Dankwart Rustow and Kenneth Erikson (eds.), Comparative Political
Dynamics. New York: Harper Collins, 7-31.
Jowell, Roger. 1998. “How Comparative Is Comparative Research?,” American
Behavioralist Scientist, 42 (2): 168-177.
Kuechler, Manfred. 1998. “The Survey Method: An Indispensable Tool for Social
Sciences Everywhere?,” American Behavioralist Scientist, 42 (2): 178-200.
Inglehart, Ronald. 1997. “Equivalence in Comparative Research: Comparing Values
Across Cultures,” Mannheim Center for European Social Research.
Inglehart, Ronald y Gabriela Catterberg. 2003. “Cultural Change and the Rise of
Participatory Publics,” International Journal of Comparative Sociology,
Special Issue, June.
King, Gary; Robert Keohane and Sidney Verba. 1994. Designing Social Inquiry.
Princeton: Princeton University Press. Introduction.
Lijphart, Arend. 1971. “Comparative Politics and the Comparative Method,”
American Political Science Review 65, 683-693.
Newby, Margaret et al. 1998. “Survey Experience Among Women in Bangladesh,”
American Behavioralist Scientist, 42 (2): 252-275.
Norris, Pippa. 1999. Critical Citizens. Oxford: Oxford University Press.
Simoes, Solange. 1999. “Description and Explanation of the Greening of the World:
A Methodological and Theoretical Challenge of Survey Methodology,” Policy
Studies Annual Review, Special Issue.
Van Deth, Jan. 1997. “Equivalence in International Comparative Research,” in Van
Deth (ed.) Identity and Equivalence in Comparative Research, Mannheim
Center for European Social Research.
13