Metodología observacional

Metodología observacional
E
L método de observación pretende recoger el significado de una conducta,
evitando su manipulación, a través del sistema de observación más adecuado
(Anguera, 1983a). No existe manipulación (a diferencia de la metodología
experimental y cuasi-experimental) de la conducta pero sí control de las posibles
variables extrañas que distorsionarían los datos. Con dicho control se pretende que la
variable o variables independientes sean las únicas responsables directas de los valores
de la o las variables dependientes.
El grado de control que el investigador puede lograr de la situación a observar depende
en gran medida de la situación de observación: ambiente natural / ambiente de
laboratorio. En el primer caso la conducta a estudiar ‘forma parte’ del repertorio de
respuestas del sujeto mientras que en el ambiente de laboratorio (también llamado
‘método de análogos’) la conducta ‘se produce’ en un entorno totalmente diferente,
existiendo una cierta manipulabilidad de la misma.
En las situaciones artificiales de laboratorio se crean situaciones análogas que requieren
que el sujeto responda a estímulos que simulan a aquellos que se podrían encontrar en el
ambiente natural. El sujeto tiene que desempeñar el papel que se le adjudica como si se
encontrara en la situación propuesta por el investigador, incrementándose la validez
interna del estudio en comparación con los estudios en ambiente natural. A pesar de
ello, se recomienda utilizar la situación artificial solamente cuando es totalmente
imposible recoger las mediciones en ambiente natural (Anguera, 1983b).
Cuando llevamos a cabo un estudio con metodología observacional es necesario que el
investigador complete las tres fases siguientes:
 observar la conducta-foco u objeto del estudio, elaborando las correspondientes
categorías de las conductas
 categorizar la conducta para poder ser medida mediante el sistema de códigos o
categorías que se ha desarrollado en la fase anterior y
 realizar el análisis de los datos registrados
La cumplimentación de estas fases permite obtener un conocimiento fiable y válido de
las conductas observadas, recogiendo información sobre la frecuencia y periodicidad de
los fenómenos y asegurando así la representatividad de los datos en unas condiciones
concretas de muestra y ambiente. A diferencia de la metodología experimental, no trata
de encontrar leyes causales (Riba, 1991).
Los indicadores básicos que se utilizan en la metodología observacional se basan en la
medición de la frecuencia y la duración de la conducta especialmente y su latencia e
intensidad (Carreras, 1991). El registro puede ser continuo o completo, cuando el
observador anota la ocurrencia de las diferentes categorías a lo largo de toda la sesión
de observación, o discontinuo. En este último caso, el observador registra las categorías
77
78
Metodología observacional
en determinados momentos de la sesión de observación establecidos a priori (Bakeman
y Gottman, 1986).
El tipo de soporte o instrumento utilizado para la recogida de los datos está conexionado
con la metodología aplicada (Losada, 1993). Dentro del ámbito de la metodología
experimental, el laboratorio y las ‘máquinas de medir’ constituyen las dos piezas claves
para la medición. La metodología cuasi experimental suele basar la recogida de datos en
los cuestionarios, entrevistas y encuestas y la metodología observacional requiere del
‘observador’ apoyado por instrumentos mecánicos (sistemas de codificación y plantillas
de registros) y tecnológicos (soportes magnéticos como magnetófono, vídeo, foto y
memorias portátiles).
Un claro ejemplo de sistema de codificación (Blanco y Anguera, 1991) lo constituye el
sistema de Kent, O´Leary y Broderick (citado en Losada, 1993). Este sistema tiene
como objetivo básico identificar ciertas conductas disruptivas del niño en el aula y así
poder perfilar ciertos objetivos de intervención. Los registros se refieren a la conducta
del niño en clase y durante la realización de una prueba. Este sistema de codificación
requiere un proceso de categorización de las conductas logrado a través de un sistema
de categorías que permita registrar las conductas-foco con un alto grado de
sistematización.
Estimación de la fiabilidad de datos
observacionales
La utilización de instrumentos de observación supone hablar de fiabilidad de los datos
observacionales obtenidos, no circunscribiendo el término al instrumento en sí mismo.
La fiabilidad del instrumento permite conocer la calidad de las mediciones llevadas a
cabo (Anguera, 1990). Se considera que es fiable si hay pocos errores de medida, si
existe estabilidad, consistencia y dependencia en las puntuaciones individuales de las
características evaluadas (Blanco, 1989).
Los resultados originados a través de la aplicación de instrumentos de medición
requieren la comprobación de su fiabilidad como producto de la utilización de un
sistema de registro dado, de un observador determinado y de unas condiciones
ambientales específicas. La fiabilidad de los datos depende así de muchos factores y no
sólo del propio sistema de registro empleado (Suen y Ary, 1989). La estimación del
acuerdo en los registros de observadores simultáneos facilita una medida de la
fiabilidad existente (Anguera, 1983a).
El cálculo repetido de las propiedades psicométricas del instrumento de observación se
convierte en tarea obligada para cada conjunto de datos obtenidos, dado que el factor
humano-observador requiere un continuo control de la calidad de sus registros. Dicho
factor no es un elemento fijo del instrumento ya que va cambiando en función de la
persona encargada del registro e incluso para un observador dado la eficacia de los datos
recogidos puede variar de sesión a sesión de observación. Por ello, es recomendable
realizar evaluaciones periódicas de la fiabilidad de las observaciones realizadas aunque
los observadores ya sean expertos en el manejo del instrumento de observación.
78
Coeficientes de fiabilidad
79
Cuando un investigador decide aplicar un método de recogida de datos basado en la
observación, es necesario llevar a cabo en primer lugar un entrenamiento de
observadores con el fin de que sean expertos en el registro de los datos, asegurando la
calidad y objetividad de la información proporcionada por dicha metodología.
Para garantizar la certeza de los registros se suele estimar la similitud de los juicios
emitidos por al menos dos observadores expertos que observan simultáneamente una
misma situación o también la proximidad del registro de un único observador en
relación a una plantilla estándar que se considera que recoge la codificación del
instrumento con alta perfección. Estos acuerdos o correlación entre las observaciones
realizadas de una misma situación se reseñan como estimación de la fiabilidad y
proporcionan la base para afirmar que los registros realizados son el producto replicable
del proceso de observación utilizado y no del juicio idiosincrásico de los observadores.
Se considera que existe acuerdo entre dos o más observadores cuando al observar una
situación dada coinciden en la codificación de presencia o ausencia de una determinada
conducta, código o categoría.
Existe un amplio número de índices que permiten estimar la fiabilidad de datos
observacionales. Por ejemplo, Berk (1979) describe 16 diferentes índices de acuerdo
entre-observadores mientras que Blanco (1993) presenta 22. Sin embargo, es
conveniente señalar que muchos de ellos se solapan en sus indicaciones. Los
coeficientes de fiabilidad entre observadores más utilizados por los investigadores se
presentan a continuación, destacando por su mayor frecuencia de uso el porcentaje de
acuerdo entre observadores y especialmente el coeficiente kappa de Cohen (1960).
Coeficientes de fiabilidad
Existe una amplia variedad de métodos para computar la fiabilidad de datos nominales.
La elección del método constituye una labor cuidadosa por parte del investigador ya que
determinará la confianza de las conclusiones obtenidas. Partiendo de la idea de que la
fiabilidad es una medida de la similitud de los registros observacionales realizados en
un momento determinado, se van a tratar diferentes coeficientes junto con sus
características más destacadas.
Si dos observadores observan una misma conducta, los datos obtenidos pueden ser
representados por medio de una tabla de doble entrada con j filas y k columnas. Los
códigos recogen información no ordinal. En la Figura 27 se representa en una matriz
2  2 las posibilidades de acuerdo / no acuerdo entre ambos observadores. En dicha
matriz se observa el registro realizado por cada observador como presencia (conducta
presente) o ausencia (conducta ausente) del código que se está analizando. Vamos a
suponer que el investigador desea analizar la fiabilidad entre observadores al codificar
la presencia o ausencia de una determinada variable o conducta.
 La celdilla A representa la frecuencia con que los dos observadores están de acuerdo
en registrar presencia del código que recoge la variable objeto de estudio.
 La celdilla D representa el acuerdo de ausencia del código o no ocurrencia.
79
80
Metodología observacional
 La celdilla B representa aquellos casos en los que el observador 1 registra presencia
del código pero el observador 2 registra ausencia.
 Y la celdilla C representa el caso contrario, es decir, cuando el observador 1 registra
ausencia y el observador 2 presencia del código.
Observador 1
Conducta
presente
Observador 2
Conducta
ausente
NO ACUERDO
Conducta
presente
A
C
P2
Conducta
ausente
B
D
A2
ACUERDO
P1
Frecuencia total de observación del código
A1
N=A+B+C+D
Frecuencia de presencia de conducta registrada por el observador 1
P1=A+B
Frecuencia de presencia de conducta registrada por el observador 2
P2=A+C
Frecuencia de ausencia de conducta registrada por el observador 1
A1=C+D
Frecuencia de ausencia de conducta registrada por el observador 2
A2=B+D
Figura 27 Matriz de acuerdo / no acuerdo para dos observadores con registro
simultáneo
La matriz obtenida permite observar los acuerdos y desacuerdos producidos entre los
dos registros aportados por los observadores. Para poder completar la matriz es
necesario definir previamente qué es lo que se considera acuerdo y qué se considera noacuerdo (Bakeman y Gottman, 1986). En general, los propios sistemas o instrumentos
de observación ya reflejan tal tipo de decisiones.
Una vez conocida dicha matriz ya es posible calcular el coeficiente más apropiado que
informe así de la fiabilidad de los datos observacionales recogidos por los dos
observadores.
El porcentaje de acuerdo indica el porcentaje de veces que dos observadores están de
acuerdo respecto a que una determinada conducta está presente o de acuerdo en cuanto a
la ausencia o no ocurrencia de dicha conducta. Supone sumar el acuerdo de los
observadores, dividir por el total y multiplicarlo por cien.
A+D
100
[1]
A+B+C+D
En definitiva, la proporción de acuerdo es la suma de las entradas de la diagonal
principal de la matriz de frecuencias (Acuerdo) divido por N. El rango de A% varía entre
0% y 100%.
A% =
El porcentaje de acuerdo (Kent y Foster, 1977) recibe diversos nombres según los
autores. Hartmann (1977) lo denomina acuerdo en porcentajes, Hawkins y Dotson
80
Coeficientes de fiabilidad
81
(1975) lo califican como acuerdo intervalo por intervalo, Repp, Roberts, Slack, Repp
y Berkler (1976) le asignan el término de acuerdo exacto, House, House y Campbell
(1981) le suscriben el término de acuerdo total y Kelly (1977) lo distingue con la
calificación de fiabilidad punto por punto.
La utilización del porcentaje de acuerdo ha sido criticada dado que su valor está inflado
por el acuerdo entre los observadores producido por el mero azar. La problemática del
aumento de su valor por el azar se endurece cuando la ocurrencia de las conductas o
códigos de observación es extremadamente alta o extremadamente baja. En este sentido,
cuando una determinada conducta o código es infrecuente, la fiabilidad por acuerdo
puede dar lugar a altos valores de los coeficientes debido al acuerdo por azar de la no
ocurrencia o ausencia de dicha conducta. Si los análisis están basados sobre la
frecuencia con la que la conducta foco ocurre, una alta fiabilidad al registrar la ausencia
de dicha conducta no es especialmente relevante.
Una solución a este último punto consiste en aplicar índices de porcentaje de acuerdo
que valoren en concreto la presencia del código o su ausencia. Ambos índices de
acuerdo solamente son aplicables cuando hay dos observadores.
El porcentaje de acuerdo de ‘presencia’ de código se utiliza cuando la presencia de la
conducta es baja:
P% = A + BA + C 100
[2]
y el porcentaje de acuerdo de ‘ausencia’ de código:
AU% = B + DC + D 100
[3]
se aplica cuando la ausencia del código es alta o, lo que es lo mismo, su ocurrencia es
baja, disminuyendo la inflación de acuerdo producida por azar (Bijou, Peterson, Harris,
Allen y Johnson 1969; Hawkins y Dotson, 1975) aunque por supuesto no eliminándola.
Observe el lector también que el N total varía en cada índice.
El porcentaje medio de acuerdo en conductas en presencia y ausencia de conducta se
obtiene a través de:
A
D
+
–
A+B+C B+C+D
X% =
100
2
[4]
Cohen (1960) describió un estadístico denominado kappa, el cual representa una
medida de acuerdo tanto para la presencia como para la ausencia de conductas
corrigiendo el acuerdo producido por azar.
El estadístico kappa corrige la fórmula de la fiabilidad por acuerdo al sustraer el
acuerdo por azar tanto para la presencia como ausencia en el numerador y denominador.
Su cálculo se expresa como:
81
82
Metodología observacional
k=
po – pe
1 – pe
[5]
donde
 po es la proporción de acuerdo observado realmente, estaría indicado por el porcentaje de
acuerdo mencionado anteriormente:
A+D
N
[6]
 pe la proporción de acuerdo esperada por azar:
(A + B) (A + C) (B + D) (C + D)
+
N2
N2
[7]
Los coeficientes anteriores a kappa están de hecho inflados por el acuerdo producido
por azar entre los observadores que registran presencia y/o ausencia de conductas.
El cómputo corregido del acuerdo por azar sobre la presencia de la conducta implica
multiplicar (A + B) por (A + C) y dividir el producto por el total (N). El acuerdo por azar
sobre la ausencia de la conducta se determina multiplicando (B + D) por (C + D) y
dividiendo el producto por el total (A + B + C + D).
Así, en la fórmula de kappa el numerador indica la diferencia entre el acuerdo
observado real y el esperado por azar, mientras que el denominador recoge la diferencia
posible total entre el acuerdo observado y el esperado por azar. A partir de esta fórmula
podemos desarrollar la siguiente expresión:
A – (A + B) (A + C) + D – (B + D) (C + D)
A + B + C + D 
A+B+C+D

k=
(A
+
B)
(A
+
C)
A –
 + B + C + D – (B + D) (C + D)
A + B + C + D
A+B+C+D


[8]
Por lo tanto, el coeficiente kappa es la razón entre el acuerdo observado y no azaroso
dividido por el posible acuerdo total no producido por azar.
Como se observa po representa lo mismo que A% pero sin multiplicar por 100 mientras
que pe alude al sumatorio de las probabilidades de acuerdo por azar y consiste en la
suma de los productos marginales.
En el cálculo del coeficiente kappa, el término pe supone tener en cuenta el posible
acuerdo por azar de los dos observadores tanto en relación a la presencia del código
como a su ausencia, eliminándolo o restándolo de la proporción de acuerdo observado
(po); dicho coeficiente queda tipificado al dividirlo por 1 – pe.
Si el observador 1 informa que el código ocurre o está presente en una proporción de
P1 y el observador 2 en una proporción de P2, el producto de P1 por P2 indica la
proporción de acuerdo de presencia de código que se puede esperar por azar. Del
mismo modo, el posible acuerdo por azar respecto a la ausencia de código viene
indicado por el producto de A1 por A2. La proporción total de acuerdo por azar será la
suma de ambos productos.
82
Coeficientes de fiabilidad
83
Por lo tanto, el acuerdo esperado por azar es el siguiente:
pe = P1 P2 + A1 A2
[9]
El rango de valores que puede alcanzar el coeficiente kappa oscila entre +1 y -1. Un
kappa positivo indica que los observadores están de acuerdo más frecuentemente que lo
que se podría esperar por azar. Si el valor es de 1 entonces el acuerdo es absoluto.
Cuando kappa es igual a cero, el acuerdo entre los observadores no está más allá del que
se puede esperar por azar.
Resultados negativos de kappa indican que el desacuerdo entre los observadores es más
frecuente de lo que se puede esperar por azar. Si el valor es de -1, entonces el
desacuerdo entre los observadores es total.
Gelfand y Hartmann (1975) consideran que 0.60 es el valor mínimo aceptable de
kappa como acuerdo entre los observadores. Landis y Koch (1977) señalan que un
valor de 0.80 indica una fiabilidad buena y Bakeman y Gottman (1986) consideran
con preocupación valores de kappa menores a 0.70. Fleiss (1981) caracteriza como
‘regulares’ los valores que se hallan entre 0.40 y 0.60, ‘buenos’ los que se
encuentran entre 0.60 y 0.75 y ‘excelentes’ por encima de 0.75. Otros autores han
descrito la distribución de muestreo del coeficiente kappa, determinando también qué
valores de kappa difieren significativamente de cero (Hubert, 1977).
Existen variaciones de este estadístico que pueden ser empleados como medidas de
fiabilidad tanto para la presencia como para la ausencia del código simplemente
sustrayendo la corrección de acuerdo por azar del numerador y denominador.
En el caso del estudio de la fiabilidad cuando el código está presente la formula es la
siguiente:
(A + B) (A + C)
A+B+C
(A + B) (A + C)
B+C+A–
A+B+C
A–
kpresencia =
[10]
mientras que cuando se trata de analizar la fiabilidad para ausencia de código la fórmula
sería:
(B + D) (C + D)
B+C+D
(B + D) (C + D)
B+C+D–
B+C+D
D–
kausencia =
[11]
Algunos investigadores utilizan el coeficiente de correlación dos-por-dos phi
expresado a continuación:
=
AD–BC
(A + B) (C + D) (A + C) (B + D)
[12]
Este estadístico es una correlación producto momento de Pearson para variables
dicotómicas. En general, los valores absolutos de kappa y phi se corresponden
íntimamente (Wakefield, 1980) pudiendo alcanzar ambos índices valores entre 1 y -1.
El índice lambda (Goodman y Kruskal, 1954) solamente considera los acuerdos y
desacuerdos referidos a la presencia de conducta aunque, por supuesto también se puede
83
84
Metodología observacional
calcular para los desacuerdos. Su rango se encuentra entre 1 (acuerdo o asociación
completa) y -1 (desacuerdo total). La fórmula se expresa así:
 = 22 AA –+ BB –+ CC
[13]
El coeficiente de asociación Q de Yule (Yule, 1912) varía entre 1 y -1 y solamente
mostrará una asociada completa o acuerdo exacto entre los dos observadores cuando no
aparezca ninguna frecuencia en las celdillas de desacuerdos B o C.
Se obtiene a través de la siguiente formulación:
Q = AA DD –+ BB CC
[14]
Cómputo de los coeficientes de fiabilidad
Realicemos a continuación un ejemplo con el objetivo de calcular los diferentes
coeficientes apuntados anteriormente.
Los datos que se presentan se han obtenido en una sesión de observación en la que dos
observadores llevan a cabo el proceso de registro de una determinada conducta de forma
independiente (por ejemplo la conducta de ‘mirar hacia el compañero de la derecha en
el aula cuando el profesor está explicando un tema’).
Se computará:
 ‘acuerdo’ cuando ambos coincidan en codificar que la conducta fue realizada o no
realizada por el niño y
 ‘desacuerdo’ cuando uno de ellos codifique que el niño estaba atento y el otro
observador codifique que no lo estaba
Supuesto 1
Supongamos que un investigador desea conocer la fiabilidad de los datos observacionales
obtenidos por dos observadores respecto a una determinada conducta codificada.
La duración de la sesión de observación es de diez minutos (registrándose de forma artificial en
intervalos de un minuto) y los datos obtenidos son los presentados en la Figura 28.
84
Coeficientes de fiabilidad
85
1= presencia/0= ausencia
REGISTROS
Observador 1
Observador 2
Intervalos
ACUERDO PRESENCIA
1
1
1
2
1
0
3
0
0
4
0
0
ACUERDO AUSENCIA
ACUERDO AUSENCIA
5
0
0
ACUERDO AUSENCIA
6
1
0
NO ACUERDO
7
0
1
8
1
1
NO ACUERDO
ACUERDO PRESENCIA
9
0
0
ACUERDO AUSENCIA
10
0
0
ACUERDO AUSENCIA
NO ACUERDO
Figura 28 Resultados obtenidos por dos observadores tras una sesión de observación
de diez intervalos
Realicemos a continuación la tabla de contingencia 2  2 representando las frecuencias
de acuerdos y desacuerdos (véase Figura 29). Se han registrado en la tabla las letras A,
B, C y D para facilitar al lector el cálculo de los diferentes coeficientes.
Observador 1
Conducta
presente
Conducta
presente
Observador 2
Conducta
ausente
2
2
Conducta
ausente
A
C
1
B
D
5
4
3
6
7
N=10
Figura 29 Frecuencias de Acuerdo y No Acuerdo
Los resultados para cada uno de los coeficientes de estimación de la fiabilidad entreobservadores se detallan en la Tabla 7.
Tabla 7 Estimación de la fiabilidad
A%
P%
AU%
–
X%
k
kpresencia
kausencia


Q

70%

40%

62.5%

51.25%

0.348

-0.153

-0.091

0.143

0.356

0.667
El desarrollo de los cálculos es el siguiente:
1. El porcentaje de acuerdo:
A+D
2+5
A% = A + B + C + D 100 = 2 + 2 + 1 + 5 100 = 70.0%
85
86
Metodología observacional
2. El porcentaje de acuerdo de presencia de código:
A
2
P% = A + B + C 100 = 2 + 2 + 1 100 = 40.0%
3. El porcentaje de acuerdo de ausencia de código:
D
5
AU% = B + C + D 100 = 2 + 1 + 5 100 = 62.5%
4. El porcentaje medio de acuerdo:
A
D
+
A+B+C B+C+D
–
X% =
100 =
2
2
5
2+2+1+2+1+5
=
100 = 51.25%
2
5. El coeficiente kappa de Cohen:
A – (A + B) (A + C) + D – (B + D) (C + D)
A + B + C + D 
A+B+C+D

k=
=
(A
+
B)
(A
+
C)
A –
 + B + C + D – (B + D) (C + D)
A + B + C + D
A+B+C+D


2 – (2 + 2) (2 + 1) + 5 – (2 + 5) (1 + 5)
 2+2+1+5  2+2+1+5
=
=
2 – (2 + 2) (2 + 1) + 2 + 1 + 5 – (2 + 5) (1 + 5)
 2+2+1+5
 2+2+1+5
6. El coeficiente kappa de Cohen para presencia de conducta:
(A + B) (A + C)
A+B+C
=
(A + B) (A + C)
B+C+A–
A+B+C
A–
kpresencia =
(2 + 2) (2 + 1)
2+2+1
=
= -0.153
(2 + 2) (2 + 1)
2+1+2–
2+2+1
2–
7. El coeficiente kappa de Cohen para ausencia de conducta:
(B + D) (C + D)
B+C+D
=
(B + D) (C + D)
B+C+D–
B+C+D
D–
kausencia =
(2 + 5) (1 + 5)
2+1+5
=
= -0.091
(2 + 5) (1 + 5)
2+1+5–
2+1+5
5–
8. El coeficiente de correlación Phi:
=
AD–BC
(A + B) (C + D) (A + C) (B + D)
86
=
0.348
Coeficientes de fiabilidad
87
2·5–2·1
=
(2 + 2) (1 + 5) (2 + 1) (2 + 5)
=
0.356
9. El coeficiente lambda:
–2–1
=
2 ·2 + 2 + 1
0.143
2·5–2·1
Q = AA DD –+ BB CC = 2 · 5 + 2 · 1 =
0.667
 = 22 AA –+ BB –+CC =
2·2
10. El coeficiente Q de Yule:
Observando los resultados obtenidos se puede concluir que existe un 70% de acuerdo
entre los dos observadores respecto a la presencia y ausencia del código estudiado,
siendo mayor el acuerdo cuando se trata de codificar ausencia del código o conducta
(62.5%). El acuerdo medio es del 51.25%. Sin embargo cuando calculamos el
coeficiente kappa de Cohen (1960) y el posible acuerdo por azar es tenido en cuenta, las
conclusiones se modifican.
El valor de kappa obtenido al analizar la codificación registrada por cada observador es
de 0.348, resultado considerado por los diferentes investigadores como bajo, no
acercándose ni al valor mínimo aceptable de acuerdo de 0.60 propuesto por Gelfand y
Hartmann (1975), siendo categorizado en todo caso como acuerdo ‘regular’ (Fleiss,
1981) al rozar al valor de 0.40. Si analizamos este coeficiente para la codificación de
‘presencia’ y de ‘ausencia’ de conducta independientemente, la interpretación de los
resultados es aún más dramática ya que el signo negativo indica que el desacuerdo entre
los observadores es más frecuente de lo que se puede esperar por azar.
87