Tema 3 Fiabilidad del test 1. Fiabilidad como estabilidad temporal. 2

Universidad Autónoma de Madrid.
Tema 3
Curso 2003/04
Fiabilidad del test
1. Fiabilidad como estabilidad
temporal.
2. Fiabilidad como correlación entre
formas paralelas.
3. Fiabilidad como consistencia
interna:
3.1. Método de dos mitades: rxx.
3.2 . Coeficiente α de Cronbach.
4. Error típico de medida.
4.1. Concepto.
4.2. Distribución de X.
4.3. Contraste sobre
puntuaciones verdaderas.
5. Factores que afectan a la fiabilidad.
5.1. Consistencia interna.
5.2. Coeficiente de fiabilidad.
Introducción a la Psicometría
Tema 3.
1
Universidad Autónoma de Madrid.
Curso 2003/04
1.- Fiabilidad como estabilidad temporal
Requiere aplicar el test dos veces.
Si el nivel verdadero de los sujetos no
cambia entre las dos aplicaciones, los
resultados deben ser parecidos.
rxx = coeficiente de fiabilidad test-retest
Ejemplo. Seis sujetos evaluados dos
veces, con tres meses de diferencia.
1
2
3
4
5
6
rxx
Test con baja
fiabilidad
(estabilidad)
X1
X2
5
7
4
1
8
4
3
5
7
9
6
0
0,17
Introducción a la Psicometría
Test con alta
fiabilidad
(estabilidad)
X1
X2
5
6
4
3
8
7
3
4
7
8
6
5
0,83
Tema 3.
2
Universidad Autónoma de Madrid.
Curso 2003/04
Ejemplo. 100 sujetos y dos
aplicaciones de un test
rXX = 0.5
140
140
120
120
X2
X2
rXX = 0
100
80
80
60
60
100
80
100
120
60
60
140
80
rXX = 0.8
140
rXX = 1
140
140
120
120
X2
X2
120
X1
X1
100
80
60
60
100
100
80
80
100
120
X1
Introducción a la Psicometría
140
60
60
80
100
120
X1
Tema 3.
3
140
Universidad Autónoma de Madrid.
Curso 2003/04
2.- Fiabilidad como correlación entre
formas paralelas
• Según se ha visto en el tema 2, la
correlación entre dos test paralelos
es la fiabilidad de cualquiera de
ellos.
• Requiere elaborar dos tests
paralelos, y aplicarlos a cada sujeto.
El coeficiente de fiabilidad de
cualquiera de ellos es:
rxx = r12
Ejemplo Cinco sujetos evaluados con
dos tests paralelos.
1
2
3
4
5
rxx
Introducción a la Psicometría
Test A Test B
112
118
102
98
84
85
96
100
106
99
0,89
Tema 3.
4
Universidad Autónoma de Madrid.
Curso 2003/04
3.- Fiabilidad como consistencia interna
La consistencia interna es el grado en
que los ítems covarían (se relacionan)
entre si.
Ejemplo 1. Un Test tiene tres ítems:
Ítem 1: Conocimientos de tauromaquia.
Ítem 2: Fluidez verbal.
Ítem 3: Motivación intrínseca.
Matriz de varianzas-covarianzas:
 2 0 0


 0 3 0
 0 0 1


No tiene ninguna consistencia interna.
Cada ítem mide un rasgo distinto.
Introducción a la Psicometría
Tema 3.
5
Universidad Autónoma de Madrid.
Curso 2003/04
La varianza de X es:
k
k
S X2 = ∑ Si2 + 2∑
i =1
k
∑S
i =1 j = i +1
ij
Es decir:
S X2 = (2 + 3 + 1) + 2(0 + 0 + 0) = 6
k
2
S
∑ i
Depende sólo de i =1
covarianzas son 0.
. Las
Ejemplo 2. Otro test con tres ítems.
Ítem 1: Conocimientos de ADI.
Ítem 2: Conocimientos de ADII.
Ítem 3: Conocimientos de Psicometría.
Matriz de varianzas-covarianzas:
 2 2 1


 2 3 1
 1 1 1


Introducción a la Psicometría
Tema 3.
6
Universidad Autónoma de Madrid.
Curso 2003/04
Buena consistencia interna. Los ítems
miden cosas similares. La matriz de
correlaciones es:
 1 0,8 0,7 


 0,8 1 0,6 
 0,7 0,6 1 


S12
r12 =
=
p.e.
S1S 2
2
= 0,8
2 3
• La varianza de X es:
S X2 = (2 + 3 + 1) + 2(2 + 1 + 1) = 6 + 8 = 14
k
k
Depende de
2
S
∑ i
i =1
y
2∑
k
∑S
i =1 j =i +1
ij
.
• Cuanto mayor sea la consistencia
interna, más grandes son las
k
covarianzas, y por tanto
Introducción a la Psicometría
2∑
k
∑S
i =1 j =i +1
Tema 3.
ij
.
7
Universidad Autónoma de Madrid.
Curso 2003/04
3.1.- Método de dos mitades
Permite estimar el coeficiente de
fiabilidad con una sola aplicación del
test.
A partir de un único test, se crean dos
mitades paralelas, se calcula su
fiabilidad y la del test total.
1.- Dividir el test en dos mitades, que
deben ser formas paralelas. Por
ejemplo, mediante los ítems pares e
impares.
Es importante comprobar que las dos
mitades son realmente paralelas,
asignando ítems de dificultad similar y
realizando los contrastes de hipótesis.
2.- La correlación entre las dos mitades
es el coeficiente de fiabilidad de cada
una de ellas (rPI).
Introducción a la Psicometría
Tema 3.
8
Universidad Autónoma de Madrid.
Curso 2003/04
3.- El coeficiente de fiabilidad del test
completo (que tiene el doble de ítems
que cada mitad) se obtiene mediante la
fórmula de Spearman-Brown (Tema 2):
2 rPI
rxx =
1 + rPI
2
S
4.- También puede estimarse E , y por
tanto rxx, comparando las puntuaciones
en las dos mitades.
Ejemplo. Test de seis ítems.
Sujeto
1
2
3
4
5
Ít.1 Ít.2 Ít.3
3 4 4
4 3 2
3 2 3
5 4 4
4 5 2
Ít.4
3
3
2
4
2
Ít.5
1
3
2
1
2
I X
Ít.6 P
2 9
8 17
3 9
9 18
1 5
8 13
2 10 10 20
1 8
8 16
Calcular rxx mediante el procedimiento
de formas paralelas.
Introducción a la Psicometría
Tema 3.
9
Universidad Autónoma de Madrid.
Curso 2003/04
1. Comprobar si realmente son formas
paralelas.
Medias y Varianzas:
21,2
X P = 8,2; S =
= 3,7;
4
47,2
2
X I = 8,6; S 2 =
= 0,8;
4
−2
42,8
2
D=
= −0,4; S D =
= 2,3
5
4
r12 = 0,64
2
1
1.1. Contraste de igualdad de medias:
H0: µ1 = µ2
H1: µ1 ? µ2
D N − 0,4 5
T=
=
= −0,59
; T ~ t4
SD
2,3
0,025t4
= -2,776
Mantener H0
Introducción a la Psicometría
Tema 3.
10
Universidad Autónoma de Madrid.
Curso 2003/04
1.2. Contraste de igualdad de
varianzas:
H0: σ1 = σ 2
H1: σ 1 ? σ 2
T=
=
(S12 − S 22 ) N − 2
2 S1S 2 1 − r122
(3,7 − 0,8) 3
2 (3,7 )0,8 1 − (0,64) 2
= 1,90
T ~ t3
0,975t3
= 3,182
Mantener H0
Conclusión: La mitad par e impar son
formas paralelas.
Introducción a la Psicometría
Tema 3.
11
Universidad Autónoma de Madrid.
Curso 2003/04
2. Obtener
rxy =
n ∑ X jY j −∑ X
j



n ∑ X −  ∑ X j 
j
 j

(5)357 − ( 41)43
2
j
=
j
(5)351 − 41
2
2
j
∑Y
j
j



n ∑ Y −  ∑ Y j 
j
 j

(5)373 − 43
2
j
2
= 0,64
La fiabilidad de cada mitad es 0,64
3. Fiabilidad del test alargado:
2rPI
( 2)0,64
rxx =
=
= 0,78
1 + rPI 1 + 0,64
La fiabilidad del test completo es 0,78
Introducción a la Psicometría
Tema 3.
12
2
Universidad Autónoma de Madrid.
Curso 2003/04
4. La diferencia entre las dos mitades
es:
Sujeto
1
2
3
4
5
P
9
9
5
10
8
I
8
9
8
10
8
D
1
0
-3
0
0
2
S
Varianza de las diferencias: D = 1,84
2
S
Además X = 5,36
S E2 se estima mediante S D2 . Entonces:
S X2 = SV2 + S E2
5,36 = SV2 + 1,84;
rXX
SV2 = 3,52
SV2 3,52
= 2 =
= 0,66
S X 5,36
Introducción a la Psicometría
Tema 3.
13
Universidad Autónoma de Madrid.
Curso 2003/04
3.2.- Coeficiente α de Cronbach
Mide el grado en que los ítems
covarían entre si.
k
Evalúa cómo de grande es
2∑
k
∑S
i =1 j = i +1
ij
2
S
en relación con X .
k

2 
 ∑ Si 
k 
α=
1 − i =1 2 
k −1
SX 




 k k

 2∑ ∑ Sij 
k  i =1 j = i +1 
α=

k − 1
S X2




Consistencia mínima: α = 0.
Consistencia máxima: α = 1.
Introducción a la Psicometría
Tema 3.
14
Universidad Autónoma de Madrid.
Curso 2003/04
Ejemplo 1 (continúa).
k

2 
 ∑ Si 
k 
3 6
i =1

α =
1− 2
= 1 −  = 0
k −1
SX  2  6 




Ejemplo 2 (continúa).
 k k

 2∑ ∑ Sij 
k  i =1 j = i +1  3  8 
α=
=   = 0,86
2


k −1
SX
2  14 




Ejemplo 3. Si las correlaciones fueran.
 1 1 1


 1 1 1
 1 1 1


Introducción a la Psicometría
Tema 3.
15
Universidad Autónoma de Madrid.
Curso 2003/04
La matriz de varianzas covarianzas
sería:
 2 2,4 1,4 


 2,4 3 1,7 
 1,4 1,7 1 


Entonces, la varianza de X es:
S X2 = (2 + 3 + 1)
+ 2(2,4 + 1,4 + 1,7 ) = 6 + 11 = 17
k

2 
 ∑ Si 
k 
3
6
i =1

α=
1− 2
= 1 −  = 0,97
k −1
S X  2  17 




Introducción a la Psicometría
Tema 3.
16
Universidad Autónoma de Madrid.
Curso 2003/04
Ejemplo. (Continua dos mitades). La
varianza de X para estos ítems es:
X = 16,8;
S X2 = 287 ,6 − 16,8 2 = 5,36
La varianza de los ítems es:
S12 = 0,56; S22 = 0,80; S32 = 0,56;
S 42 = 1,04; S52 = 0,56; S62 = 0,56
k
Por tanto:
2
S
∑ i = 4,08
i =1
k

2 
 ∑ Si 
k 
6  4,08 
i =1

α=
1− 2
= 1 −
 = 0,29
k −1
S X  5  5,36 




Con el método de dos mitades se
obtuvo rxx = 0,78. Este resultado podría
haber sido muy distinto si se hubieran
hecho las mitades de otra forma.
Introducción a la Psicometría
Tema 3.
17
Universidad Autónoma de Madrid.
Curso 2003/04
Notas sobre la interpretación de α
1. El coeficiente α refleja el grado en
que covarían los ítems.
2. Si los ítems no covarían entre si,
están
midiendo
dimensiones
diferentes. Por tanto, un α bajo es
indicativo de multidimensionalidad.
3. Si los ítems covarían entre si, α es
alto. Esto no implica que el test es
unidimensionalidad. Puede estar
midiendo una sola dimensión o
varias.
4. α es una cota mínima a la
fiabilidad. Además, es la media de
los coeficientes rXX (dos mitades).
5. α aumenta con el número de
ítems
y
al
incluir
ítems
redundantes.
Introducción a la Psicometría
Tema 3.
18
Universidad Autónoma de Madrid.
Curso 2003/04
4.- Error típico de medida
Se utiliza para saber la precisión con
que se estima la puntuación verdadera
(V) de cada sujeto.
4.1.- Concepto
En el Tema 2 se vio el modelo de la
Teoría Clásica de Tests:
X =V + E
Esto implica que la varianza empírica
es:
σ X2 = σ V2 + σ E2
El error típico de medida es la
desviación típica de E:
σ E = σ E2
Introducción a la Psicometría
Tema 3.
19
Universidad Autónoma de Madrid.
Curso 2003/04
Estimación del error típico de medida:
El coeficiente de fiabilidad se ha
definido (Tema 2):
σV2
σ E2
ρ12 = 2 = 1 − 2
σX
σX
Despejando:
σ E = σ X 1 − ρ12
• σx se estima con Sx es conocido (la
desviación típica de las
puntuaciones del test).
• ρ12 se estima mediante, rXX obtenida
del procedimiento de dos mitades.
Por tanto:
S E = S X 1 − rXX
Introducción a la Psicometría
Tema 3.
20
Universidad Autónoma de Madrid.
Curso 2003/04
Ejemplo. (Continua dos mitades).
La varianza de X es:
2
1438  84 
S =
− 
5 5
= 287,6 − 282,24 = 5,36
2
X
Luego, la desviación es:
S X = 5,36 = 2,31
Según se ha visto: rxx = 0,78
Por tanto, SE es:
SE = 2,31 1 − 0,78 = 1,08
Esto implica que, más o menos, el 95%
de las veces que se aplique el test a un
sujeto con V=10, X estará entre 8,92 y
11,08.
Introducción a la Psicometría
Tema 3.
21
Universidad Autónoma de Madrid.
Curso 2003/04
4.2.- Distribución de X
Ejemplo. (Continua dos mitades).
Supongamos que se aplica el test a
1000 sujetos con V = 15. Entonces la
distribución de X en este grupo tiene:
X = 15;
S X = 1,08
Si la distribución de X fuera normal, la
distribución de X tendría el aspecto:
120
100
80
60
40
20
0
11
12
13
14
15
16
17
18
19
El 95% de las puntuaciones están entre
12,9 y 17,1.
Introducción a la Psicometría
Tema 3.
22
Universidad Autónoma de Madrid.
Curso 2003/04
4.2.- Contraste sobre puntuaciones
verdaderas
SE puede utilizarse para decidir si dos
sujetos tienen la misma puntuación
verdadera.
Con ello se intenta comprobar,
utilizando un determinado nivel de
confianza (α), si dos personas (i y j)
tienen diferente nivel de conocimientos,
actitud, etc.
H0: Vi = Vj
H1: Vi ? Vj
Z=
Xi − X j
SE 2
Z ~ normal (0, 1)
Ejemplo (continua). Un sujeto obtiene
Xi=11,67 en el test anterior y otro Xj=9.
Con un nivel de confianza del 95%
¿Tienen el mismo nivel de rasgo?
Introducción a la Psicometría
Tema 3.
23
Universidad Autónoma de Madrid.
Curso 2003/04
H0: Vi = Vj
H1: Vi ? Vj
Z=
0,025Z
Xi − X j
SE
12,67 − 10
=
= 1,75
2
1,08 2
= -1,96; 0,975Z = 196. Mantener H0
Introducción a la Psicometría
Tema 3.
24
Universidad Autónoma de Madrid.
Curso 2003/04
5.- Factores que afectan a la fiabilidad
del test
Estos factores deben tenerse en cuenta
en la construcción de un test, para
seleccionar los mejores ítems (ver
Tema 1).
5.1.- Consistencia interna (α)
Dado que
2


S =  ∑ Hi Si 
 i =1

k
2
X
y que α es:
 ∑Si2 
k 
α=
1− i 2 
k −1 
Sx 


- Manteniendo Sj constante, α aumenta
si aumenta Hj (índice de
homogeneidad).
- α aumenta con la longitud del test.
- α aumenta con ítems redundantes.
Introducción a la Psicometría
Tema 3.
25
Universidad Autónoma de Madrid.
Curso 2003/04
Ejemplo. (Continua dos mitades). Se
había obtenido α = 0,29. Si se
eliminaran los ítems 3 y 6 del test, el
valor de α sería el siguiente:
La media y varianza de X son:
X = 12;
S X2 = 3,20
La varianza de los ítems es:
S12 = 0,56; S22 = 0,80;
S 42 = 1,04; S52 = 0,56;
k
Por tanto:
2
S
∑ i = 2,96
i =1
k

2 
 ∑ Si 
k 
4  2,96 
α=
1 − i =1 2  = 1 −
 = 0,10
k −1
S X  3  3,20 




Introducción a la Psicometría
Tema 3.
26
Universidad Autónoma de Madrid.
Curso 2003/04
5.2.- Coeficiente de fiabilidad (rXX)
- Cuanto más heterogéneo sea el grupo
2
S
(mayor XX ), mayor es rXX.
- rxx aumenta con la longitud del test. Si
n es el número de formas paralelas y
rXX la fiabilidad inicial:
RXX
nrXX
=
1 + (n − 1)rXX
- Número de veces que es necesario
alargar un test con fiabilidad rXX para
alcanzar una fiabilidad Rxx.
RXX (1 − rXX )
n=
rXX (1 − RXX )
Introducción a la Psicometría
Tema 3.
27
Universidad Autónoma de Madrid.
Curso 2003/04
Ejemplo. Si rXX = 0,7 y se desea
obtener RXX = 0,8.
RXX (1 − rXX ) 0,8(0,3)
n=
=
= 1,71
rXX (1 − RXX ) 0,7(0,2)
Por lo que si el test tuviera 25 ítems,
habría que alargarlo hasta los 43.
10
9
8
7
n
6
R=0,5
5
4
R=0,6
3
R=0,7
2
R=0,8
1
0
R=0,9
.5
.6
.7
.8
.9
r
Introducción a la Psicometría
Tema 3.
28
Universidad Autónoma de Madrid.
Curso 2003/04
Formulario del tema 3
Coeficiente de fiabilidad (SpearmanBrown):
2rPI
rxx =
1 + rPI
Coeficiente α de Cronbach:
 ∑ S 2j 
k 

j
α=
1− 2 

k −1
Sx 



k
k
k
S x2 = ∑Si2 + 2∑ ∑Sij
i =1
i =1 j =i +1
 k k

2
S
 ∑ ∑ ij 
k  i =1 j =i +1 
α=

k −1
S X2




Introducción a la Psicometría
Tema 3.
29
Universidad Autónoma de Madrid.
Curso 2003/04
Error típico de medida
X =V + E
SX2 = SV2 + SE2
SE = SX 1 − rXX
Contraste sobre puntuaciones
verdaderas:
Z=
Xi − X j
SE 2
Fiabilidad del test alargado n veces:
RXX
nrXX
=
1 + (n − 1)rXX
Valor de n para alcanzar una fiabilidad
determinada:
RXX (1 − rXX )
n=
rXX (1 − RXX )
Introducción a la Psicometría
Tema 3.
30
Universidad Autónoma de Madrid.
Curso 2003/04
Ejercicios Recomendados
3.1
3.3
3.6
3.7
3.16
Introducción a la Psicometría
Tema 3.
31