Subido por evapons2018

Características instrumentos de medicición en educación

Anuncio
TÉCNICAS E INSTRUMENTOS PARA LA
RECOGIDA DE INFORMACIÓN
Tema 2: Características técnicas de los instrumentos de medida
(Parte I)
Asignatura Obligatoria (OB) de 2º curso
Grado en Pedagogía
Objetivos
Comprender la utilidad de la medición en educación
Saber calcular la dificultad, discriminación/homogeneidad y análisis
de los distractores de un ítem; y fiabilidad y validez de un test
Saber calcular la unidimensionalidad de un test
Diferenciar la TCT de la TRI
Calcular los parámetros de un ítem desde la TRI
Interpretar la información de los parámetros y características de un
ítem desde la TRI
Tema 2 – Características técnicas de los instrumentos de medida
Características técnicas de los instrumentos de medida
“El proceso de medición opera sobre un objeto, según unas
reglas (…) y con una unidad de medida. Este proceso nos lleva
a construir unos instrumentos, que se pasan al objeto en el
acto de medición, teniendo como resultado unos datos con
los que se realizará un tratamiento, generalmente estadístico”
Tema 2 – Características técnicas de los instrumentos de medida
Características técnicas de los instrumentos de medida
Hablaremos de las características técnicas de los
instrumentos de medida, sobre todo en lo referente a
los ítems que los componen
Teoría Clásica de los
Test (TCT)
Los resultados
dependen de la
muestra elegida
Los resultados
se expresan en
relación al grupo
normativo
Teoría de Respuesta al
Ítem (TRI)
Los resultados
son invariantes a
la muestra
elegida
Pero exige un
importante
tamaño de
muestra
Tema 2 – Características técnicas de los instrumentos de medida
Teoría Clásica de los Test (TCT)
Para evaluar la
calidad de los
ítems los
indicadores más
utilizados son:
Dificultad
Para evaluar la
calidad de un test
los indicadores
más utilizados son:
Fiabilidad
Discriminación / Homogeneidad
Análisis de los distractores
Validez
Unidimensionalidad
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Dificultad
El grado de dificultad de un ítem está en función del número de personas
que conteste de forma correcta al mismo.
Se suele utilizar el Índice de Dificultad (ID) como indicador de la misma
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Dificultad
El Índice de Dificultad (ID) no es una propiedad intrínseca del
ítem, pues su valor depende de la muestra de sujetos a la que se
aplique (…) el ID sólo tiene sentido en tests o pruebas objetivas
donde hay respuestas correctas e incorrectas
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Dificultad
Ejemplo 1: Se supone un ítem de evocación (sin alternativas) que es
contestado acertadamente por 17 estudiantes de una clase compuesta de
30 estudiantes. ¿ID del ítem?
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Dificultad
Ejemplo 2: Se supone un ítem de evocación (sin alternativas) que es
contestado erróneamente por 25 estudiantes y acertadamente por 7
estudiantes.Todos los estudiantes han contestado al ítem. ¿ID del ítem?
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Dificultad
Ejemplo 3: Se supone un ítem de 3 alternativas de respuesta, que es
acertado por 26 estudiantes en una clase de 39 alumnos. ¿ID’ del ítem?
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Discriminación
Este índice determina la potencia del ítem para discriminar el
grupo de sujetos que tiene mayor cantidad de aciertos en la
prueba, frente al de menos aciertos (…)
Es decir, un ítem discrimina bien cuando existe correlación
positiva entre la puntuación obtenida en el ítem con la
puntuación obtenida en el test (…) Se utilizan dos:
D
IH
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Discriminación
D
Este índice va de -1 a +1, considerándose un buen índice de
discriminación el comprendido entre 0,25 y 0,35 o mayor
Dividida la muestra en dos grupos extremos: a) una parte
donde está el 27% de personas con mayor puntuación en el
test (extremo superior) y b) otra parte con el 27% de menor
puntuación (extremo inferior)
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Discriminación
Ejemplo 4:Tenemos un test que aplicamos a 600 estudiantes. De los 162
estudiantes con peor puntuación total en el test, 30 han acertado el ítem 1;
y de los 162 con mejor puntuación total, 95 han acertado dicho ítem.
¿Cuál es el índice D de discriminación del ítem 1?
D
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Discriminación
IH
Otra manera de valorar la discriminación de un ítem es
mediante el cálculo de la correlación entre las
puntuaciones de los sujetos en el ítem y en el
conjunto del test, cuando este ítem no es valorado.
Esta correlación se denomina índice de discriminación o
de homogeneidad (IH), al ser un indicador del grado de
relación del ítem con el resto
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Discriminación
IH
Otra manera de valorar la discriminación de un ítem es
mediante el cálculo de la correlación entre las
puntuaciones de los sujetos en el ítem y en el
conjunto del test, cuando este ítem sí es valorado.
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Discriminación
Ejemplo 5:Tenemos los resultados de las respuestas de 4 sujetos a una
prueba de 4 ítems (“1” = acierto; “0” = fallo)
¿IH del ítem 4?
IH
Examen Septiembre 2016
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Discriminación
Ejemplo 5:Tenemos los resultados de las respuestas de 4 sujetos a una
prueba de 4 ítems (“1” = acierto; “0” = fallo)
¿IH del ítem 4?
IH
Examen Septiembre 2016
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Discriminación
IH
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Discriminación
IH
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Análisis de distractores
Distractores son las diferentes alternativas falsas o
respuestas incorrectas que tiene un ítem. Todas las
alternativas de un ítem deberían tener la misma probabilidad
de ser elegidas, es decir, se debería dar la equiprobabilidad
entre las diferentes alternativas de respuesta.
Se comprueba mediante la prueba de ji-cuadrado
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Análisis de distractores
Ejemplo 6: Se supone que 400 individuos contestan a un ítem con 5
alternativas (A, B, C, D y E), y que la E es la respuesta correcta. Los
respuestas de los 276 sujetos que fallan en las distintas alternativas son:
A
B
C
D
91
42
66
77
¿Se puede afirmar, con un nivel de confianza del 95%, que hay
equiprobabilidad en los distractores?
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Análisis de distractores
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Fiabilidad y Validez
TCT – Fiabilidad
Suponemos el modelo lineal clásico de medida:
X =V + e
Supuestos:
• Media de las puntuaciones empíricas (X) es igual a la puntuación verdadera (V)
• La puntuación verdadera (V) es independiente del error de medida (e)
• Los errores de medida (e) son independientes entre sí
TCT – Fiabilidad
Un instrumento de medida es fiable si está libre de error
de medida (e → 0)
Aunque un instrumentos de medida no es bueno por el
hecho de ser fiable (…) sin tal propiedad la medición no
es aceptable (…) esto es, podemos afirmar que la
fiabilidad es una condición necesaria, aunque no
suficiente, de un instrumento de medida de
calidad.
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Fiabilidad
La fiabilidad de un instrumento se cuantifica
mediante dos aproximaciones
Fiabilidad relativa
(coeficientes de
fiabilidad: ρxx)
Fiabilidad absoluta
(error típico de
medida: σe)
Correlación entre las puntuaciones
obtenidas por los sujetos en dos
‘aplicaciones’ de un test
Desviación típica de las puntuaciones
empíricas respecto a la puntuación
verdadera tras una aplicación del test
repetida infinitamente a un sujeto
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Fiabilidad
Fiabilidad como equivalencia
• O de “formas paralelas”
Fiabilidad como estabilidad
• O procedimiento de la repetición o del “test-retest”
Fiabilidad como consistencia interna
• p.e., con las “dos mitades” o con el coeficiente α de Cronbach
TCT – Fiabilidad como equivalencia
También conocida como de formas paralelas.
Consiste en aplicar a la misma muestra de sujetos 2 pruebas
diferentes pero que miden el mismo rasgo o característica,
de tal forma que los resultados de la aplicación de la primera
prueba se correlacionan con los de la segunda.
Es un procedimiento difícil y complicado: es muy difícil encontrar
pruebas equivalentes (mismos objetivos, mismos contenidos,
longitud y condiciones de aplicación)
Se mide mediante el coeficiente de equivalencia = coeficiente
de correlación de Pearson entre las puntuaciones de ambas
aplicaciones
TCT – Fiabilidad como estabilidad
También conocida como procedimiento de la repetición o del
test-retest
Se calcula la correlación que existe entre las puntuaciones
obtenidas por un mismo grupo de sujetos en 2 aplicaciones
sucesivas de una misma prueba en 2 momentos diferentes.
Entre ambas aplicaciones debe transcurrir un tiempo ni muy
corto (por el entrenamiento) ni muy largo (por la maduración).
Algunos autores lo fijan en 20 ó 25 días.
TCT – Fiabilidad como consistencia interna
Cabe pensar que todos los elementos del instrumento de medida miden
una porción de la característica o rasgo, de forma que debe darse una
coherencia interna, es decir una sub-muestra de ítems mide los mismo
que otra sub-muestra y representan ambas lo que mide el instrumento en
su totalidad
El grado de correlación entre ambas sub-muestras determina el
coeficiente de consistencia
Procedimiento de
las dos mitades
Coeficiente Alfa
de Cronbach
TCT – Fiabilidad
Ejemplo 7. Procedimiento de las dos mitades: ¿Cuál es la fiabilidad de un
test que tiene como correlación entre sus ítems pares e impares rxx = 0,79?
TCT – Fiabilidad
Ejemplo 8. Alfa de Cronbach: En un test compuesto por 8 ítems, la suma de
las varianzas individuales del conjunto de ítems fue 16. Si la varianza del
test vale 54, ¿cuánto vale el coeficiente de Cronbach?
Examen Febrero 2015
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Fiabilidad
Ejemplo 9. Fiabilidad y longitud: El coeficiente de fiabilidad de un test de 25
ítems es rxx = 0,64. ¿Cuántas veces se debe alargar el test original para llegar
a una fiabilidad Rxx = 0,80? ¿Cuántos ítems tendrá el test final?
TCT – Fiabilidad
Ejemplo 10. Fiabilidad y longitud: Dada una prueba que consta de 30 ítems,
cuya fiabilidad es rxx = 0,93, ¿cómo repercutiría en la fiabilidad de la misma
un aumento de 10 nuevos ítems paralelos a los originales?
(página 160 del libro de Estadística de 1º curso)
TCT – Fiabilidad
Ejemplo 11: Interpretación-Valoración de la Fiabilidad de un Test
Fiabilidad > 0,90  Excelente
Fiabilidad > 0,80  Buena
Fiabilidad > 0,70  Aceptable
Fiabilidad > 0,60  Cuestionable
Fiabilidad > 0,50  Pobre
Fiabilidad < 0,50  Inaceptable
TCT – Validez
“La fiabilidad de un
instrumento es condición
necesaria pero no
suficiente para una
valoración positiva de
éste; necesita el concurso
de la validez para
completar dicha
valoración”
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Validez
Un instrumento es válido si mide lo que dice medir
Tipos de Validez
De
Contenido
De
Constructo
Criterial
Predictiva
Aparente
Concurrente
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Validez Aparente
Referida a cuestiones de ‘aspecto externo’ del instrumento
Legibilidad, claridad, navegabilidad, instrucciones, manejo, etc…
http://goo.gl/IYEKMB
Ejemplo  Validación aparente de nuestro Test de Pensamiento Computacional
• Se añadieron las instrucciones del TPC y 3 ejemplos iniciales de habituación al test
• Accesibilidad y navegabilidad desde dispositivos fijos y móviles
TCT – Validez de Contenido
Es imprescindible sobre todo en pruebas de rendimiento
“La esencia de la validez de contenido se encuentra en la suficiencia y
representatividad de la muestra de conductas incluidas en el instrumento
respecto de la población de la que forma parte”
Concepto computacional abordado Concepto computacional abordado
Item 1
Item 2
Item 3
Item 4
Item 5
Item 6
Item 7
Item 8
Item 9
Item 10
Item 11
Item 12
Item 13
Item 14
Item 15
Item 16
Item 17
Item 18
Item 19
Item 20
Item 21
Entorno Interfaz del
reactivo
Estilo de las
alternativas de
respuesta
Laberinto
Laberinto
Laberinto
Lienzo
Laberinto
Laberinto
Lienzo
Laberinto
Laberinto
Laberinto
Laberinto
Lienzo
Laberinto
Laberinto
Laberinto
Laberinto
Laberinto
Laberinto
Laberinto
Laberinto
Laberinto
Visual porItem
flechas
1
Visual porItem
flechas
2
Visual por Item
bloques
3
Visual por Item
bloques
4
Visual porItem
flechas
5
Visual porItem
flechas
6
Visual por Item
bloques
7
Visual por Item
bloques
8
Visual porItem
flechas
9
Visual porItem
bloques
10
Visual porItem
flechas
11
Visual porItem
bloques
12
Visual porItem
flechas
13
Visual porItem
bloques
14
Visual porItem
flechas
15
Visual porItem
bloques
16
Visual porItem
bloques
17
Visual porItem
bloques
18
Visual porItem
bloques
19
Visual porItem
bloques
20
Visual porItem
bloques
21
Entorno Estilo de las
Existenc
Bucles (loops)
Condicionales
Bucles (loops)(conditionals)
Condicionales
Funciones
(conditionals)
(functions)
Interfaz del
alternativas
de
anidami
reactivo Repetirrespuesta
Direcciones
Direcciones Repetir veces
veces
Repetir hasta Condicional
Condicional
Repetir hasta Condicional
Mientras
Funciones
Condicional FuncionesMientras
con
Fun
(repeat
(repeat
(repeat until) simple (if)
compuesto
(repeat(if/else)
until) simple
que (while)
(if)
compuesto
simples (if/else)
parámetros
que (while)
si
times)
times)
Laberinto
Sí
Visual
No por flechas No Sí
No No
NoNo
NoNo
NoNo
No No
No
Laberinto
Sí
Visual
No por flechas No Sí
No No
NoNo
NoNo
NoNo
No No
No
Laberinto
Sí
Visual
No por bloques No Sí
No No
NoNo
NoNo
NoNo
No No
No
Lienzo
Sí
Visual
No por bloques No Sí
No No
NoNo
NoNo
NoNo
No No
No
Laberinto
Sí
Visual
Sí por flechas No Sí
No Sí
NoNo
NoNo
NoNo
No No
No
Laberinto
Sí
Visual
Sí por flechas No Sí
No Sí
NoNo
NoNo
NoNo
No No
No
Lienzo
Sí
Visual
Sí por bloques No Sí
No Sí
NoNo
NoNo
NoNo
No No
No
Laberinto
Sí
Visual
Sí por bloques No Sí
No Sí
NoNo
NoNo
NoNo
No No
Sí
Laberinto
Sí
Visual
No por flechas Sí
Sí
No No
NoSí
NoNo
NoNo
No No
No
Laberinto
Sí
Visual
No por bloques Sí
Sí
No No
NoSí
NoNo
NoNo
No No
No
Laberinto
Sí
Visual
Sí por flechas Sí
Sí
No Sí
NoSí
NoNo
NoNo
No No
Sí
Lienzo
Sí
Visual
Sí por bloques Sí
Sí
No Sí
NoSí
NoNo
NoNo
No No
Sí
Laberinto
Sí
Visual
No por flechas Sí
Sí
Sí No
NoSí
SíNo
NoNo
No No
Sí
Laberinto
Sí
Visual
No por bloques Sí
Sí
Sí No
NoSí
SíNo
NoNo
No No
Sí
Laberinto
Sí
Visual
Sí por flechas Sí
Sí
Sí
Sí
NoSí
SíNo
NoNo
No No
Sí
Laberinto
Sí
Visual
No por bloques Sí
Sí
Sí No
NoSí
SíNo
NoNo
No No
Sí
Laberinto
Sí
Visual
No por bloques Sí
Sí
No No
Sí Sí
NoNo
No Sí
No No
Sí
Laberinto
Sí
Visual
No por bloques Sí
Sí
No No
Sí Sí
NoNo
No Sí
No No
Sí
Laberinto
Sí
Visual
No por bloques Sí
Sí
No No
Sí Sí
NoNo
No Sí
No No
Sí
Laberinto
Sí
Visual
No por bloques Sí
Sí
No No
Sí Sí
NoNo
No Sí
No No
Sí
Laberinto
Sí
Visual
Sí por bloques No Sí
No Sí
NoNo
NoSí
NoNo
No
Sí
Sí
TCT – Validez Criterial (Predictiva o Concurrente)
Un instrumento presenta validez criterial si sus puntuaciones
correlacionan con un criterio externo relevante (p.e., otro
instrumento previamente validado que se supone que mide lo mismo)
Si las dos medidas se toman en el mismo periodo temporal se habla de
validez concurrente del instrumento con respecto al criterio
Si la medida del criterio se toma con posterioridad a nuestro
instrumento, hablamos de validez predictiva del instrumento con
respecto al criterio.
Validez criterial del test  rpuntuación total en el test * criterio
Índice de validez del ítem  r puntuación en el ítem * criterio
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Validez Criterial (Predictiva o Concurrente)
Ejemplo 12: ¿Validez del Test? ¿Índice de Validez del Ítem 1?
Examen Septiembre 2016
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Validez Criterial (Predictiva o Concurrente)
Ejemplo 12: ¿Validez del Test? ¿Índice de Validez del Ítem 1?
Examen Septiembre 2016
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Validez Criterial (Predictiva o Concurrente)
Ejemplo 12: ¿Validez del Test? ¿Índice de Validez del Ítem 1?
Examen Septiembre 2016
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Validez de Constructo
La validez de constructo permite ir a la raíz
del problema: “eso que medimos, ¿qué es?”
La cuantificación de esta validez requiere una
acumulación progresiva de información que irá
dando más consistencia a la construcción
inicial, o por el contrario irá desechando el
planteamiento presentado
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Dimensionalidad
La dimensionalidad hace referencia
a si lo que mide el test se concreta
en una o más dimensiones. Es decir,
si lo medido es unidimensional o
multidimensional
Ej.: En la imagen vemos el análisis
factorial de los resultados de un
cuestionario de empleabilidad. El
análisis factorial revela una
estructura bidimensional.
Tema 2 – Características técnicas de los instrumentos de medida
TCT – Validez y longitud de una prueba
Ejemplo 13:Tenemos un test de 30 ítems, que tiene una fiabilidad rxx = 0,80
y una validez de criterio rxy = 0,50. Si extendemos el test hasta una longitud
de 50 ítems, ¿cuál será la nueva validez de criterio?
Descargar