MEDICIÓN DEL DESARROLLO DE CAPACIDADES Róger Saavedra Salas 2008

MEDICIÓN DEL DESARROLLO DE
CAPACIDADES
Róger Saavedra Salas
2008
EVALUACIÓN DE LOS
APRENDIZAJES
Proceso pedagógico, mediante el cual se
observa, recoge y analiza información
relevante, con la finalidad de reflexionar,
emitir juicios de valor y tomar decisiones
oportunas y pertinentes para mejorar los
procesos
de
aprendizaje
de
los
estudiantes.
EVALUACIÓN DEL DESARROLLO
DE CAPACIDADES
Proceso pedagógico, mediante el cual se
observa, recoge y analiza información
relevante, con la finalidad de reflexionar,
emitir juicios de valor y tomar decisiones
oportunas y pertinentes para el desarrollo
de las capacidades de los estudiantes.
MEDICIÓN DEL DESARROLLO DE
CAPACIDADES
Proceso pedagógico, mediante el cual se
recoge y analiza información relevante
asignando números o símbolos a las
capacidades desarrolladas de acuerdo a
criterios, con la finalidad de reflexionar,
emitir juicios de valor y tomar decisiones
oportunas y pertinentes para el desarrollo
de las capacidades de los estudiantes.
Evaluación y Medición del
Desarrollo de Capacidades
EVALUACIÓN
MEDICIÓN
MEDICIÓN
EVALUACIÓN
Es asignar un número a los
niveles de desarrollo de las
capacidades de acuerdo a
criterios.
Compara datos con unos
resultados previstos y
requiere de procesos de
seguimiento.
Equivale a un proceder
estático.
Equivale a un proceder
dinámico.
Está subsumida en la
evaluación.
Subsume a la medición,
teniendo más extensión.
Constituye sólo un medio
para valorar.
La evaluación es la misma
valoración.
La medición no implica
evaluación.
Evaluar implica; entre otras
cosas, medir.
Es en un solo momento.
Entre otras cosas, mide en
uno o varios momentos.
CAPACIDAD
Las capacidades son potencialidades
inherentes a la persona y que éstas
pueden desarrollarse a lo largo de toda
su vida. Ellas se cimentan en la
interrelación de los procesos cognitivos,
socioafectivos y motores.
MODELO DE MEDICIÓN
Método para convertir las observaciones en la
ejecución de pruebas en mediciones de la
capacidad.
Medida
Capacidad
Construir un prueba que defina una línea.
 Convertir el resultado de un estudiante en la prueba
en una ubicación en esa línea.

ELABORACIÓN DE PRUEBAS PARA LA
MEDICIÓN DEL DESARROLLO DE
CAPACIDADES
Tener idea clara de la variable que
queremos medir.
Se debe construir ítems que sean
realizaciones claras de esta idea.
Se debe tener evidencia que la variable
se realiza a través de los ítems de la
prueba.
El patrón de respuestas debe ser
consistente con nuestras intenciones.
CONSTRUCCIÓN DE ÍTEMS QUE DEFINEN LA
VARIABLE
Medición del estudiante
β
Baja
Alta
Capacidad
Capacidad
δ1
δ2
δ3
Puntaje
Esperado
3
Ítem
δ4
Ítem
Más difícil
Más fácil
Calibración de los ítems
VALIDANDO LOS PATRONES DE RESPUESTA
Patrón A:
Baja
Medición estimada del estudiante
β
1
1
1
1
1
1
0
0
Puntaje=6
0
0
Capacidad
Capacidad
δ1
δ2
δ3
Ítems fáciles
Baja
δ4
δ5
δ6
δ7
δ8
Calibración de ítems
δ9
δ10
Ítems difíciles
Medición estimada del estudiante
¿Aquí?
Patrón B:
Alta
¿Aquí?
0
0
0
0
1
¿Aquí?
1
1
1
1
Puntaje=6
1
Capacidad
Alta
Capacidad
δ1
Ítems fáciles
δ2
δ3
δ4
δ5
δ6
δ7
Calibración de ítems
δ8
δ9
δ10
Ítems difíciles
1=Respuesta correcta
0=Respuesta incorrecta
δ= Ítems de la Prueba
Puntaje= Suma de respuestas
Correctas.
ÍTEM DE PREDICCIÓN
1. En el punto de ebullición del agua, la presión atmosférica es
igual a la presión de vapor: Patm.=Pvap.
La
presión
atmosférica
(Patm.)
está
determinada por el número de colisiones de las
moléculas de aire de la atmósfera a la superficie de
la tierra (superficie del agua en el vaso) por unidad
de área.
La presión de vapor del agua (Pvap.) está
determinada por el número de colisiones de las
moléculas del vapor de agua cuando sale del
recipiente, por unidad de área.
El calentamiento aumenta el número de colisiones
de las moléculas
El agua hierve en Lima a 100ºC y en Huancayo a 90ºC porque:
A) La presión de vapor en Lima es igual a la presión de vapor en Huancayo.
B) La presión atmosférica en Lima es mayor que la presión atmosférica en Huancayo.
C) La presión atmosférica en Lima es menor que la presión atmosférica en Huancayo.
D) La temperatura en Lima es mayor que la temperatura en Huancayo.
CLASIFICACIÓN DE FORMATOS
POR:
Tipo de respuesta
PRUEBA DE:
Respuesta Alternativa
Respuesta libre
Velocidad
Calificación
Presencia o Ausencia
de Intervención
4° FORMATO
Presentación y forma
de respuesta
Forma
de Aplicación
Claridad de estímulos
y tareas
Poder
Ejecución máxima
Ejecución típica
Lápiz y papel
Ejecución
Aplicación colectiva
Aplicación individual
Estructuradas
Proyectivas
DEFINICIÓN DE LA VARIABLE A SER EVALUADA
Variable: Capacidad Evaluada
Comprensión Lectora: Capacidad que se manifiesta
mediante la activación de procesos cognitivos para la
comprensión de textos escritos en los niveles literal,
inferencial y reflexivo1.
La medida
Comprensión Lectora
1. El nivel reflexivo de la capacidad no será evaluada por el formato del
instrumento
NIVELES DE COMPRENSIÓN LECTORA
Nivel Literal.- El lector obtiene información que
se encuentra de manera literal en el texto.
Nivel Inferencial.- El lector obtiene información
más allá de la superficie del texto y llena los “vacíos”
de significado.
Nivel Reflexivo.- El lector examina las ideas
propuestas en el texto o los recursos utilizados por el
autor para transmitir para transmitir ese significado, y
juzgar sin son adecuados o no.
CAPACIDADES Y NIVEL LITERAL DE
COMPRENSIÓN LECTORA
Identifica datos y hechos específicos
expresados en una, dos o más
proposiciones: el estudiante identifica
datos, hechos relevantes en diversos tipos de
textos.
Identifica ideas específicas en diversos
tipos de textos: el estudiante localiza
ideas específicas expresadas en una, dos o
más proposiciones en diversos tipos de
textos.
CAPACIDADES Y NIVEL INFERENCIAL DE
COMPRENSIÓN LECTORA
Reconoce relaciones semánticas implícitas
entre dos o más proposiciones .
Identifica referentes de distinto tipo.
Reconoce el significado de palabras o
expresiones a partir de lo leído.
Reconoce el tema central y las ideas
principales del texto.
Deduce el propósito del texto.
Deduce el receptor implícito del texto.
CAPACIDADES Y NIVEL REFLEXIVO DE
COMPRENSIÓN LECTORA
Evalúa el contenido del texto: el estudiante interpreta
afirmaciones del texto y evalúa su contenido. Los estudiantes
contrapesan su comprensión del texto con su conocimiento
del mundo con la finalidad de rechazar, aceptar o permanecer
neutrales frente a las ideas que se plantean en el texto.
Identifica y evalúa recursos formales: El estudiante
reflexiona y evalúa los recursos formales que usa el autor
para transmitir el significado de su texto y para tratar de
influir en el receptor (tales como el estilo y el uso de signos
gráficos) .
MATRIZ PARA LA ELABORACIÓN DE LA PRUEBA
CAPACIDADES
1. Obtiene información
explícita.
INDICADORES
ITEMS POR
INDICADOR
1.1. Identifica ideas específicas expresadas en una, dos o más
proposiciones.
12
2.1. Reconoce relaciones semánticas implícitas entre dos o más
proposiciones.
7
2.2. Identifica referentes de distinto tipo.
3
2.3.Reconoce el significado de palabras o expresiones a partir de
lo leído.
4
2.4. Reconoce el tema central y las ideas principales del texto.
3
2.5. Deduce el propósito del texto
5
2.6. Deduce el receptor implícito del texto
1
3.1. Evalúa el contenido del texto
0
3.2. Identifica y evalúa recursos formales
1
2. Hace inferencias
3. Reflexiona y evalúa.
MODELO DE EVALUACIÓN
Texto 1: Lee y observa el siguiente texto con mucha atención.
La peregrinación comienza con la visita a la mezquita del profeta Mahoma, en la ciudad
de Medina, donde se encuentra su tumba. Desde ahí, los devotos se dirigen a la Mina
y luego hacia la efímera ciudad de Arafat, situada a 20 kilómetros de la Meca. Sus dos
millones y medio de habitantes -todos fieles peregrinos- solo viven en ella un día y la
abandonan antes de que llegue la noche. Tras la puesta del Sol, la multitud regresa a
la Mina, donde se preparan para la fiesta del Sacrificio.
NIVEL LITERAL DE COMPRENSIÓN
LECTORA
Capacidad: Obtiene información explícita del
texto.
Indicador: Identifica ideas específicas en una
o más proposiciones:
Ítem:
¿Dónde se realizan los rituales de la Kaaba y
del Sai?
a) En la ciudad de la Mina.
b) En la ciudad de Arafat.
c) En la ciudad de la Meca.
d) En la ciudad de Medina.
NIVEL INFERENCIAL DE COMPRENSIÓN
LECTORA
Capacidad:Hace inferencias.
Indicador: Deduce el significado de palabras o
expresiones a partir de lo leido.
Ítem:
¿Qué significa la expresión “la efímera ciudad de arafat” del
texto?
a) Que sus dos millones y medio de habitantes son
todos fieles peregrinos.
b) Que sus dos millones y medio de habitantes viven en
ella solo un día.
c) Que es una ciudad situada sólo a 20 kilómetros de la
ciudad de la Meca.
d) Que es una ciudad muy pobrey sus habitantes no
permanecen en ella.
METODOLOGÍAS DE MEDICIÓN
TEORÍA CLÁSICA DE LOS TEST
Considera sólo las puntuaciones
obtenidas por los estudiantes
evaluados en cada ítem y en
toda la prueba.
Las
puntuaciones
de
los
estudiantes obtenidas en la
prueba y la capacidad evaluada
se relacionan en forma lineal.
Los parámetros obtenidos para
describir los ítems dependen de
la muestra de estudiantes para
los cuales fueron calculados.
TEORÍA DE RESPUESTA AL ÍTEM
La ejecución de un estudiante en
una prueba puede predecirse,
explicarse por un conjunto de
factores llamados habilidades.
La relación entre la ejecución del
estudiante y las habilidades que la
sustentan
por
una
función
monotónicamente creciente llamada
“curva característica del ítem” (CCI).
Unidimensionalidad: Se asume
que cuando se diseña una prueba,
esta deberá medir, preferiblemente,
una dimensión, una habilidad.
Independencia
local:
Un
estudiante responde a un ítem en
particular
sin
recurrir
a
la
información de otros ítmes para
hacerlo correctamente.
RELACIÓN ENTRE LAS PUNTUACIONES DE LOS
ESTUDIANTES Y LA CAPACIDAD
TEORIA CLASICA DE LOS TEST
PUNTUACIONES DIRECTAS
25
20
15
10
5
0
0
5
10
15
RESGO LATENTE
20
25
1. DIFICULTAD DEL ÍTEM
La dificultad del ítem ( P ) se define como la probabilidad de
acierto o la probabilidad de
que el estudiante responda
correctamente el ìtem.
P=
Donde:
a
n
0≤P ≤1
a - número de aciertos al ítem
n – número de estudiantes que respondieron al ítem
P – índice de dificultad del ítem.
DEPENDENCIA DE LOS PUNTAJES DEL NIVEL Y DISTRIBUCIÓN DE DIFICULTAES DE LOS ÍTEMS
Estudiante
β
Prueba
muy fácil
δ1
δ8
Prueba
muy
difícil
β
Puntaje
Esperado
0
Estudiante
Prueba
difícil
estrecho
δ1
δ8
β
δ1
Puntaje
Esperado
1
Estudiante
Prueba
fácil
estrecho
Prueba
fácil
amplio
Puntaje
Esperado
8
Estudiante
δ8
β
δ1
δ8
Puntaje
Esperado
7
Estudiante
β
δ1
δ2
δ3
δ4
Puntaje
Esperado
5
δ7
δ8
2. ÍNDICE DEDISCRIMINACIÓN DEL ÍTEM
Si la prueba y un ítem miden la misma habilidad o capacidad,
podemos esperar que, quien tuvo una puntuación alta en todo el
test, deberá tener altas probabilidades de contestar
correctamente el ítem.
Di =
GAaciertos :
GAaciertos -
GBaciertos
Ngrupomayor
Número de aciertos al ítem “i” del 27 % de estudiantes
con las puntuaciones más altas de la prueba.
GBaciertos : Número de aciertos al ítem “i” del 27 % de estudiantes
con las puntuaciones más bajas de la prueba.
Ngrupomayor : Número de estudiantes en el grupo más numeroso.
CRITERIOS DE SELECCIÓN DE ÍTEMS
Di
Criterios de selección de Ítems por
Discriminación
Calidad
Recomendaciones
Di
Mayor a 0.39
Excelente
Conservar
De 0.30 a 0.39
Buena
Posibilidades de mejorar
De 0.20 a 0.29
Regular
Necesidad de revisar
De 0 a 0.20
Pobre
Descartar o necesidad de revisar
Menor a -0.01
Pésima
Descartar definitivamente
3. COEFICIENTE DE DISCRIMINACIÓN
El coeficiente de discriminación se define a través de la
correlación biseral puntual (ρ). La correlación biseral puntual es
el grado de asociación entre la puntuación dei ítem y la
puntuación total de la prueba. Se calcula por la fórmula:
 p  x p

x
q
 p  Media de los que acier tan el ítem
 x  Media de la prueba
 x  Desviación estándar de prueba
p  Pr oporción de aciertos
q  Pr oporción de fallos
Si la correlación biseral puntual (ρ) es mayor que 0.2, concluimos
que la prueba discrimina adecuadamente.
3. CONFIABILIDAD DE LA PRUEBA
La confiabilidad de la prueba se determina a través del alfa de
Crombach( ). Con este indicador se determina qué tan confiables
son las puntuaciones obtenidas por los estudiantes. Se calcula
por la fórmula:
k

 i2


 k 
 
1  i 1 2
x
 k 1


donde :
k  número de ítems






 i2  var ianza del ítem i
 x2  var ianza de los puntajes totales
Para que las puntuaciones obtenidas por los estudianes sean
confiables desde la perspectiva de la TCT, lo recomendable es que
el (  ) de Crombach sea duperior a 0.6 y que se aproxime a 1.
LA NO LINEARIDAD DE LOS PUNTAJES
βA
Prueba
I
Prueba
II
Puntaje δ1δ2 δ3δ4δ5δ6δ7δ8 Puntaje
Esperado
Esperado
0
8
βA
δ1δ2 δ3δ4δ5δ6δ7δ8
Prueba
V
Puntaje
Esperado
8
Puntaje
Esperado
8
Puntaje
Esperado
0
βA
δ4
Puntaje
Esperado
4
Puntaje
Esperado
4
Diferencia de puntajes:
8-8=0
δ1 δ2 δ3 δ4 δ5 δ6 δ7 δ8
Diferencia de puntajes:
0-0=0
βB
Puntaje
Esperado
4
βA
δ1 δ2 δ3
8-0=8
βB
Puntaje
Esperado
0
δ1 δ2 δ3 δ4
Diferencia de puntajes:
βB
βA
Prueba
III
Prueba
IV
βB
δ5 δ6
Diferencia de puntajes:
4-4=0
βB
δ5
δ6
Puntaje
Esperado
6
δ7 δ8
δ7 δ8
Diferencia de puntajes:
6-4=2
NIVELES DE DESEMPEÑO
Nivel suficiente: Los estudiantes ubicados
en este nivel demuestran el desarrollo
adecuado de las capacidades evaluadas para
el grado. No son estudiantes destacados los
que predominan en este nivel, sino los
estudiantes que han alcanzado lo establecido
para el grado.
Nivel básico: Los estudiantes agrupados en
este nivel demuestran un desarrollo incipiente
o elemental de las capacidades esperadas para
el grado. Esto quiere decir que han
desarrollado parcialmente la capacidad.
Nivel previo: Los estudiantes de este nivel
demuestran el desarrollo de las capacidades
esperadas para grados anteriores.Esto quiere
decir, que a pesar de que se encuentran en el
grado indicado, solo tienen las capacidades
que ya han trabajado en grados anteriores.
SUFICIENTE
BÁSICO
PREVIO
NIVEL BÁSICO EN LA PRUEBA DE
COMPRENSIÓN LECTORA
Obtienen información que se encuentra en partes evidentes del texto.
Además, el texto no presenta contenidos en disputa que desvíen la
atención del estudiante en la identificación y selección de la
información.
Interpretan el significado de palabras o símbolos a partir del contexto
de la lectura y de su conocimiento del mundo.Estos símbolos o
palabras que son utilizados varias veces a lo largo del texto y/o son
fundamentales para la comprensión del párrafo en el que aparecen o
en todo el texto.
Identifican el tema general del texto entre varias alternativas y/o
eligen un título que engloba el contenido general del texto.
Deducen a quien se dirige el texto aun cuando el receptor se
encuentra implícito.
NIVEL INTERMEDIO EN LA PRUEBA DE
COMPRENSIÓN LECTORA
Obtienen información explícita que se encuentra en partes no tan evidentes del texto y
cuya recuperación requiere – en muchos casos- más de un solo paso, es decir, ubican
el dato solicitado de manera indirecta. Además, el texto presenta una mayor extensión
y cantidad de contenidos en disputa con la alternativa correcta lo que dificulta la tarea.
Interpretan el mensaje implícito del texto, para lo que deben inferir las ideas que no
son manifiestas en la superficie del escrito.
Interpretan el significado de palabras del texto poco conocidas en su entorno escolar a
partir del contexto de la lectura, lo que involucra comprender el texto en su conjunto
y/o tener una mayor experiencia lectora.
Deducen el propósito de textos comunes en la vida cotidiana de los estudiantes y que
presentan contenidos que le son familiares, como afiches o recibos. El estudiante
necesita tomar cierta distancia del texto para evaluarlo de manera global y poder
calcular, con qué intención fue producido, lo que implica cierto nivel de abstracción.
Interpretan las acciones de los personajes y el final de los textos narrativos literarios lo
que implica hacer inferencias- a partir de los hechos del texto y con ayuda de sus
conocimientos sobre el mundo- para llenar los vacíos de significado.
NIVEL SUFICIENTE EN LA PRUEBA DE
COMPRENSIÓN LECTORA
Obtienen información explícita que se encuentra en partes
incrustadas del texto y cuya recuperación requiere varios pasos, es
decir, ubican el dato solicitado de manera indirecta. Además, el
texto presenta muchos contenidos en disputa con la alternativa
correcta lo que dificulta la tarea.
Deducen el propósito con el cual el autor escribió el texto. En este
sentido los estudiantes deben calibrar la intención del emisor del
mensaje, deben ser capaces de descentrarse y – desde el punto
de vista del autor- comprender para qué fue escrito el texto,
determinar qué quería lograr en el receptor del mensaje.
Hacen inferencias en las que se deben interpretar metáforas y
diferenciar el discurso del narrador omnisciente del cuento de los
hechos narrados por éste, lo que implica un mayor nivel de
abstracción.
RESULTADOS POR NIVELES DE DESEMPEÑO
TEORÍA DE RESPUESTA AL ÍTEM
La ejecución de un estudiante en una prueba puede
predecirse, explicarse por un conjunto de factores
llamados habilidades.
La relación entre la ejecución del estudiante y las
habilidades que la sustentan por una función
monotónicamente
creciente
llamada
“curva
característica del ítem” (CCI).
Unidimensionalidad: Se asume que cuando se diseña
una prueba, esta deberá medir, preferiblemente, una
dimensión, una habilidad.
Independencia local: Un estudiante responde a un
ítem en particular sin recurrir a la información de otros
ítmes para hacerlo correctamente.
CONDICIONES ESENCIALES QUE CAUSAN UNA RESPUESTA
Dificultad de
Ítem
δt
Capacidad
del
estudiante
Respuesta
observada
βν
χνt
Cuando la respuesta es “correcta”,
X=1
Cuando la respuesta es “incorrecta”,
X=0
EFECTOS DE LAS DIFERENCIAS ENTRE LA CAPACIDAD DEL ESTUDIANTE Y LA
DIFICULTAD DEL ÌTEM EN LA PROBABILIDAD DE UNA RESPUESTA CORRECTA
βν
1. Cuando
βν > δt
(βν-δt)>0
y P{Xvt=1} >1/2
δt
2. Cuando
βν
βν < δt
(βν-δt) < 0
δt
3. Cuando
y P{Xvt=1}
< 1/2
βν
βν = δt
(βν-δt)=0
δt
y P{Xvt=1}
= 1/2
CURVA DE RESPUESTA AL ÍTEM
Posición relativa
de
βν y δt sobre la
variable.
1.0
P
P{Xvt=1} >1/2
0.5
P{Xvt=1}< 1/2
0.0
(βν-δt)
0
βν < δt
βν = δt
P{Xvt=1| βν,δt}
βν > δt
Posición relativa de
βν y δt sobre la variable.
= ƒ(βν-δt)
MODELO RASCH PARA CALIBRAR Y MEDIR
P{Xvt
Xvt(βν-δt)
e
| β ,δ } =
(βν-δt)
1+ e
ν
(1)
t
La respuesta Xvt=1 toma únicamente dos valores,
Xvt=0 cuando la respuesta es incorrecta y
Xvt=1 cuando la respuesta es correcta.
Sustituyendo los valores anteriores en la ecuación (1) se obtienen las ecuaciones:
e
(βν-δt)
P{Xvt=1| βν,δt}=
1+
e
(βν-δt)
Para una respuesta correcta
(2) P{Xvt=0|βν,δt}=
1
1+
e(βν-δt)
Para una respuesta incorrecta
(3)
RELACIÓN ENTRE LAS PROBABILIDADES DE
RESPUESTA Y LA CAPACIDAD
1.00
0.90
CURVA CARACTERISTICA
DEL ITEM (CCI)
Probabilidad de responder correctamente al item
0.80
0.70
0.60
0.50
0.40
0.30
0.20
0.10
0.00
-5
-4
-3
-2
-1
0
1
Habilidad de la persona / Dificultad del item
2
3
4
5