Segunda práctica 2019-20 UNIVERSIDAD AUTÓNOMA DE MADRID FACULTAD DE PSICOLOGÍA CURSO 2019/20 Grupos 310, 320, 330, 360 y 370 PRÁCTICA Nº 2: ANÁLISIS PSICOMÉTRICO DE DOS ESCALAS DE RENDIMIENTO TÍPICO 1 Segunda práctica 2019-20 2 ÍNDICE 1. OBJETIVOS 3 2. PROCEDIMIENTO 3 2.1 COMPOSICIÓN DEL GRUPO DE PRÁCTICAS 3 2.2 ASIGNACIÓN DE ESCALAS DE PERSONALIDAD 3 2.3 CREACIÓN DEL FICHERO DE DATOS 4 2.4 ESTUDIO PSICOMÉTRICO DE LAS ESCALAS 10 2.4.1 ANÁLISIS CLÁSICO DE LOS ÍTEMS Y DE LA FIABILIDAD DE LAS PUNTUACIONES EN LAS ESCALAS INICIALES 11 2.4.2 ESTUDIO FACTORIAL 16 2.4.3 ESTUDIO DE LAS PROPIEDADES PSICOMÉTRICAS DE LAS ESCALAS DEFINITIVAS 23 2.4.4 BAREMOS 25 2.5 ELABORACIÓN DEL INFORME 28 3. EVALUACIÓN 30 4. HOJA DE VALORACIÓN 31 Segunda práctica 2019-20 3 1. OBJETIVOS Con la realización de esta práctica se pretende que el alumno aplique los contenidos de la Teoría Clásica de los Tests, realizando todos los pasos que requiere el análisis un test de rendimiento típico: selección de ítems, cálculo de la fiabilidad, estudios de validez, y baremación. El análisis de datos se llevará a cabo con el programa SPSS en el aula de informática de la Facultad. Una vez concluido el análisis de datos, cada grupo de prácticas deberá confeccionar un informe que detalle el procedimiento seguido para el análisis de las escalas asignadas. Se dedicarán varias clases a la orientación y supervisión del proceso anterior, desde el análisis de datos hasta la elaboración del informe. 2. PROCEDIMIENTO 2.1 COMPOSICIÓN DEL GRUPO DE PRÁCTICAS Cada grupo de prácticas estará integrado por un mínimo de 3 personas y un máximo de 5 personas. 2.2 ASIGNACIÓN DE ESCALAS DE PERSONALIDAD El profesor asignará a cada grupo dos escalas de 8 ítems, proporcionándole la base de datos. El grupo deberá analizar ambas escalas. De los 8 ítems de la primera escala, cada grupo deberá descartar el primero y analizará los restantes 7 ítems de los 8 asignados. En relación a la segunda escala, cada grupo deberá descartar el último ítem y analizará los 7 ítems restantes de los 8 asignados. Es decir, cada grupo de prácticas recibirá una base de datos con 16 ítems y deberá no considerar las puntuaciones del primero y del último de ellos. Por tanto, los ítems 2, …, 8 serán los 7 ítems de la primera escala, y los 7 siguientes (9, 10 … 15) serán los 7 ítems de la segunda escala. A continuación, se muestra un ejemplo de análisis de dos escalas de 10 ítems, una para medir Ansiedad (ítems del 1 al 10) y otra para medir Hostilidad (ítems del 11 al 20). Segunda práctica 2019-20 4 2.3 CREACIÓN DEL FICHERO DE DATOS Estructura del fichero de datos (.CSV) En todos los casos, el fichero tendrá un formato .CSV (comma-separated values) que se puede abrir con EXCEL e importar desde SPSS. En nuestro ejemplo: Las personas son las filas y los ítems las columnas o variables, de tal manera que cada fila recoge las respuestas de una persona a todos los ítems. Por tanto, el fichero tiene tantas filas como personas hayan respondido. La columna relativa a cada ítem debe reflejar las respuestas de todas las personas a ese ítem. En el fichero de ejemplo hay 20 variables (p1 a p20). Las variables de p1 a p10 contienen las respuestas a los ítems de la primera escala y las variables de p11 a p20 contienen las respuestas a los ítems de la segunda. p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 p11 p12 p13 p14 p15 p16 p17 p18 p19 p20 4 2 2 4 3 4 3 3 5 5 3 4 3 2 4 3 3 3 2 1 2 2 1 3 3 2 3 3 3 4 4 3 4 3 2 1 2 1 3 3 4 2 1 3 4 3 2 4 1 3 4 4 5 1 2 1 2 2 5 1 El ejemplo muestra las respuestas dadas por las tres primeras personas que respondieron los 20 ítems, que tienen un formato de respuesta de 5 categorías ordenadas (1: Muy en desacuerdo; 5: Muy de acuerdo). Las respuestas en blanco o incorrectas (dobles respuestas, por ejemplo) se codifican con “-1”. Segunda práctica 2019-20 5 Lectura del fichero .CSV desde SPSS Para importar el fichero .CSV desde SPSS, elija Archivo->Abrir->Datos y seleccione formato Texto (*.txt,*.dat,*.csv,*.tab) en Archivos de tipo. Para que el proceso se lleve a cabo satisfactoriamente es importante no tener el fichero .CSV abierto en otro programa. Una vez seleccionado el fichero de datos, marque las opciones marcadas en las siguientes ventanas en los pasos del 1 al 6: En el paso 1, no tiene que modificar nada, pulse Siguiente: En el paso 2, maque Sí para la pregunta ¿Están incluidos los nombres de las variables en la parte superior del archivo? y pulse Siguiente: Segunda práctica 2019-20 En el paso 3, no tiene que modificar nada (compruebe que el primer caso lo leerá de la línea 2), pulse Siguiente: En el paso 4, no tiene que modificar nada (compruebe que está marcada la Coma, como separador entre variables), pulse Siguiente: 6 Segunda práctica 2019-20 En el paso 5, no tiene que modificar nada (puede elegir el Formato de datos de cada variable, que en nuestro caso debería ser Numérico para todas las variables), pulse Siguiente: En el paso 6, no tiene que modificar nada, pulse Finalizar: 7 Segunda práctica 2019-20 8 Recodificación de los ítems y definición de los valores perdidos Lo primero a tener en cuenta es el procedimiento de cuantificación de las respuestas, siguiendo las pautas indicadas en clase: a) Los ítems tienen un formato de respuesta de 5 categorías ordenadas. Deberemos decidir si la cuantificación de un ítem va de 1 a 5 o de 5 a 1 dependiendo, como hemos visto en clase, de si el ítem mide de manera directa o inversa el rasgo que interesa. Por tanto, en primer lugar, debe recodificar los ítems inversos. Para recodificar los ítems inversos recuerde que debe utilizar el menú Transformar->Recodificar en distintas variables. Una vez en esa ventana, seleccione los ítems inversos a recodificar y establezca la recodificación correspondiente (tal como se muestra en las siguientes dos ventanas). En nuestro caso, son ítems inversos los ítems 5, 8, 11, 13 y 19. Por tanto, creamos cinco nuevas variables (r5, r8, r11, r13 y r19) que contienen las respuestas recodificadas. Las variables se pueden meter una a una, o en bloque. En este caso, se han arrastrado a la ventana Variable numérica -> Variable de resultado las variables p5, p8, p11, p13 y p19. Para poner nombre a cada variable recodificada correspondiente seleccione la variable (p.ej., p19) y en Variable de resultado ponga el nombre de la nueva variable recodificada (p.ej., r19) y pulse Cambiar. Segunda práctica 2019-20 9 Pinchando en Valores antiguos y nuevos: Por ejemplo, para que aparezca la recodificación 1->5, ponga 1 en Valor del panel Valor antiguo y 5 en Valor del panel Valor nuevo, y pulse añadir. Cuando haya introducido todas las recodificaciones (1->5; 2->4; 3->3; 4->2; 5->1), pulse Continuar. b) En los datos que se le van a proporcionar no hay valores perdidos. Si los hubiera habido, habría que indicárselos al programa, pulsando en la pestaña ‘Vista de variables’ y en ‘Perdidos’: En este caso, el código “-1” se utilizaría para indicar que una persona no responde a un ítem o marca dos alternativas. Cuando haya creado el archivo PRAC2.SAV completo, grábelo en su memoria USB. Segunda práctica 2019-20 10 2.4 ESTUDIO PSICOMÉTRICO DE LAS ESCALAS El estudio de las cualidades psicométricas de las escalas requiere varias fases: 1) Análisis clásico de ítems y de las propiedades psicométricas del test inicial. Este análisis se realiza para cada una de las dos escalas por separado. En cada escala, vamos a obtener de cada ítem los siguientes datos: a. Media y varianza. b. La correlación ítem-resto del test, rcjX. Para cada escala, se obtendrá: a. Su coeficiente de fiabilidad, por la técnica de dos mitades. b. Su coeficiente de Cronbach. A partir de estos resultados, obtendremos información que nos permitirá depurar cada una de las dos escalas iniciales, eliminando los ítems que no resulten apropiados. La selección se hará atendiendo principalmente a los índices rcjX. Eliminaremos los ítems con valores de rcjX próximos a cero. También puede eliminarse algún ítem que tenga una varianza muy pequeña o aquellos ítems que, al eliminarlos, permitan mejorar la consistencia interna del test. 2) Un análisis factorial para conocer la validez factorial (en este caso, analizando las dos escalas conjuntamente). A partir de los resultados del análisis factorial puede decidirse la eliminación de ítems que no pesan en el factor teórico (factor en el que debieran pesar, según la teoría psicológica). 3) Finalmente se estudiarán las garantías que ofrece cada una de las dos escalas, tras la depuración de ítems. Obteniendo: a. Las correlaciones ítem-resto del test de los ítems en las escalas definitivas. b. Los indicadores de fiabilidad de las puntuaciones en las escalas definitivas. c. Un baremo en centiles de una de las escalas (la que tenga más ítems). Segunda práctica 2019-20 11 2.4.1 Análisis clásico de los ítems y de la fiabilidad de las puntuaciones en las escalas iniciales *Obtención de medias, varianzas y correlaciones ítem-resto del test En este apartado se ilustran los análisis para la escala 2 (Hostilidad). En nuestro ejemplo, la escala 2 está formada por los ítems del 11 hasta 20. Para llevar a cabo el análisis INICIAL de los 10 ítems en el SPSS se selecciona el menú Analizar -> Escalas -> Análisis de fiabilidad. Seleccionamos los diez ítems y quedará la siguiente ventana como muestra la figura: Para el análisis de ítems se pulsa el botón Estadísticos y aparece el siguiente cuadro de diálogo. Se marcan las opciones señaladas: Si se ejecutan las selecciones que aparecen señaladas en el cuadro de diálogo de la figura Segunda práctica 2019-20 12 anterior, el SPSS proporciona una salida de resultados que contiene toda la información necesaria para realizar el análisis de los ítems y determinar los que constituyen el test definitivo. Los resultados correspondientes a los datos del ejemplo se muestran en las tablas siguientes. Como puede verse en la Tabla 1, en primer lugar, se obtiene una serie de estadísticos descriptivos para cada ítem: la media, la desviación típica y el número de personas que han respondido al ítem. Las medias de nuestro ejemplo están comprendidas entre 1.97 del ítem 20 y 3.43 del ítem 12. El ítem 14 tiene la mayor desviación típica, 1.26. En este caso, el valor máximo teórico de la desviación típica sería 2, que puede calcularse como la raíz de 0.5*(1-3)2+0.5*(5-3)2 que correspondería a un ítem en el que la muestra se reparte entre las dos categorías más extremas (1 y 5). Tabla 1. Estadísticos descriptivos para los 10 ítems del test inicial. Estadísticas de elemento Desviación Media estándar N r11 2.81 1.11 200 p12 3.43 1.02 200 r13 2.95 1.14 200 p14 2.88 1.26 200 p15 2.98 1.12 200 p16 2.46 1.01 200 p17 2.36 1.09 200 p18 2.84 1.11 200 r19 2.84 1.08 200 p20 1.97 1.19 200 La relación entre cada ítem y el test se muestra en la Tabla 2. La primera columna contiene la puntuación media en test si eliminamos el ítem. Por ejemplo, si eliminamos el ítem 11 la media del test seria 24.69. La siguiente columna es la varianza del test si eliminamos el ítem. Por ejemplo, si eliminamos el ítem 15 la varianza del test sería 37.60. La columna tercera contiene la correlación ítem-resto del test. Por ejemplo, la correlación ítem-resto del test para el ítem 11es 0.305, lo que nos indica que hay relación entre este ítem y los restantes. La cuarta columna contiene la correlación múltiple al cuadrado; es decir, el grado en que se puede predecir la puntuación en el ítem a partir de las puntuaciones en los restantes ítems. Tal y como era de esperar, el ítem 11, que tiene la correlación ítem-resto del test más baja, es el que peor Segunda práctica 2019-20 13 se predice a partir del resto de los ítems. Su correlación múltiple al cuadrado es 0.120. La última columna contiene el coeficiente de Cronbach si eliminamos el ítem. Por ejemplo, eliminar el ítem 11 provocaría que el coeficiente de Cronbach pasase a ser 0.813 en el test de 9 ítems. Tabla 2. Estadísticos total – elemento. Estadísticas de total de elemento Varianza de Alfa de Media de escala escala si el Correlación total Correlación Cronbach si el si el elemento elemento se ha de elementos múltiple al elemento se ha se ha suprimido suprimido corregida cuadrado suprimido r11 24.69 40.57 .305 .120 .813 p12 24.06 40.16 .378 .159 .805 r13 24.55 35.70 .665 .503 .773 p14 24.62 37.13 .478 .341 .796 p15 24.52 37.60 .525 .397 .790 p16 25.03 38.96 .487 .291 .794 p17 25.14 36.85 .606 .433 .781 p18 24.65 38.98 .422 .207 .801 r19 24.65 37.09 .594 .471 .782 p20 25.53 38.15 .444 .295 .799 * Obtención de las propiedades psicométricas del test inicial Para obtener el coeficiente de Cronbach, se selecciona el menú de SPSS Analizar -> Escalas -> Análisis de fiabilidad y en la pestaña Modelo se selecciona Alfa. En nuestro caso, el coeficiente de Cronbach del test inicial, compuesto por 10 ítems, aparece en la Tabla 3 y alcanza un valor de 0.811, que indicaría una consistencia interna alta, especialmente si se considera el reducido número de ítems de la escala. Tabla 3. Coeficiente de Cronbach del test inicial. Estadísticas de fiabilidad Alfa de Cronbach basada en Alfa de elementos Cronbach estandarizados .811 .811 N de elementos 10 Segunda práctica 2019-20 14 También podemos informar sobre la consistencia interna del test calculando el coeficiente de fiabilidad por el método de las dos mitades. Para ello, se selecciona el menú Analizar -> Escalas -> Análisis de fiabilidad. Para dividir el test en primera mitad y segunda mitad, debe introducir los ítems en orden: Nótese que en la pestaña Modelo, se ha seleccionado Dos mitades. La salida contiene un resumen de los estadísticos que obtenemos al dividir la escala en dos partes. La parte 1 está formada por los ítems del 11 al 15 y la parte 2 por los ítems del 16 al 20. El coeficiente de fiabilidad obtenido por este procedimiento se muestra en la Tabla 4. La correlación entre las dos mitades del test vale 0.710. Aplicando la fórmula de SpearmanBrown, se obtiene que el coeficiente de fiabilidad de las puntuaciones en nuestra escala es de 0.83. Por lo tanto, el 83% de la varianza de las puntuaciones observadas es varianza de las puntuaciones verdaderas. El 17% se debe al error de medida. Es, por tanto, un test con fiabilidad alta y además de sólo 10 ítems. Tabla 4. Coeficiente de fiabilidad por el método de las dos mitades del test inicial. Estadísticas de fiabilidad Parte 1 Valor N de elementos Parte 2 Valor N de elementos N total de elementos Correlación entre formularios Coeficiente de SpearmanLongitud igual Brown Longitud desigual Coeficiente de dos mitades de Guttman a. Los elementos son: r11, p12, r13, p14, p15. b. Los elementos son: p16, p17, p18, r19, p20. Alfa de Cronbach .645 5a .698 5b 10 .710 .830 .830 .830 Segunda práctica 2019-20 15 La Tabla 5 muestra datos descriptivos de las dos mitades. Es útil para determinar, por ejemplo, si las dos formas tienen una media y varianza similar, como habría de ocurrir si son formas paralelas. Con nuestros datos, vemos que tanto las medias (15.03 y 12.47), como las desviaciones típicas (3,65 y 3,70) no parecen demasiado diferentes. A estos valores pueden aplicarse los contrastes estadísticos estudiados para determinar si la diferencia es o no significativa. Tabla 5. Estadísticos resumen de las dos mitades. Estadísticas de escala Desviación Media Varianza estándar N de elementos Parte 1 15.03 13.30 3.65 5a Parte 2 12.47 13.66 3.70 5b Ambas partes 27.49 46.09 6.79 10 a. Los elementos son: r11, p12, r13, p14, p15. b. Los elementos son: p16, p17, p18, r19, p20. * Selección de los ítems según el análisis clásico Para obtener el test definitivo deberemos eliminar los ítems que no se comporten adecuadamente. En nuestro caso, a partir de la Tabla 2, sería correcto mantener todos los ítems ya que las correlaciones ítem-resto del test tiene un valor adecuado (p.ej., son mayores que 0.2) y son estadísticamente distintas de cero, con N.C. del 95%, cuando r 1.96 (véase Pardo y n San Martín1, 1998), siendo n el tamaño de la muestra. En nuestro ejemplo, con n = 200, son significativamente distintas de cero las correlaciones mayores que 1.96/ 200 = 0.139. No obstante, alternativamente, podríamos plantear la eliminación del ítem 11 ya que es el ítem con menor valor en la correlación ítem-resto del test y se cumple que, al ser eliminado, el coeficiente alfa del test de 9 ítems resultante es igual o mayor que el del test de 10 ítems, como muestra la última columna de la Tabla 2. 1 Pardo, A. y San Martín, R. (1998). Análisis de datos en psicología II. Madrid: Pirámide. Segunda práctica 2019-20 16 2.4.2 Estudio factorial * Decidir el número de factores Para determinar la validez factorial de nuestras escalas realizaremos un análisis factorial por el método de máxima verosimilitud de los ítems de las dos escalas conjuntamente. Primero, debemos decidir cuantos factores retener. En la presente práctica le proponemos el uso de dos procedimientos: el análisis paralelo y el gráfico de sedimentación. El método paralelo es un procedimiento para determinar el número de factores. Tras aplicar la macro para SPSS de O’Connor2 (que se puede descargar de la página MOODLE de los profesores), se obtienen los resultados de la Tabla 6. Muestran que el número de factores a retener es 3, pues el autovalor empírico del factor 3 (1.574) es superior al autovalor aleatorio medio (1.409) y centil 95 (1.478), mientras que el cuarto autovalor empírico (1.225) es inferior a los correspondientes autovalores aleatorios (1.332 y 1.396). La gráfica que se muestra a continuación de la Tabla 6 muestra los autovalores empíricos de los 20 ítems (trazo azul), y la media (verde) y centil 95 (gris) de los datos aleatorios. Se aprecia que la curva azul está por encima de las otras dos solo para los primeros 3 factores. Tabla 6. Resultados del análisis paralelo. Raw Data Eigenvalues, & Mean & Percentile Random Data Eigenvalues Root Raw Data Means Prcntyle 1.000000 6.087096 1.602012 1.719352 2.000000 1.841522 1.489941 1.562626 3.000000 1.574173 1.408725 1.478537 4.000000 1.225135 1.331765 1.396538 5.000000 1.069119 1.267548 1.315374 6.000000 .900920 1.202460 1.246943 7.000000 .859360 1.149450 1.208220 8.000000 .823077 1.093020 1.130403 9.000000 .744675 1.041324 1.087131 10.000000 .671988 .996537 1.041302 11.000000 .598384 .951364 .988324 12.000000 .574138 .904454 .957470 13.000000 .514590 .856643 .891516 14.000000 .495491 .807993 .851213 15.000000 .421684 .766766 .808571 16.000000 .373576 .722036 .761808 17.000000 .333721 .676760 .713859 18.000000 .325520 .629759 .660488 19.000000 .297565 .583661 .628570 20.000000 .268266 .517781 .568172 2 O'Connor, B. P. (2000). SPSS and SAS programs for determining the number of components using parallel analysis and Velicer's MAP test. Behavior Research Methods, Instrumentation, and Computers, 32, 396-402. Segunda práctica 2019-20 17 Finalmente, el método de sedimentación se puede aplicar a la curva azul y también daría como solución 3 factores, pues el cambio importante de pendiente ocurre al pasar del factor 4 al 3. Por tanto, en este ejemplo, los dos procedimientos recomiendan retener 3 factores. Para realizar el análisis factorial en SPSS, debe seleccionar el menú Reducción de dimensiones> Factor. Segunda práctica 2019-20 18 En el botón Extracción, seleccione Máxima verosimilitud y el Número de factores a extraer (en nuestro caso, tres): En el botón Descriptivos del menú principal, seleccione las siguientes opciones: Segunda práctica 2019-20 19 Si pedimos al programa que nos de la matriz de correlaciones reproducidas y los residuos (pulsando en la pestaña “Descriptivos” y activando la casilla “Reproducida”), veremos que, en valor absoluto, los mayores residuos son 0.283, correspondiente a los ítems 14 y 20, y 0.229, entre los ítems 1 y 6, lo que podría indicar que el modelo de tres factores no reproduce bien las relaciones entre esos ítems. Esto puede deberse a que esos ítems son demasiado parecidos (p.ej., el ítem 1 es Creo que soy más nervioso que la mayoría y el ítem 6 es Los demás dicen de mí que soy puro nervio). Por otro lado, el 79% de los residuos son inferiores a 0.05 y prácticamente todos están por debajo de 0.10. A partir de todos estos resultados, puede considerarse que el número de factores retenidos es razonablemente correcto. * Obtener la solución con rotación oblicua Se suele facilitar la interpretación si pedimos la matriz factorial rotada permitiendo factores correlacionados. Para seleccionar la rotación oblicua seleccione en el botón Rotación del menú principal la opción Oblimin directo: Para interpretar los factores acudimos a las saturaciones que aparecen en la matriz de configuración (Tabla 7). Se han sombreado las casillas con saturaciones mayores de 0.3, en valor absoluto. Los ítems de la escala 2 (del 11 al 20) definen un factor como se esperaba por la teoría (si bien los pesos de los ítems 14 y 16 son bajos y además ambos pesan simultáneamente en otros factores). Los ítems de la escala 1 se dividen principalmente entre Segunda práctica 2019-20 20 los factores 2 (1, 2, 3, 6, 7 y 8) y 3 (4, 7, 9 y 10), aunque el ítem 5 pesa en el factor 1. Recuerde que esas saturaciones no son correlaciones, puesto que los factores están correlacionados. Puesto que tenemos tres factores, no podemos sostener que se cumpla exactamente la estructura teórica. Hay evidencia para la unidimensionalidad de la escala 2 (Hostilidad), pero no para la escala 1 (Ansiedad), en la que los ítems se dividen en dos factores. Los ítems de Ansiedad que pesan en el factor 2 tienen que ver con “ser puro nervio” o “estar en tensión”, mientras que los que pesan en el factor 3 tienen que ver con “tener pensamientos recurrentes” y “darle vueltas a las cosas”. Tabla 7. Matriz factorial (saturaciones) de los factores rotados. Matriz de patróna Factor 1 2 3 p1 .165 .516 -.069 p2 -.111 .857 .075 p3 -.125 .796 .155 p4 .071 -.004 .627 r5 .327 .202 .031 p6 .237 .452 -.216 p7 .011 .374 .301 r8 .069 .637 .029 p9 .087 .197 .603 p10 .028 -.026 .650 r11 .338 .063 -.049 p12 .418 -.025 .002 r13 .677 -.018 .268 p14 .274 .259 .119 p15 .662 -.127 .097 p16 .249 .256 .268 p17 .694 .030 -.015 p18 .338 .139 .067 r19 .842 -.050 -.123 p20 .351 .035 .076 Escala de Ansiedad Escala de Hostilidad Las correlaciones entre los tres factores se muestran en la Tabla 8. En este caso, los tres factores correlacionan entre sí (p.ej., la correlación entre los factores 1 y 2 es muy alta, r = 0.512). En el caso de que los factores tengan correlaciones bajas (por ejemplo, inferiores a 0,2) se podría repetir el análisis probando un método de rotación ortogonal (p.ej., VARIMAX). Una Segunda práctica 2019-20 21 ventaja de ese método sería que los pesos serían correlaciones (más fáciles de entender) y que podrían obtenerse los porcentajes de varianza explicados por cada factor. Sin embargo, sólo es aplicable si los factores son independientes. Tabla 8. Matriz de correlaciones entre los factores Matriz de correlaciones factorial Factor 1 2 3 1 1.000 .512 .299 2 .512 1.000 .339 3 .299 .339 1.000 Método de extracción: máxima probabilidad. Método de rotación: Oblimin con Normalización Kaiser. En la Tabla 9 (tercera columna) se muestran las comunalidades o proporción de varianza del ítem explicada por los factores comunes. La comunalidad del ítem 1 es 0.354, la del 2 es 0.693…. La mayor comunalidad corresponde al ítem 2, pues un 69% de su varianza es varianza común (y solo un 31% es unicidad). El ítem con menos comunalidad y más unicidad es el ítem 11. Sería el menos relacionado con los demás ítems. Tabla 9. Comunalidades tras la extracción de tres factores. Comunalidades Inicial Extracción p1 .465 .354 p2 .577 .693 p3 .577 .643 p4 .362 .422 r5 .282 .227 p6 .429 .320 p7 .308 .313 r8 .478 .470 p9 .490 .539 p10 .378 .423 r11 .173 .130 p12 .187 .165 r13 .557 .623 p14 .415 .269 p15 .428 .408 p16 .377 .351 p17 .448 .497 p18 .316 .205 r19 .545 .625 p20 .343 .160 Método de extracción: máxima probabilidad. Segunda práctica 2019-20 22 Finalmente, la Tabla 10 muestra (columna 7) la varianza explicada por los tres factores rotados antes de la rotación (el 39.203%). Después de la rotación sabemos que el porcentaje de varianza explicado por los tres factores rotados conjuntamente no cambia, por lo que sería también 39.203% (aunque como los factores están correlacionados no podemos saber cuánto explica cada uno por separado). Tabla 10. Varianza explicada por los tres factores rotados. Varianza total explicada Sumas de extracción de cargas al Sumas de rotación de cuadrado cargas al cuadradoa Autovalores iniciales % de % varianza acumulado % de Factor Total Total varianza % acumulado Total 1 6.087 30.435 30.435 5.500 27.501 27.501 4.338 2 1.842 9.208 39.643 1.319 6.593 34.093 4.191 3 1.574 7.871 47.514 1.022 5.110 39.203 2.606 4 1.225 6.126 53.640 5 1.069 5.346 58.985 6 .901 4.505 63.490 7 .859 4.297 67.787 8 .823 4.115 71.902 9 .745 3.723 75.625 10 .672 3.360 78.985 11 .598 2.992 81.977 12 .574 2.871 84.848 13 .515 2.573 87.421 14 .495 2.477 89.898 15 .422 2.108 92.007 16 .374 1.868 93.875 17 .334 1.669 95.543 18 .326 1.628 97.171 19 .298 1.488 98.659 20 .268 1.341 100.000 Método de extracción: máxima probabilidad. a. Cuando los factores están correlacionados, las sumas de las cargas al cuadrado no se pueden añadir para obtener una varianza total. Segunda práctica 2019-20 23 La columna 8 nos informa de las Sumas de saturaciones al cuadrado de cada factor y puede interpretarse como un indicador de la importancia de cada factor. Por ejemplo, el promedio de los pesos al cuadrado en el factor 1 es 0.22 (=4.33/20) mientras que el promedio de los pesos al cuadrado en el factor 3 es 0.130 (=2.606/20), por lo tanto, el primer factor tiene más importancia ya que: a) hay más ítems con pesos claramente distintos de cero (i.e., mayores que 0.3) y/o b) los ítems que pesan distinto de cero tienen saturaciones mayores. A partir de los resultados obtenidos, se decidió que los ítems conformaran tres escalas: - Escala 1A (Ansiedad/Nerviosismo): ítems 1, 2, 3, 6, 7 y 8 - Escala 1B (Obsesiones y pensamientos recurrentes): ítems 4, 9 y 10 - Escala 2 (Hostilidad): ítems del 11, 12, 13, 14, 15, 17, 18, 19 y 20. Con respecto al ítem 5 (Me sobresalto poco) no se consideró su inclusión en ninguna escala ya que por su enunciado podría resultar un ítem de interpretación ambigua. Originalmente estaba incluido en la Escala 1 (Ansiedad), pero pesa más alto en el Factor que se corresponde con la Escala 2 (Hostilidad). El ítem 16 (Me irrito por pequeñas contrariedades) no se incluyó en ninguna escala pues pesa en varios factores y su peso en el factor 1 (Hostilidad), en el que teóricamente debería pesar, es bajo (menor que 0.3) y menor que en los otros factores. 2.4.3 Estudio de las propiedades psicométricas de las escalas definitivas Siguiendo los procedimientos descritos en el apartado 2.4.1, pueden obtenerse las correlaciones ítem-resto del test y los indicadores de fiabilidad para las escalas definitivas. En nuestro caso, se conformaron las escalas descritas en el apartado anterior. En nuestro caso, la escala 2 definitiva está compuesta por 9 ítems: 11, 12, 13, 14, 15, 17, 18, 19 y 20. La Tabla 11 contiene las correlaciones ítem-resto del test final de nueve ítems. Todas son positivas y significativas. Al eliminar cualquiera de los ítems (salvo el 11) se reduciría la consistencia interna del test (coeficiente alfa = 0.794). Segunda práctica 2019-20 24 Tabla 11. Estadísticos total – elemento de los nueve ítems del test final. Estadísticas de total de elemento Varianza de Alfa de Media de escala escala si el Correlación total Correlación Cronbach si el si el elemento elemento se ha de elementos múltiple al elemento se ha se ha suprimido suprimido corregida cuadrado suprimido r11 22.23 33.696 .315 .118 .796 p12 21.60 33.446 .379 .158 .787 r13 22.09 29.509 .655 .489 .750 p14 22.16 30.859 .463 .331 .778 p15 22.06 31.243 .514 .385 .770 p17 22.68 30.480 .603 .425 .758 p18 22.19 32.620 .401 .182 .785 r19 22.19 30.489 .611 .465 .757 p20 23.06 31.820 .426 .285 .782 La Tabla 12 contiene la media, varianza y el coeficiente del test final. En el test inicial, el coeficiente era de 0.811. En el test final, el coeficiente alcanza un valor de 0.794. Por lo tanto, al eliminar el ítem 16 la consistencia interna se reduce por ser el test más corto. Recordemos que el ítem 16 se elimina no por su correlación ítem-resto del test (que era adecuada) sino por su comportamiento factorialmente complejo. El coeficiente alfa obtenido (0.794) es un valor alto, indicando que el test tiene consistencia interna media-alta. Los ítems covarían fuertemente entre sí y, en general, todos ayudan a medir lo que mide el test. Tabla 12. Media, varianza y coeficiente de Cronbach del test final. Estadísticas de escala Media Varianza 25.03 Desviación N de estándar elementos 38.96 6.24 9 Estadísticas de fiabilidad Alfa de Cronbach basada en elementos Alfa de Cronbach .794 estandarizados .795 N de elementos 9 Los estadísticos descriptivos de las dos mitades y el coeficiente de fiabilidad obtenido Segunda práctica 2019-20 25 por el método de las dos mitades se muestran en la Tabla 13. En este caso se han divido los ítems en primera mitad y segunda mitad. Tabla 13. Estadísticos resumen de las dos mitades y coeficiente de fiabilidad por el método de las dos mitades del test definitivo. Estadísticas de fiabilidad Alfa de Cronbach Parte 1 Valor N de elementos Parte 2 Valor N de elementos N total de elementos Correlación entre formularios .645 5a .649 4b 9 .696 Coeficiente de Spearman- Longitud igual .821 Brown Longitud desigual .822 Coeficiente de dos mitades de Guttman .815 a. Los elementos son: r11, p12, r13, p14, p15. b. Los elementos son: p17, p18, r19, p20. La correlación entre las dos mitades del test vale 0.696. En este caso, el coeficiente de fiabilidad por el método de las dos mitades es 0.822 (ver longitud desigual). Por lo tanto, el 82% de la varianza de las puntuaciones observadas es varianza de las puntuaciones verdaderas. El 18% se debe al error de medida. Es, por tanto, un test con fiabilidad alta y además de sólo 9 ítems. 2.4.4 Baremos Para terminar, se muestran los estadísticos descriptivos de una de las escalas (la que tenga más ítems) y la distribución de frecuencias que permiten calcular los baremos de esa escala. Primero debe crear la puntuación Total en esa escala, sumando los ítems (en el menú de SPSS, Transformar -> Calcular). Por ejemplo, para crear la puntuación en la Escala 2 definitiva: Segunda práctica 2019-20 26 A continuación, se obtiene una Tabla de frecuencias para las puntuaciones en la escala. Para ello, se selecciona el menú Analizar -> Estadísticos descriptivos -> Frecuencias, marcando las opciones “Media” y “Desviación típica” en la ventana de “Estadísticos”. A modo de ejemplo, la Tabla 14 muestra los resultados obtenidos para la Escala 2. Por ejemplo, en nuestro test, aplicando lo visto en el capítulo 7, el rango centil que corresponde a la puntuación 20 es 22 (es decir, C22 = 20), pues el porcentaje acumulado de la puntuación 19 es 18 y el porcentaje de 20 es 8 (18 + 8/2 = 22). La puntuación típica que corresponde a 20 es -0.81 (= (20-25.035) /6.242)). Las puntuaciones en las escalas T y D son 42 (=10(-0.81) +50) y 34 (=20(-0.81) +50). La puntuación 20 es una puntuación baja, pues está 0.81 desviaciones típicas por debajo de la media. Una vez obtenidos todos los resultados deberán guardarse en el fichero PRAC2.SPO, utilizando para ello el menú Archivo -> Guardar. Tabla 14. Descriptivos y distribución de frecuencias de nuestro test. Estadísticos Escala2 N Válido Perdidos Media Desviación estándar 200 0 25.0350 6.24168 Segunda práctica 2019-20 Escala2 Frecuencia Válido Porcentaje Porcentaje Porcentaje válido acumulado 11.00 1 .5 .5 .5 12.00 2 1.0 1.0 1.5 13.00 2 1.0 1.0 2.5 14.00 2 1.0 1.0 3.5 15.00 1 .5 .5 4.0 16.00 9 4.5 4.5 8.5 17.00 1 .5 .5 9.0 18.00 9 4.5 4.5 13.5 19.00 9 4.5 4.5 18.0 20.00 16 8.0 8.0 26.0 21.00 10 5.0 5.0 31.0 22.00 15 7.5 7.5 38.5 23.00 9 4.5 4.5 43.0 24.00 18 9.0 9.0 52.0 25.00 7 3.5 3.5 55.5 26.00 10 5.0 5.0 60.5 27.00 13 6.5 6.5 67.0 28.00 11 5.5 5.5 72.5 29.00 12 6.0 6.0 78.5 30.00 5 2.5 2.5 81.0 31.00 6 3.0 3.0 84.0 32.00 2 1.0 1.0 85.0 33.00 5 2.5 2.5 87.5 34.00 3 1.5 1.5 89.0 35.00 10 5.0 5.0 94.0 36.00 4 2.0 2.0 96.0 37.00 3 1.5 1.5 97.5 38.00 1 .5 .5 98.0 39.00 2 1.0 1.0 99.0 40.00 2 1.0 1.0 100.0 Total 200 100.0 100.0 27 Segunda práctica 2019-20 28 2.5 ELABORACIÓN DEL INFORME Una vez realizados todos los análisis, los grupos redactarán un trabajo en el que se describa el proceso seguido, comentando los resultados obtenidos. En el apartado 4 (Hoja de valoración) se describe detenidamente cómo se va a evaluar cada apartado. Su lectura informa de los aspectos y contenidos que deben tenerse en cuenta a la hora de la redacción del informe. Es importante que antes de empezar a construir el informe lea las observaciones que aparecen al principio de la hoja de valoración. Las primeras hojas del trabajo TIENEN QUE SER LAS HOJAS DE VALORACIÓN, que aparecen en las últimas páginas de este documento, y que pueden descargarse de la página MOODLE de los profesores. En la primera hoja habréis de rellenar los datos que se os pide. Cada grupo debe conservar una copia de su trabajo, ya que tras la corrección solamente se devolverá la evaluación y comentarios oportunos. A continuación, en la hoja siguiente, debe constar el título del test y LOS INTEGRANTES DEL GRUPO. Además del informe en papel (grapado, sin carpetas), cada grupo deberá entregar un fichero ZIP, utilizando la plataforma MOODLE, con el nombre Pr2_X.zip, siendo X el número de grupo, con los siguientes archivos: el fichero de datos SPSS que ha generado (es decir, que contenga todas las variables), el fichero de resultados SPSS, el test y el informe. El informe en sí debe incluir los siguientes apartados: 1. Objetivos de las escalas y contenido de los ítems En este apartado deben especificarse los rasgos que se miden, con una definición lo más operativa posible de los mismos. Se deben especificar los ítems que miden cada rasgo y, en su caso, si lo hacen de modo directo o inverso. 2. Análisis de ítems y fiabilidad del test inicial Para cada ítem hay que especificar su varianza, media y su correlación ítem-resto del test. Hay que explicar detalladamente el proceso seguido para determinar cuántos y qué ítems han de eliminarse de cada escala, según los resultados del análisis clásico de ítems Segunda práctica 2019-20 29 (i.e., atendiendo a sus varianzas, correlaciones ítem-test corregidas y consistencia interna cuando se elimina el ítem). El número de ítems a eliminar no está predeterminado. Cada grupo ha de decidir si ha de eliminar alguno o no, y cuáles (dado que el número de ítems de partida es bajo, es preferible eliminar pocos ítems). Adjuntar, interpretar y evaluar el coeficiente de fiabilidad y el coeficiente alfa obtenidos para las escalas iniciales. Es importante que se haga una interpretación precisa de estos índices. 3. Validez del test Comentar los resultados de la estructura factorial, para establecer qué dimensiones miden las escalas. Hay que informar de lo siguiente: a) Cuantos factores se han extraído o retenido. b) Significado e importancia de cada factor. c) Conviene también considerar si los factores encontrados tienen o no relación con las escalas que se han definido. d) A partir de los resultados del análisis factorial, qué escalas formaría a partir del conjunto de ítems. e) Si eliminaría algún ítem adicionalmente, entre los no considerados en el apartado 2. 4. Análisis de ítems y fiabilidad del test final Para cada ítem hay que especificar su correlación ítem-resto en el test definitivo. Adjuntar, interpretar y evaluar el coeficiente de fiabilidad y el coeficiente alfa obtenidos para las escalas finales. Es importante que se haga una interpretación precisa de estos índices. 5. Baremos Incluir una tabla que muestre los estadísticos y distribución de frecuencias de las puntuaciones en una de las escalas (Tabla 14, en este documento). Explicar el significado de la particular Tabla 14 obtenida. Obtener e interpretar el rango centil, la puntuación típica y las puntuaciones T y D que corresponderían a una de las puntuaciones en el test. Segunda práctica 2019-20 30 6. Apéndice En un apéndice debe incluirse el test y el archivo PRAC2.SPO que contiene los análisis realizados. Cada grupo debe incluir en su informe toda esta información y en este orden. Se ruega paginar el trabajo. La fecha límite de entrega de la Práctica 2 es el 20 de diciembre. 3. EVALUACIÓN La realización de esta práctica es obligatoria para poder presentarse al examen. La práctica se valorará desde 0 hasta 0.75 puntos. En la Guía Docente se indica cómo se obtiene la puntuación final en las convocatorias ordinaria y extraordinaria. Segunda práctica 2019-20 31 4. HOJA DE VALORACIÓN (A RELLENAR POR LOS ALUMNOS) INTEGRANTES: Nombre y apellidos (en mayúsculas) GRUPO 1 2 3 4 5 (A RELLENAR POR EL PROFESOR) Observaciones generales: 1) Este trabajo será finalmente valorado hasta 0.75 puntos de la calificación final de la asignatura. 2) Si existieran errores en la codificación de respuestas que dieran lugar a resultados aberrantes en los indicadores psicométricos, y éstos no fueran detectados, la valoración final del trabajo será cero. VALORACIÓN CRITERIO 0 1 2 1) CUANTIFICACIÓN DE RESPUESTAS Valoración: Ha habido errores importantes ya que no se han recodificado los ítems inversos. Errores puntuales en la codificación: algún ítem mal cuantificado. Codificación correcta de las respuestas a los ítems inversos. 2) ANÁLISIS DE LOS ÍTEMS: medias y varianzas Valoración: No se han obtenido las medias y varianzas de los ítems o no se informa en detalle del significado de estos valores para cada uno de los ítems. Se han obtenido las medias y varianzas, aunque no se interpreta de forma adecuada los valores individuales de cada uno de los ítems. Se interpreta con detalle, y de forma adecuada al contenido correspondiente, la diferente cuantía de las medias y varianzas que tiene la muestra en cada uno de los ítems. 3) ANÁLISIS DE LOS ÍTEMS: Correlación ítemresto del test Valoración: No se han obtenido las correlaciones ítem-resto de forma correcta o no se informa con detalle de su significado. Las correlaciones ítem-resto están bien calculadas, aunque la interpretación de su cuantía no es correcta. Las correlaciones ítem-resto se obtienen de forma correcta. La interpretación de los valores obtenidos es rigurosa, indicando su repercusión en la fiabilidad de las escalas. Segunda práctica 2019-20 32 La selección de ítems no es adecuada, porque se eligen ítems para las escalas definitivas que no son los mejores. Los ítems seleccionados son los que deben ser, aunque la argumentación sobre las razones que llevan a tal selección no es suficiente, o no se comenta en detalle los cambios que se producen en los indicadores de los ítems cuando forman parte de las escalas definitivas. Los ítems seleccionados son los adecuados, se da cuenta de las razones métricas para eliminar los ítems rechazados y de las repercusiones que esto puede tener en la fiabilidad y validez. Se obtienen los indicadores psicométricos de los ítems que forman las escalas definitivas y se comentan adecuadamente sus diferencias respecto a los valores que tenían inicialmente. Se obtienen de modo incorrecto los coeficientes de Cronbach, no se interpretan o se interpretan de manera inadecuada. Los coeficientes de Cronbach son los correctos, pero no se interpretan de forma correcta atendiendo a la consistencia de las escalas, o no se comentan las diferencias entre los valores iniciales y los definitivos. Los coeficientes de Cronbach son los correctos, se interpretan de forma correcta y se comentan bien las razones de las diferencias entre los valores iniciales y definitivos. 6) FIABILIDAD: Consistencia de las dos mitades Valoración: Se obtienen de modo incorrecto los coeficientes de fiabilidad mediante el método de las dos mitades, no se interpretan o se interpretan de manera inadecuada. Los coeficientes de fiabilidad son los correctos, pero no se interpretan de manera adecuada. Los coeficientes de fiabilidad son los correctos y se interpretan de manera adecuada. Se comenta correctamente la influencia en los coeficientes de factores como el tamaño y la varianza de los rasgos medidos. 7) FIABILIDAD: Nuevas propuestas No se incluyen nuevas propuestas para mejorar la fiabilidad de las escalas. Algunas de las propuestas planteadas requieren mayor concreción, dado que sólo se apuntan ciertas ideas sin operativizarlas. Se plantean procedimientos adecuados de mejora, se argumentan y se comentan las dificultades previsibles para obtener dicha mejora. Se aplica la fórmula de Spearman-Brown para estudiar la fiabilidad de alguna escala si se incrementara su longitud. No se aplica bien la técnica del análisis factorial, porque no se retienen los factores adecuadamente. Se retiene el número de factores adecuado pero no se justifica adecuadamente la decisión utilizando toda la información disponible. Se retiene el número de factores adecuado justificando la decisión con toda la información disponible. Se aplican e interpretan adecuadamente el método paralelo y el gráfico de sedimentación. No se aplica bien la técnica del análisis factorial, porque no se rotan los factores para su interpretación. Se realiza la rotación ortogonal, pero no la rotación oblicua. Se realiza la rotación oblicua. Se comentan correctamente las consecuencias de la estrategia de rotación en las correlaciones obtenidas entre los factores. Se aplica bien la técnica del análisis factorial pero no se interpreta bien la importancia de cada factor ni las comunalidades de las variables. Se comenta adecuadamente la importancia de cada factor, pero no se interpretan las comunalidades de las variables. Se obtiene e interpreta bien la importancia de cada factor. Se obtienen e interpretan bien las comunalidades de las variables. En el caso de rotación oblicua se indica que no se pueden ofrecer los porcentajes de varianza que cada factor explica. Si los factores son ortogonales, se realiza la rotación VARIMAX. 4) SELECCIÓN LOS ÍTEMS DE Valoración: 5) FIABILIDAD: Consistencia interna global Valoración: Valoración: 8) VALIDEZ FACTORIAL: Decisiones sobre el número de factores Valoración: 9) VALIDEZ FACTORIAL: Decisiones sobre la rotación Valoración: 10) VALIDEZ FACTORIAL: Interpretación de los porcentajes de varianza explicados por los factores Valoración: Segunda práctica 2019-20 33 del los No se hace un esfuerzo por interpretar el significado de los factores, atendiendo a las saturaciones de los factores rotados. Se interpreta la matriz factorial sin rotar. Aunque se ha intentado dar un significado a los factores, no se realiza un análisis desde las previsiones teóricas que se tenían según las escalas analizadas. El grupo no ha sido capaz de identificar el sentido de alguno de los factores. La interpretación es muy adecuada, atendiendo al contenido de los ítems con saturaciones altas en cada factor. Se da una buena argumentación sobre la coherencia entre las previsiones teóricas y los resultados empíricos. En la rotación oblicua, se comentan las correlaciones entre los factores. e Los descriptivos y la distribución de frecuencias de la escala elegida han sido mal obtenidos en SPSS. Los descriptivos y la distribución están bien obtenidos. No se obtienen o se interpretan mal el rango centil y las puntuaciones Z, T y D que corresponden a una de las puntuaciones de la escala elegida. Los descriptivos y la distribución están bien obtenidos. Se obtienen y se interpretan bien el rango centil y las puntuaciones Z, T y D que corresponden a una de las puntuaciones en la escala elegida. 13) CALIDAD DEL INFORME: Uso riguroso de conceptos Valoración: En partes importantes del informe no se emplean los conceptos psicométricos o metodológicos adecuados para dar cuenta con palabras de los resultados del estudio psicométrico. En algunas ocasiones no se emplean los conceptos psicométricos adecuados. Aparecen ciertas expresiones de uso coloquial no pertinentes para un informe científico. Los conceptos empleados pertinentes, así como interpretación. 14) CALIDAD INFORME: Orden Valoración: No existe una buena organización en el informe: reiteraciones no pertinentes, contenidos expresados en un orden inadecuado. No se pagina. Existe una buena organización en general, aunque aparecen algunas reiteraciones o desórdenes puntuales. La organización es la adecuada, no aparecen reiteraciones no pertinentes, se confeccionan tablas o figuras a las que se hacen referencia en el texto escrito. Se pagina. La presentación en PowerPoint es pobre (fuentes y colores mal elegidos, información mal organizada, etc.). No se cuida la exposición verbal (se lee el discurso, no se mira a la audiencia, etc.). La exposición no se ajusta al tiempo. En general la presentación en PowerPoint y el discurso verbal son adecuados. Errores puntuales. La exposición no se ajusta al tiempo. Sólo parte del grupo presenta la práctica. La presentación no está bien organizada. No se responde correctamente a las preguntas formuladas. La presentación está bien organizada pero no se responde correctamente a algunas preguntas del profesor y/o sobra o falta alguna información La presentación en PowerPoint y la presentación verbal son adecuadas. Se elaboran tablas y figuras, los números son visibles, el discurso verbal se coordina correctamente con la información en el PowerPoint, etc. La exposición se ajusta al tiempo. Todos los miembros del grupo participan en la exposición de la práctica. La estructura de la comunicación es adecuada. La información mostrada se ajusta a los objetivos de la exposición. Se responde correctamente a las preguntas del profesor y audiencia. 11) VALIDEZ FACTORIAL: Interpretación significado de factores Valoración: 12) BAREMOS: Adecuación interpretación Valoración: DEL 15) EXPOSICIÓN DE LA PRÁCTICA: Asistencia y aspectos formales Valoración: 16) EXPOSICIÓN DE LA PRÁCTICA: Contenidos Valoración: VALORACIÓN FINAL: (Escala 0 – 32): (Escala 0 – 0.75): son su