El modelo de respuesta múltiple aplicado a la evaluación de las actitudes sobre la Ciencia, la Tecnología y la Sociedad (CTS) * ÁNGEL VÁZQUEZ-ALONSO Mª ANTONIA MANASSERO-MAS JOSÉ ANTONIO ACEVEDO-DÍAZ PILAR ACEVEDO-ROMERO MESA 4 * Este estudio ha sido financiado por la Conselleria d’Economia, Hisenda i Innovació del Govern de les Illes Balears a través de las ayudas para llevar a cabo acciones especiales de investigación, desarrollo tecnológico e innovación (2005). 1. Introducción La evaluación de los temas CTS es una cuestión relevante de la didáctica de la ciencia por varias razones: • La escasa atención recibida por la evaluación en la investigación (Fraser y Tobin, 1998; Kempa, 1985). • La dificultad y necesidades específicas de la evaluación de los temas CTS, por su naturaleza actitudinal y axiológica (Hofstein, Aikenhead y Riquarts, 1988; Manassero, Vázquez y Acevedo, 2001). • Las dificultades en la propia definición y fundamentos epistemológicos legítimos de las actitudes relacionadas con la ciencia (ver revisiones de Gauld y Hukins, 1980; Schibeci, 1984; Vázquez y Manassero, 1995; Wareing, 1990). • Los problemas metodológicos conocidos y criticados en la evaluación de las actitudes relacionadas con la ciencia sobre la validez de los instrumentos y los procesos de evaluación (ver una justificación más amplia en Acevedo, Acevedo, Manassero y Vázquez, 2001; Gardner, 1996; Manassero, Vázquez y Acevedo, 2001, 2003; Shrigley y Koballa, 1992; Vázquez, Manassero y Acevedo, 2005). • La condición dialéctica, poliédrica y compleja de los temas CTS o de NdC, que aquí se interpretarán identificados después de las aportaciones de la sociología del conocimiento científico (Acevedo, Vázquez, Manassero y Acevedo, 2007 en prensa; Vázquez, Acevedo, Manassero y Acevedo, 2001). Para los propósitos de este estudio, la conclusión que se extrae de todos estos estudios es que la evaluación de los temas CTS es una cuestión relevante de la didáctica de la ciencia y existe base empírica suficiente para fundamentar la evaluación de algunas cuestiones controvertidas CTS/NdC con criterios relativamente sólidos, y por tanto, de emprender con garantías teóricas esta evaluación. 2. El Cuestionario de Opiniones sobre Ciencia, Tecnología y Sociedad (COCTS) El objetivo de este estudio es presentar el Cuestionario de Opiniones sobre Ciencia, Tecnología y Sociedad (COCTS) como un instrumento de investigación que permite superar las anteriores dificultades. El COCTS se puede aplicar a la evaluación de las actitudes CTS, pero también al desarrollo curricular en el aula; se presentan algunos aspectos de su uso y aplicación, tales como la metodología del Modelo de Respuesta Múltiple (MRM), y la métrica asociada para calcular los índices actitudinales, así como algunos ejemplos con diversas cuestiones del COCTS. El VOSTS (Views on Science, Technology and Society) es un conjunto de 114 cuestiones empíricamente desarrolladas que abarcan la mayor parte de los contenidos CTS/NdC (Aikenhead, Fleming y Ryan 1987, Aikenhead y Ryan 1989, 1992). Posteriomente Rubba y Harkness (1993) desarrollaron un conjunto adicional de cuestiones de opción múltiple denominado Teacher's Belief about ScienceTechnology-Society (TBA-STS) para investigar las creencias de los profesores sobre los temas CTS. El COCTS (Cuestionario de Opiniones sobre Ciencia, Tecnología y Sociedad) es una síntesis y adaptación de los dos anteriores VOSTS y del TBA-STS, que contiene 100 cuestiones con 637 frases, adaptadas a la cultura española, cada una de las cuales expresa actitudes, creencias y opiniones diferentes sobre el tema planteado en cada cuestión (Manassero y Vázquez, 1998). En una revisión de los instrumentos que evalúan las concepciones de la naturaleza de ciencia Lederman, Wade y Bell (1998 consideran que el cuestionario de papel y lápiz de opción múltiple Views on Science, Technology and Society (VOSTS) es un valioso instrumento para la evaluación de las opiniones de los estudiantes y constituye un 2 importante esfuerzo para profundizar en las razones que tienen los estudiantes al construir sus respuestas. Todas las cuestiones del COCTS tienen un formato típico de opción múltiple similar pero diferente, porque el número de opciones es variable según la cuestión. Todas se inician con un texto que plantea un tema concreto, seguido por varias frases cortas, cada una etiquetada con una letra en orden alfabético, que desarrollan diferentes razones para responder al tema planteado (tabla 1). Dentro de cada cuestión, el conjunto completo de las frases ofrece una serie amplia de distintas posiciones razonadas sobre el tema; las actitudes se definen mediante la elección o la valoración de las frases opcionales. Esta manera de definir actitudes indica que el cuestionario no impone a la persona que responde ningún valor o modelo concreto sobre CTS; al contrario, las personas que responden definen libremente sus actitudes mediante sus elecciones sobre las frases. La versión en castellano del COCTS, el manual de uso y las claves de puntuación se han incorporado a la extensa biblioteca del Test Collection of Educational Testing Service (en línea www.ets.org). 3. Hacia un Modelo de Respuesta Múltiple (MRM) para el COCTS El formato de respuesta básico propuesto para el VOSTS por sus autores consiste en seleccionar una frase entre las varias existentes en cada cuestión (Modelo de Respuesta Única o MRU) y así se ha usado para evaluar actitudes (Manassero y Vázquez, 1998). El MRU es metodológicamente muy limitado, pues sólo permite comparaciones centradas en cada cuestión particular. Además, el MRU tiene una segunda limitación importante; puesto que la actitud medida se basa en una única elección no usa toda la información disponible en las restantes frases no seleccionadas (Vázquez y Manassero, 1999). Estas limitaciones sugieren la necesidad de modificar el modelo de respuesta para ampliar las posibilidades del instrumento, añadiendo otras importantes ventajas, tales como la posibilidad de incluir la verificación de hipótesis estadísticas, importantes para las comparaciones entre grupos o contrastar la eficacia de tratamientos y la detección y discriminación cualitativa entre puntos fuertes y débiles de los programas (Vázquez y Manassero, 1999). Por ello se propuso el desarrollo de un nuevo modelo de respuesta múltiple (MRM), donde las personas que responden valoran todas las frases de cada cuestión en una escala de valoración tipo Likert de 9 puntos para expresar su grado de acuerdo o desacuerdo. El MRM frente al MRU aporta la ventaja fundamental de maximizar la información obtenida de cada cuestión por parte del respondiente, pues éste manifiesta su opinión sobre todas las frases que contiene cada cuestión, y por tanto, maximiza la precisión, la validez y la capacidad discriminante de esta medida actitudinal. 3 Los cuestionarios Likert típicos suman las puntuaciones obtenidas en cada frase para obtener una puntuación global resultante de todas ella, una práctica que también es fuente de numerosos problemas de validez y de interpretación porque tiene implícitas dos hipótesis que raramente se cumplen: • Se supone que todas las frases son equipotentes (tienen el mismo peso) en determinar la puntuación resultante. • Se supone que todas las frases son homogéneas en relación al objeto que describen, y ello justifica que se puedan sumar (hipótesis de unidimensionalidad de constructo). Para verificarlas, es necesario un análisis más detallado de las frases para asignarles el valor estimado que aportan al objeto de actitud. Este proceso, habitual en la construcción de cuestionarios de actitudes, se denomina escalamiento de estímulos (Eagly y Chaiken, 1993), y consiste en clasificar las frases según la posición que marcan en relación al objeto de actitud. 4. La categorización de las frases del COCTS El fin del escalamiento es producir un guión o rúbrica para las frases que permite al investigador calificar la respuesta sobre cada frase, que en el marco de la Psicología Social, ha sido resuelto mediante los métodos de escalamiento de estímulos realizados por paneles de jueces (Eagly y Chaiken, 1993; Stahlberg y Frey, 1990). El carácter dialéctico, complejo, controvertido y no siempre consensuado de los temas CTS, no permite definir una rúbrica directamente deducible del cuerpo de conocimientos existentes, con valor absoluto, por lo que es necesario acudir a los métodos de escalamiento o categorización mediante jueces expertos. Esta metodología se ha aplicado a las frases del COCTS y se describe sintéticamente en los siguientes párrafos. Rubba y sus colegas (Rubba et al., 1993; Rubba, Schoneweg-Bradford y Harkness, 1996) ya propusieron un esquema de tres categorías para clasificar cada una de las frases del cuestionario, que fueron denominadas Realista, Meritoria e Ingenua según que su contenido pueda calificarse como adecuado, parcialmente adecuado o inadecuado respecto a los conocimientos actuales de historia, filosofía y sociología de la ciencia. Para ajustarse mejor al significado real de las tres categorías se han sugerido tres nuevas etiquetas, que serán usadas en lo sucesivo (Vázquez y Manassero, 1999): • Adecuada (A): la frase expresa un punto de vista apropiado. • Plausible (P): aunque no es totalmente adecuada, la frase expresa algunos aspectos aceptables. • Ingenua (I): la frase expresa un punto de vista que no es ni adecuado ni plausible. El escalamiento de las diversas frases de las cuestiones del COCTS en una de las tres categorías anteriores se ha descrito con detalle en otro lugar (Vázquez, Manassero y Acevedo, 2005) y sus resultados globales fueron los siguientes (ver un ejemplo de las categorías asignadas a una cuestión en la tabla 1): A) Apropiada, adecuada: 143 frases P) Plausibles: 274 frases N) Ingenua: 220 frases 4 Tabla 1. Cuestión del COCTS con las categorías asignadas por los jueces a cada una de las frases después del proceso de escalamiento y las respuestas reales en la escala 1 – 9 emitidas por un profesor (R). 10211 Definir qué es la tecnología, puede tener dificultad porque la tecnología sirve para muchas cosas. Pero PRINCIPALMENTE tecnología es: A. muy parecida a la ciencia. B. la aplicación de la ciencia. C. nuevos procesos, instrumentos, maquinaria, herramientas, aplicaciones, artilugios, computadores o aparatos prácticos para el uso de cada día. D. robots, electrónica, computadores, sistemas de comunicación, automatismos, tecnología. E. una técnica para construir cosas o una vía de resolver problemas prácticos. F. inventar, diseñar y probar cosas (por ejemplo, corazones artificiales, computadores, vehículos espaciales). G. ideas y técnicas para diseñar y hacer cosas, para organizar a los trabajadores, la gente de negocios y los consumidores, para el progreso de la sociedad. H. saber como hacer cosas (instrumentos, maquinaria, tecnología). Categorías Plausible Ingenua Plausible R 1 6 3 Plausible 3 Plausible 5 Plausible 3 Adecuada 8 Plausible 8 1. No entiendo la cuestión. 2. No sé lo suficiente sobre el tema para seleccionar una opción 3 Ninguna de las opciones satisface básicamente mi opinión. Metodológicamente, el procedimiento de escalamiento presentado aquí aporta un sistema para evaluar perfiles actitudinales, que es más completo que otros sistemas y muestra explícitamente el marco de referencia para calcular las puntuaciones (Manassero y Vázquez, 2002; Manassero, Vázquez y Acevedo, 2003). Por otro lado, el método cuantitativo no excluye la interpretación cualitativa de los datos; de hecho, el análisis más simple basado en cada frase permite conseguir rápidamente conclusiones cualitativas (Manassero, Vázquez y Acevedo, 2004). Sin embargo, el objetivo de la aplicación del COCTS no es tanto clasificar personas o grupos según el grado de adecuación de sus actitudes, como ayudar a describir y comparar con detalle sus complejas actitudes en cada tema. 5. Métrica para la evaluación de las actitudes CTS La aplicación práctica del MRM requiere que los respondientes valoren cada una de las múltiples frases de las cuestiones. En cada cuestión, se obtienen tantos valores como número de frases diferentes contiene. Puesto las frases están categorizadas en distintos grupos que representan unas posiciones que tienen en cuenta la perspectiva aportada por el cuerpo de conocimientos de la historia, la filosofía y la sociología de la ciencia desde la perspectiva de la filosofía, historia y sociología de la ciencia, la valoración emitida por los respondientes en cada frase debe calificarse según la categoría de cada frase. Por otro lado, las cuestiones del COCTS están formadas por un número diferente de frases y tienen diferente estructura de las categorías que corresponden a las frases. Por ello, un objetivo pendiente e importante del desarrollo del MRM es conseguir una medida cuantitativa normalizada, cuya 5 interpretación sea válida, fiable e invariante para todas las cuestiones, con independencia de la estructura de categorías en la cuestión empleada (Chaiken, Pomerantz y Giner-Sorolla, 1995; Petty y Krosnick, 1995). En Psicología Social se recomiendan escalas simétricas con una parte positiva y una negativa, que reflejen las actitudes consideradas positivas y las actitudes negativas (Eagly y Chaiken, 1993; Petty y Krosnick, 1995). En este caso se ha elegido un rango entre –1 (más negativo) y +1 (más positivo) para los valores del índice normalizado. El segundo rasgo del índice normalizado se refiere a la interpretación y significado general de los valores resultantes de la construcción y cálculo. La idea general es que las actitudes positivas se corresponden con una mayor identificación con las categorías asignadas por los jueces a cada frase; en particular, el valor máximo del índice (+1) significa que la puntuación directa del respondiente en una frase coincide con la categoría asignada a esa frase; por el contrario, el valor más negativo del índice (-1) representaría la máxima oposición de la puntuación del respondiente con la categoría correspondiente a la frase. Los valores intermedios del índice indican mayor o menor grado de identificación con la categoría asignada según que sean más positivos o más negativos. Tabla 2. Métrica de medida del Modelo de Respuesta Multiple (MRM): transformación de las puntuaciones directas de una frase en puntuaciones actitudinales, según la categoría (adecuada, plausible o ingenua) de la frase. Categorías Número de frases Escala directa Escala de valoración: transformación de las puntuaciones directas en actitudinales 9 Grado de Acuerdo Total 8 7 6 5 4 3 2 1 Casi Parcial Parcial Casi Nulo Parcial Bajo Alto alto bajo total nulo Adecuadas Na 4 3 2 1 0 -1 -2 -3 -4 Plausibles Np -2 -1 0 1 2 1 0 -1 -2 Ingenuas Nn -4 -3 -2 -1 0 1 2 3 4 Total N Índice de frase (normalización): x / 4(2) 6 El proceso de correspondencia entre las puntuaciones directas emitidas por los estudiantes y los valores del índice actitudinal depende del tipo de categoría de la frase (adecuada, plausible o ingenua) y son proporcionales a la distancia entre la puntuación directa asignada y la puntuación ideal de la categoría. En las frases categorizadas como adecuadas la actitud más valiosa (o más rechazable) será aquella que muestra un acuerdo (o desacuerdo) total con la frase, que se manifiesta en puntuaciones directas más altas (o bajas). Por el contrario, en las frases categorizadas como ingenuas la actitud más valiosa (o más rechazable) será aquella que reconoce un desacuerdo (o acuerdo) total, que se manifiesta en puntuaciones directas más bajas (altas). En las posiciones plausibles, que se caracterizan por reflejar una posición parcialmente adecuada sobre el tema, la actitud más valiosa (más rechazable) será aquella que reconoce un acuerdo parcial (o extremado, alto o bajo), que se manifiesta en puntuaciones directas intermedias (o extremas, altas o bajas). Siguiendo esta racionalidad, se establece una correspondencia entre las puntuaciones directas y las puntuaciones actitudinales (tabla 2); a cada valor de la escala directa le corresponde la puntuación actitudinal situada debajo, en la misma columna, según el tipo de categoría. Los valores del índice actitudinal para cada frase se normalizan (tabla 3) se calculan dividiendo las puntuaciones actitudinales por su rango, para dejar el índice actitudinal en el rango normalizado (-1, +1). Tabla 3. Modelo de Respuesta Multiple (MRM): normalización de las puntuaciones actitudinales y cálculo de los índices actitudinales medios por categorías y por cuestión. Puntuaciones actitudinales directas Índices de actitud de categoría Máximo Fórmula Mínimo Máx. Fórmula Mín. +4Na Σaj -4Na +1 Ia =Σ aj / 4Na -1 +2Np Σpj -2Np +1 Ip =Σ pj / 2Np -1 +4Nn Σnj -4Nn +1 In =Σ nj / 4Nn -1 1 I=(Ia+Ip+In)/3 -1 Índice de actitud global ponderado 7 Una vez definidos los índices actitudinales normalizados de cada frase, se puede calcular un índice de actitud para cada cuestión, que representaría la actitud global hacia esa cuestión. Para hacer este cálculo se podrían usar dos vías que dan lugar a dos índices diferentes (tabla 4): • Índice de actitud global medio de las frases (MGAI): es la media aritmética de los índices del conjunto de las frases en cada cuestión. Por definición, cada frase tiene el mismo peso en este índice; en consecuencia, la categoría (adecuada, ingenua o plausible) con mayor número de frases pesa más en este índice (segunda columna de la tabla 4). • Índice de actitud global ponderado de las categorías (WGAI): es la media de las tres medias aritméticas de cada categoría. Para ello se calcula primero, por separado, el promedio del conjunto de las frases adecuadas, plausibles e ingenuas, en cada item, obteniendo tres índices (uno por cada categoría) y después se calcula el promedio de éstos tres índices de categoría. Por definición, cada categoría tiene el mismo peso en este índice, con independencia del número de frases pertenecientes a cada una de ellas (tercera columna de la tabla 4). Dado que los items del cuestionario tienen una estructura muy variable, tanto por el diferente número de frases total en cada item, como por el diferente número de frases correspondientes a cada categoría;, pero sin embargo, todos los items tienen las mismas tres categorías, el índice ponderado WGAI representa una misma interpretación para todos los items (el promedio de las tres categorías), por lo que se usará para representar la actitud global de cada item, aunque su cálculo es un poco más engorroso. 6. Modelo de respuesta múltiple: Un ejemplo de aplicación Las respuestas reales de un profesor a la cuestión usada como ilustración en este artículo (10211, definición de la tecnología) se presentan en la tabla 4 para ejemplificar la aplicación de la metodología al cálculo de un caso concreto. En la segunda columna se listan las categorías asignadas a cada una de las frases del item, que dirigen la transformación de las puntuaciones directas (tercera columna) en puntuaciones actitudinales (cuarta columna) e índices actitudinales (quinta columna) de acuerdo con la correspondencia de valores y la normalización de la tabla 3. Por ejemplo, la puntuación directa 8 asignada en la respuesta de la frase 10211H, por corresponder a una frase de categoría adecuada se transforma en una puntuación actitudinal directa +3 que por normalización corresponde a un índice actitudinal +0.75 para la frase. Esta operación se repite con cada una de las puntuaciones directas de todas las frases, obteniéndose así el conjunto de los índices actitudinales de cada frase. 8 Tabla 4. Modelo de Respuesta Multiple (MRM): Aplicación al cálculo numérico del caso de la respuesta del profesor de la tabla 2. Puntos Puntos actitudinales Sentencias Categoría directos directos C10211A P 1 C10211B I 6 C10211C P 3 C10211D P 3 C10211E P 5 C10211F P 3 C10211G A 8 C10211H P 8 Media Índice global actitudinal medio -1 -0.25 0 0 1 0 0.75 -0.5 0.000 0.000 Índices actitudinales de categorías Adecuado Plausible Ingenuo -1 -0.25 0 0 1 0 0.75 -0.5 0.75 0.08 -0.25 Índice global ponderado 0.19 El promedio de los índices actitudinales de las frases produce directamente el índice de actitud global medio que en este caso es cero (columna sexta). El promedio de los índices actitudinales de las frases, agrupadas por las tres categorías, permite obtener los tres índices actitudinales correspondientes a cada categoría. El promedio de estos tres índices da el índice de actitud global ponderado, que en este caso tiene un valor positivo, aunque bajo (0.19 puntos). Los índices actitudinales globales, que representan la actitud, son parámetros que poseen varias cualidades psicométricas valiosas para la investigación y la evaluación: • La escala métrica y sus puntuaciones son las mismas para todas las cuestiones, lo cual unifica los cálculos posteriores y las aplicaciones estadísticas cuantitativas. • Tienen un significado invariante para todas las cuestiones. Esta es una propiedad especialmente apreciada para representar la variedad de cuestiones del COCTS cuya estructura es tan diversa cuestiones más largas, más cortas, con diferente número de frases en las tres categorías, etc.). • Los índices actitudinales de cada frase constituyen indicadores que permiten análisis cualitativos exhaustivos, para profundizar en el pensamiento individual sobre cada tema, apoyados en indicadores cuantitativos. • Los índices permiten medidas y análisis globales aplicando conjuntos de cuestiones para investigaciones temáticas específicas, comparaciones entre grupos, análisis cruzados entre grupos o entre cuestiones de la misma persona, y en suma, todos los procesos de la estadística inferencial para contrastar hipótesis. 9 7. Conclusiones La evaluación diagnóstica de las actitudes y creencias relativas a Ciencia, Tecnología y Sociedad (CTS) de estudiantes y profesores es un problema relevante de la investigación en didáctica de las ciencias y constituye un objetivo educativo perenne y valioso, porque la información actual disponible demuestra que estudiantes y profesorado no tienen actitudes adecuadas sobre estas cuestiones. Por otro lado, estas actitudes y creencias se corresponden con la educación en naturaleza de la ciencia-CTS, un núcleo central de la alfabetización científica para todos; en el caso de los estudiantes es valioso para conocer sus creencias iniciales y los aprendizajes alcanzados; en el caso del profesorado para su creciente sensibilización y formación progresiva en los temas CTS, de forma que puedan influir en la planificación de sus actividades docentes en el aula de ciencias. La evaluación de las actitudes CTS mediante la aplicación conjunta del MRM y el COCTS aporta una ventaja fundamental: los índices actitudinales obtenidos se construyen sobre el grado de acuerdo de los encuestados con todas y cada una de las opciones presentes en la cuestión y se expresan sobre una escala normalizada. Así se maximiza y aprovecha toda la información disponible en las frases y se alcanza un alto grado de precisión en la evaluación de la actitud, que permite medidas de actitud cuantitativas, invariantes para todos los temas y cuestiones CTS (a pesar de su diferente estructura), fiables y normalizadas. Estas mejoras metodológicas del COCTS, que permiten tanto el análisis cualitativo como la aplicación cuantitativa de la estadística inferencial y la comparación de grupos, especialmente en contextos de investigación, deben aplicarse empíricamente para mostrar sus posibilidades y consolidar una línea de investigación fructífera y sistemática. Metodológicamente, estas propiedades permiten realizar evaluaciones e investigación con garantías de validez y fiabilidad superiores a cualquier diseño anterior. Los resultados de los estudios y aplicaciones de investigación y evaluación emprendidos con base en esta metodología serán una fuente valiosa para el contraste y la confirmación de sus posibilidades y expectativas (Manassero y Vázquez, 1999; Manassero, Vázquez y Acevedo, 2001). La riqueza y variedad de temas contenidos en el COCTS, junto con la sistematización de su organización interna, ofrecen una plataforma valiosa para el profesorado para su aplicación potencial en otra dirección, a saber, el diseño y desarrollo curricular de actividades de educación científica CTS para el aula, una línea de aplicación educativa novedosa que requiere una atención y un desarrollo adicionales. 10 Bibliografía citada Acevedo, J.A., Acevedo, P., Manassero, M.A. y Vázquez, A. “Avances metodológicos en la investigación sobre evaluación de actitudes y creencias CTS”. En línea en Revista Iberoamericana de Educación, edición electrónica De los Lectores, 2001 <http://www.campus-oei.org/revista/deloslectores/Acevedo.PDF>. Acevedo, J.A., Vázquez, A., Manassero, M.A. y Acevedo, J.A. “Consensos sobre la naturaleza de la ciencia: fundamentos de una investigación empírica”. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 4(1), 2007 en prensa. Aikenhead, G.S., Fleming, R.W. y Ryan, A.G. “High School Graduates' Beliefs About Science-Technology-Society. I. Methods and Issues in Monitoring Students Views”. Science Education, 71, 145-161, 1987. Aikenhead, G.S. y Ryan, A.G. The development of a multiple choice instrument for monitoring views on Science-Technology-Society topics. Final Report of SSHRCC Grant Saskatoon, Saskatchewan, Canadá: University of Saskatchewan, Department of Curriculum Studies, 1989. Aikenhead, G.S. y Ryan, A.G. “The development of a new instrument: ‘Views on Science-Technology-Society’ (VOSTS)”. Science Education, 76, 477-491, 1992. Chaiken, S., Pomerantz, E.M. y Giner-Sorolla, R. “Structural consistency and attitude strength”. En R.E. Petty y J.A. Krosnick, Attitude strength.Antecedents and consequences (pp. 387-412). Mahwah, NJ: LEA, 1995. Eagly, A.H. y Chaiken, S. The psychology of attitudes. Forth Worth: Harcourt Brace College Publishers, 1993. Fraser, B.J. y Tobin, K.G., Eds. International Handbook of Science Education. Dordrecht, The Netherlands: Kluwer Academic Publishers, 1998. Gardner, P.L. “The dimensionality of attitude scales: a widely misunderstood idea”. International Journal of Science Education, 18, 913-919, 1996. Gauld, C.F. y Hukins, A.A. “Scientific attitudes: A review”. Studies in Science Education, 7, 129-161, 1980. Hofstein, A., Aikenhead, G. y Riquarts, K. “Discussions over STS at the Fourth IOSTE Symposium”. International Journal of Science Education, 10, 357-366, 1988. Kempa, R. Assessment in science. Cambridge: Cambridge University Press, 1985. Lederman, N.G., Wade, P.D. y Bell, R.L. (1998). “Assessing the nature of science: What is the nature of our assessments?” Science and Education, 7, 595-615. Manassero, M.A. y Vázquez, A. Opinions sobre ciència, tecnologia i societat. Palma de Mallorca, España: Conselleria d'Educació, Cultura i Esports, 1998. Manassero, M.A. y Vázquez, A.“Instrumentos y métodos para la evaluación de las actitudes relacionadas con la ciencia, la tecnología y la sociedad”. Enseñanza de las Ciencias, 20, 15-27, 2002. Manassero, M.A., Vázquez, A. y Acevedo, J.A. Avaluació del temes de ciència, tecnologia i societat. Palma de Mallorca, España: Conselleria d'Educació i Cultura, 2001. Manassero, M.A., Vázquez, A. y Acevedo, J.A. Cuestionario de Opiniones sobre Ciencia, Tecnología y Sociedad (COCTS). Princeton, NJ: Educational Testing Service, 2003. En http://www.ets.org/testcoll/. Manassero, M.A., Vázquez, A. y Acevedo, J.A. “Evaluación de las actitudes del profesorado respecto a los temas CTS: nuevos avances metodológicos”. Enseñanza de las Ciencias, 22, 299-312, 2004. Petty, R.E. y Krosnick, J.A. Attitude strength. Antecedents and consequences. Mahwah, NJ: LEA, 1995. 11 Rubba, P.A. y Harkness, W.L. “Examination of preservice and in-service secondary science teachers' beliefs about Science-Technology-Society interactions”. Science Education, 77, 407-431, 1993. Rubba, P.A., Schoneweg-Bradford, C.S. y Harkness, W.L. “A new scoring procedure for the Views on Science-Technology-Society instrument”. International Journal of Science Education, 18, 387-400, 1996. Schibeci, R.A. “Attitudes to science: Un update”. Studies in Science Education, 11, 26- 59, 1984. Shrigley, R.L. y Koballa Jr., T.R. “A decade of attitude research based on Hovland's learning model”. Science Education, 76, 17-42, 1992. Stahlberg, D. y Frey, D. “Actitudes I: estructura, medida y funciones”. En M. Hewstone, W. Stroebe, J.P. Codol y G.M. Stephenson (Dirs.), Introducción a la Psicología Social (pp. 149-170). Barcelona: Ariel, 1990. [Attitudes I: Structure, measurement, and functions, Introduction to Social Psychology (1988)]. Vázquez, A., Acevedo, J.A., Manassero, M.A. y Acevedo, P. “Cuatro paradigmas básicos sobre la naturaleza de la ciencia”. Argumentos de Razón Técnica, 4, 135-176, 2001. En línea en Sala de Lecturas CTS+I de la OEI, 2003. <http://www.campusoei.org/salactsi/acevedo20.htm>. Vázquez, A. y Manassero, M.A. “Actitudes relacionadas con la ciencia: una revisión conceptual”. Enseñanza de las Ciencias, 13, 337-346, 1995. Vázquez, A. y Manassero, M.A. “Response and scoring models for the ‘Views on Science-Technology-Society' instrument”. International Journal of Science Education, 21, 231-247, 1999. Vázquez, A., Manassero, M. A. y Acevedo, J. A. “Análisis cuantitativo de ítems complejos de opción múltiple en ciencia, tecnología y sociedad: Escalamiento de ítems”. Revista Electrónica de Investigación Educativa, 7(1), 2005. Consultado 4/3/2006 en http://redie.uabc.mx/vol7no1/contenido-vazquez.html. Wareing, C. “A Survey of Antecedents of Attitudes Toward Science”. Journal of Research in Science Teaching, 27, 371-386, 1990. ÁNGEL VÁZQUEZ-ALONSO Facultad de Educación. Universidad de las Islas Baleares. angel.vazquez@uib.es Mª ANTONIA MANASSERO-MA Departamento de Psicología. Universidad de las Islas Baleares. ma.manassero@uib.es JOSÉ ANTONIO ACEVEDO-DÍAZ Inspección de Educación. Consejería de Educación de la Junta de Andalucía. Delegación Provincial de Huelva. ja_acevedo@vodafone.es PILAR ACEVEDO-ROMERO IES “Fray Luis de León” de Salamanca. pi_acevedo@yahoo.es 12