Características de los estudiantes asociadas a la evaluación del desempeño docente en bachillerato 13 de marzo de 2015 Características de los estudiantes asociadas a la evaluación del desempeño docente en bachillerato Julio Herminio Pimienta Prieto Esteban Flores Díaz Isabel Rodríguez Rebolledo PALABRAS CLAVE: N ivel medio superior, evaluación de la docencia, percepción de los estudiantes, características de los estudiantes. EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo. Resumen En esta ponencia se presenta un avance resultante de un piloteo para una investigación que entre otras cuestiones, pretende asociar algunas características de los estudiantes a los niveles de desempeño de profesores de bachillerato, producto de la aplicación de un cuestionario a los alumnos. Para ello se ha utilizado un modelo de regresión logística multinomial que aunque pertinente, denota la necesidad de encontrar mejores estimadores para optimizar la clasificación. En el estudio han participado un total de 418 estudiantes de un bachillerato particular (de nivel socioeconómico medio bajo) de la Ciudad de México, que han evaluado la actuación de su profesor de matemáticas utilizando un cuestionario tipo escala de Likert con rango entre uno y cinco. Los resultados apuntan a una clara preferencia a evaluar en niveles bajo y medio el desempeño de los profesores, a estudiantes que viven con ambos padres y poseen computadora en casa, lo que nos habla de un cierto nivel socioeconómico, poseen una escasa biblioteca y su rendimiento académico es medio o bajo. Por otro lado, se asocian a la evaluación de altos niveles de desempeño, a estudiantes que viven con ambos padres, proceden de escuelas privadas, el nivel escolar de los padres llega a licenciatura o más y sus promedios del nivel escolar anterior son medios altos o altos (8 puntos o más en una escala de 10). Lo anterior nos lleva a confirmar la necesidad de utilizar este tipo de cuestionarios como parte de una evaluación integral de la docencia y fundamentalmente con un fin formativo. 2 INTRODUCCIÓN El impacto de la actuación docente en el rendimiento académico de los estudiantes ha sido muy estudiado en el último tiempo, es bien conocido y lógico, el que los profesores con alto nivel de competencia generan altos niveles de logro en sus estudiantes. Estudios actuales constatan la relación de las encuestas de evaluación docente con el rendimiento académico de los alumnos (La Serna, et al., 2014), cuestión que nos habla de la actualidad y relevancia del tema; sin embargo, una cuestión asociada que llama nuestra atención y que consideramos escasamente estudiada, hasta lo que hemos revisado en este momento, es la referida a cuáles son las características de los estudiantes que evalúan a los docentes en niveles altos de competencia. Ello, por el llamado que nos hace un grupo importante de serios investigadores que advierten de esta situación (Páramo, 2008; La Serna, et al., 2014), y que denotan la carencia de objetividad en estos instrumentos como medio para la obtención de información que permita la toma de decisiones trascendentes con los docentes. El presente trabajo en el marco de un estudio piloto, pretende por un lado, obtener una clasificación del desempeño de los docentes desde la percepción de los estudiantes: en alto, medio y bajo y, por otro, determinar las características de los alumnos que se asocian con esta clasificación; entendiendo que en este momento las características medidas a los estudiantes constituyen una exploración dentro de un grupo de deseables y que por la limitación del muestreo, pudieran no ser las relevantes a tomar en cuenta en el estudio definitivo. Para evaluar el desempeño docente, Perrenoud (2007, 2012), Mateo (2006) , Zabalza y Zabalza (2010, 2012) mencionando algunos autores, han planteado que es posible valorar la actuación del profesor considerando una serie de rasgos dentro de una gran gama de posibilidades; pero, que de forma general, dan una buena idea de cómo se desempeña este importante actor y qué considerar para proceder a su evaluación. Muñoz, Ríos y Abalde (2002) en su estudio sobre la revisión de instrumentos que se han utilizado en diversas universidades españolas, han propuesto uno para evaluar la docencia desde la perspectiva de los estudiantes, mismo que si lo comparamos con lo que pretende la reforma educativa emprendida en México para el nivel medio superior, no dista tanto de lo que se propone como competencias deseables en el docente en este nivel. A propósito, el Acuerdo 447 de la Secretaría de Educación Pública de México, marca que “las competencias docentes son las que formulan las cualidades individuales, de carácter ético, académico, profesional y social que debe reunir el docente de la EMS (Educación Media Superior), y consecuentemente definen su perfil”. (SEP, 2008, 2), estableciendo con ello, una gama de actuaciones que debe poseer este profesional de la educación, que mencionamos a continuación: 1. Organiza su formación continua a lo largo de su trayectoria profesional. 2. Domina y estructura los saberes para facilitar experiencias de aprendizaje significativo,. 3. Planifica los procesos de enseñanza y de aprendizaje atendiendo al enfoque por competencias, y los ubica en contextos disciplinares, curriculares y sociales amplios. 4. Lleva a la práctica procesos de enseñanza y de aprendizaje de manera efectiva, creativa e innovadora en su contexto institucional. 5. Evalúa los procesos de enseñanza y de aprendizaje con un enfoque formativo. 6. Construye ambientes para el aprendizaje autónomo y colaborativo. 7. Contribuye a la generación de un ambiente que facilite el desarrollo sano e integral de los estudiantes. 8. Participa en los proyectos de mejora continua de su escuela y apoya la gestión institucional. Como es posible advertir, no es factible evaluar todas las actuaciones anteriores considerando la perspectiva de los estudiantes; pero, la inmensa mayoría (seis de los ocho), si se pueden poner a consideración de los alumnos. Hemos considerado no enfrentar las actuaciones deseadas “1” y “8” al juicio de los estudiantes. Tomando en cuenta lo anterior, hemos utilizado un instrumento basado en uno validado con anterioridad por Pimienta (2014) y que está conformado por 26 afirmaciones que los estudiantes deben valorar sobre las actuaciones que aprecian en sus profesores, en un continuo entre 1 y 5, considerando que el 1 significa estar “muy en desacuerdo” y el 5, “muy de acuerdo”. 3 Presentamos a continuación las dos dimensiones que conforman el instrumento y sus respectivos indicadores. Tabla 1 Especificaciones del Cuestionario de Alumnos para Evaluar la Docencia (CAED) Dimensiones Indicadores % Pretensiones del programa. Relación clases – programa. • Lógica de las sesiones. • Percepción del dominio de las competencias pretendidas. • Cumplimiento del programa. • Reactivación de saberes previos. • Mediación necesaria para el logro de las competencias. • Organización de los saberes. • Aplicación de los saberes. • Situaciones de aprendizaje. • Participación de los estudiantes en las evaluaciones. • Retroalimentación sobre las evaluaciones. • Evaluación oportuna. • Relación evaluación – programa – sesiones. • Interdisciplinariedad. • Trabajo individual y colaborativo. • Recursos pertinentes. • Utilización de la tecnología. • Estrategias propiciadoras de aprendizaje. 73 Equidad en el trato. Claridad de la comunicación. • Ambiente propicio para el aprendizaje. • Práctica de valores éticos. • Involucramiento de los estudiantes en las tareas. • Empatía. • Respeto a la diversidad. 27 • • Didáctica • • Ambiente modificante DESARROLLO 4 A continuación describimos la muestra de estudiantes participantes en el estudio. Casi la mitad de estudiantes son hombres, 49.8% (208) y la otra, el 50.2% (210) mujeres. La mayoría proviene de escuelas secundarias particulares, el 75.1% (314); mientras que el 24.9% (104) proviene de escuelas gubernamentales. Atendiendo al nivel escolar del padre: el 1.7% (7) no ha terminado la primaria, el 3.8% (16) posee primaria, el 13.6% (57) secundaria, el 32.1% (134) secundaria, el 34.9% (146) posee licenciatura, el 8.4% (35) posee maestría y el 5.5% (23) posee doctorado. Con respecto a las mamás, la distribución del nivel escolar se diferencia en que en estas últimas, encontramos mayor cantidad en los niveles de secundaria y preparatoria: el 1.9% (8) no ha concluido la primaria, el 5% (21) primaria, 21.1% (88) secundaria, 36.4% (152) preparatoria, 26.1% (109) licenciatura, el 6.7% (28) maestría y solo el 2.9% (12) doctorado. La mayoría de los estudiantes vive con ambos padres 74.6% (312), el 19.9% (83) vive con la madre y el 3.8% (16) con el padre, el 1.7% (7) vive con algún otro familiar. En casa la inmensa mayoría posee computadora 92.3% (386), contra un 7.7 (32) que no la poseen. El 42.6% (178) reporta tener hasta 50 libros en casa, el 28.7% (120) posee entre 51 y 100, el 12.4% (52) reporta que posee hasta 150 libros en casa, mientras que el 10% (42) manifiesta que posee hasta 200 ejemplares y el 6.2% (26) plantea tener hasta 300 libros. Con la intención de realizar la clasificación del desempeño docente, hemos aplicado un modelo de regresión logística multinomial (Hosmer & Lameshow, 2000; Kleinbaum y Klein, 2010). Para cada reactivo se determinaron las frecuencias de cada una de las opciones y se pudo apreciar que son similares en cuanto a su distribución. La Fig. 1, muestra las gráficas de violín en las que se puede distinguir lo anterior. La única diferencia la encontramos en el R3 (reactivo 3), en el que la mayoría ha seleccionado las opciones 3 y 4. Figura 1 Gráficas de violín para cada uno de los reactivos Posteriormente se procedió a realizar un análisis de correlación entre los ítems. Se calcularon las matrices de correlación de Pearson, Spearman y Kendall, con lo cual determinamos que las variables no se encuentran significativamente relacionadas. A continuación mostramos un ejemplo de gráficas de correlación spider, que muestran lo planteado. 5 Figura 2 Gráficas de correlación Para la construcción de la variable respuesta se ha tomado en cuenta la distribución de frecuencias de cada reactivo de la escala. Tabla 2 Distribución de frecuencias para los valores de la escala Valor 1 Frecuencia absoluta Frecuencia relativa Frecuencia acumulada 352 Frecuencia acumulada relativa 352 0.032 0.032 2 703 0.065 1 055 0.097 3 2 074 0.191 3 129 0.288 4 4 461 0.410 7 590 0.697 5 3 293 0.303 10 883 Total 10 883 1 1 Tabla 4 Distribución de frecuencias para los niveles de desempeño Valor Frecuencia absoluta Frecuencia relativa Frecuencia acumulada Frecuencia acumulada relativa Bajo (1y 2) 1 055 0.097 1 055 0.097 Medio (3 y 4) 6 535 0.600 7 590 0.697 0.303 10 883 Alto (5) Total 3 293 10 883 1 1.0 La variable respuesta (YD) varía entonces entre 26 y 130, de ello se establece que la proporción acumulada se encontrará entre 0 y 1, con un 9.7% de evaluaciones de bajo desempeño, 60% medio y 30,3% alto. 6 Finalmente, las proporciones finales para la variable respuesta son: Tabla 5 Variable de respuesta YD Puntaje Final Clasificación Variable respuesta Límite Inferior Límite Superior Frecuencia YD 26 79 39 0.093 80 110 250 0.692 111 130 129 1 Total 418 Bajo Medio Alto Encontrándonos ante una medida ordinal, hemos formado un conjunto de variables de diseño, como plantean Homer y Lameshow (2000), con lo que solventamos la anterior situación. Tabla 6 Variables de diseño Categoría MPi,1 MPi,2 MPi,3 MPi,4 Muy en desacuerdo (1) 0 0 0 0 En desacuerdo(2) 1 0 0 0 Ni en acuerdo, ni en desacuerdo(3) 0 1 0 0 De acuerdo (4) 0 0 1 0 Muy de acuerdo (5) 0 0 0 1 Hemos utilizado un modelo de regresión logística multinomial, puesto que tenemos en nuestro caso, tres categorías que expresan los niveles de desempeño docente. En la regresión logística la variable dependiente, ha sido la función de distribución acumulada logística, definida como: F(x) = P (X ≤ x) = donde F(x) denota una probabilidad en el rango en [0,1], y e g(x) 1 + e g(x) g(x) = �0 + �1 x 1 + �2 x 2 + … + �p x p El modelo de regresión logística multinomial queda definido como donde: F(MP) = e g(MP) 1 + e g(MP) MP = MP1 + … + MP26 , y cada MPi = MPi, 1 + MPi, 2 + MPi, 3 + MPi, 4 , por lo que cada una de las variables ordinales se reemplaza por sus variables de diseño definidas anteriormente, finalmente: g(MP) = �0 + �1, 1 MP1, 1 + �1, 2 MP1, 2 + �1, 3 MP1, 3 + �1, 4 MP1, 4 + … + �26, 1 MP26, 1 + �26, 2 MP26, 2 + �26, 3 MP26, 3 + �26, 4 MP26, 4 7 Se han encontrado los estimadores de los coeficientes Bi, j , en esta regresión se determinó que solo 48 coeficientes son significativos, mismos que corresponden a los reactivos: 2, 5, 6, 8, 11, 13, 15, 17, 22, 23, 24 y 26. Una vez obtenido el modelo de regresión logística se procede a pronosticar la evaluación después de la intervención educativa, es decir con las evaluaciones en las que participaron los alumnos al finalizar el ciclo escolar. Los cambios en las evaluaciones se muestran en la Tabla 7, ahora la frecuencia más alta la tiene la categoría Alto con un 57.7%, después le sigue Medio con un 36.8% y al final la clasificación Bajo con tan solo el 5.5%. Tabla 7 Frecuencias y porcentajes atendiendo a los niveles de desempeño Clasificación Posterior Clasificación Previa Bajo Medio Alto Total Total Bajo Medio Alto 3 14 22 39 13.0% 9.1% 9.1% 9.3% 13 101 136 250 56.5% 65.6% 56.4% 59.8% 7 39 83 129 30.4% 25.3% 34.4% 30.9% 23 154 241 5.5% 36.8% 57.7% 418 Los estudiantes que evaluaron en un nivel bajo el desempeño de los profesores y que no cambiaron su percepción, 13% (puesto que se aplicó el cuestionario tres semanas después de comenzar el curso y al finalizar) acerca de la evaluación, viven con ambos padres, cuentan con computadora en casa y presentan una cantidad reducida de libros en el hogar (entre 1 y 50). Los que evaluaron como de nivel medio a su profesor (65.6%) y se mantuvieron en esa clasificación, son principalmente mujeres que viven con ambos padres, la escuela de procedencia es privada, el nivel escolar de la madre es por debajo de preparatoria, en el caso de los padres la mayoría tiene licenciatura o más y el promedio obtenido en secundaria está por debajo de 7.8 puntos. Ahora se verán las características en los casos extremos, primero los alumnos que inicialmente evaluaron bajo y al final alto, en su gran mayoría viven con ambos padres, la escuela de procedencia con más peso en este grupo es la oficial, el nivel escolar de la madre está en promedio por debajo de la preparatoria y el del padre a lo sumo, llega a la licenciatura, en ambos casos hay presencia de niveles escolares bajo hasta Preprimaria y Primaria en la escolaridad de los padres. El otro caso extremo sería cuando antes evaluaron alto y posteriormente, bajo, las características encontradas son: proceden de escuelas particulares, el nivel escolar de la madre está entre secundaria y preparatoria, y del padre entre preparatoria y universidad. CONCLUSIONES 8 Por el momento consideramos que es viable la clasificación de los estudiantes mediante un modelo de regresión logística multinomial; sin embargo, es pertinente tomar la decisión de trabajar en un modelo con mayor robustez, lo que redundará en que se optimice la clasificación en los niveles de desempeño de los profesores por parte de los estudiantes. Ello, debido a que el modelo que mida la percepción de los alumnos debe ser tal que capture y sea capaz de resistir a respuestas atípicas de los estudiantes, como por ejemplo, el que seleccionen solamente la opción más baja, la más alta o combinaciones no aleatorias de las posibilidades de la escala. Se denota una clara preferencia a evaluar en niveles bajo y medio el desempeño de los profesores, a estudiantes que aunque viven con ambos padres y poseen computadora en casa, lo que nos habla de cierto nivel socioeconómico, poseen una escasa biblioteca y su rendimiento académico es medio o bajo. Por otro lado, se asocian a la evaluación de altos niveles de desempeño, a estudiantes que viven con ambos padres, proceden de escuelas privadas, el nivel escolar de los padres llega a ser de licenciatura o más y sus promedios del nivel anterior son medios altos o altos (8 y más puntos). Consideramos que deben considerarse con mesura los resultados que arrojan este tipo de cuestionarios para tomar decisiones, sobre todo ahora con la reforma constitucional en México que considera la permanencia en el Servicio Profesional Docente y para lo cual, este tipo de herramientas podría ser utilizado (Cordero y Luna, 2014). Estudios clásicos han documentado que grupos de estudiantes que obtuvieron puntajes altos en los exámenes evalúan mejor a sus profesores (García Garduño, 2008), cuestión que se va registrando, también, en nuestro estudio. Una implicación de esta incipiente investigación para la mejora de la práctica docente, pudiera vislumbrarse en el sentido de considerar que la evaluación de la docencia por parte de los estudiantes se relaciona íntimamente con la percepción de logro de los mismos. Finalmente, es muy limitado el aporte que presentamos, considerando que es un piloteo en el que además, no han sido significativas variables relevantes como características de los estudiantes que pudiéramos relacionar, por ejemplo, procedencia de una escuela privada. (La Serna, et al., 2014) REFERENCIAS 9 Bravo, D., Falck, D. González, R., Manzi, J. y Peirano, C. (2008). La relación entre la evaluación docente y el rendimiento de los alumnos: Evidencia para el caso de Chile. En: http://www.ceppe.cl/images/stories/recursos/publicaciones/ Jorge%20Manzi/La-relacin-entre-la-evaluacion-docente-y-el-rendimiento-de-los-alumnos.pdf Cordero, G. y Luna, E. (2014). El Servicio Profesional Docente en la perspectiva de los sistemas nacionales de formación de profesores y de evaluación. El caso de México. Revista Iberoamericana de Evaluación Educativa, 7(2), 75-84. García Garduño, J. (2008). La investigación sobre efectividad docente en Estados Unidos y el uso de los cuestionarios de evaluación. En: Rueda, M. (Coord.). (2008). La evaluación de los profesores como recurso para mejorar su práctica. México: ISUE. Universidad Nacional Autónoma de México. Hosmer, D. y Lameshow, S. (2000). Applied Logistic Regression. New York, USA: Wiley. Kleinbaum, D. y Klein, M. (2010). Logistic Regression. A Self-Learning Text. New York, USA: Springer. La Serna, K., Becerra, A., Beltrán, A. y Zhang, H. (2014). La relación de las encuestas de evaluación con el rendimiento académico: La evidencia empírica en la Universidad del Pacífico. Revista Iberoamericana de Evaluación Educativa. 7, (2), 105-116. Luna, E. y Rueda, M. (2008). Estado del conocimiento sobre la evaluación de la docencia universitaria 1990-2004. En: Rueda, M. (Coord.). (2008). La evaluación de los profesores como recurso para mejorar su práctica. México: ISUE. Universidad Nacional Autónoma de México. Mateo, J. (2006). La evaluación educativa, su práctica y otras metáforas. Lima, Perú: Alfaomega. Muñoz, J., Ríos, M y Abalde, E. (2002). Evaluación docente vs. evaluación de la calidad. Revista Electrónica de Investigación y Evaluación Educativa (Relieve), 8(2), 103-134. Páramo, P. (2008). Factores psicosociales asociados a la evaluación del docente. Educación y Educadores, 11(1), 11-30. Perrenoud, P. (2012). Cuando la escuela pretende preparar para la vida. ¿Desarrollar competencias o enseñar otros saberes? Distrito Federal, México: Graó. Perrenoud, P. (2007). Diez nuevas competencias para enseñar. Distrito Federal, México: Graó. Pimienta, J. (2014). Elaboración y validación de un instrumento para la medición del desempeño docente basado en competencias. Revista de docencia universitaria, 12(2), 231-250. S.E.P. (2008). Acuerdo número 447 por el que se establecen las competencias docentes para quienes impartan educación media superior en la modalidad escolarizada. México: Diario Oficial. Zabalza, M. y Zabalza, Ma. A. (2012). Profesoras, profesores y profesión docente. Entre el ser y el estar. Madrid, España: Narcea. Zabalza, M. y Zabalza, Ma. A. (2010). Planificación de la docencia en la universidad. Elaboración de guías docentes de las materias. Madrid, España: Narcea.