Propuesta para la evaluación de programas de educación
Anuncio
Propuesta para la evaluación de programas de educación socioemocional Juan Carlos Pérez-González Dpto. MIDE II (OEDIP), Facultad de Educación, UNED, Madrid España Juan Carlos Pérez-González. Departamento MIDE II (Orientación Educativa, Diagnóstico e Intervención Psicopedagógica), Facultad de Educación, UNED, C/ Senda del rey, 7, 28040 Madrid. E-mail: jcperez@edu.uned.es © Education & Psychology I+D+i and Editorial EOS (Spain) Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 - 523 - Pérez-González, J.C. Resumen En este artículo se comienza reflexionando sobre la conveniencia de los programas de educación emocional o socioemocional, haciendo énfasis en la urgencia de investigaciones evaluativas acerca de la validez de estos programas presuntamente dirigidos a mejorar la inteligencia emocional (IE). A continuación se presenta una definición de educación socioemocional. Posteriormente, se discute sobre la ausencia de evidencia científica en favor de la educabilidad de la IE, y se recomienda la consideración del modelo de evaluación de programas educativos de Pérez Juste (2006) como punto de referencia. Finalmente, se presenta una escala de estimación de 29 indicadores para la evaluación de programas de educación socioemocional (EEIPESE). Esta escala de estimación está basada en el modelo de Pérez Juste (2006), y permite sistematizar cuantitativa y cualitativamente la evaluación de cualquier programa de educación socioemocional en sus tres aspectos básicos: diseño, proceso, y resultados. Asismismo, la EEIPESE incluye también un apartado de metaevaluación. Palabras Clave: inteligencia emocional, educación emocional, alfabetización emocional, indicadores, evaluación de programas. Recibido: 04/04/08 -524- Aceptación Provisional: 11/05/08 Aceptación Definitiva: 23/07/08 Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 Propuesta para la evaluación de programas de educación socioemocional Abstract This paper starts from a reflection about the suitability of emotional or socioemotional education programs, with emphasis on the pressing need for evaluation studies on validity of these programs, allegedly developed for improving emotional intelligence. Next, a definition of socioemotional education is presented. A discussion follows with regard to the lack of scientific evidence for the educability of EI, and the Pérez Juste (2006) model for educational program evaluation is recommended as a point of reference. Finally, an assesment scale with 29 indicators for evaluating socioemotional education programs (EEIPESE) is presented. This assessment scale is based on the Pérez Juste (2006) model, and permits systematic evaluation of any socioemotional education program in a quantitative and qualitative manner, addressing the three basic aspects of a program: design, process and results. The EEIPESE also includes a metaevaluation section. Keywords: emotional intelligence, emotional education, emotional literacy, indicators, program evaluation. Received: 04/04/08 Initial Acceptance: 05/11/08 Final Acceptance: 07/23/08 Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 - 525 - Pérez-González, J.C. Introducción Ante la cuestión de si vale la pena invertir energías en diseñar y aplicar programas dirigidos a desarrollar la inteligencia emocional (IE en adelante), nuestra respuesta es, inicialmente, rotundamente afirmativa: sí, sin ninguna duda. Esta actitud favorable hacia los intentos serios de educación de la IE es independiente de que la entendamos como capacidad cognitiva para procesar información emocional (IE-capacidad), como integración de autopercepciones y de disposiciones de carácter emocional (IE-rasgo), o como conjunto de competencias sociales y emocionales (CSE) (para una discusión sobre esta distinción véase Pérez y Repetto, 2004; Pérez-González, Petrides y Furnham, 2007; Petrides, Mavroveli, y Furnham, 2007). Dada la confirmación científica de que la IE (IE-capacidad e IE-rasgo) y las competencias socioemocionales (CSE) constituyen una herramienta personal de gran ayuda para afrontar eficazmente múltiples situaciones de la vida cotidiana (Petrides, Pérez-González y Furnham, 2007; Repetto y Pérez-González, 2007; Van Rooy y Viswesvaran, 2004; Vila y Pérez-González, 2007), estamos obligados a intentar potenciar su máximo desarrollo (Cohen, 2006; Extremera y Fernández-Berrocal, 2003; Qualter, Whiteley y Gardner, 2007). Sin embargo, según recientes revisiones críticas de la literatura (Goetz, Frenzel, Pekrun y Hall, 2005; Roberts, Zeidner y Matthews, 2007; Zeidner, Roberts y Matthews, 2002), aún desconocemos cómo conseguir este objetivo, e incluso, si es verdaderamente factible. De hecho, parece un objetivo difícil, al menos mediante intervenciones a corto plazo (Murphy, 2006). Por estar razones, aquí estamos de acuerdo con Valls (2007) al recomendar que “debamos de ser extremadamente prudentes en nuestra práctica hasta que el tiempo y las futuras investigaciones faciliten el camino” (Valls, 2007, p. 196). Goetz, Frenzel, Pekrun, y Hall (2005) han concluido que, a pesar de que en los últimos años se han generado numerosos programas de este tipo, la mayoría de ellos carece de una sólida base teórica y científica: “dado que la mayoría de las técnicas de promoción de la IE parecen tener poca o ninguna base científica, recomendamos que tales programas sean vistos con gran escepticismo” (Goetz et al., 2005, p. 248). En definitiva, no sólo basta con diseñar y aplicar programas educativos que pretendan desarrollar la IE o las competencias socioemocionales, sino que también es preciso evaluar estas intervenciones, tanto para contar con datos empíricos acerca de su mayor o menor grado de validez como para detectar aquellos aspectos de tales intervenciones que sean susceptibles -526- Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 Propuesta para la evaluación de programas de educación socioemocional de mejora. Actualmente, en el ámbito de la investigación sobre inteligencia emocional, todavía tenemos pendiente la tarea de diseñar buenos programas educativos y de someterlos a evaluación sistemática. No debemos olvidar que cualquier práctica o programa de educación emocional o socioemocional debería basarse en la evidencia disponible fruto de la investigación científica (e.g., Zins, Bloodworth, Weissberg y Walberg, 2004; Zins, Payton, Weissberg y O’Brien, 2007). Concepto de educación socioemocional En síntesis, entendemos la educación socioemocional como un término equivalente al de educación emocional (véase Bisquerra, 2000, 2003), más utilizado en el ámbito hispanoamericano, así como también equivalente al término de alfabetización emocional (emotional literacy), más habitual en el contexto anglosajón. Sin embargo, preferimos utilizar el término más comprehensivo de educación “socioemocional”, pues abarca tanto a lo social como a lo emocional (e.g., Allen y Cohen, 2006; Halberstadt, Denham y Dunsmore, 2001). Inspirándonos parcialmente en la definición de Bisquerra (2003), con educación emocional o socioemocional designamos aquel proceso educativo planificado y desarrollado a través de programas, con carácter de prevención primaria inespecífica, dirigido a desarrollar tanto la inteligencia emocional como las competencias socioemocionales a corto, medio, y largo plazo, y a potenciar el desarrollo integral de la persona, con la finalidad última de aumentar el bienestar personal y social. Asimismo, pensamos que tanto los objetivos específicos como los contenidos de la educación socioemocional vendrán determinados por las siguientes variables, principalmente: el modelo teórico de IE o de CSE del cual se parta, la población destinataria, y el contexto en el que se desarrolle. En lo referente a la justificación y los fundamentos de la educación socioemocional, así como con respecto a la conveniencia de la intervención por programas remitimos al lector a los trabajos más amplios de Bisquerra (2000, 2002, 2003). ¿Existe evidencia empírica sobre la educabilidad de la IE? Por el momento, existen algunas evidencias a favor de la susceptibilidad a la intervención educativa de ciertas dimensiones de la IE capacidad (e.g., Fellner et al., 2007; Ulutas y Ömeroglu, 2007) y de la IE rasgo (e.g., Bellamy, Gore, y Sturgis, 2005). De modo que la educabilidad de la IE es presumible en cierto grado, pero aún no se ha constatado fehacientemenRevista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 - 527 - Pérez-González, J.C. te, habiendo prácticamente un vacío de estudios que repliquen estos resultados provisionales. Por otro lado, aunque se ha confirmado la eficacia parcial de algunos programas de formación en competencias socioemocionales (Zins et al., 2004), debe recordarse que, desde el punto de vista psicológico, competencias socioemocionales e IE no son la misma cosa (Allen y Cohen, 2006; Pérez y Repetto, 2004; Zeidner et al., 2002; Zins et al., 2007). En su revisión crítica, Zeidner et al. (2002) concluyeron que la mayoría de los programas de educación socioemocional publicados en EE.UU. no han sido diseñados específicamente para mejorar la IE, y, además, muy pocos de ellos han sido evaluados a través de investigaciones rigurosas, de lo cual se desprende que disponemos de muy poca evidencia objetiva acerca de la modificabilidad de la IE a través de la intervención educativa. “Aunque en principio es posible que puedan encontrarse modos eficientes para educar a quienes tienen una baja IE, actualmente no sabemos cómo se puede lograr este objetivo [...] A pesar de la teorización acerca de los programas de IE, realmente no sabemos tanto sobre cómo funcionan estos programas, o, ni tan siquiera, sobre el hecho de si funcionan o no” (Zeidner et al., 2002, p. 229). Esta reducida atención a la evaluación de programas educativos contrasta con lo que ocurre en otras áreas como la medicina o la agricultura, donde las decisiones de intervención se basan en la investigación previa, de modo que las prácticas avaladas empíricamente como las más eficaces suplantan progresivamente a las menos eficaces (Slavin, 2008). Lo cierto es que resulta preocupante que cientos de programas educativos se apliquen cada año o se pretendan generalizar sin el respaldo de una evaluación rigurosa (Expósito, Olmedo, y Fernández-Cano, 2004). Tanto en la práctica educativa como en la literatura psicopedagógica se confirma que los profesionales de la educación carecen tanto del hábito como de la formación suficiente para afrontar con mínimos criterios de rigurosidad la evaluación de su propia actividad profesional. Quizás, parte de la culpa de esta situación proceda de los centros donde se forman estos profesionales. En este sentido, Pérez Juste (2000) ha denunciado que “los profesores universitarios nos hemos ocupado muy poco de la creación en el profesorado de una auténtica cultura evaluativa sobre sus programas” (p. 266). Por lo general, cuando se lleva a cabo la evaluación de un programa educativo, ésta se reduce, en el mejor de los casos, a comprobar su validez social (grado de aprobación y de satisfacción que produce en los implicados) o el -528- Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 Propuesta para la evaluación de programas de educación socioemocional efecto del programa sobre una sola variable dependiente que, en ocasiones, ni tan siquiera es el nivel de logro o de aprendizaje de los alumnos (e.g., Sánchez, Rivas, y Trianes, 2006). Validación de los programas de educación socioemocional En gran medida, las conclusiones de Zeidner et al. (2002) sobre la educación socioemocional en el contexto anglosajón son también aplicables a nuestro contexto hispanoamericano. Como ejemplo representativo de esta situación deficitaria de investigación evaluativa de programas, cabe decir que de entre los 14 programas españoles de educación socioemocional incluidos en la revisión de Vallés y Vallés (2003), tan sólo hemos podido confirmar la existencia de estudios de validación sobre uno de ellos, consistente éste en una comunicación presentada en un congreso (e.g., Capote, Hernández, García, y Hernández, 1995). No obstante, en los últimos años en España se han producido diversas tesis doctorales en las que sí se han evaluado los efectos de distintos programas de educación socioemocional (Agulló, 2003; Alonso, 2004; Gallego, 2003; Muñoz de Morales, 2005; Obiols, 2005; Soldevila, 2007; Vivas García, 2005), si bien, incluso en algunos de estos casos se adolece de un débil modelo evaluativo. En cualquier caso, por el momento, la mayoría de estos interesantes trabajos de investigación no han sido publicados en revistas científicas, lo que dificulta enormemente el aprovechamiento de estas experiencias para la construcción de conocimiento y el avance en el área. Recuérdese que el artículo en revista científica “es el vehículo habitual por excelencia para difundir los informes de una investigación” (Expósito y Fernández-Cano, 2002, p. 119). Indicadores para evaluar los programas de educación socioemocional Modelos de evaluación de programas De entre los diferentes modelos de evaluación de programas educativos (para una revisión véase Garanto, 1989; Hernández Fernández y Martínez Clares, 1996; Martínez Mediano, 2007), uno de los más reconocidos es el modelo CIPP (context, input, process, product) de Daniel Stufflebeam (1971, 2003), pues resulta un modelo bastante completo, dado que consiste en: evaluar antes de iniciar el programa (contexto), evaluar la idoneidad y calidad técnica del programa (input o entrada), evaluar de manera continua (proceso), y evaluar los resultados (producto). De hecho, el modelo CIPP ha sido propuesto para su aplicación a la evaluación de programas de educación socioemocional por miembros del CASEL (Graczyk et al., 2000). Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 - 529 - Pérez-González, J.C. Sin embargo, bajo nuestro modesto punto de vista, el modelo de evaluación de programas educativos de Pérez Juste (1992, 1995, 2000, 2006), desarrollado con posterioridad al modelo CIPP, es tanto o más completo que este último, abarcando prácticamente los mismos elementos a evaluar con un criterio de organización, a nuestro juicio, más armónico e intuitivo que el modelo de Daniel Stufflebeam (véase también Iriarte, Alonso-Gancedo y Sobrino, 2006). Según Pérez Juste (2006), todo programa educativo ha de evaluarse en tres momentos: a) primer momento, en el que se evalúa el programa en sí mismo, incluyendo su adecuación a los destinatarios y al contexto (evaluación inicial); b) segundo momento, coincidente con el período de la aplicación o el desarrollo del programa (evaluación procesual o continua); y c) tercer momento, en el que se evalúan los resultados o logros del programa, incluyendo la valoración acerca de los mismos (evaluación final o sumativa). Por consiguiente, recomendamos consultar el modelo de Pérez Juste (2006) a todo profesional interesado en la evaluación de programas educativos, pues ofrece una de las pautas o guías más detalladas de los múltiples aspectos a evaluar en un programa, así como diversas consideraciones y sugerencias de máxima importancia. Curiosamente, algunos autores que inicialmente recomendaban seguir el modelo CIPP en la evaluación de programas de educación socioemocional (Álvarez, Bisquerra, Fita, Martínez, y Pérez, 2000) se han decantado posteriormente hacia la utilización del modelo de Pérez Juste (Álvarez, 2001). Sin embargo, por una parte, el modelo de Pérez Juste (2006), por detallado, puede ser visto como excesivamente amplio, lo que, inexorablemente, conduce a limitar su potencialidad de uso teniendo en cuenta las condiciones habituales de la vida de un centro educativo, y, sobre todo, la poca tradición entre los profesionales de la educación por evaluar sus intervenciones. De hecho, su pauta de evaluación integra un total de 73 indicadores, algunos de ellos incluso evaluando varias cuestiones. Entendemos que la tarea de revisar el cumplimiento de estos 73 indicadores en un programa educativo puede resultar más que tediosa, si bien esta impresión no es óbice para reafirmamos en nuestra recomendación de consultar este modelo, especialmente a la hora de diseñar un programa de intervención, dado que todos estos indicadores de evaluación son, en realidad, indicadores de calidad deseables en cualquier programa educativo. Téngase en cuenta que los indicadores fijan la atención sobre información importante acerca de los cambios necesarios para incrementar la calidad de los programas, y permiten ver las tendencias de determinadas acciones y ayudar, así, tanto a valorar los resultados finales como a planificar mejor (Forns y Gómez, 2001; Manzano, 2000). -530- Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 Propuesta para la evaluación de programas de educación socioemocional Por otra parte, como ha sugerido Manzano (2000) deben iniciarse sistemas de evaluación sencillos y breves hasta ir trabajando sistemáticamente por programas, y asentando una cultura de la investigación evaluativa entre los profesionales de la educación, y, especialmente, entre los orientadores. La Escala de Estimación de Indicadores para evaluar Programas de Educación SocioEmocional (EEIPESE) Con todo, consideramos conveniente reducir el número de indicadores del modelo de Pérez Juste (2006), para así contar con una herramienta de evaluación de programas educativos coherente pero más manejable. Con este fin, hemos elaborado una escala de estimación de 29 indicadores (ver anexo), cuya utilización proponemos para la evaluación de programas de educación socioemocional. En esta labor hemos redactado la mayoría de los items a partir de adaptaciones del modelo original de Pérez Juste (2006), aunque también se han creado otros items totalmente nuevos. En el proceso de elaboración de los items se han seleccionado los indicadores que hemos considerado más relevantes del modelo de Pérez Juste (2006) y se ha reformulado su redacción en sentido afirmativo, de modo que cada ítem reflejase una cualidad particular que hipotéticamente cumple el programa a evaluar. A cada ítem le acompaña una escala de estimación tipo Likert que varía de 0 (nulo cumplimiento del indicador) hasta 4 (grado de cumplimiento muy alto). Asimismo, a cada ítem corresponde también un espacio de observaciones donde pueden añadirse comentarios (valoraciones cualitativas) por parte del evaluador. Recomendamos utilizar también esta columna de la escala, para complementar, aunque sea de manera sintética, las valoraciones cuantitativas. Por ejemplo, una manera de enriquecer la recogida de información mediante esta escala es animando al evaluador correspondiente a que, en el apartado de “observaciones” (el cual se puede ampliar), cite algún ejemplo de evidencia encontrada a favor o en contra del indicador. Es decir, que el apartado de observaciones se puede emplear como un muestrario de ejemplos que avalen la valoración cuantitativa previamente realizada acerca del cumplimiento o no del indicador. En cuanto a la especificidad de algunos items de la escala, cabe justificar que se ha pretendido, en muchos casos, evaluar un aspecto global del programa compuesto por varios elementos. Por ejemplo, en el ítem número 5 se pretende hacer una valoración del conjunto de información que aporta el programa, razón por la cual se han agrupado los distintos elementos Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 - 531 - Pérez-González, J.C. en un sólo ítem, aunque también sería interesante evaluarlos por separado para mayor precisión de la información (si bien esto implica aumentar el número de items de la escala). Esta explicación es aplicable, igualmente, a los items número 17 y 20. En este último caso, se busca valorar la solidez psicométrica de los instrumentos utilizados, aunque somos conscientes de que no necesariamente fiabilidad y validez van parejos (Pérez, 2003). El informe final de la evaluación de cualquier programa de educación socioemocional podría, en principio, estar basado en el análisis de los indicadores incluidos en esta escala, lo que facilitaría la función del propio informe como una guía para el debate y la toma de decisiones acerca del valor del programa educativo en cuestión, de su mejora, y de la conveniencia o no de continuar con su aplicación. Asimismo, esta escala puede adoptarse como un referente para comparar la calidad de diversos programas de educación socioemocional, tanto cualitativamente como cuantitativamente (ver índices de evaluación al pie de la escala). No obstante, debe tenerse presente que, al tratarse de una escala de estimación, la información que aporta es siempre una valoración “subjetiva” ofrecida por quien actúe como evaluador. De ahí que sea recomendable utilizar esta escala de estimación con varios jueces o expertos evaluadores, con la finalidad de, posteriormente, contrastar o triangular sus valoraciones (cuantitativas y cualitativas), y obtener una valoración inter-jueces, que, siguiendo el procedimiento más simple, podría hacerse calculando la “media” aritmética de la valoración dada por cada juez a cada ítem (aunque también conviene atender a la “moda”). Antes de cumplimentar esta escala con respecto a un programa de educación socioemocional determinado es preciso recabar información a través de otras técnicas; por ejemplo, “el análisis de contenido” para la evaluación inicial del programa en sí mismo, “la entrevista”, “la encuesta” y “el cuestionario” para estudiar cuestiones como la adecuación del programa a los destinatarios, el apoyo del centro a la implantación del programa, o la opinión de los implicados acerca del programa (profesores/as, alumnos/as, familias, ...), “diarios” y “notas de campo” para registrar eventos, observaciones y reflexiones sobre la marcha del programa, así como “las pruebas psicométricas” para determinar los niveles (pre y post) de IE o de CSE (véase Extremera y Fernández-Berrocal, 2007; Pérez-González et al., 2007; Pérez, 2006). En cualquier caso, recordamos la conveniencia de adoptar el principio de complementariedad metodológica (cuantitativa y cualitativa), bien de forma simultánea bien de forma sucesiva, en la evaluación de programas educativos (Bisquerra, 2003; LeCompte, 1995; Pérez Juste, -532- Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 Propuesta para la evaluación de programas de educación socioemocional 2000), aunque también reconocemos la dificultad y esfuerzo que esto requiere. De hecho, lo habitual es que sólo en algunas evaluaciones de programas se combinen enfoques y metodologías (generalmente cualitativa en las primeras fases del estudio, y cuantitativa en la última o últimas). Por otra parte, en la mayoría de los trabajos de investigación evaluativa se constata la ausencia de una metaevaluación (Vélaz de Medrano, 1995, p. 246). En cualquier caso, siempre con la intención de aportar una herramienta práctica por su brevedad y simplicidad de utilización, pero a la vez coherente por su contenido y fundamento teórico, hemos incluido en nuestra escala un espacio para la evaluación cuantitativa y un espacio para la evaluación cualitativa (i.e., “observaciones”). El apartado de observaciones podría utilizarse para anotar ejemplos o razones que justifiquen la valoración realizada sobre cada ítem, si bien caben igualmente reflexiones personales acerca del aspecto evaluado. Finalmente hemos añadido un apartado de evaluación de la propia evaluación (metaevaluación), inspirándonos para esto último en los estándares internacionales recomendados para la evaluación de programas (JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION, 1994). Es previsible que, de cara a la valoración cualitativa y a la mejora del programa, resulten de mayor atractivo las dos primeras partes de esta escala, pues la tercera depende, casi en su totalidad, de la disponibilidad previa de datos objetivos que deberían obtenerse a través de la puesta en práctica de un diseño experimental o cuasi-experimental de investigación evaluativa, con grupos control y experimental. “Si bien, al final, lo que importa es la eficacia del programa, a los efectos de la mejora este tercer momento es el menos importante, ya que únicamente permite constatar niveles de logro y valorarlos a la luz de referencias especificadas en su momento” (Pérez Juste, 1995, p. 133). En resumen, esta escala de estimación (EEIPESE) se propone como un instrumento para sintetizar, con carácter sistemático y preferentemente cuantitativo, la valoración de un programa de educación socioemocional en sus tres aspectos fundamentales (diseño, aplicación, resultados). Pero hemos de dejar claro que su confiabilidad se verá incrementada en la medida en que la valoración que se haga de cada uno de los items esté basada en datos objetivos previamente obtenidos y analizados siguiendo los procedimientos adecuados. Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 - 533 - Pérez-González, J.C. De todos modos, si por las razones que sean no se dispone de la posibilidad de llevar a cabo un adecuado diseño de investigación evaluativa, se puede igualmente utilizar la escala completa o alguna de sus partes como un vehículo de valoración subjetiva, pero detallada, del programa. De hecho, más vale disponer de una evaluación subjetiva sistemática, razonada y cuantitativa de un programa educativo que no disponer de ninguna evaluación del mismo, siendo esto último lo más habitual, desafortunadamente. Sin embargo, será siempre ineludible explicitar este tipo de utilización a la hora de comunicar o publicar los resultados derivados de tal valoración. Conclusiones Aunque en este trabajo nos hemos centrado implícitamente en el ámbito de los centros educativos, cabe resaltar que, al igual que han destacado Bisquerra (2000) y Repetto y PérezGonzález (2007), entendemos que la educación socioemocional no tiene como único contexto de intervención el sistema educativo, sino que se extiende a los ámbitos familiar, comunitario y organizacional, del mismo modo que su aplicación no se limita a un rango de edad o etapa evolutiva, ya que la educación socioemocional no sólo es factible sino, además, altamente recomendable a lo largo de todo el ciclo vital de las personas, independientemente de sus circunstancias de cualquier tipo (e.g., véase su aplicabilidad en personas de la tercera edad: Soldevila, Ribes, Filella, y Agulló, 2005). En ambos aspectos, la educación socioemocional coincide con la orientación educativa o psicopedagógica, dentro de la cual se enmarca como una extensión de la orientación personal (Bisquerra, 2001; Montanero, 2002; Senra, PérezGonzález, y Manzano, 2007; Vila y Pérez-González, 2007). Basándonos en una revisión crítica de la literatura hasta la fecha, consideramos que las debilidades de los programas hispanoamericanos de educación socioemocional pueden sintetizarse en los tres puntos críticos que enumeramos a continuación: a) En cuanto al concepto de “programa de educación de la IE”. La gran mayoría de los programas de educación socioemocional no pueden considerarse programas de intervención para la mejora de la IE como tales, dado que ni están sólidamente basados en un modelo específico de IE ni cubren todo el dominio muestral de ésta, sea como IE-capacidad o como IE-rasgo. -534- Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 Propuesta para la evaluación de programas de educación socioemocional b) En cuanto a la población destinataria y el contexto de intervención. Los programas de educación socioemocional debieran abarcar todo el ciclo vital de las personas, si bien, hasta la fecha, la práctica totalidad de los mismos sólo están enmarcados en la educación formal no universitaria (Infantil, Primaria, y Secundaria) o en el contexto organizacional. Existe, por ende, un vacío de propuestas educativas para fomentar el desarrollo de la IE y de las CSE en la familia, en la educación universitaria (Sánchez García et al., 2008), y en el ámbito sociocomunitario (e.g., barriadas con alto riesgo de exclusión social, centros de orientación laboral, centros de menores, escuelas de adultos, centros de mayores, centros penitenciarios, etc.). c) En cuanto a la validez de los programas. Aún se desconocen programas de educación emocional o socioemocional (i.e., “programas de educación de la IE”) cuya validez (especialmente en términos de eficacia) haya sido comprobada rigurosamente. Son necesarios más esfuerzos para empezar a compensar esta tendencia. La escala de estimación de indicadores aquí presentada (EEIPESE) es una contribución para alentar y facilitar esta tarea. Asimismo, la posibilidad que ofrece la EEIPESE de calcular índices de la evaluación parcial o global del programa podría utilizarse en el futuro como un instrumento para comparar detallada y cuantitativamente (sobre una escala de 0 a 100) la calidad de los diferentes programas educativos sometidos a este mismo marco de evaluación. Agradecimientos El autor quiere expresar su agradecimiento a Ramón Pérez Juste y a Nuria Manzano Soto por sus comentarios críticos pero constructivos sobre una versión preliminar de la escala de estimación presentada en este artículo. No obstante, aclaramos que la versión definitiva aquí propuesta es de responsabilidad exclusiva del autor. Nota Este artículo está dedicado a la memoria de Joseph (Joe) E. Zins, destacado investigador y educador comprometido con la promoción y con la fundamentación científica de la educación socioemocional. Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 - 535 - Pérez-González, J.C. Referencias Agulló, Mª J. (2003). Educación emocional en el ciclo medio de primaria: educación y evaluación de un programa de intervención educativa para la prevención y el desarrollo humano. Tesis doctoral sin publicar. Universidad de Lleida. Allen, J., y Cohen, J. (2006). Emotional Intelligence in Classrooms and in Schools: What We See in the Educational Setting. En K. R. Murphy, A Critique of Emotional Intelligence: What Are the Problems and How Can They Be Fixed? (Series in Applied Psychology)(pp. 125-139). Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc. Alonso, Mª N. (2004). Conciencia emocional y desarrollo moral: diseño y evaluación del programa educativo de crecimiento emocional y moral (PECEMO). Tesis doctoral sin publicar. Universidad de Navarra. Álvarez, M. (coord.)(2001). Diseño y evaluación de programas de educación emocional. Barcelona: CISSPRAXIS. Álvarez, M., Bisquerra, R., Fita, E., Martínez, F., y Pérez, N. (2000). Evaluación de programas de educación emocional. Revista de Investigación Educativa, 18(2), 587-599. Bellamy, A., Gore., y Sturgis, J. (2005) Examining the relevance of emotional intelligence within educational programs for the gifted and talented. Electronic Journal of Research in Educational Psychology, 3(2), 58-78. Bisquerra, R. (2000). Educación emocional y bienestar. Barcelona: CISSPRAXIS. Bisquerra, R. (2001). Orientación psicopedagógica y educación emocional en la educación formal y no formal. Ágora digital, 2, 2º semestre. Bisquerra, R. (2002). Educación emocional y competencias emocionales. En Asociación de Psicopedagogía Colectivo Pabellón Sur (ed.), Reflexiones sobre la práctica psicopedagógica en el siglo XXI (Libro electrónico en CD-ROM). Huelva: Hergué Editorial. Bisquerra, R. (2003). Educación emocional y competencias básicas para la vida. Revista de Investigación Educativa, 21(1), 7-43. Capote, M. C., Hernández, C., García, M. D., y Hernández, P. (1995). La medición de la variable género en la eficacia de los programas instruccionales emotivos. En VV. AA., Intervención Psicopedagógica. Actas del II Congreso Internacional de Psicología y Educación (pp. 198-199). Madrid: Institución Educativa SEK. Cohen, J. (2006). Social, emotional, ethical, and academic education: creating a climate for learning, participation in democracy, and well-being. Harvard Education Review, 76(2), 201-237. -536- Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 Propuesta para la evaluación de programas de educación socioemocional Expósito, J., y Fernández-Cano, A. (2002). La productividad de la investigación sobre evaluación de programas educativos españoles (1975-2000). Revista de Investigación Educativa, 20(1), 113-129. Extremera, N., y Fernández-Berrocal, P. (2003). La inteligencia emocional en el contexto educativo: hallazgos científicos de sus efectos en el aula. Revista de Educación, 332, 97-116. Extremera, N., y Fernández-Berrocal, P. (2007). Una guía práctica de los instrumentos actuales de evaluación de la inteligencia emocional. En J. M. Mestre y P. FernándezBerrocal (Eds.), Manual de Inteligencia Emocional (pp.99-122). Madrid: Pirámide. Expósito, J., Olmedo, E., y Fernández-Cano, A. (2004). Patrones metodológicos en la investigación española sobre evaluación de programas educativos. Revista Electrónica de Investigación y Evaluación Educativa, 10(2). Consultado en Internet (30/03/2008): http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_2.htm Fellner, A., Matthews, G., Funke, G.J., Emo, A. K., Pérez-González, J.C., Zeidner, M., y Roberts, R. (2007). The effects of emotional intelligence on visual search of emotional stimuli and emotion identification. En Proceedings of the Human Factors and Ergonomics Society 51st Annual Meeting (pp. 845-849). Santa Monica, CA, USA: HFES. Forns, M., y Gómez, J. (2001). Evaluación de programas en educación. En R. FernándezBallesteros (ed.), Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud (241-259). Madrid: Síntesis. Gallego, Mª J. (2003). Diseño, aplicación y evaluación de un programa de inteligencia emocional para el alumno de enseñanza secundaria. Tesis doctoral sin publicar. UNED. Garanto, J. (1989). Modelos de evaluación de programas educativos. En Mª P. Abarca, La evaluación de programas educativos (pp. 43-78). Madrid: Editorial Escuela Española. Goetz, T., Frenzel, A. C., Pekrun, R., y Hall, N. (2005). Emotional Intelligence in the Context of Learning and Achievement. En R. Schulze y R. D. Roberts (Eds.), International Handbook of Emotional Intelligence (pp. 233-253). Cambridge, MA: Hogrefe & Huber. Graczyk, P. A., Weissberg, R. P., Payton, J. W., Elias, M. J., Greenberg, M. T., y Zins, J. E. (2000). Criteria for Evaluating the Quality of School-Based Social and Emotional Learning Programs. En R. Bar-On y J. D. A. Parker (Eds.), The Handbook of Emotional Intelligence (pp. 391-410). New York: Jossey-Bass. Halberstadt, A.G., Denham, S.A., y Dunsmore, J.C. (2001). Affective social competence. Social Development, 10, 79 - 119. Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 - 537 - Pérez-González, J.C. Hernández Fernández, J., y Martínez Clares, P. (1996). Propuesta metodológica para evaluar programas de orientación educativa. Revista Electrónica de Investigación y Evaluación Educativa, 2(2). Consultado en Internet (30/03/2008): http://www.uv.es/RELIEVE/v2n2/RELIEVEv2n2_1.htm Iriarte, C., Alonso-Gancedo, N., y Sobrino, A. (2006). Relationships between emotional and moral development to be taken into account in the educational setting. Proposed intervention program. Electronic Journal of Research in Educational Psychology,4(1), 177-212. JOINT COMMITEE ON STANDARDS FOR EDUCATIONAL EVALUATION (1994). The Program Evaluation Standards. Thousand Oaks, CA: Sage Publications. [Traducción española: Comité conjunto de estándares para la evaluación educativa (1998). Estándares para la evaluación de programas. Bilbao: Ediciones Mensajero]. LeCompte, M. D. (1995). Un matrimonio conveniente: diseño de investigación cualitativa y estándares para la evaluación de programas. Revista Electrónica de Investigación y Evaluación Educativa, 1(1). Consultado en Internet (30/03/2008): http://www.uv.es/RELIEVE/v1/RELIEVEv1n1.htm Manzano, N. (2000). Indicadores para evaluar programas de orientación educativa. Revista de Orientación Educativa y Psicopedagógica, 11(19), 51-75. Martínez Mediano, C. (2007). Evaluación de programas. Modelos y procedimientos. Madrid: UNED. Montanero, M. (2000). Áreas prioritarias de la orientación en el contexto educativo. Una propuesta de revisión. Educación XXI. Revista de la Facultad de Educación de la UNED, 5, 153-167. Muñoz de Morales, M. (2005). Diseño, desarrollo y evaluación de un programa de educación emocional para la prevención del estrés psicosocial. Tesis doctoral sin publicar. Universidad del País Vasco. Murphy, K. R. (2006). Four Conclusions About Emotional Intelligence. In K. R. Murphy, A Critique of Emotional Intelligence: What Are the Problems and How Can They Be Fixed? (Series in Applied Psychology)(pp. 345-354). Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc. Obiols, M. (2005). Disseny, desenvolupament i avaluació d’un programa d’educació emocional en un centre educatiu. Tesis doctoral sin publicar. Universidad de Barcelona. -538- Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 Propuesta para la evaluación de programas de educación socioemocional Pérez-González, J.C., Petrides, K. V., y Furnham, A. (2007). La medida de la inteligencia emocional rasgo. En J. M. Mestre y P. Fernández-Berrocal (Eds.), Manual de Inteligencia Emocional (pp.81-97). Madrid: Pirámide. Pérez Juste, R. (1992). Evaluación de programas de orientación. Actas V Seminario Iberoamericano de Orientación Escolar y Profesional. Tenerife. Pérez Juste, R. (1995). Evaluación de programas educativos. En A. Medina y L. M. Villar (coords.), Evaluación de Programas Educativos, Centros y Profesores (pp. 71-106). Madrid: Editorial Univesitas. Pérez Juste, R. (2000). La evaluación de programas educativos: conceptos básicos, planteamientos generales y problemática. Revista de Investigación Educativa, 18(2), 261-287. Pérez Juste, R. (2006). Evaluación de programas educativos. Madrid: La Muralla. Pérez, J.C. (2003). Sobre la validez de constructo de la inteligencia emocional. Encuentros en psicología social, 1(2), 252-257. Pérez, J.C. (2006). La Orientación Profesional y la Evaluación desde el Enfoque de Competencias. Revista Mexicana de Orientación Educativa, 4(8), 2-13, 2ª época Pérez, J.C., y Repetto, E. (2004). Aproximación a la evaluación breve de la inteligencia emocional. En E. Barberá et al. (eds.), Motivos, emociones y procesos representacionales: de la teoría a la práctica (pp. 325-334). Valencia: Fundación Universidad-Empresa de Valencia (ADEIT). Petrides, K.V., Furnham, A., y Mavroveli, S. (2007). Trait emotional intelligence: Moving forward in the field of EI. En G. Matthews, M. Zeidner, y R. D. Roberts, The Science of Emotional Intelligence: Knowns and Unknowns (pp. 376-395). Oxford/New York: Oxford University Press. Petrides, K.V., Pérez-González, J.C., y Furnham, A. (2007). On the predictive and incremental validity of trait emotional intelligence. Cognition and Emotion, 21(1), 26-55. Qualter, P., Whiteley, H. E., y Gardner, K. J. (2007). Emotional Intelligence: Review of Research and Educational Implications. Pastoral Care in Education, 25(1), 11-20. Repetto, E., y Pérez-González, J.C. (2007). Formación en competencias socioemocionales a través de las prácticas en empresas. Revista Europea de Formación Profesional, 40(1), 92-112. Roberts, R. D., Zeidner, M., y Matthews, G. (2007). Emotional Intelligence. Knowns and Unknowns. En G. Matthews, M. Zeidner, y R. D. Roberts, The Science of Emotional Intelligence: Knowns and Unknowns (Series in Affective Science)(pp. 419-474). Oxford/New York: Oxford University Press. Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 - 539 - Pérez-González, J.C. Sánchez García, Mª F., Guillamón Fernández, J. R., Ferrer Sama, P., Villalba Vílchez, E., Martín Cuadrado, A., y Pérez González, J.C. (2008). Situación actual de los servicios de orientación universitaria: estudio descriptivo. Revista de Educación, 345, 329-352. Sánchez, A. M., Rivas, M. T., y Trianes, M. V. (2006). Effectiveness of an intervention program for improving school atmosphere: some results. Electronic Journal of Research in Educational Psychology, N. 9, Vol. 4(2), 353-370. Senra, Mª, Pérez-González, J.C., y Manzano, N. (2007). Competencias socioemocionales y alcoholismo en mujeres: estado de la cuestión. Revista Española de Orientación y Psicopedagogía, 18(1), 73-82. Slavin, R. E. (2008). What works? Issues in Synthesizing Educational Program Evaluations. Educational Researcher, 37(1), 5-14. Soldevila, A. (2007). Diseño, desarrollo y evaluación de un programa de educación emocional para personas mayores. Tesis doctoral sin publicar. Universidad de Lleida. Soldevila, A., Ribes, R., Filella, G., y Agulló, Mª J. (2005). Objetivos y contenidos de un programa de educación emocional para personas mayores. Emociona’t. Revista Iberoamericana de Educación, 37(5). Stufflebeam, D. L. (1971). The relevance of the CIPP evaluation model for educational accountability. Journal of Research and Development in Education, 5(1), 19-25. Stufflebeam, D. L. (2003) The CIPP model for evaluation. En T. Kellaghan y D. L. Stufflebeam (eds.), International Handbook of Educational Evaluation (pp. 31-62). Doortrecht: Kluwer Academic Publishers. Ulutas, I., & Ömeroglu, E. (2007). The effects of an emotional intelligence education program on the emotional intelligence of children. Social Behavior and Personality, 35(10), 1365-1372. Vallés, A., y Vallés, C. (2003). Psicopedagogía de la Inteligencia Emocional. Valencia: Promolibro. Valls, F. (2007). Emotional intelligence and vocational/career counseling: uses and abuses. Electronic Journal of Research in Educational Psychology,5(1), 179-200. Van Rooy, D. L., y Viswesvaran, C. (2004). Emotional intelligence: A meta-analytic investigation of predictive validity and nomological net. Journal of Vocational Behavior, 65(1), 71-95. Vélaz de Medrano, C. (1995). Consideraciones finales: visión panorámica de las investigaciones. En C. Vélaz de Medrano, A. Blanco, A. Segalerva, y Mª E. del Moral, Evaluación -540- Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 Propuesta para la evaluación de programas de educación socioemocional de programas y de centros educativos. Diez años de investigación (pp. 229-246). Madrid: CIDE. Vila, E., y Pérez-González, J.C. (2007). Madurez para la carrera e inteligencia emocional en alumnado de secundaria: una aproximación correlacional. En F. Etxeberría, L. Sarasola, J.F. Lukas, J. Etxeberría, y A. Martxueta (coords.), XIII Congreso Nacional de Modelos de Investigación Educativa (pp. 712-717). Donostia: Erein/AIDIPE. Vivas García, M. (2005). La educación emocional en la formación inicial de los docentes en Venezuela. Tesis doctoral sin publicar. UNED. Zeidner, M., Roberts, R., y Matthews, G. (2002). Can emotional intelligence be schooled? A critical review. Educational Psychologist, 37(4), 215-231. Zins, J. E., Bloodworth, M. R., Weissberg, R. P., y Walberg, H. J. (2004). The Scientific Base Linking Social and Emotional Learning to School Success. En J. E., Zins, R. P., Weissberg, M. C. Wang, y H. J., Walberg, Building academic success on social and emotional learning: What does the research say?(3-22). New York: Teachers College Press. Zins, J. E., Payton, J. W., Weissberg, R. P., y O’Brien, M. U. (2007). Social and Emotional Learning for Successful School Performance. En G. Matthews, M. Zeidner, y R. D. Roberts, The Science of Emotional Intelligence: Knowns and Unknowns (pp. 376395). Oxford/New York: Oxford University Press. Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 - 541 - Juan Carlos Pérez-González ANEXO I. Escala de estimación para la evaluación “inicial” de programas de educación socioemocional. Grado de cumplimiento Bajo Medio Alto Muy alto Adecuación a los destinatarios 1. El programa responde a las características, necesidades, carencias y demandas detectadas en el alumnado. Adecuación al contexto 2. El programa promueve la cooperación con las familias y la comunidad. Contenido 3. Se han explicitado las bases científicas y socio-psicológicas del programa, quedando bien definido cuál es el modelo teórico de inteligencia emocional o de competencias socioemocionales en el que se basa el programa. 4. Los contenidos incluidos son relevantes y representativos de las diferentes dimensiones que abarca el modelo teórico en el que se basa el programa. Calidad técnica 5. El programa incluye información detallada y suficiente sobre los siguientes elementos: población destinataria, objetivos, contenidos, actividades, temporalización, recursos (materiales y humanos), y sistema de evaluación del propio programa. 6. El programa dispone tanto de cuaderno del profesor como de cuaderno del alumno. 7. Existe coherencia interna entre los diversos elementos componentes del programa y de todos ellos con los objetivos. Evaluabilidad 8. Los objetivos del programa son evaluables (están formulados de forma que pueda comprobarse posteriormente y de una manera objetiva si se logran o no, o en qué medida). Viabilidad 9. Los responsables del desarrollo del programa están plenamente capacitados para ello, aportando, en su caso, el propio programa, la formación o capacitación específica necesaria. 10. El programa cuenta con el apoyo del centro (dirección y claustro de profesores, familias y resto de personal implicado). Nulo Indicadores de calidad del programa (EVALUACIÓN INICIAL) 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 0 0 1 1 2 2 3 3 4 4 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 Nota: Índice de evaluación inicial (ei) = [puntuación total / 40] x 100. -542- Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 Observaciones Propuesta para la evaluación de programas de educación socioemocional ANEXO II. Escala de estimación para la evaluación “procesual” o “continua” de programas de educación socioemocional. Grado de cumplimiento Bajo Medio Alto Muy alto Puesta en marcha del programa 11. La metodología utilizada es apropiada para el desarrollo de los objetivos del programa. 12. Los alumnos muestran interés/motivación hacia las actividades del programa: implicación. 13. La secuencia de las actividades programadas resulta coherente con relación a los objetivos, destinatarios y recursos planificados. 14. Se respeta la planificación en lo referente a actividades, tiempos y recursos. 15. Se cuenta con un sistema de registro de la información que facilite la posterior evaluación de la intervención y, sobre todo, la mejora de futuras experiencias. Marco o contexto de aplicación del programa 16. El clima general del aula y del centro (relaciones cordiales entre el personal, entre alumnos, entre alumnos y profesor/a) resulta favorable al programa. 17. Se aprecia satisfacción en los responsables del programa, en sus destinatarios y en las demás personas implicadas e interesadas en el mismo. 18. La organización y la disciplina del aula en donde se desarrolla el programa concuerda con el sistema organizativo y disciplinar del centro. Nulo Indicadores de calidad del programa (EVALUACIÓN PROCESUAL) 0 0 0 1 1 1 2 2 2 3 3 3 4 4 4 0 0 1 1 2 2 3 3 4 4 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 Nota: Índice de evaluación procesual (ep) = [puntuación total / 32] x 100. Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 - 543 - Observaciones Juan Carlos Pérez-González ANEXO III. Escala de estimación para la evaluación “final” o “sumativa” de programas de educación socioemocional. Grado de cumplimiento Bajo Medio Alto Muy alto Medida 19. Las técnicas e instrumentos utilizados para decidir sobre la eficacia del programa son adecuados a las características de los objetivos y de los contenidos del mismo. 20. Los instrumentos mediante los cuales se han apreciado los niveles de logro del programa tienen buenas propiedades psicométricas: existe evidencia empírica a favor de su validez y de su fiabilidad. Resultados 21. Los sujetos asignados a los grupos experimental y control tienen características (personales y contextuales) semejantes; es decir, no existen diferencias, en términos estadísticos, entre ambos grupos: validez interna del diseño de investigación evaluativa. 22. Existe una ganancia estadísticamente significativa entre las puntuaciones obtenidas por los sujetos del grupo experimental (destinatarios del programa) en las medidas pre-test y post-test: eficacia como ganancia (la situación de partida como referencia). 23. Existe una diferencia estadísticamente significativa entre las puntuaciones post-test de los sujetos del grupo experimental y las puntuaciones post-test de los sujetos del grupo control, a favor del primer grupo: eficacia experimental-control (la aplicación del programa como referencia). 24. Se han vuelto a constatar las ganancias logradas con el programa, una vez transcurridos, al menos, seis meses tras la aplicación del mismo: eficacia a medio plazo (perdurabilidad de las ganancias). 25. Independientemente de lo que indican los instrumentos de medida, el programa parece haber mejorado la IE o las competencias socioemocionales de los alumnos: eficacia subjetiva. 26. Los destinatarios, agentes y personal implicado en el programa han mostrado su satisfacción con los objetivos, las técnicas de intervención y los resultados del programa: validez social del programa. 27. Los recursos (humanos, materiales, organizativos, y espacio-temporales) que ha requerido el programa son acordes con los resultados conseguidos: eficiencia. 28. Se han observado efectos beneficiosos del programa que no estaban previstos inicialmente: efectividad colateral. 29. Existen indicios del impacto positivo del programa en otros aspectos o miembros del centro y/o del contexto: impacto social. Nulo Indicadores de calidad del programa (EVALUACIÓN FINAL) 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 Observaciones Nota: Índice de evaluación final (ef) = [puntuación total / 44] x 100; Índice de evaluación global (eg) = [puntuación total procedente de la suma de los 29 items de las tres escalas / 116] x 100 -544- Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 Propuesta para la evaluación de programas de educación socioemocional ANEXO IV. Escala de estimación para la evaluación del propio proceso de evaluación de programas de educación socioemocional. Grado de cumplimiento Bajo Medio Alto Muy alto Se ha llevado a cabo una evaluación inicial del programa Se ha llevado a cabo una evaluación procesual o continua del programa Se ha llevado a cabo una evaluación final o sumativa del programa Utilidad: la evaluación realizada resulta útil para responder a las necesidades de información de potenciales usuarios del programa. Factibilidad: la evaluación realizada ha sido realista, prudente y comedida. Probidad: la evaluación se ha llevado a cabo de forma ética y respetuosa con los implicados en el programa. Precisión: la evaluación realizada permite revelar y divulgar información técnicamente precisa sobre los puntos fuertes y débiles del programa. Nulo Indicadores de calidad de la evaluación del programa (METAEVALUACIÓN) 0 0 0 0 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4 4 0 0 0 1 1 1 2 2 2 3 3 3 4 4 4 Nota: Índice de meta-evaluación (me) = [puntuación total / 28] x 100. Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546 - 545 - Observaciones Juan Carlos Pérez-González [Página en blanco por razones de paginación] -546- Revista Electrónica de Investigación Psicoeducativa. ISSN. 1696-2095. Nº 15, Vol 6 (2) 2008, pp: 523-546
