El método evaluativo de Scriven orientado hacia el consumidor

Universidad Nacional Abierta
Dirección de Investigaciones y Postgrado
CAPÍTULO 10
EL MÉTODO EVALUATIVO
DE SCRIVEN ORIENTADO
HACIA EL CONSUMIDOR
Stufflebeam, D. y Schinkfield, A. (1985). Evaluación
Sistemática. Guía teórica y práctica. Colección
Temas de Educación. Barcelona: Paidos.
(Compilación con fines instruccionales)
El método evaluativo de Scriven
10
341
EL METODO EVALUATIVO DE SCRIVEN
ORIENTADO HACIA EL CONSUMIDOR
El verdadero papel del evaluador, según Michael Scriven, es el de un
“sustituto informado del consumidor”. Provisto de técnicas para obtener una
información pertinente y exacta, y con un punto de vista profundamente razonado
acerca de la ética y el bien común, el evaluador debe ayudar a los profesionales a
proporcionar productos y servicios de alta calidad y gran utilidad para los
consumidores. Y lo que es aún más importante, el evaluador debe ayudar a los
consumidores a identificar y valorar los bienes y servicios alternativos. Scriven ha
sido muy crítico con las ideologías evaluativas que se centran en alcanzar los
objetivos de los participantes en lugar de satisfacer las necesidades de los
consumidores. Por ello ha propuesto ciertos conceptos y métodos destinados a
desplazar a la evaluación desde los objetivos hasta las necesidades.
La evaluación sumativa puede servir para que los administradores decidan si
el currículo completo, terminado, pulido por la utilización del proceso evaluativo en su
primera forma (formativa), representa un avance lo suficientemente significativo
sobre las alternativas disponibles, como para justificar las necesidades.
La evaluación sumativa puede servir para que los administradores decidan si
el currículo completo, terminado, pulido por la utilización del proceso evaluativo en su
primera forma (formativa), representa un avance lo suficientemente significativo
sobre las alternativas disponibles, como para justificar los gastos de su adopción por
parte de un sistema escolar.
Michael Scriven es un filósofo científico que ha contribuido ampliamente al
desarrollo de la profesión evaluativa. Ha criticado duramente tanto las clásicas como
las más recientes conceptualizaciones de la evaluación. Desarrolló su concepción de
la evaluación sobre una postura filosófica básica y ha desarrollado conceptos y
métodos para ayudar a articular y aplicar sus conceptos. También ha sido uno de los
pioneros en el esfuerzo de profesionalizar el trabajo evaluativo.
Nació y creció en Victoria (Australia). Se licenció en matemáticas aplicadas
342 Evaluación sistemática
y lógico simbólica en la Universidad de Melbourne y completó su doctorado en
Filosofía de la Ciencia en la Universidad de Oxford. Desempeñó funciones
profesionales en la Universidad de Minnesota desde 1952 a 1956, en el
Swarthamore College de 1956 a 1960, en la Universidad de Indiana desde 1960 a
1965, en la Universidad de California en Berkeley de 1965 a 1975 y en la
Universidad de San Francisco desde 1975 a 1982. En el momento de escribir estas
páginas es profesor titular en la Universidad de Western Australia, en Perth.
Hemos decidido designar el método del doctor Scriven como “evaluación
orientada hacia el consumidor” con el fin de caracterizar su método filosófico básico.
Ha definido la evaluación como la valoración sistemática del valor o el mérito de las
cosas, y ha subrayado que los evaluadores deben ser capaces de llegar a juicios de
valor justificables más que de medir cosas o determinar si las metas han sido
alcanzadas. En lugar de aceptar las metas propuestas, un evaluador, según Scriven,
debe juzgar si el hecho de alcanzar las metas puede contribuir al bienestar de los
consumidores. Independientemente de las metas, el evaluador debe identificar los
resultados reales y calcular su valor desde el punto de vista de las necesidades del
consumidor. Para Scriven, la función profesional del evaluador es la de un “sustituto
informado del consumidor”, y la “piedra angular de la ética profesional en el trabajo
evaluativo” es funcionar como una conciencia social informada. Su método
evaluativo práctico, por lo general, consiste en identificar y ordenar los programas y
productos opcionales disponibles para los consumidores, basándose en su coste
relativo y en la consideración de las necesidades de los consumidores. A menudo ha
declarado que la revista Consumer Reports es un ejemplo de lo que debe hacer la
evaluación profesional.
En esta unidad, resumimos y comentamos las contribuciones teóricas,
metodológicas y profesionales del doctor Scriven. Su valoración crítica de los
métodos alternativos también se define y comenta. Hablamos de su
conceptualización formativa-sumativa y definimos sus principales conceptos de
trabajo. Su ataque de 1983 a las ideologías evaluativas establecidas y algunas de
sus sugerencias metodológicas también son comentados aquí. Concluimos el
capítulo mencionado sus logros mediante la fundación de la Evaluation Network y de
Evaluation News.
Ahora reseñaremos los objetivos de la unidad. Por favor, revíselos, lea el texto
correspondiente, y realice el test de conocimientos y los ejercicios prácticos que
aparecen al final de la unidad. Valore sus respuestas comparándolas con las
correctas y, si alguna de ellas es incorrecta, revise las secciones pertinentes de la
unidad. Quizá desee investigar por su cuenta realizando las “Preguntas sin
respuesta” (o discutiéndolas con sus estudiantes o colegas) y consultando las
fuentes de información acerca del trabajo del doctor Scriven que proporcionamos al
final de la unidad.
El método evaluativo de Scriven
343
Objetivos
Esta unidad pretende ayudarle a alcanzar los siguientes objetivos:
1. Identificar y explicar la definición de evaluación de Scriven.
2. Identificar y valorar sus críticas sobre los conceptos evaluativos de Tyler y
Cronbach.
3. Explicar su postura acerca del papel del juicio en la evaluación.
4. Explicar la función de la valoración de las necesidades en su método.
5. Explicar sus diferenciaciones entre evaluación y estimación del logro de las
metas, la meta y las funciones de la evaluación, la evaluación formativa y la
sumativa, la evaluación intrínseca y la decisiva, la evaluación basada en las
metas y la evaluación sin metas, y la evaluación y la meta-evaluación.
6. Comentar la lista de control de los indicadores de la evaluación identificando la
base lógica que le sirve de guía, enumerando y definiendo sus etapas, y
explicando cómo se relaciona la concepción formativa- sumativa con la lista de
control de los indicadores de la evaluación.
7. Explicar sus valoraciones de las ideologías valorativas denominadas separatismo,
positivismo, administración y relativismo.
8. Definir su papel y sus principales contribuciones en la profesionalización de la
evaluación.
Pueden alcanzarse estos objetivos con la simple lectura del material de esta
unidad. Para enriquecer su comprensión de las ideas de Scriven, sin embargo,
estudie sus escritos originales, especialmente los que mencionamos al final de esta
unidad. Buena parte del material que publicamos aquí no está disponible en la
literatura publicada y refleja la relación laboral que el autor mantuvo con el doctor
Scriven durante más de diez años.
La definición de evaluación
A lo largo de los años, el doctor Scriven ha ido desarrollando su definición de
evaluación, pero su mensaje básico sigue siendo el mismo. En un artículo ya clásico
(1967), definía la evaluación como una actividad metodológica que “consiste
simplemente en la recopilación y combinación de datos de trabajo mediante la
definición de unas metas que proporcionen escalas comparativas o numéricas, con
el fin de justificar 1) los instrumentos de recopilación de datos, 2) las valoraciones y
3) la selección de las metas”. Al discutir la evolución de su definición de evaluación,
le hemos oído decir a menudo que la evaluación, esencialmente, es la determinación
sistemática
y
objetiva
del
valor
o
344 Evaluación sistemática
el mérito de algún objeto, y que las evaluaciones se realizarán mejor contratando a
un evaluador independiente para que emita un juicio sobre algún objeto basándose
en pruebas acumuladas procedentes de su comparación con otros objetos distintos a
la hora de satisfacer las necesidades del consumidor. Según este punto de vista, la
evaluación es preferentemente comparativa: de ahí que atienda tanto a los costes
comparativos como a los beneficios, se preocupe de cómo satisfacer mejor las
necesidades de los consumidores, sea – en el mejor de los casos – una actividad
profesional que incluye procedimientos sistemáticos, deba ser realizada tan
objetivamente como sea posible y deba culminar en juicios y recomendaciones.
Crítica de otras tendencias
Teniendo en cuenta la definición precedente, Scriven ha criticado duramente
otros conceptos de evaluación y ha utilizado su análisis crítico para ampliar su propia
postura. Ha afirmado que la tradición tyleriana – que considera que la evaluación
debe determinar si los objetivos han sido alcanzados – es fundamentalmente
imperfecta, porque esencialmente no tiene valor. Cree que las evaluaciones basadas
en este método son potencialmente inútiles, puesto que las metas propuestas
pueden ser inmorales, poco realistas, no representativas de las necesidades de los
consumidores o demasiado limitadas como para prever efectos secundarios
posiblemente cruciales. En lugar de utilizar las metas para guiar y juzgar los efectos,
Scriven afirma que los evaluadores deben juzgar las metas y no dejarse limitar por
ellas en su búsqueda de resultados. Si el programa está guiado por metas meritorias,
según él, los evaluadores deben juzgar las metas y no dejarse limitar por ellas en su
búsqueda de resultados. Si el programa está guiado por metas meritorias, según él,
los evaluadores deben identificar todos los resultados de un programa, valorar las
necesidades de los consumidores y utilizar series de valoraciones para llegar a
conclusiones acerca del mérito y el valor de los programas.
Scriven también se enfrenta al plan ofrecido por CRONBACH (1963). Cronbach
criticó la práctica predominante de la evaluación de programas utilizando tests
tipificados para comparar el trabajo de los grupos de control y experimentales, y
aconsejó el uso de un método más orientado hacia el desarrollo. Cronbach advertía
en contra de la utilización exclusiva de las planificaciones experimentales
comparativas y sugería que debían utilizarse distintas valoraciones para estudiar un
programa concreto en profundidad mientras se iba desarrollando, y que los
resultados debían ser utilizados como guía para el desarrollo . Scriven dice que este
plan de Cronbach olvida la importante distinción entre la meta y las funciones de la
evaluación, y, de hecho, identifica la evaluación con una sola de sus funciones, lo
que Scriven denomina “evaluación formativa”. Apoyándose en su crítica, SCRIVEN
amplió el concepto de
El método evaluativo de Scriven
345
evaluación en otro de sus artículos clásicos, “The Methology of Evaluation” (1967).
Evaluación formativa y sumativa
En este sentido, Scriven afirma que la principal responsabilidad de evaluador
es emitir juicios bien informados. Insiste en que la meta de la evaluación es siempre
la misma: juzgar el valor. Pero, continúa, las funciones de la evaluación son
enormemente variadas. Puedes “formar parte de la actividad de la enseñanza, del
proceso de elaboración de currículos, de algún experimento relacionado con el
perfeccionamiento de la teoría del aprendizaje, de una investigación preliminar a la
decisión acerca de la compra o rechazo de los materiales...”, etc. Dice que el fracaso
de distinguir entre la meta de la evaluación (juzgar el valor de algo) y sus funciones
(utilizaciones constructivas de los datos evaluativos) ha conducido a la adulteración
de lo que se ha dado en llamar evaluación, para que ya no vuelva a alcanzar la meta
de calcular el valor. En otras palabras, dice que, demasiado a menudo, los
evaluadores, al intentar ayudar a los educadores a mejorar sus programas. Para
Scriven, una valoración objetiva del valor es la condición sine qua on de la
evaluación. Concluye que existen dos funciones principales: la formativa, que ayuda
a desarrollar programas y otros objetos; y la sumativa, que calcula el valor del objeto
una vez que ha sido desarrollado y puesto en el mercado.
La evaluación formativa es una parte integrante del proceso de desarrollo.
Proporciona información continua para ayudar a planificar y luego producir algún
objeto. En la elaboración de currículos soluciona ciertos problemas acerca de la
validez del contenido, el nivel del vocabulario, la utilidad, la propiedad de los medios,
la durabilidad de los materiales, la eficiencia, la elección del personal y otras
cuestiones. En general, la evaluación formativa se realiza para ayudar al personal a
perfeccionar cualquier cosa que esté operando o desarrollando.
En su función sumativa, la evaluación “puede servir para ayudar a los
administradores a decidir si todo el currículo ya finalizado, pulido mediante la
utilización del proceso evaluativo en su primera forma (formativa), representa un
avance sobre las otras alternativas disponibles lo suficientemente significativo como
para justificar los gastos de su adopción por parte de un sistema escolar”. La
evaluación sumativa, por lo general, debe ser realizada por un evaluador externo
para que aumente la objetividad, y los resultados deben hacerse públicos. Este tipo
de evaluación investiga todos los efectos de los objetos y los examina
comparándolos con las necesidades de los consumidores.
346 Evaluación sistemática
Compara los costes y efectos del objeto con los de aquellos que Scriven ha llamado
competidores críticos, especialmente las alternativas más económicas. En caso de
que la audiencia esté predispuesta a juzgar sólo los resultados comparándolos con
las metas propuestas, la evaluación sumativa proporciona juicios acerca de hasta
qué punto las metas reflejan, de una manera válida, las necesidades valoradas. En
conjunto, la evaluación sumativa sirve a los consumidores proporcionándoles
valoraciones independientes que comparan los costes, los méritos y los valores de
los distintos programas o productos.
Evaluación amateur contra evaluación profesional
En las primeras etapas de la elaboración de un currículo, Scriven prefiere la
“evaluación amateur” (autoevaluación) a la “evaluación profesional”. Quienes han
desarrollado un programa, cuando actúan como sus propios evaluadores, pueden
ser un poco sistemáticos y subjetivos, pero también son solventes, tranquilizantes,
dedicados a la consecución del éxito y tolerantes con los objetivos vagos y los
procedimientos de desarrollo investigativo. Los evaluadores profesionales, si
intervienen demasiado pronto, pueden “ahogar los fuegos creativos de un grupo
productivo”, retardar el proceso de desarrollo urgiendo a la clarificación de los
objetivos o perder su punto de vista objetivo alineándolo demasiado con el esfuerzo
productivo, entre otras cosas. Los evaluadores profesionales son necesarios, sin
embargo, para llevar a cabo las evaluaciones formativa y sumativa durante las
últimas etapas del desarrollo. Ambos tipos de evaluación requieren un alto nivel de
habilidad técnica y una objetividad que raramente posee el personal que interviene
en el desarrollo, pues no está especialmente preparado en la teoría y metodología
evaluativas. Scriven recomienda que un evaluador profesional sea incluido en el
personal que interviene en el desarrollo para llevar a cabo la evaluación formativa, y
aconseja muy a menudo que los evaluadores profesionales externos sean los
encargados de realizar y presentar las evaluaciones sumativas.
Evaluación intrínseca y evaluación final
Scriven también distingue entre evaluación intrínseca y evaluación final. La
evaluación intrínseca valora las cualidades de una mediación, sin tener en cuenta los
efectos sobre los clientes, juzgando ciertas características como las metas, la
estructura, la metodología, las calificaciones y las actitudes del personal, las
facilidades, la credibilidad pública y los informes previos. La evaluación final no se
preocupa de la naturaleza del programa, de los libros de texto, de la teoría o de
cualquier otro objeto, sino más bien de sus efectos sobre los clientes. Estos efectos
pueden incluir escalas de tests, rendimiento
El método evaluativo de Scriven
347
en el trabajo o el estado de salud. Scriven reconoce la importancia de la evaluación
intrínseca, pero destaca que también deben determinarse y juzgarse los resultados,
puesto que las relaciones causales entre las variables del proceso y las de los
resultados es rara, o ninguna, la vez en que se conocen a ciencia cierta. Explica que
ambos tipos pueden contribuir tanto a la evaluación formativa como a la sumativa. Es
particularmente crítico con las juntas acreditadas, a causa de su preocupación por
los criterios intrínsecos, como el número de libros de una biblioteca, y su fracaso al
valorar el trabajo de los graduados.
La evaluación sin metas
Dando un paso más en su amplia preocupación por la evaluación basada en
las metas, Scriven presenta una propuesta contraria bajo la denominación de
“evaluación sin metas”. Según este método, el evaluador permanece a propósito
ignorante de las metas fijadas para el programa e investiga todos los efectos
secundarios que examinar, puesto que los datos acerca de todos los efectos,
cualquiera que sea el propósito del programa, son igualmente admisibles. Si un
programa se realiza como se supone que debe realizarse, la evaluación debe
confirmar esto, pero el evaluador, a la vez, podrá descubrir los efectos inesperados
que los evaluadores que se basan en las metas pueden olvidar a causa de su
preocupación por las metas prefijadas. En cualquier caso, Scriven dice que la
evaluación sin metas es reversible y complementaria: se puede empezar sin metas,
con el fin de investigar todos los efectos, y luego cambiar el método basado en las
metas es reversible y complementaria: se puede empezar sin metas, con el fin de
investigar todos los efectos, y luego cambiar el método basado en las metas para
asegurar que la evaluación determinará si las metas han sido alcanzadas. O incluso
pueden realizarse simultáneamente ambos tipos de evaluación por diferentes
evaluadores. Las ventajas de la evaluación sin metas, según Scriven, consisten en
que es menos instructiva que la evaluación basada en metas; más adaptable a los
cambios de metas repentinos; más solvente a la hora de encontrar efectos
secundarios; menos propensa a la tendenciosidad social, perceptiva o cognitiva; más
estimulante profesionalmente; y más equitativa a la hora de tener en cuenta una
amplia gama de valores. En general, nosotros creemos que la evaluación sin metas
es una técnica renovadora – no un modelo – que puede ayudar a llevar a cabo el
método evaluativo orientativo hacia el consumidor.
Valoración de las necesidades
Una de las dificultades de utilizar la evaluación sin metas se refiere a cómo
asignar un significado valorativo a los resultados. Si los objetivos se identifican
348 Evaluación sistemática
sin hacer caso de lo que se está tratando de lograr, ¿cómo se pueden separar las
consecuencias deseadas de las indeseadas? La respuesta se Scriven es que deben
compararse los resultados observados con las necesidades valoradas de los
consumidores. Pero si una necesidad es una discrepancia entre algo real y algo
ideal, y si un ideal es una meta, ¿no están las valoraciones de las necesidades
basadas en metas, y, por lo tanto, no están también las evaluaciones sin metas
basadas en metas? Scriven dice que no. Para empezar, las metas no deben coincidir
necesariamente con cualquier grupo de ideales como los incluidos en una
democracia. En cualquier caso, afirma que la concepción clásica de la necesidad,
como discrepancia entre algo real y algo ideal, es errónea, puesto que los ideales a
menudo son ilusorios. Dado que las necesidades de los consumidores son un
concepto fundamental en este método, sus estudiantes y él conceptualizaron
ampliamente e investigaron este concepto.
Para Scriven, una necesidad es “cualquier cosa que sea esencial para un
modo satisfactorio de existencia, cualquier cosa sin la cual este modo de existencia o
nivel de trabajo no puede alcanzar un grupo satisfactorio”. Los ejemplos que utiliza,
por lo general, son la vitamina C y la alfabetización. Cuando no dispone de esto, una
persona puede estar físicamente enferma o social e intelectualmente debilitada; de
ahí que la persona lo necesite. Para Scriven, la valoración de las necesidades es un
proceso para descubrir hechos acerca de si no proporcionar o arrebatar ciertas
cosas puede tener funestas consecuencias, todo ello basado en normas razonables
sobre lo que es bueno y lo que es malo. Dados los resultados de una valoración de
necesidades, pueden juzgarse los resultados de un programa concreto como
buenos, malos o indiferentes, dependiendo de si contribuyen o no a satisfacer las
necesidades identificadas. Según nuestra experiencia, este argumento es,
actualmente, más convincente en el terreno filosófico que en el práctico. Se necesita
un alto grado de desarrollo en el nivel técnico antes de que la valoración de las
necesidades pueda producir significados factibles y apropiados para juzgar los
resultados.
La lista de control de indicadores de la evaluación
La lista de control de indicadores sintetiza las primeras ideas de Scriven.
Refleja su concepto de que la evaluación supone múltiples dimensiones, debe
emplear múltiples perspectivas, introducir múltiples niveles de valoración y utilizar
múltiples métodos. De ahí que se haya referido a veces a la lista de control de
indicadores como el multimodelo de evaluación. Sus dieciocho puntos son los
siguientes:
El método evaluativo de Scriven
349
1. Descripción. ¿Qué hay que evaluar? El evaluado, descrito tan objetivamente
como sea posible. ¿Cuáles son sus componentes? ¿Cuáles son sus relaciones?
2. El cliente. ¿Quién ha encargado la evaluación? El cliente evaluativo, que puede o
no ser el iniciador de la investigación evaluativa, puede o no ser el instigador del
evaluando – por ejemplo, su fabricante, o la agencia subvencionadora, o su
padrino legislativo – y puede o no ser su inventor –por ejemplo, el planificador de
un producto o programa.
3. Antecedentes y contexto de a) el evaluando y b) la evaluación. Incluye la
identificación de los mantenedores (incluyendo los no-clientes enumerados en el
punto 2, el patrocinador, los representantes de la comunidad, etc); la presunta
naturaleza del evaluando; las expectativas acerca de la evaluación; el tipo
deseado de evaluación (formativa o sumativa; esquemas organizativos; esfuerzos
prioritarios, etc.).
4. Recursos (“sistemas de ayudas” o “valoración de los efectivos”) a) disponibles
para la utilización del evaluando, b) disponibles para la utilización de los
evaluadores. No se trata de lo que se utiliza, por ejemplo, en las compras o el
mantenimiento, sino de lo que puede utilizarse. Incluye el dinero, la habilidad, la
experiencia previa, la tecnología y las consideraciones sobre la flexibilidad. Esto
es lo que define el nivel de viabilidad.
5. Función. ¿Qué hace el evaluando? Distinguir entre lo que se supone que hace –
función o papel propuesta o declarada- y lo que de hecho hace (función real,
tanto para el evaluador como para el consumidor); ambas cosas pueden incluirse
en la descripción, pero, por lo general, es mejor tratarlas aparte. ¿Existen
dimensiones, aspectos o componentes obvios de estas funciones?
6. Sistemas de distribución. ¿Cómo llega al mercado el evaluando? ¿Cómo se
mantiene (en servicio)? ¿Cómo se perfecciona (se pone al día)? ¿Cómo son sus
usuarios? ¿Cómo se lleva a cabo su realización, control y perfeccionamiento?
¿Quién hace todo esto?
7. El consumidor. ¿Quién utiliza o recibe (los efectos de) el evaluando? Distinguir
las poblaciones o consumidores escogidos- mercado deseado – de las
poblaciones de consumidores directamente afectadas de una manera real o
potencial – el verdadero mercado- o consumidores o receptores (o clientes del
evaluando, a menudo llamados clientela); esto debe distinguirse de la población
receptora total directa o indirectamente afectada, que constituyen los verdaderos
consumidores. Advierte que el instigador y otras figuras de los puntos 2 y 3
también resultan afectados, por ejemplo, por tener un trabajo, pero eso nos les
convierte en consumidores en el sentido estricto. Sin embargo, debemos
considerarlos a la hora de investigar los efectos totales y podemos describirlos
como parte de los afectados, impactados o implicados.
350 Evaluación sistemática
8. Las necesidades y valores de los afectados y potencialmente, impactados. Esto
incluye tanto los deseos como las necesidades, y también los valores como las
normas sobre el mérito y los ideales juzgados o supuestos (véase punto 9); las
metas definidas del programa, cuando se lleve a cabo una evaluación basada en
metas; y las necesidades, y otras cosas, del instigador, el controlador, el inventor,
etc., puesto que están indirectamente afectados. La importancia relativa de estas
consideraciones, a menudo opuestas, depende de las consideraciones éticas y
funcionales.
9. Normas. ¿Existen normas preexistentes y objetivamente valoradas, acerca del
mérito o el valor, que deban aplicarse? ¿Procede alguna de ellas del cliente y el
consumidor, de la función y de las necesidades/valores? (Esto incluye los ideales
asignados; véanse los ideales del punto 8.) Si se tienen en cuenta las metas, y si
pueden ser valoradas como apropiadas (por ejemplo, por una valoración de las
necesidades), legales/ éticas y todo lo demás, debe comprobarse si han
aparecido en el número 8 para ser aceptadas, como una norma relevante, aquí
en el punto 9.
10. El proceso. ¿Qué limitaciones /costes /beneficios se aplican a la operación
normal del evaluando (no a sus efectos o resultados del punto 11)? En particular:
legales/ético- morales /políticas/administrativas/estéticas / hedónicas /científicas.
Un proceso administrativo tiene limitaciones especialmente significativas en lo
que se refiere al “grado de realización”, esto es, hasta qué punto la operación real
cumple las estipulaciones del programa o las suposiciones del patrocinador
acerca de su operación. Un proceso científico debe utilizar indicadores de los
resultados finales científicamente reconocidos; también material científicamente
(o históricamente...) solvente de un libro de texto o curso. Puede constituir un
problema ético la relativa importancia concedida a la satisfacción de las
necesidades de la población escogida y las necesidades de carrera o condición
de otra gente afectada, como por ejemplo del programa.
11. Resultados. ¿Qué efectos ha producido el evaluando (deseados o indeseados)?
Resulta útil una matriz de efectos: población afectada X tipo de efecto (cognitivo /
afectivo /psicomotor / sanitario / social / ambiental) X por la puntuación de las Z
de tiempo de reacción (inmediata /al final del tratamiento / más tarde) X duración
X cada componente o dimensión (si se requiere la evaluación analítica). Para
algunos propósitos, los deseados (por ejemplo, control del programa,
responsabilidad legal), para otros, no debe hacerse distinción (la evaluación del
producto orientada hacia el consumidor):
12. Posibilidad de generalización a otras personas / lugares /tiempos / versiones.
“Personas” significa tanto el personal como los receptores. Esto también puede
denominarse posibilidad de distribución, posibilidad de venta / exportación /
duración / modificación.
El método evaluativo de Scriven
351
13. Costes. En dólares –psicológico – de personal; inicial –repeticiones (incluyendo
preparación, mantenimiento y perfeccionamiento); directo / indirecto- inmediato
/retardado / rebajado; si conviene, por componentes.
14. Comparaciones con opciones alternativas, incluyendo las opciones reconocidas y
las no reconocidas, las disponibles y las que se pueden crear. Los principales
contendientes en este campo son los “competidores críticos” y se identifican en
términos de coste más efectividad. Normalmente incluyen a aquellos que
producen efectos similares o mejores por un precio menor, y mejores efectos por
un coste extra razonable (recursos).
15. Significado. Una síntesis de todo lo anterior. La validación del procedimiento
sintético es, a menudo, una de las tareas evaluativas más dificultosas.
Normalmente, no puede dejarse al cliente que, por lo general, está mal equipado
en experiencia y objetividad; y las fórmulas – por ejemplo, los cálculos de costebeneficio- rara vez resultan adecuadas. Lo más útil es una flexible suma
ponderada.
16. Recomendaciones. Esto puede o no ser requerido, y puede o no desprenderse
de la evaluación; aunque sean requeridas, puede que no sea posible
proporcionar ninguna puesto que los únicos tipos que pueden resultar apropiados
no disponen de pruebas científicas específicas en el campo de la investigación.
(Los recursos disponibles para la evaluación resultan cruciales aquí).
17. El informe. El vocabulario, la extensión, el diseño, el medio, la localización y el
personal para su presentación necesitan un cuidadoso examen, igual que la
protección /privacidad / publicidad y la investigación previa o la circulación de los
borradores finales o preliminares.
18. la metaevaluación. La evaluación debe ser evaluada preferiblemente antes de a)
su realización, b) la difusión final del informe. La evaluación externa es deseable,
pero primero del evaluador principal debe aplicar la lista de control de indicadores
a la propia evaluación. Los resultados de la metaevaluación deben ser utilizados
formativamente pero también pueden ser incorporados al informe o trasmitidos
(resumidamente) al cliente y otras audiencias adecuadas. (Las “audiencias”
aparecen en el metapunto 7, puesto que son el “mercado” y los “consumidores”
de la evaluación.)
Estas etapas no están concebidas para ser aplicadas en una secuencia
concreta, pero deben ser planteadas antes de que se lleve a cabo la lista de control
de indicadores. Igualmente, un evaluador puede recorrer la lista de control muchas
veces durante la evaluación de un programa. Los primeros recorridos constituyen la
evaluación formativa; los últimos son lo que Scriven llama “evaluación sumativa”.
La base lógica de la lista de control de indicadores es que la evaluación es
esencialmente un proceso de reducción de datos en el que se obtienen grandes
352 Evaluación sistemática
cantidades de datos para luego valorarlos y sintetizarlos en un juicio de valor global.
Al describir este proceso de reducción de datos, Scriven sugiere que las primeras
etapas ayuden a caracterizar un programa o producto, mientras que las últimas
pueden ayudar a valorara su validez.
La metaevaluación
El punto final de la lista de control de indicadores pide la evaluación de la
evaluación. Scriven introdujo este concepto en 1968, cuando publicó un artículo
respondiendo a las preguntas de cómo se evaluaban los instrumentos de la
evaluación. Dice que ésta es una de las muchas preocupaciones de la evaluación y
destaca que los evaluadores tienen la obligación profesional de que las evaluaciones
propuestas o finalizadas estén sujetas a una evaluación competente. Su base
racional es que la “evaluación es un tema particularmente autorreferente puesto que
se aplica a todos los esfuerzos humanos serios y, en consecuencia, a la propia
evaluación”. Advierte que la metaevaluación puede ser formativa, si ayuda al
evaluador a planificar y realizar una evaluación solvente, o sumativa, si proporciona
al cliente pruebas independientes acerca de la competencia técnica del evaluador
principal y de la solvencia de sus informes. Las sugerencias metodológicas de
Scriven para la realización de metaevaluaciones incluyen la utilización de su lista de
control de indicadores de la evaluación, para valorar una evaluación como producto,
de otras listas de control o de otras normas evaluativas profesionales.
Ideologías evaluativas
Como se ha visto en el material precedente, Scriven es uno de los críticos
más reflexivos y expresivos de los conceptos evaluativos predominantes. En
coherencia con esta postura crítica, ha destacado que la evaluación es un tema
particularmente autorreferente, lo cual está de acuerdo con su recomendación de la
metaevaluación. En un texto reciente, clasifica los conceptos evaluativos
establecidos en cuatro grupos y critica cada uno de ellos extensamente, con la
esperanza de convencer a los evaluadores de que reconozcan y renuncien a ciertas
tendencias que, según él, han debilitado el trabajo evaluativo. Luego utiliza su
análisis de las virtudes y defectos de cada método para perfeccionar la base lógica
de su lista de control. Describe este modelo como algo que abarca las mejores
características de las demás proposiciones serias acerca de cómo hacer una
evaluación, evitando al mismo tiempo las imperfecciones que él identifica en las otras
propuestas. Creemos que esto puede ayudarle a conocer más a fondo la filosofía
evaluativa de Scriven, en general, y la lista de control de indicadores de la evaluación
en
particular,
si
examina
con
cuidado
El método evaluativo de Scriven
353
su análisis de las ideologías alternativas. Por lo tanto, vamos a intentar definir sus
aspectos más sobresalientes con relación a las cuatro ideologías. Estas ideologías
son la separatista, la positivista, la administrativa y la relativista.
La ideología separatista
Scriven contempla la ideología separatista como enraizada en la negación o el
rechazo de la proposición que asegura que la evaluación es una actividad
autorreferente. Esta ideología está perfectamente reflejada en las propuestas
evaluativas que requieren la participación de evaluadores totalmente independientes
de lo que se está evaluando. El establecimiento y mantenimiento de esta
independencia del evaluador respecto al evaluando es, a menudo, esencial para
asegurar que los informes evaluativos no van a ser tendenciosos. Además, los
evaluadores que practican esta ideología, según Scriven, no reconocen casi nunca la
necesidad de evaluar su propio trabajo. Muy posiblemente, muchos de ellos, en
cualquier caso, contemplan esta metaevaluación como un asunto ajeno, puesto que
los evaluadores, según su concepción separatista, no pueden ser objetivos al
evaluar su propio trabajo. De ahí que Scriven exponga la paradoja de que un
evaluador puede tener derecho a evaluar el trabajo de otros, pero no interesarse por
evaluar sus propios servicios, e incluso resistirse a ello.
En esta especie de parasitismo profesional, Scriven ve una imperfección
humana básica: “la valorfobia, un intensísimo miedo a ser evaluado”. Se manifiesta
cuando los evaluadores, que están en estrecho contacto con las personas cuyo
trabajo están evaluando, se convierten en cooperantes, pierden su perspectiva crítica
y elogian lo que quizá deberían criticar si se mantuvieran a mayor distancia del
evaluando. La valorfobia puede también presentarse cuando los evaluadores se
resisten, o por lo menos evitan, evaluar sus evaluaciones. Y también cuando los
evaluadores, al valorar los programas, tienen cuidado de no evaluar al personal del
programa.
En oposición a esta postura separatista, Scriven afirma que los profesionales,
incluyendo a los evaluadores profesionales, necesitan reconocer y tratar
honradamente con la naturaleza autorreferente de la evaluación. La marca de fábrica
de un profesional es someter su propio trabajo a evaluación. El hecho de que todas
las evaluaciones sean propensas a la tendenciosidad no debe desalentar a nadie en
la evaluación de su propio trabajo o de encargar a otro que haga el trabajo. En
cambio, se debe responder realizando la evaluación lo menos tendenciosamente
posible y sometiéndola a un examen, mediante su comparación con normas
reconocidas para una evaluación solvente. En las llamadas evaluaciones de un
programa se debe examinar de un modo realista tanto el personal como otros
aspectos del programa, puesto que, invariablemente, el éxito y el fracaso son
inseparables
del
trabajo
del
personal
y
porque
354 Evaluación sistemática
habrá pocas posibilidades de perfeccionamiento a través de la evaluación si no se
proporciona una guía para el perfeccionamiento del personal.
La ideología positivista
Scriven contempla una segunda ideología, la el positivismo lógico, como otra
reacción exagerada ante la valorfobia. En sus intentos de alejar la tendenciosidad de
los trabajos científicos, Scriven piensa que los positivistas reaccionan
exageradamente hasta el punto de intentar convertir la ciencia del siglo XX, en
general, y la evaluación, en particular, en algo sin valores. Mientras los separatistas
rechazan la naturaleza evaluativa de la ciencia. Scriven aporta una serie de casos
contradictorios. Por ejemplo, los psicológicos educativos que aseguran que no
pueden hacerse juicios evaluativos con objetividad, producen, sin embargo, juicios
evaluativos acerca del trabajo de los estudiantes. Desde luego, la respuesta de
Scriven a las imperfecciones del positivismo consiste en conceder una importancia
central a la práctica de asignar significados de valor a los resultados obtenidos en los
estudios evaluativos.
La ideología administrativa
Para Michael Scriven, la “evaluación bien administrada” va mucho más allá de
la que simplemente se guía por un administrador competente. Puede, en cambio,
esta última, suponer “una verdadera indulgencia hacia la valorfobia” tanto por parte
de los administradores del programa como de los evaluadores. Los administradores
del programa pueden imponer controles rígidos sobre la evaluación que han
encargado para que así no hayan sorpresas. Pueden desear que sólo se evalúe su
programa y no el personal que participa en él ni, especialmente, el administrador. Y
pueden insistir en que la evaluación se limite a determinar si han sido alcanzadas las
metas fijadas para el programa y a juzgar su trabajo basándose en los deseos de
otro acerca del programa.
Para el punto de vista del administrador, esta ideología administrativa incluye
claramente una tendencia a producir informes favorables. Según Scriven, muchos
evaluadores están dispuestos a cumplir los deseos del administrador acerca de unos
informes favorables y predecibles a causa de una serie paralela de razones
autosatisfactorias. Necesitan futuros contratos o conservar su posición evaluativa en
la institución, y proporcionar un informe favorable, o al menos uno que no ponga
nervioso al cliente o al patrocinador, es lo mejor que pueden hacer para obtener más
trabajo. A menudo están incluso dispuestos a evitar cualquier interés por la
evaluación
del
personal
porque
esto
ayuda
El método evaluativo de Scriven
355
a hacer que la evaluación sea más independiente de las distintas y, a menudo,
opuestas posturas de valor que puedan mantener las diferentes personas implicadas
en el programa. Y la petición del administrador de limitar la valoración a lo que se ha
fijado es especialmente simpática, puesto que entonces los evaluadores no sólo
evitarán valorar la aplicación de un programa y especialmente la actuación de los
miembros del personal, sino también tratar con valores, ya que presumen que están
incluidos en las metas del programa fijadas por el administrador.
En la ideología administrativa podemos, entonces, ver la posibilidad de una
confluencia de las ideologías separatistas, positivistas y administrativas, todo ello con
efectos negativos. Evitando la evaluación del administrador y del personal (lo cual
coincide con la ideología separatista), considerando la evaluación como un servicio
técnico desprovisto de determinaciones de valor (método positivista) y ayudando a
los administradores a conseguir el buen informe que necesitan sobre el logro de sus
metas (ideología administrativa), el evaluador convierte, efectivamente, la evaluación
en un perjuicio y no en una contribución a la sociedad.
Con lo esbozado hasta ahora, el estudio, según Stake, excluye muchos de los
aspectos vitales de una evaluación solvente. Puede desalentar, más que ayudar, a
los clientes, a la hora de examinar críticamente sus metas y servicios.
Concentrándose en las metas prefijadas, no puede asegurar que el servicio tenga
valor para satisfacer las necesidades de los consumidores. Puede también ser miope
y no tener en cuenta si el servicio, el programa o el producto son la “mejor compra”,
cuando podría servir para que los clientes identificaran y compararan mejor las
alternativas. Y puede también evitar problemas relativos a la ética y a la prudente
utilización de los escasos recursos. Para Scriven, un amplio éxito de la ideología
administrativa y sus relaciones con otras malas prácticas evaluativas supondría un
engaño para la sociedad y para la profesión evaluativa. Utiliza su análisis crítico de
esta postura como plataforma para recomendar una serie de reformas, incluidas en
su lista de control de indicadores. Son las siguientes:
1. Realizar las valoraciones de las necesidades como base para juzgar si un
programa ha producido resultados beneficiosos.
2. Evaluar “sin metas” para no preocuparse de las metas prefijadas y de ese modo
perder resultados importantes pero inesperados, buenos o malos.
3. Comparar lo que se está evaluando con otras alternativas viables.
4. Examinar los servicios según su coste y efectividad
5. combinar la evaluación del personal con la del programa.
356 Evaluación sistemática
La ideología relativista
Otra ideología que Scriven considera imperfecta y de influencia nociva para el
trabajo evaluativo es la ideología relativista. Scriven la contempla como una reacción
exagerada a los problemas relacionados con la ideología positivista. Mientras los
positivistas, a menudo, han empleado la concepción de que existe una realidad
objetiva que puede conocer cualquiera que pueda y quiera utilizar procedimientos
valorativos no tendenciosos, los relativistas afirman que esto es totalmente simplista
y sólo puede conducir a valoraciones limitadas que den una importancia exclusiva e
inmerecida al punto de vista de algún grupo poderoso, con la errónea concepción de
que su punto de vista y sus valoraciones son objetivos. En respuesta a los riesgos
del positivismo, los relativistas afirman que todo es relativo, que no hay una verdad
objetiva. Por lo tanto, abogan por perspectivas múltiples, criterios múltiples,
valoraciones múltiples y respuestas múltiples.
Scriven considera que buena parte de este movimiento evaluativo es una
respuesta exagerada que a veces niega la posibilidad de las determinaciones
objetivas del valor o incluso de descripciones objetivamente correctas de los
programas. Aunque también rechaza la existencia de una sola descripción correcta,
nos aconseja que no abandonemos la idea de que existe una realidad objetiva.
Aunque puede haber una compleja realidad más allá de nuestra capacidad presente
de comprender y describir a fondo, sólo nos engañaremos a nosotros mismos si
creemos que no existe. Aconseja, en cambio, que relativicemos nuestras
descripciones para las distintas audiencias. Pero nos advierte que no aceptemos
todas las descripciones opuestas como concretas, como, según creemos, son
propensos a hacer algunos de los relativistas más obtusos. En lugar de eso, estamos
obligados, como evaluadores, a buscar lo “mejor”, lo “perfecto”, lo “ideal”.
La profesionalización de la evaluación
En coherencia con su preocupación por evaluar las ideas y trabajos de sus
colegas evaluadores, Scriven ha hecho un gran esfuerzo por profesionalizar la
evaluación. Fue uno de los primeros que recomendó el desarrollo y utilización de las
Standards for Evaluations of Educational Programs (Joint Comité, 1981). Ayudó a
establecer y desarrollar el Evaluation Network, una organización profesional para
evaluadores de programas educativos, sanitarios, gubernamentales y sociales. Y
convirtió la hoja informativa de esta organización es una muy respetable publicación,
Evaluation News.
Este ha sido un breve resumen de algunas de las contribuciones de Michael
Scriven a la evaluación. Estas contribuciones se extienden a lo largo de dos
El método evaluativo de Scriven
357
décadas y han influido sustancialmente en la práctica evaluativa. Los estudiantes
que se tomen en serio la evaluación deben estudiar sus escritos originales y estar al
corriente de sus futuras contribuciones.
Test de conocimiento sobre la unidad 10
Ahora proporcionamos dieciséis preguntas con muchas posibles respuestas y
cinco afirmaciones para cotejar. Cada una de ellas va seguida de una explicación de
las respuestas alternativas correctas e incorrectas. Estas preguntas y explicaciones
están concebidas para ayudarle a determinar si ha alcanzado los objetivos de
conocimiento de esta unidad. En cada pregunta, seleccione la respuesta que
considere la mejor. Cuando haya seleccionado una respuesta, evalúe su elección
comparándola con las indicaciones y el material interpretativo que siguen a cada
pregunta.
Cuando haya contestado a todas las preguntas, deberán calificar e interpretar
(y, si es necesario, perfeccionar) su trabajo. Luego deberá enfrentarse a unos
cuantos ejercicios prácticos. La sección final de esta unidad propone “Preguntas sin
respuesta” y recomienda lecturas complementarias.
PREGUNTA 1. Según Scriven, la evaluación es
a) el proceso de determinar hasta qué punto han sido alcanzadas las metas;
b) el proceso de delinear, obtener y proporcionar información útil para el cliente a la
hora de juzgar opciones de decisión;
c) el proceso de determinar las discrepancias entre la realización del trabajo y las
normas establecidas;
d) el cálculo del valor.
Respuesta correcta. Debe usted haber seleccionado la “d”. Según Scriven, la
evaluación es el cálculo del valor. Es coherente con la definición formal de
evaluación que él mismo presenta en “The Methologogy of Evaluation”. (“La
evaluación es... una actividad metodológica que... consiste simplemente en la
recopilación y combinación de datos de trabajo con una serie de metas que dan
como resultado escalas comparativas o numéricas, y en la justificación de a) los
instrumentos de recopilación de datos; b) las valoraciones; y c) la selección de las
metas.”)
358 Evaluación sistemática
Respuestas incorrectas
a) Es incorrecta porque Scriven cree que la evaluación guiada por una determinada
serie de metas puede olvidarse de efectos importantes, y cree que las metas
también deben ser evaluadas.
b) Es incorrecta porque destaca que el evaluador debe proporcionar información
para la toma de decisiones pero no tomar la decisión, mientras que Scriven cree
que el evaluador debe juzgar las opciones del programa y así tomar decisiones
acerca del programa que se está evaluando.
c) Es incorrecta porque es una variante de “a”. Scriven no puede aceptar como
suficiente una definición de evaluación que determina sólo las discrepancias
entre las normas dadas y la realización del trabajo. Insiste en que las normas
deben ser valoradas y no deben ser la única base para la valoración del trabajo.
PREGUNTA 2. A lo largo de los años, Michael Scriven y Lee Cronbach han
mantenido opiniones encontradas acerca de los evaluadores. ¿Cuál de las
siguientes afirmaciones representa mejor su desacuerdo esencial?
a) Cronbach recomienda a los evaluadores que utilicen múltiples valoraciones en
cada estudio, mientras que Scriven advierte que una práctica de este tipo es inútil
y recomienda, en cambio, la utilización de una simple valoración sumativa.
b) Cronbach destaca que la principal obligación de los evaluadores es plantear
cuestiones fundamentales relativas a la decisión acerca de si un programa o
producto es la “mejor compra” para los consumidores, mientras que Scriven
insiste en que la función más importante del evaluador es ser “el artesano de
quien ha desarrollado el programa”.
c) Scriven afirma que la preferencia de Cronbach por la evaluación formativa como
opuesta a la evaluación sumativa es fundamentalmente errónea.
d) Cronbach insiste en la necesidad de las evaluaciones comparativas, mientras que
Scriven afirma que esta práctica puede conducir a resultados superficiales y no
proporciona el nivel necesario de información que puede obtenerse del estudio
profundo de un caso de un solo programa.
Respuesta correcta. Debe usted haber seleccionado la opción “c”. Cronbach
recomienda la evaluación formativa por encima de la evaluación sumativa, y Scriven
dice que esta recomendación oscurece el hecho de que, esencial y
fundamentalmente, cada evaluación debe producir una valoración sumativa del valor
y el mérito de un objeto.
El método evaluativo de Scriven
359
Respuestas incorrectas
a) Es incorrecta porque ambos autores aconsejan a los evaluadores la utilización de
múltiples valoraciones.
b) Es incorrecta porque lo opuesto está más cerca de la verdad.
d) Es incorrecta porque lo opuesto está más cerca de la verdad.
PREGUNTA 3. ¿Con cuál de las siguientes afirmaciones estaría más de acuerdo
Scriven?
a) Los evaluadores deben decidir si juzgar o no juzgar las prácticas evaluativas de
acuerdo con la función que debe desempeñar un estudio evaluativo.
b) Los evaluadores deben obviar la necesidad de un juicio subjetivo mediante el
empleo de planificaciones con un alto grado de validez interna y externa y con
reglas relativas a la decisión.
c) Los evaluadores deben juzgar el valor de las prácticas educativas que evalúan.
d) Los evaluadores deben describir totalmente las prácticas educativas, pero deben
evitar emitir juicios sobre esas prácticas.
Repuesta correcta. Debe usted haber seleccionado la “c”. Scriven afirma que
los evaluadores deben formular y presentar juicios acerca de cualquier cosa que
evalúen.
Respuestas incorrectas
a) Es incorrecta porque Scriven ha afirmado que los evaluadores deben emitir
juicios tanto en la evaluación formativa como en la sumativa.
b) Es incorrecta porque Scriven ha advertido que el evaluador, por lo general, debe
operar en situaciones ambiguas e incontroladas. Dice que los evaluadores deben
esperar y no alejarse de estos trabajos. De ahí que los evaluadores no puedan
depender de reglas sobre las decisiones o de información terminal. Por lo tanto,
deben generalmente llevar a cabo la más profesional de las funciones
evaluativas: formular juicios y hacerlos públicos en presencia de una información
inadecuada e insuficiente. Scriven ha ofrecido el consuelo de que incluso aunque
los juicios de los evaluadores sean a veces erróneos, serán a menudo más
acertados que los de cualquier otro grupo.
d) Es incorrecta porque Scriven ha advertido que los evaluadores que fracasan al
emitir juicios fracasan también a la hora de cumplir todas sus responsabilidades
como evaluadores.
360 Evaluación sistemática
PREGUNTA 4. ¿Cuál de las siguientes afirmaciones no es coherente con la
postura de Scriven relativa a la función de la valoración de las necesidades en la
evaluación?
a) Las metas proporcionan la mejor base para juzgar los resultados sólo si los
resultados han sido desarrollados como respuestas a las necesidades valoradas.
b) No es necesario considerar las necesidades de los consumidores como una base
para la valoración de productos y servicios, puesto que, fundamentalmente, el
juicio profesional del evaluador es el determinante del valor o el mérito de un
objeto.
c) Debidamente concebidas, las valoraciones de las necesidades determinan los
huecos existentes entre los ideales y las realidades en la sociedad, y
consecuentemente son indistinguibles de cualquier otro estudio evaluativo
verdadero.
d) Las valoraciones de las necesidades deben determinar qué cosas, si no se
proporcionan o se olvidan, pueden demostrar ser perjudiciales, y proporcionar así
un criterio para determinar si una contribución concreta es válida.
Respuesta correcta. Debe usted haber seleccionado la opción “d”. Scriven,
que recomienda una amplia búsqueda de resultados en una evaluación, afirma que
los resultados identificados deben ser juzgados buenos o malos, dependiendo de
hasta qué punto contribuyan, no a alcanzar las metas prefijadas o a rellenar los
huecos entre las realidades y los ideales (que él a menudo considera “prometer la
luna”), sino a eliminar o prevenir fuerzas que, de otro modo, pondrán al cliente en
una situación insatisfactoria.
Respuestas incorrectas
a) Es incorrecta porque Scriven dice que las metas pueden ser demasiado limitadas
y reflejar sólo la selección de ciertas necesidades de quien ha desarrollado el
programa y pueden también haber perdido actualidad, puesto que al final de un
proyecto las necesidades que formaban la base para elegir las metas del
proyecto pueden haber cambiado sustancialmente.
b) Es incorrecta porque aunque Scriven contempla al evaluador como el
responsable de emitir los juicios y hacer recomendaciones, también destaca que
estos juicios y recomendaciones deben derivarse de la comparación de los
resultados con las necesidades valoradas.
c) Es incorrecta porque Scriven afirma explícitamente que no es conveniente una
concepción de las necesidades referida a los ideales, puesto que a menudo son
tan poco realistas que no pueden ayudar a desarrollar recomendaciones
prácticas.
El método evaluativo de Scriven
361
PREGUNTA 5. ¿Cuál de las siguientes afirmaciones ejemplifica mejor la
diferenciación de Scriven entre la función y la meta de la evaluación?
a)
La meta de la evaluación puede variar enormemente, puesto que cualquier
estudio puede plantear una amplia gama de cuestiones; la función de la
evaluación es siempre, sin embargo, la misma: facilitar la toma de decisiones.
b)
Insistiendo en el papel constructivo que puede desempeñar la evaluación en las
actividades (roles) pacificadoras desatendemos el hecho de que su meta
siempre incluye la estimación del valor.
c)
Las metas de cualquier evaluación deben ser moderadas según la relativa
sensibilidad de las funciones que debe desempeñar el estudio.
d)
La meta de cualquier estudio evaluativo es sumativa, mientras que su función
es, por lo general, formativa.
Respuesta correcta. Debe usted haber seleccionado la respuesta “b”. Aunque
la evaluación puede desempeñar muchas funciones (tanto constructivas como
destructivas), su meta es siempre la misma: juzgar el valor. Este es el principal
argumento de Scriven, y le permite insistir en que los evaluadores hacen juicios.
Respuestas incorrectas
a) Es errónea porque Scriven sólo ve una meta para la evaluación (el juicio del
valor), pero muchas funciones (relaciones públicas, informes, directrices para el
desarrollo, consejos para contratar un servicio, etc.).
c) Es lo opuesto a la postura de Scriven. El cree que los evaluadores eluden su
responsabilidad cuando no formulan y presentan juicios acerca de los programas
que evalúan.
d) Es errónea porque las evaluaciones formativa y sumativa son funciones que debe
desempeñar la evaluación.
PREGUNTA 6. ¿Cuál de las siguientes informaciones ejemplifica mejor la
utilización de la evaluación formativa?
a) Formular juicios acerca del valor global de un nuevo libro de texto
b) Asignar credibilidad o negársela a los resultados de un proyecto ya terminado.
c) Valorar la realización de un plan de trabajo.
d) Determinar los efectos finales de una inversión previa.
362 Evaluación sistemática
Respuesta correcta. Debe usted haber seleccionado la opción “c”. La
evaluación formativa ayuda al personal del programa a llevar a cabo los esfuerzos
del desarrollo.
Respuestas incorrectas
a) Es incorrecta porque el libro de texto ya ha sido publicado y la evaluación
formativa debe llevarse a cabo durante su desarrollo.
b) Es incorrecta por una razón similar.
d) Es incorrecta porque el proceso de inversión ha sido ya completado.
PREGUNTA 7. La evaluación sumativa se describe mejor como
a) la valoración de las primeras formas de un nuevo producto;
b) la valoración de un producto cuando ya está en el mercado;
c) el perfeccionamiento de un producto mientras aún es moldeable;
d) el relleno de los huecos entre la evaluación intrínseca y la evaluación final.
Respuesta correcta. La mejor respuesta es la “b”. La evaluación sumativa
supone juzgar un esfuerzo de desarrollo después de que el trabajo de desarrollo ya
ha finalizado.
Respuestas incorrectas
a) Es incorrecta porque se trata de un ejemplo de evaluación formativa.
c) Es incorrecta por la misma razón.
d) Es incorrecta porque se refiere más a un problema evaluativo funcional que
metodológico. El problema de conectar la evaluación intrínseca y la evaluación
final reside en cómo relacionar causalmente las variables dependientes e
independientes, y no en si la evaluación ayuda al desarrollo o juzga los productos
terminados.
PRREGUNTA 8. La evaluación intrínseca puede brevemente ser definida como
una valoración de
a) El cambio en las actitudes de los estudiantes;
b) La planificación de un programa de enseñanza;
c) El grado y la intensidad de la motivación del estudiante;
d) Los efectos de los instrumentos didácticos en los conocimientos de los
estudiantes.
El método evaluativo de Scriven
363
Respuesta correcta. Debe usted haber seleccionado la “b”. Es la correcta
porque la evaluación intrínseca es la evaluación de las cualidades inherentes al
tratamiento y no de los resultados conseguidos por medio de la administración de
este tratamiento.
Respuestas incorrectas
a) Es incorrecta porque el “cambio en la actitud del estudiante” es un efecto
producido por un programa, y no una cualidad, como la “orientación investigativa”,
del programa que produce el cambio.
c) Es incorrecta por una razón similar. El “grado e intensidad de la motivación del
estudiante” es un efecto, no una característica, de un programa de enseñanza.
d) Es incorrecta porque pone el énfasis en los efectos sobre los estudiantes.
PREGUNTA 9. Según Scriven, el método evaluativo finalista puro se caracteriza
por su preocupación por
a) los resultados del currículo pero no sus metas;
b) las metas del currículo pero no sus resultados;
c) tanto las metas como los resultados del currículo;
d) ni las metas ni los resultados del currículo.
Respuesta correcta. Debe usted haber seleccionado la “a”. Aunque determina
si las metas han sido alcanzadas, su principal limitación, según Scriven, es que no
juzga si han sido bien alcanzadas.
Respuestas incorrectas
b) Es errónea en ambos aspectos. La evaluación final no valora las metas, pero sí
los resultados.
c) Es errónea porque la evaluación final no valora las metas.
d) Es errónea porque la evaluación final sí valora los resultados.
PREGUNTA 10. ¿Cuál de las siguientes afirmaciones distingue más
correctamente entre la evaluación sin metas y la evaluación basada en las metas?
a) La evaluación sin metas es una evaluación intrínseca, mientras que la evaluación
basada en las metas en los mismo que la evaluación final.
b) La evaluación sin metas es subjetiva, mientras que la evaluación basada en las
metas en una evaluación basada en datos.
364 Evaluación sistemática
c) La evaluación sin metas valora todos los efectos independientes de las metas
prefijadas, mientras que la evaluación basada en las metas investiga efectos
pertenecientes a las metas prefijadas.
d) La evaluación sin metas valora los resultados, los efectos secundarios, los
costes, la viabilidad y otros atributos de un instrumento didáctico,
independientemente de sus metas, mientras que la evaluación basada en las
metas valora la moralidad, la claridad y la importancia de las metas.
Respuesta correcta. Debe usted haber seleccionado la “c”. Según Scriven, la
retórica de las metas no debe dictar y limitar la búsqueda de resultados.
Respuestas incorrectas
a) Es incorrecta porque la evaluación intrínseca y la evaluación final diferencian
entre las variables relativas a las cualidades de un tratamiento y sus efectos; el
conocimiento de los conceptos de ambas evaluaciones no ayuda a distinguir
entre evaluación sin metas y evaluación basada en las metas.
b) Es incorrecta porque tanto la evaluación sin metas como la evaluación basada en
las metas están basadas en datos y suponen el desarrollo de conclusiones
subjetivas.
d) Es incorrecta porque tanto la evaluación sin metas como la evaluación basada en
las metas valoran los resultados.
PREGUNTA 11. ¿Cuál de las siguientes afirmaciones no es una parte de la base
lógica de Scriven para la utilización de la evaluación sin metas?
a) La evaluación basada en las metas es incapaz de producir resultados evaluativos
sólidos y útiles, y debe ser reemplazada por una estrategia evaluativa más
efectiva.
b) Los evaluadores sin metas pueden descubrir resultados significativos que, por lo
general, no descubren los evaluadores que se basan en las metas.
c) Con tal de que los evaluadores determinen los resultados positivos y negativos de
un proyecto, no es necesario que valoren particularmente si las metas prefijadas
han sido alcanzadas.
d) Al concentrarse en comprobar si los objetivos fijados han sido alcanzados, los
evaluadores pueden ser insensibles a los efectos más significativos, que no estén
relacionados con los objetivos fijados.
Respuesta correcta. Debe usted haber seleccionado la “a”. La base lógica de
las evaluaciones sin metas no consiste en reemplazar a las evaluaciones basadas en
las metas. Por el contrario, Scriven
cree que las evaluaciones basadas
El método evaluativo de Scriven
365
en las metas deben seguir desempeñando una función. Pero piensa que los
resultados de las evaluaciones sin metas pueden añadir una información útil y única
a la que ya producen las evaluaciones basadas en las metas.
Respuestas incorrectas
b) Una parte de la base lógica de Scriven para la evaluación sin metas es que ésta
complementa los datos proporcionados por la evaluación basada en las metas.
c) Otra parte de la base lógica para la evaluación sin metas es que no conocer las
metas de un programa no es ningún impedimento con tal que el evaluador
investigue sistemáticamente todos los efectos importantes de un programa.
d) Una parte más de la base lógica de la evaluación sin metas es que Scriven ha
afirmado que conocer las metas de un programa puede ser un impedimento,
puesto que este conocimiento provoca que el evaluador se concentre en los
resultados relacionados con los objetivos, dejando de lado otro tipo de resultados.
12. ¿Cuál de las siguientes afirmaciones explica mejor el significado
de los efectos secundarios en el contexto de la evaluación sin metas?
PREGUNTA
a) En la evaluación sin metas, los efectos secundarios son la principal preocupación,
porque la evaluación basada en las metas proporcionará un profundo análisis del
efecto principal.
b) Las evaluaciones sin metas no se preocupan por los efectos secundarios porque
son cualidades intrínsecas del instrumento didáctico y no una preocupación
propia de la evaluación destinada a identificar y valorar los resultados.
c) En la evaluación sin metas, los efectos secundarios son los efectos producidos
por la información evaluativa acerca del comportamiento de las audiencias para
los resultados evaluativos.
d) En la evaluación sin metas, no existen efectos secundarios porque todos los
efectos, y no sólo los relacionados con las metas fijadas, son de primerísima
importancia.
Respuesta correcta. Debe usted haber seleccionado la “d”. No existe
preocupación por valorar los efectos secundarios porque, desde el principio de la
evaluación, todas las variables de los resultados, y no sólo las relacionadas con las
metas fijadas, son igualmente importantes.
366 Evaluación sistemática
Respuestas incorrectas
a)
Es incorrecta porque en la evaluación sin metas no hay distinción entre los
efectos secundarios y los efectos principales.
b)
Es incorrecta porque contiene una definición incorrecta de los efectos
secundarios.
c)
Es incorrecta porque también está basada en una definición impropia de los
efectos secundarios.
PREGUNTA 13. ¿Cuál de las siguientes afirmaciones es más coherente con la
base lógica de Scriven para la metaevaluación?
a)
El principal trabajo de la evaluación debe ser conseguir una especie de
inmunidad evaluativa, porque la amenaza o el hecho de evaluar un servicio
influye inevitablemente en la conceptualización y distribución del servicio, y
porque esta influencia puede conducir inevitablemente a unos resultados
evaluativos tendenciosos.
b)
Dado que la evaluación se aplica a los procesos y productos de todo esfuerzo
humano, debe aplicarse también a sí misma.
c)
La evaluación formal debe ser cuidadosamente planificada, y la metaevaluación
es el término introducido por Scriven para referirse al trabajo que supone
planificar las evaluaciones.
d)
La metaevaluación es un importante medio de incrementar las inversiones y
fondos de la evaluación y así aumentar las oportunidades evaluativas de
preparación laboral.
Respuesta correcta. Debe usted haber escogido la “b”. Dado que la
evaluación es una actividad concebida para ayudar a mejorar las condiciones
humanas y dado que todas estas actividades, por definición, deben ser evaluadas, la
propia evaluación también debe ser evaluada.
Respuestas incorrectas
a) Es incorrecta porque, por el contrario, las metaevaluaciones, cuando están
adecuadamente conceptualizadas y realizadas, deben, según Scriven, conducir a
una evaluación mejor.
c) Es incorrecta porque las metaevaluaciones están concebidas para valorar todos
los aspectos de la evaluación, no sólo los planes evaluativos.
d) Es incorrecta porque, por el contrario, las metaevaluaciones están concebidas
para, entre otras cosas, eliminar las prácticas evaluativas demasiado costosas.
El método evaluativo de Scriven
367
PREGUNTA 14. ¿Cuál de las siguientes afirmaciones es la mejor base lógica
para la lista de control de indicadores de la evaluación?
a) La evaluación es el proceso de formular y ejecutar una secuencia de
experimentos críticos comparativos que conduzcan al conocimiento de ciertos
fenómenos, como por ejemplo que los resultados de acciones específicas son
predecibles.
b) La evaluación es un proceso de reducción de datos que supone caracterizar un
proyecto y sintetizar un juicio respecto al valor global del programa.
c) La evaluación sirve de guía para un proyecto a través de cinco etapas de
desarrollo, mediante la valoración y presentación de las discrepancias entre el
trabajo y las normas en cada una de las etapas.
d) La evaluación supone la comparación progresiva de los antecedentes prefijados y
reales de un programa, las transacciones y los resultados.
Respuesta correcta. Debe usted haber seleccionado la “b”. Scriven contempla
la evaluación como un proceso sistemático que supone la caracterización y
valoración de un proyecto. Esencialmente, los evaluadores recopilan y analizan
amplias series de datos a través de una amplia gama de puntos, y luego sintetizan
los datos para que pueda ser emitido un juicio global de valor.
Respuestas incorrectas
a)
Es incorrecta porque se refiere a la base lógica para la experimentación
programática y no para la lista de control de indicadores de la evaluación.
c)
Es incorrecta porque es más la base racional para el modelo evaluativo de
Provus que para la lista de control de indicadores de la evaluación.
d)
Es incorrecta porque se refiere al método evaluativo de la figura de Stake y no
proporciona una base lógica válida para la lista de control de indicadores de la
evaluación.
PREGUNTA 15. ¿Cuál de las siguientes afirmaciones explica mejor la relación
entre la concepción formativa-sumativa de Scriven y su lista de control de
indicadores?
a) Los puntos de la lista de control de indicadores de la evolución son tanto
formativos como sumativos.
b) Los primeros siete punto – las etapas caracterizadoras – son formativos; los
once últimos corresponden a la evaluación sumativa, puesto que se refieren a la
validez.
368 Evaluación sistemática
c) La lista de control de indicadores es un modelo evaluativo sumativo.
d) La lista de control de indicadores es un modelo evaluativo formativo,
básicamente.
Respuesta correcta. Debe usted haber seleccionado la “a”. El último ciclo de
las 18 etapas corresponde a la evaluación sumativa, mientras que los ciclos
anteriores constituyen la evaluación formativa.
Respuestas incorrectas
b) Es incorrecta porque Scriven no identifica la caracterización y validación de las
etapas con las evaluaciones formativa y sumativa.
c) y (d) Son incorrectas porque la lista de control de indicadores de la evaluación es
tanto formativa como sumativa.
16. ¿Cuál de las siguientes afirmaciones explica mejor la relación
entre la concepción de la evaluación sin metas de Scriven y su lista de control?
PREGUNTA
a) La evaluación sin metas y la lista de control de indicadores de la evolución son
dos estrategias evaluativas diferentes pero complementarias.
b) La lista de control de indicadores de la evaluación explica las etapas que seguirse
al realizar una evaluación sin metas.
c) La lista de control de indicadores de la evaluación es un modelo del proceso de
desarrollo, mientras que la evaluación sin metas es un modelo del proceso
evaluativo.
d) La evaluación sin metas es una estrategia metodológica apropiada para ser
empleada en una amplia comprobación de las consecuencias del programa.
Respuesta correcta. Debe usted haber seleccionado la “d”. Esta explicación
de la relación entre la evaluación sin metas y la lista de control de indicadores es
correcta porque la evaluación sin metas es una estrategia metodológica que
comprueba todas las consecuencias del programa, y porque el punto 11 de la lista
de control de indicadores pide una amplia comprobación de las consecuencias.
Respuestas incorrectas
a) Es incorrecta porque la lista de control de indicadores es un método evaluativo
global que incluye estrategias como la evaluación sin metas.
El método evaluativo de Scriven
369
b) Es incorrecta porque la lista de control de indicadores no es una explicación de la
evaluación sin metas.
c) Es incorrecta porque la lista de control de indicadores modela la evaluación y no
el desarrollo, y porque la evaluación sin metas no es un modelo evaluativo sino
una particular estrategia metodológica.
PREGUNTAS 17 A 21. Para cada afirmación de los números 17-21, seleccione,
de la lista que le proporcionamos, la ideología apropiada. Base sus elecciones en su
comprensión del análisis de Scriven. Realice sus elecciones escribiendo la letra
correspondiente a la ideología seleccionada en el espacio que hay a la izquierda de
cada afirmación numerada.
A. Ideología separatista.
B. Ideología positivista
C. Ideología administrativa.
D. Ideología relativista.
—
17.
Se opone a la proposición de que un profesor puede evaluar su propio
trabajo provechosa y justificadamente.
—
18.
Se refiere erróneamente a la dificultad de describir algo total y
exactamente como base para negar su existencia en alguna forma
objetivamente identificable.
—
19.
Limita la evaluación a enfrentarse sólo a aquellas cuestiones sancionadas
por las personas que tienen autoridad sobre el programa.
—
20.
Rechaza la naturaleza evaluativa de la ciencia.
—
21.
Se inclina a favor de los informes que demuestran que se han alcanzado
las metas.
Respuestas correctas. Debe usted haber respondido como sigue, por las
razones proporcionadas:
A
17.
La ideología separatista rechaza la naturaleza autorreferente de la
evaluación y exige que el trabajo de los profesores sea evaluado por un
agente externo.
D
18.
Según Scriven, los relativistas no sólo recomiendan la descripción
múltiple de un objeto desde distintos puntos de vista (lo cual también
recomienda Scriven), sino que se equivocan al pedir una conexión
causal entre su afirmación de que no existe una realidad objetiva y la
dificultad de eliminar la variabilidad en la descripción de una sola cosa.
C
19.
Esto pertenece claramente a la ideología administrativa, puesto
370 Evaluación sistemática
que dice que es el administrador de un programa quien debe decidir
cómo hay que valorarlo: por lo general, sólo según las metas del
administrador y no según las necesidades del consumidor, ni
refiriéndose al estilo y forma de trabajar del administrador.
B
20.
Según Scriven, los positivistas lógicos se guían por una concepción sin
valores de las ciencias sociales, en general, y de la evaluación, en
particular.
C
21.
Esto, de nuevo, pertenece a la ideología administrativa, aunque
concentrase en identificar y valorar sólo aquellos resultados
pertenecientes a las metas del administrador es congruente con la
postura positivista que los evaluadores deben evitar interponiendo
valores de su elección en sus trabajos evaluativos.
CALIFICACIÓN DEL TEST DE CONOCIMIENTOS. Ahora que ha completado el test de
conocimientos sobre el trabajo de Scriven cuente el número de respuestas correctas.
Si contabiliza 16 o más, ha demostrado usted un conocimiento básico de la filosofía y
los conceptos evaluativos de Scriven. De este modo, está ya preparado para abordar
los ejercicios prácticos del apartado siguiente. Si contabiliza de 11 a 15, demuestra
conocer un poco las ideas de Scriven, pero probablemente le sería beneficioso
revisar el material anterior. Si contabiliza menos de 11 y aún no comprende por qué,
antes de pasar al siguiente apartado debe estudiar de nuevo todo el material
didáctico de la unidad.
Ejercicios prácticos
Este apartado contiene dos ejercicios prácticos destinados a demostrar si ha
comprendido las premisas y los conceptos básicos del método evaluativo formativosumativo de Scriven. Responda a las preguntas en hojas de papel separadas. Tras
cada ejercicio hay una lista de puntos que debe usted haber incluido en su
respuesta. Realice el primer ejercicio antes de empezar el segundo. Acuda, tan a
menudo como sea necesario, a las lecturas recomendadas y a las claves contenidas
en el test de conocimientos previo.
EJERCICIO 1. Explique lo que quiere Scriven en la siguiente cita: “La evaluación
formativa es una parte necesaria de cualquier método racional para la producción de
buenos resultados en la evaluación sumativa, pero la pregunta de si deben
emplearse, y cómo, evaluadores profesionales depende mucho de si va a ser el
remedio que la enfermedad”.
El método evaluativo de Scriven
371
Las respuestas al ejercicio 1 deben presentar y desarrollar los siguientes puntos:
a) El éxito de los trabajos de desarrollo depende de la información que proporcione
continuamente la evaluación formativa.
b) Las evaluaciones sumativas, al juzgar el éxito de los trabajos de desarrollo ya
completados, reflejan si la evaluación formativa ha supuesto una guía para
conducir los esfuerzos hacia una feliz conclusión.
c) Generalmente, los evaluadores profesionales son para realizar evaluaciones
formativas que sean efectivas.
d) Sin embargo, los evaluadores profesionales, cuando intervienen demasiado
pronto en los trabajos de desarrollo, pueden ahogar la creatividad y perder su
objetividad.
e) De ahí que los evaluadores profesionales sean necesarios para realizar las
evaluaciones formativas, pero dado que puede hacer más mal que bien en las
primeras etapas de los proyectos, es mejor hacer por uno mismo la evaluación
formativa de estas primeras etapas y emplear un evaluador profesional para
desempeñar este papel cuando el proyecto ya haya desarrollado un mínimo de
estabilidad.
2. Suponga que planea evaluar el programa de un grupo de
profesores utilizando la lista de control de indicadores. Resuma las etapas que debe
seguir.
EJERCICIO
Las respuestas al ejercicio 2 deben incluir aproximadamente los siguientes puntos:
a) Caracterizar tan objetivamente como sea posible la naturaleza del programa que
se va a evaluar.
b) Clarificar las audiencias de los resultados evaluativos, incluyendo a quien haya
encargado la evaluación y a otros grupos interesados, especialmente estudiantes,
administradores y profesores.
c) Examinar los antecedentes de la necesidad de la evaluación y clarificar las
cuestiones que deben ser respondidas.
d) Inventariar los recursos financieros y de otro tipo que están disponibles para
apoyar el desarrollo, mantenimiento y evaluación del programa.
e) Realizar un análisis funcional del equipo de profesores tal y como operan
realmente los profesores y los estudiantes mientras participan en el programa.
f) Analizar lo que hace el distrito escolar para asegurar que el programa se lleva a
cabo adecuadamente en lo que se refiere, por ejemplo, a la orientación
372 Evaluación sistemática
y preparación de los estudiantes, la puesta al día de los planes del programa y el
control y perfeccionamiento de la realización.
g) Examinar cuidadosamente lo que los estudiantes utilizan y aprovechan realmente
de los aspectos del programa.
h) Valorar las necesidades de los estudiantes y profesores que puedan ser
satisfechas mediante un método de equipo didáctico.
i) Identificar las normas que puede haber desarrollado la profesión educativa para
valorar este tipo de programas; descubrir también otras normas de valoración
mediante el análisis de las funciones y metas del programa; y, en general,
determinar y valorar los criterios de mérito y los argumentos filosóficos
correspondientes al programa en cuestión.
j) Examinar el proceso de realización para saber qué limitaciones existen en la
operación normal del programa y ayudar a discernir las partes del plan del
programa que no son viables en las actuales circunstancias o posiblemente
factibles sólo allí.
k) Comprobar ampliamente todos los efectos del programa.
l) Examinar la posibilidad y conveniencia de exportar el método a otras situaciones
escolares.
m) Valorar los distintos costes financieros, psicológicos o de otro tipo, referentes al
programa en cuestión.
n) Identificar y valorar los competidores críticos del equipo de profesores.
o) Validar y sintetizar toda la información obtenida.
p) Extraer conclusiones y recomendaciones respecto a la utilización futura del
programa en su marco y en otra parte.
q) Realizar una evaluación del trabajo evaluativo y utilizar la primera evaluación
tanto para perfeccionar como para informar a las audiencias acerca de sus
virtudes y defectos.
Preguntas sin respuesta
En el test de conocimiento, se le ha tratado casi como a un niño. En el test
práctico ha debido realizar un trabajo mayor y le hemos ayudado menos en la
valoración de sus respuestas. En esta sección deberá arreglárselas totalmente solo.
Este apartado presenta muchas preguntas, pero ninguna respuesta. Las preguntas
son importantes. A menudo son complicadas. Incluso si recurre a las autoridades en
la materia, comprobará que algunas de estas preguntas son polémicas. De ahí que ,
a la manera de un verdadero evaluador estilo Scriven, debe usted formular sus
propios juicios, esto es, desarrollar y estar preparado para justificar sus propias
respuestas a las preguntas.
El método evaluativo de Scriven
373
Con este espíritu, le invitamos a considerar y responder las siguientes
preguntas. Escriba sus respuestas por separado para poder disponer de ellas en sus
discusiones con otros.
1. ¿Toda evaluación es comparativa? ¿Por qué o por qué no?
2. La evaluación formativa y la evaluación sumativa, ¿son conceptos distintos
conceptual y operativamente? ¿Por qué o por qué no? Justifique su respuesta
con algunos ejemplos.
3. Si un evaluador juzga un programa en un momento determinado, ¿perderá su
independencia y objetividad respecto a evaluaciones futuras del programa? ¿Por
qué o por qué no? Si es así, ¿debe un evaluador dar por finalizada su relación
con un programa cuando ya ha proporcionado su juicio? Si no, ¿cómo puede el
evaluador evitar convertirse en un cooperante del personal de un programa que
se somete a sus juicios y recomendaciones iniciales?
4. Describa un programa estival de preparación para profesores de segundo grado
que trabajen en escuelas con un gran número de niños poco aventajados. Según
la conceptualización de la evaluación de Scriven, explique cómo evaluaría usted
el programa.
5. Ahora, evalué algún programa, proyecto o producto que le sea familiar, según el
método evaluativo de Scriven. Describa lo que está evaluando. Resuma su
planificación para evaluarlo. Luego presente sus resultados evaluativos.
6. Como tarea final, evalúe esta unidad según el método evaluativo de Scriven.
Referencias bibliográficas
CRONBACH, L. J. “Course improvement through evaluation”. Teacher´s College
Record, 64, págs. 672-683.
Joint Committee on Standards for Educational Evaluation. 1981. Standars for
evaluations of educational programs, projects, and materials, Nueva York,
McGraw-Hill.
SCRIVEN, MICHAEL. 1967. The methodology of evaluation. En Perspectives on
Curriculum, Evaluation (AERA Monograph Series on Curriculum Evaluation, n. 1).
Chicago, Rand McNally.
— 1974. Pros and cons about goal-free evaluation. Evaluation Comment, 3, páginas
1-4.
— 1975. Evaluation bias and its control. Occasional Paper Series, n. 4, Western
Michigan University, Evaluation Center.
— 1983. Evaluation ideologies. En MADAUS, SCRIVEN,
models, Boston, Kluwer-Nijhoff.
Y
STUFFLEBEAM, Evaluation