me todos y te cnicas de evaluacio n en ocio y tiempo libre

METODOS Y TECNICAS DE
EVALUACION
EN OCIO Y TIEMPO LIBRE
Escuela de OTL Peñas Blancas
Febrero 2014
Irene Pérez Esteban
Índice de contenidos
¿Qué es evaluar? ...................................................................................................................... 2
¿Para qué evaluamos? .............................................................................................................. 3
PLANIFICACIÓN DE LA INTERVENCIÓN................................................................................... 3
EJECUCIÓN DE LO PROGRAMADO ......................................................................................... 8
EVALUACIÓN FINAL ............................................................................................................... 8
Tipos de evaluación............................................................................................................... 9
Anexo I. Ejemplo de Encuesta de Satisfacción para participantes ............................................ 11
Anexo II. Ejemplo de Evaluación para Monitores ..................................................................... 12
Anexo III. Ejemplo de Diana de Evaluación .............................................................................. 14
Anexo IV. Ejemplo de Evaluación “No Estándar” ..................................................................... 15
Métodos y técnicas de Evaluación en OTL
1
¿Qué es evaluar?
Según la RAE (Real Academia Española) evaluar significa:
1. Señalar el valor de algo.
2. Estimar, apreciar, calcular el valor de algo.
3. Estimar los conocimientos, aptitudes y rendimiento de los alumnos.
En este sentido, "no evaluar por evaluar, sino evaluar para mejorar los programas y sus
resultados, la organización de las tareas y la transferencia a una más eficiente apuesta
metodológica". Coletivo Tándem
Hace años éramos unos locos/as quienes proponíamos hacer evaluaciones de las
intervenciones en OTL, parecía una pérdida de tiempo. En general, se ha avanzado hacia
procesos de mejora continua en las intervenciones donde la evaluación es un aspecto clave.
Hoy en día, la evaluación ha cobrado un gran protagonismo en el ámbito de ocio y tiempo
libre, y no porque se trate de un tema nuevo en absoluto, sino porque administradores,
monitores, coordinadores, empresas, padres, alumnos y toda la sociedad en su conjunto,
somos más conscientes que nunca de la importancia y las repercusiones del hecho de evaluar
o de ser evaluado. Existe quizá una mayor consciencia de la necesidad de alcanzar
determinadas cuotas de calidad, de aprovechar adecuadamente los recursos, el tiempo y los
esfuerzos.
La evaluación, por tanto, se podría definir como: un proceso que implica recogida de
información con una posterior interpretación en función del contraste con determinadas
instancias de referencia o patrones de deseabilidad, para hacer posible la emisión de un juicio
de valor que permita orientar la acción o la toma de decisiones.
Métodos y técnicas de Evaluación en OTL
2
¿Para qué evaluamos?
Como ya hemos señalado, la evaluación implica un proceso de mejora continua. La
interiorización de este proceso, en los monitores y coordinadores, es clave en todas las fases
de cualquier intervención: planificación (elaboración del “Proyecto de Prácticas”, para los
cursos de monitores/as de OTL), ejecución (desarrollo de los propuesto en el proyecto) y
evaluación final (análogamente, “Memoria de Prácticas”).
Evaluamos y establecemos criterios de evaluación y seguimiento para aprender de los éxitos,
con el fin de poder repetirlos, y de los fallos, para no volver a cometerlos.
Planificación
Proceso de
mejora
continua
Evaluación
final
Ejecución
PLANIFICACIÓN DE LA INTERVENCIÓN
La planificación responde a las preguntas ¿Qué queremos a hacer? ¿Cómo? ¿Cuándo?
¿Dónde? ¿Por qué? ¿Para qué? ¿Para quiénes? ¿Con qué recursos? ¿Cómo sabemos hemos
cumplido lo programado?
La última cuestión centrará el resto del apartado: ¿Cómo sabemos que hemos cumplido lo
programado?
El apartado 11 del Proyecto de Práctica de Monitor/a hace referencia a la Evaluación y deberá
centrarse en los aspectos clave sobre los que queremos recoger información:
Métodos y técnicas de Evaluación en OTL
3
·
·
·
·
·
Los objetivos (general, específicos, operativos y personales). Las preguntas que nos
debemos formular son ¿Cómo sé que hemos alcanzado los objetivos? ¿En qué grado o
medida se han alcanzado? Si no los hemos conseguido, ¿cómo lo sabemos? ¿qué ha
fallado?
Los destinatarios. Cuando formulamos un proyecto, generalmente lo hacemos “a
ciegas”, es decir, sin conocer realmente cuáles serán finalmente los participantes.
Podemos hacernos una idea por intervenciones anteriores, en dónde dirijamos la
publicidad de la intervención, desde dónde nos venga la propuesta (no será el mismo
público en el caso de Servicios Sociales de un Ayuntamiento que si lo hacemos para
una Asociación de un barrio adinerado…). Las preguntas a formular estarían en la línea
¿hemos descrito bien los destinatarios? ¿El número de participantes final ha sido el
estimado inicialmente? ¿la heterogeneidad en cuanto a género, en cuanto a
nacionalidad, en cuanto a creencias ….?
Nuestro método (metodología). ¿Cómo podemos demostrar que ha sido participativo /
inclusivo / dinámico / democrático / centrado en la figura de autoridad del monitor /
activo / equitativo / …?
Las actividades. ¿Hemos cumplido el objetivo de la actividad? ¿Qué ha salido mejor y
peor, por qué? ¿Las actividades estaban relacionadas con los objetivos perseguidos?
¿Eran adecuadas a los destinatarios? ¿Han sufrido cambios, por qué?
Los recursos ¿Han sido suficientes? ¿han sido adecuados? ¿han estado programados
adecuadamente?
Con el fin de dar respuesta a todas estas preguntas y todas las que nos formulemos sobre la
evaluación, estableceremos un sistema basado en Indicadores y Fuentes de Verificación.
Los indicadores nos señalan cómo vamos a medir mientras que las Fuentes de Verificación
hacen referencia a cómo lo vamos a demostrar.
Algunos ejemplos de indicadores:
Objetivo General: Fomentar la autonomía personal de los acampados/as (higiene,
alimentación y resolución de conflictos).
INDICADORES:
·
·
·
Evolución de número de acampados /as que se peinan solos.
Momentos compartidos de ocio no dirigido.
….
DESTINATARIOS/AS: Grupo de 80 participantes de entre 12 y 14 años del Barrio de Lavapiés,
con diferentes nacionalidades.
INDICADORES:
·
·
·
Número de participantes total
Procedencia heterogénea de los participantes
….
Métodos y técnicas de Evaluación en OTL
4
NUESTRO MÉTODO: participativo, inclusivo y democrático.
INDICADORES:
·
·
·
·
Nivel de implicación de los participantes
Desarrollo de asambleas de toma de decisiones
Lanzamiento de propuesta de actividades por parte de los acampados/as
…
Siempre deberá haber, como mínimo, un indicador por cada uno de los apartados del proyecto
mencionado (objetivos, destinatarios, método, actividades y recursos). A cada indicador, debe
seguirle, al menos, una fuente de verificación.
Las fuentes de verificación sirven para demostrar que lo planificado se ha llevado a cabo, o no.
Las fuentes de verificación son las herramientas de evaluación, que se pueden dividir en dos
grandes categorías:
A. Herramientas subjetivas / fuentes de verificación subjetivas:
- Observación directa. Consiste en ver lo que está sucediendo de forma planificada,
sabiendo qué es lo que tenemos que mirar y anotando los resultados de la
observación.
- Conversaciones informales. Hablar distendidamente con los participantes, los
monitores, el coordinador/a, sobre una cuestión concreta que nos interese y,
siempre, recoger por escrito las conclusiones de esa conversación.
- Diario. Especialmente indicado para la evaluación de las actividades. Consiste en ir
recogiendo día a día, las conclusiones de las actividades realizadas, qué ha salido
mejor y peor, por qué, cómo se podría mejorar, qué cambios ha habido y por qué,
conflictos surgidos, método de resolución… En definitiva, una descripción diaria de
lo acontecido.
- Actas de reuniones. Si tenemos acceso a las actas de las reuniones, pueden ser
una interesante fuente de verificación. Si no hay un acta formal, siempre podemos
recoger en nuestro diario las principales conclusiones.
- Asambleas con los participantes para valorar su grado de satisfacción, su
implicación, etc.
- ...
B. Herramientas objetivas / fuentes de verificación objetivas
- Encuestas / formularios. Preguntas abiertas o cerradas sobre cuestiones concretas
de la intervención. (Ver ejemplos en Anexos).
- Listados, fichas... Para conocer, por ejemplo, el número final de acampados, su
país de origen, sus peculiaridades…
Métodos y técnicas de Evaluación en OTL
5
- Diana de evaluación. Son círculos concéntricos, a modo de diana con segmentos
donde se pone qué queremos evaluar. Si se pinta / coloca gomet… en el centro,
indica un alto grado de satisfacción para ese ítem, si se coloca alejado del centro la
satisfacción es más baja. (En Anexos hay un ejemplo).
- Semáforo. Posicionamiento de los participantes en torno a una pregunta concreta
(me gusta mucho, es indiferente, no me gusta nada).
- Silueta /mano. Dentro de la silueta / mano ponemos lo que nos ha gustado (lo
que queremos atrapar), fuera lo que menos nos ha gustado. Se puede hacer con
dibujos, con frases, individual (mano), grupal (silueta)…
- Gymkana. Pasando por diferentes pruebas, dan su opinión sobre los aspectos que
nos interesan.
- ...
Las propuestas no son cerradas ni excluyentes, dependerá del grupo, de cómo lo adaptemos,
etc.
Ejemplos de indicadores y fuentes de verificación:
OG: Fomentar la autonomía personal de los acampados/as (higiene, alimentación y
resolución de conflictos).
INDICADOR
FUENTES DE VERIFICACIÓN
Evolución de número de
acampados /as que se peinan
solos.
Observación directa por el monitor/a el día 1, el día 7 y el día
14 de campamento.
Momentos compartidos de
ocio no dirigido.
Encuesta de evaluación final de los participantes. Pregunta
concreta: ¿Te has aburrido en el campamento? ¿Cuándo?
….
Métodos y técnicas de Evaluación en OTL
6
DESTINATARIOS/AS: Grupo de 80 participantes de entre 12 y 14 años del Barrio de Lavapiés,
con diferentes nacionalidades.
INDICADOR
FUENTES DE VERIFICACIÓN
Número de participantes
total
Fichas de inscripción
Procedencia heterogénea de
los participantes
Mapamundi con los países de origen de los participantes.
Listados diarios de asistencia.
….
NUESTRO MÉTODO: participativo, inclusivo y democrático.
INDICADOR
FUENTES DE VERIFICACIÓN
Nivel de implicación de los
participantes.
Preguntas formuladas durante la actividad.
Número de asistentes que participan e interactúan en la
actividad.
Propuestas de juegos y actividades llegadas íntegramente por
los participantes.
….
Insistimos en que siempre debe haber, el menos, un indicador y cada indicador debe de tener,
como mínimo, una fuente de verificación.
Si la fuente de verificación no es “estándar”, se explicará en qué consiste, los materiales
necesarios, el número de monitores… o se hará referencia expresa a la actividad concreta
desarrollada en otro apartado del Proyecto (por ejemplo: Actividad denominada “Mapas y
flechas” recogida en el apartado 9 del presente proyecto, que se prevé llevar a cabo el lunes
15 de junio de 13.00 – 14.30 horas).
Un ejemplo de evaluación “no estándar” se puede encontrar en el Anexo IV del presente
Documento.
Métodos y técnicas de Evaluación en OTL
7
EJECUCIÓN DE LO PROGRAMADO
Es la intervención real: el campamento, la colonia urbana, el cumpleaños, el día de granja, el
viaje de fin de curso, la semana no lectiva…
Aquí es donde tendremos que recopilar todos los datos que hemos indicado en el apartado 11
“Evaluación” del Proyecto: observación directa, conversaciones informales, diana de
evaluación, diario, etc.
Pensad que, una vez que finalice la intervención, no podremos volver a atrás para recopilar
datos que no hemos recogido. Por eso es muy importante tener claro cuáles son nuestras
fuentes de verificación y cuando vamos a recoger los datos a los que hacen referencia. Una vez
pasado el campamento, la colonia urbana, la sesión de ludoteca, … no podremos recopilar esos
datos.
EVALUACIÓN FINAL
En el caso de los cursos de monitor de OTL, se refiere a la “Memoria de Prácticas” que,
necesariamente hay que entregar una vez finalizada la fase de prácticas (ejecución).
En otros casos, será un informe para la Asociación o la empresa, para los padres, para la
Escuela, etc.
En cualquier caso, es el momento de volver al apartado 11 del Proyecto y revisar nuestros
indicadores y nuestras fuentes de verificación e ir describiendo (con apoyo gráfico, siempre
que sea posible) qué ha sucedido realmente.
Siguiendo con los ejemplos:
DESTINATARIOS/AS: Grupo de 80 participantes de entre 12 y 14 años del Barrio de Lavapiés,
con diferentes nacionalidades.
INDICADOR
FUENTES DE VERIFICACIÓN
Número de participantes
total
Fichas de inscripción
Procedencia heterogénea de
los participantes
Mapamundi con los países de origen de los participantes.
Listados diarios de asistencia.
….
Habría que poner algo así…
En cuanto a los destinatarios, el día previo a comenzar la intervención revisamos las fichas de
inscripción y eran un total de 79. Lo que se ajustaba, inicialmente a lo previsto (80
participantes). Sin embargo, el primer día cursaron baja XXX participantes porque ….
Métodos y técnicas de Evaluación en OTL
8
Al final del primer trimestre el número total era…., según las fichas de inscripción. Mientras que
los asistentes, según el listado diario no llega a …. Esta cuestión se debe a….
El mapamundi que hicimos el primer día (adjuntar imagen) donde cada uno ponía una pegatina
en su país de origen, indicó que XXX provenían de tal país, XXX de tal otro país y XXX habían
nacido en España. Con ello quedó demostrada la procedencia heterogénea de los participantes.
Tipos de evaluación
Como toda clasificación, se atiende a múltiples criterios debiéndose emplear uno u otro en
función del fin último de la evaluación, los recursos disponibles, los destinatarios del Informe
de Evaluación (o Memoria de Prácticas)….
1. Según el momento de aplicación
1.1. Evaluación inicial: se realiza al comienzo de la actividad. Consiste en la recogida de
datos en la situación de partida.
1.2. Evaluación continua: consiste en la valoración a través de la recogida continua y
sistemática de datos.
1.3. Evaluación final: consiste en la recogida y valoración de unos datos al finalizar un
periodo de tiempo previsto para la realización de una intervención.
La elección de un tipo y otro va a depender, generalmente, del tiempo de la intervención. Por
ejemplo, en una ludoteca durante todo el curso escolar, tendrá más sentido realizar
evaluaciones intermedias y una final que para el caso de una actividad de un día en una granja
escuela, por ejemplo.
2. Según su extensión
2.1. Evaluación global: se pretende abarcar todos los componentes o dimensiones.
2.2. Evaluación parcial: pretende el estudio o valoración de determinados componentes o
dimensiones de una entidad, de un programa, de rendimiento de una actividad, etc.
3. Según los agentes evaluadores
3.1. Evaluación interna: es aquella que es llevada a cabo y promovida por los propios
impulsores y ejecutores de la intervención (monitores, coordinador, jefe, personal
auxiliar…).
3.2. Evaluación externa: se da cuando agentes no integrantes de una intervencón, evalúan
su funcionamiento. Suele ser el caso de la "evaluación de expertos". Estos
evaluadores pueden ser inspectores, miembros de la Administración, investigadores,
equipos de apoyo al programa, etc.
Métodos y técnicas de Evaluación en OTL
9
Estos dos tipos de evaluación son muy necesarios y se complementan mutuamente, pudiendo
llegar a realizarse una evaluación mixta (con personal que interviene en la actividad y personal
externo). Sin embargo, en OTL generalmente se opta por la evaluación interna de los
proyectos debido su menor coste, su mayor rapidez, un mayor y mejor conocimiento de la
realidad por parte de los monitores/as que intervienen, etc.
Métodos y técnicas de Evaluación en OTL
10
Anexo I. Ejemplo de Encuesta de Satisfacción para participantes
Contesta a estas preguntas.
De todas las actividades que hemos hecho, indica cuáles son las actividades que más te
han gustado justificando tu respuesta.
Ahora, indica cuáles son las actividades que menos te han gustado justificando tu
respuesta.
Ahora sobre tu monitor: ¿Qué destacarías de su labor como positivo?
También sobre tu monitor: ¿Qué crees tú que debería mejorar?
Y para terminar, dinos por favor cómo te lo has pasado en estos días. También puedes
añadir las sugerencias que desees.
Gracias por tu colaboración J
Métodos y técnicas de Evaluación en OTL
11
Anexo II. Ejemplo de Evaluación para Monitores
El MONITOR EVALÚA a su COORDINADOR-A
Valora los siguientes aspectos de tu coordinador-a. Además de puntuar del 1 al 5 (1=valor
mínimo; 5= valor máximo), EXPLICA TU RESPUESTA; cuánto más aclares tu opinión más fácil
nos resultará entenderla.
Antes de la actividad... la PROGRAMACIÓN
·
El coordinador planteó y organizó
las REUNIONES de trabajo clara y
adecuadamente.
1 2 3 4 5
o o o o o
·
Se aportaron los MATERIALES
necesarios: información general,
conclusiones reunión anterior…
1 2 3 4 5
o o o o o
·
SOLUCIONÓ las dudas previas
que
surgieron:
actividades,
horarios, grupos, etc.
1 2 3 4 5
o o o o o
·
Las reuniones fueron EFICACES y
OPERATIVAS.
1 2 3 4 5
o o o o o
·
Antes de ejecutar el PROGRAMA
de actividades diseñado, éste me
pareció adecuado en su conjunto.
1 2 3 4 5
o o o o o
·
El coordinador facilitó mi / nuestra
PARTICIPACIÓN en las reuniones.
1 2 3 4 5
o o o o o
·
La RELACIÓN DEL EQUIPO, ya en
Madrid, era buena.
1 2 3 4 5
o o o o o
·
El coordinador SE INTEGRÓ
adecuadamente con los monitores.
1 2 3 4 5
o o o o o
Ö ¿Qué añadirías, o qué aspectos MEJORARÍAS a la preparación en Madrid?
DURANTE la actividad...
Métodos y técnicas de Evaluación en OTL
12
·
El coordinador ME HA APOYADO
cuando lo he necesitado.
1 2 3 4 5
o o o o o
·
HA COORDINADO el trabajo del
equipo adecuadamente.
1 2 3 4 5
o o o o o
·
Su RELACIÓN Y TRATO con los
CHAVALES ha sido cordial.
1 2 3 4 5
o o o o o
·
Ha sabido resolver cualquier
CONFLICTO por pequeño o grande
que éste fuera.
1 2 3 4 5
o o o o o
·
Su capacidad DE ADAPTACIÓN a los
imprevistos ha sido...
1 2 3 4 5
o o o o o
·
Su seguimiento y preocupación por el
PROGRAMA ha sido...
1 2 3 4 5
o o o o o
·
Organizaba
correctamente
TIEMPOS del programa.
los
1 2 3 4 5
o o o o o
·
Preocupación por la SEGURIDAD en
las actividades fue...
1 2 3 4 5
o o o o o
·
Las actividades contaron con los
MATERIALES adecuados.
1 2 3 4 5
o o o o o
·
Su preocupación por la HIGIENE y
ALIMENTACIÓN de los chavales fue...
1 2 3 4 5
o o o o o
DESPUÉS DE la actividad...
·
¿Te gustaría VOLVER A TRABAJAR con este coordinador en otra ocasión? ¿Por qué?
·
¿Cómo ha sido la RELACIÓN DEL COORDINADOR contigo? ¿Y con el resto del equipo?
Conmigo
Con el equipo
GRACIAS POR TU COLABORACIÓN.
Métodos y técnicas de Evaluación en OTL
13
Anexo III. Ejemplo de Diana de Evaluación
Métodos y técnicas de Evaluación en OTL
14
Anexo IV. Ejemplo de Evaluación “No Estándar”
Día: Sábado 10
Hora: 16.30-17.30
Lugar: Comedor / Biblioteca /Explanada / Bandera
Material:
4 trozos grandes de papel continuo
2 cartulinas grandes verdes
1 rotulador gordo tipo eding
4 rollos de celo
2 cartulinas grandes rojas
12 folios
2 cartulinas grandes amarillas
4 bolígrafos / rotus normales
Preparación: Hacer los mapas en el papel continuo. Hacer las caritas en cartulina y las lanzas
Nº de monitores para la preparación: 1
Nº de monitores para la actividad: 4 (Cada moni irá guiando a su grupo y tomará nota de las
opiniones de los participantes).
Objetivos de la actividad: Recopilar información de interés para mejorar de cara a planificar
futuros campamentos. Fomentar la participación y el diálogo abierto.
Objetivo del juego: Recordar los lugares por los que hemos viajado en el campa y saber si al
grupo le ha gustado o no las actividades de ese día.
Desarrollo: Dividiremos a los acampados en cuatro grupos y en cada uno de los grupos habrá
un monitor que dirija a la actividad. Cada grupo se irá a uno de los siguientes lugares (para que
no se escuchen ni distraigan entre ellos):
Bandera – Explanada – Comedor - Biblioteca
Cada acampado tendrá caritas sonrientes, caritas tristes y caritas de indiferencia.
Cada grupo tendrá un papel continuo con un dibujo de un mapa mundo (o al menos con el
nombre de los países más o menos ubicados a los que hemos viajado).
El monitor/a irá guiando la actividad explicando que ahora queremos saber lo que más les ha
gustado (carita feliz), lo que menos (carita triste) y lo que les ha dado igual (carita indiferente).
Se pegará en cada país la carita que el acampado considere (triste/feliz/indiferente) y el
monitor irá anotando en un papel lo que los acampados cuenten y expliquen.
Métodos y técnicas de Evaluación en OTL
15
Al final habrá dos lanzas africanas por grupo, una de color rojo y otra de color verde. La de
color rojo se pondrá en lo que menos del todo le ha gustado al grupo y la verde en la que les
haya gustado a todos.
Al finalizar la actividad, los monis llevarán los mapas a la explanada y la coordi fotografiará
cada uno de los mapas y recogerá las hojas de los monitores donde han ido escribiendo los
comentarios de los acampados.
Recogida: Coordi recogerá los mapas que estarán en la explanada y las hojas con los
comentarios.
Métodos y técnicas de Evaluación en OTL
16