Dr. José Manuel Huerta Departamento de Educación Agrícola Email: jhuerta@uprm.edu Web Page: http: //academic.uprm.edu/jhuerta Estableciendo los objetivos de aprendizaje. Según aumenta la concienciación para el establecimiento de una cultura que valora una evaluación integrada a los procesos educativos, se hace más imperativo que el personal docente a cargo de la tarea educativa no formal del Servicio de Extensión Agrícola adquiera destrezas en el área de evaluación de los programas que llevan a cabo. En publicaciones y cartas periódicas anteriores hemos abordado el modelo de lógica, las etapas de las evaluaciones y las implicaciones de los estudios de necesidades comunitarios entre otras. No obstante, el primer paso de toda evaluación, al igual que para saber lo que queremos hacer con nuestro programa educativo, o simplemente para conocer el efecto de nuestro adiestramiento de un día, de medio día o de una hora, es la elaboración de los objetivos de aprendizaje. El primer paso para determinar la evaluación del aprendizaje mediante el uso del modelo de lógica es la determinación de las necesidades de los educandos, de acuerdo a los recursos y las actividades del programa. Debido a que muchos educadores de proyectos no formales comunitarios llevan a cabo su enseñanza mediante talleres y seminarios, una de las primeras cosas que se debe preguntar es: dado lo que estás planeando hacer, y la audiencia que vas a tener, ¿cuáles son las dos o tres principales metas de aprendizaje para tu sesión? Esto funciona muy bien para sesiones cortas de 13 horas. Sesiones más largas se pueden romper en bloques de 1-3 horas, una vez que se identifican los objetivos principales de aprendizaje para cada bloque. Reconozco que es un tanto frustrante cuando tienes la encomienda de establecer una evaluación para un proyecto, el cual consiste de una serie de adiestramiento, donde más allá del contenido de los mismos, no se han plasmado unos objetivos para la instrucción. Debemos tener en cuenta que la instrucción será efectiva en la medida en que esta tiene éxito en lograr el cambio de los participantes en la dirección deseada. En primer lugar, debemos determinar la necesidad para la instrucción. Para esto, debemos asegurarnos que los participantes no tienen ya el conocimiento o las destrezas correspondientes a la 1 instrucción que vas a impartir, y que la instrucción es el medio más adecuado para lograr el cambio deseado. En otras palabras, es necesario que establezcas las metas y objetivos que esperas que logre el proceso educativo que vas a impartir. Se deben seleccionar las experiencias de aprendizaje de los participantes de acuerdo a los objetivos de aprendizaje, con una evaluación de las ejecutorias del participante, de acuerdo a los objetivos seleccionados. Si estos no están debidamente elaborados, la evaluación sería una mera especulación. Si no sabemos hacia donde nos dirigimos, nunca sabremos si hemos llegado a nuestro destino. Los pasos para lograr lo descrito en el párrafo anterior son: análisis, diseño e implantación. La fase del análisis debe contestar las siguientes preguntas: ¿Existe un problema que se debe resolver? ¿Es la instrucción relevante para la solución del problema? Si es relevante, ¿qué efecto debe tener la instrucción? Si no tomamos en cuenta lo planteado anteriormente, podríamos llevar a cabo un magnífico curso que la gente sencillamente no necesita. Para determinar las necesidades de nuestra clientela, podríamos preparar un cuestionario, basado en las percepciones sobre el conocimiento, destreza o importancia que la clientela potencial atribuye a los diferentes componentes de nuestra área programática. En otras palabras, no es suficiente solamente con preguntar si las personas poseen o no el conocimiento, ya que podría ser un área de muy poco interés para ellos. Nuestra clientela no es cautiva, por lo que solamente asistirán a nuestras capacitaciones si consideran que va a ser de provecho para ellos. La tabla 1 presenta un ejemplo de cuestionario para detectar necesidades o destrezas. Existen diferentes procedimientos para determinar las necesidades de adiestramiento. Uno muy sencillo es donde restamos la importancia del conocimiento percibido. Los parámetros más altos, indicarán una necesidad mayor de adiestramiento entre nuestra clientela. 2 Tabla I. Instrumento de Manejo de Riesgo en la Agricultura I. Finanza Agrícola. Favor de ayudarnos a entender sus necesidades de adiestramiento. Favor de indicar el nivel de importancia, al igual que el nivel percibido de conocimiento de cada área. (Circule una). 1. muy poco o ningún conocimiento, actitud o destreza 2. un poco de conocimiento, actitud o destreza 3. conocimiento, actitud o destreza promedio 4. mucho conocimiento, actitud o destreza 5. conocimiento, actitud o destreza completo Importancia del Adiestramiento Conocimiento en el Área Entiendo la 1 2 información sobre financiamiento y su trayectoria. 3 Conozco el concepto de administración financiera X3 4 5 1 2 Conozco las 1 X2 3 instituciones de crédito agrícola 4 X5 Entendo la 1 X2 3 4 5 información sobre financiamiento y su trayectoria Conozco el concepto de administración financiera 4 5 1 X2 3 4 5 Conozco las 1 X2 3 4 5 instituciones de crédito agrícola En el ejemplo anterior, el concepto de la información sobre financiamiento y su trayectoria, al tener una importancia de 5 y un conocimiento de 2, se demuestra la pertinencia del adiestramiento, ya que 5-2=3. Los conceptos dos y tres tienen un índice de 1 y 0 respectivamente. En la encuesta previa al adiestramiento deben participar los participantes identificados. Una vez establecidas las áreas de importancia para llevarse a cabo un adiestramiento, debemos establecer los objetivos del mismo. Los objetivos pueden ser los de la sociedad, la cuáles son globales: condiciones socio-económicas de la sociedad puertorriqueña. Mejorar las Las objetivos pueden ser los del proyecto, los cuáles son más específicos que los de la sociedad: Los agricultores aumentarán la eficiencia en la administración del negocio agrícola. 3 Los objetivos pueden ser instruccionales, los cuáles deben ser específicos y medibles: Los agricultores participantes del adiestramiento de dos medios días en Finanza, Mercadeo y Registros de la Finca aumentarán la utilización de registros del negocio agrícola en un 30%. Los objetivos de aprendizaje se componen de: Ejecutoria Condiciones Índice de Adecuacidad La ejecutoria se refiere a lo que el participante espera hacer. En el ejemplo anterior, el participante espera aumentar la utilización de registros en su negocio agrícola. Las condiciones se refieren al escenario en el cual ocurre el aprendizaje. En el objetivo utilizado, las condiciones son las de dos adiestramientos de dos medios días, lo cual equivale a unas ocho horas de instrucción. El índice de adecuacidad está relacionado al nivel de ejecutoria que se considera aceptable. En nuestro ejemplo, se espera que los agricultores aumenten la utilización de los registros agrícolas en sus negocios en un 30% Los objetivos instruccionales se dividen en tres: 1. 2. 3. Cognoscitivo Afectivo Sicomotor El nivel cognoscitivo se refiere al cambio en conocimiento, lo cual se ilustra mayormente con los exámenes de conocimiento. Dicho nivel tiene unos niveles de jerarquía, donde se establecen de menos a más, los niveles del dominio, según su complejidad. Estos son de menor a mayor: Conocimiento, Comprensión, Aplicación, Análisis, Síntesis y Evaluación. La tabla 2 presenta los niveles jerárquicos del nivel cognoscitivo, junto con unos posibles verbos a utilizarse en la taxonomía cognoscitiva. 4 Tabla 2. Niveles Jerárquicos y Verbos utilizados en el Dominio Cognoscitivo. ________________________________________________________________________ Conocimiento Comprensión Aplicación ________________________________________________________________________ Define Traduce Interpreta Repite Expone Aplica Enumera Discute Emplea Enuncia Describe Usa Recopila Explica Demuestra Nombra Expresa Comprueba Relaciona Identifica Dramatiza Subraya Localiza Práctica Informa Ilustra Revisa Organiza Delinea ________________________________________________________________________ 5 ________________________________________________________________________ Análisis Síntesis Evaluación ________________________________________________________________________ Distingue Compone Juzga Analiza Planea Estima Estimula Propone Evalúa Calcula Diseña Valoriza Experimenta Formula Compara Prueba Ordena Tasa Compara Organiza Revisa Contrasta Recoge Selecciona Critica Construye Promedia Inspecciona Crea Mide Debate Monta Aprecia Cuestiona Prepara Relata Dirige Resuelve Examina Categoriza ________________________________________________________________________ Otra manera de establecer las necesidades es mediante la utilización de una sola administración. En este caso se solicita una comparación de las condiciones que las personas perciben actualmente al compararlas con las que debían prevalecer, o las condiciones ideales. A continuación, presentamos una sección de la encuesta de Cyfar, de la Universidad estatal de Arizona (1999). La diferencia entre las condiciones ideales con las actuales, nos proporcionará las necesidades de adiestramiento en las respectivas áreas. Una manera de codificar las alternativas sería de 5-1 de izquierda a derecha, también podría ser de 4-0, o inclusive +2 para la alternativa más positiva (Strongly Agree), +1 (agree), 0 para la neutra (Not Sure) -1 para la ligeramente negativa y -2 para la fuertemente negativa (Strongly Disagree). La discrepancia mayor entre las condiciones ideales menos las actuales equivale a mayor necesidad de adiestramiento. 6 Tabla 3. Muestra de Cuestionario para Establecer las Necesidades 7 El nivel afectivo establece la percepción de las personas. Se refiere a las opiniones, creencias y sentimientos, acerca del propio comportamiento de los individuos. Las actitudes no pueden ser observadas ni medidas directamente. No obstante, se puede (y se debe) establecer un instrumento que una vez validado mida el correspondiente concepto abstracto (constructo). Recuerden que en una escala afectiva no establecemos respuestas correctas o incorrectas, sino simplemente las percepciones de la gente. Una escala típica utilizada para medir el dominio afectivo es la escala de Liker, la cual se ilustra en la tabla 4. Esta escala puede tener un número impar, (generalmente de cinco opciones), donde se provee para expresar una actitud neutra (no disponer de una actitud favorable o desfavorable con respecto a un asunto), o puede tener un número par, (generalmente de cuatro alternativas), donde se pretende que el participante se decida hacia un lado u otro del asunto en cuestión. Por ejemplo, si preguntamos acerca de la actitud de las personas hacia la inclusión de la pena de muerte en el código penal de Puerto Rico, las alternativas pares e impares podrían ser: Tabla 4 Alternativas en la Escala de Likert ________________________________________________________________________ Totalmente en Desacuerdo En Desacuerdo De Acuerdo Totalmente de Acuerdo Totalmente en Desacuerdo En Desacuerdo Indeciso(a) De Acuerdo Totalmente de Acuerdo ______________________________________________________________________________________ Otra variedad de la tabla 4, es una que puede ser muy útil para asegurarnos la veracidad de las respuestas de los individuos. Esto puede ser muy provechoso, especialmente en las encuestas por teléfono, donde el participante tiene la limitación de no ver las diferentes alternativas de respuesta. Por ejemplo, en la misma pregunta de la actitud de las personas hacia la pena de muerte, podríamos preguntarle en la alternativa par si está de acuerdo o en desacuerdo para su inclusión en el código penal de Puerto Rico. Si contesta que está de acuerdo, entonces le preguntamos si está totalmente de acuerdo o simplemente de acuerdo. Si contesta que está en desacuerdo, entonces le preguntamos si está totalmente en desacuerdo o simplemente en desacuerdo. En la alternativa impar, la diferencia radica en que de inicio, se les pregunta a los participantes si están de acuerdo con la pena de muerte, en desacuerdo, o no están decididos. Si escogen la respuesta neutra (indeciso/a), en ese caso no se requieren preguntas adicionales. Si se deciden por otras alternativas, entonces habría que realizar los pasos efectuados con las respuestas de alternativas pares. A pesar de ser un proceso un poco más complicado, facilitamos las respuestas de las personas, además de asegurarnos de la validez y la confiabilidad de las respuestas, y por consiguiente de la información obtenida. La tabla 1 presenta básicamete unas percepciones de los participantes, ya que no es un examen de conocimientos ni tampoco es una escala de observación para medir el dominio sicomotor. 8 El Dominio sicomotor mide la habilidad de las personas para ejecutar las tareas con el nivel de destrezas esperado. Es muy común en lo cursos vocacionales, donde se espera que los participantes lleven a cabo el proceso de la castración de los cerdos, o los injertos en los cítricos con un cierto grado de ejecución. Se recomienda que en las diferentes áreas donde se requiera una evaluación del dominio sicomotor se valide el instrumento, para así asegurarnos que este mide lo que pretendemos medir. Este proceso no debe obviar bajo ninguna circunstancia una muestra de la población a impactar. Si nuestra población la componen niños entre 10 y 12c años de edad, estos no deben faltar en el proceso de validación. La evaluación de este dominio puede ser muy apropiada para las competencias 4-H del Servicio de Extensión Agrícola. Referencias Ahmann, J. (1981). Measuring and Evaluating Educational Achievement. Allyn and Baccon, Inc. Arnold, A. (2000), Be “Logica” About Program Evaluation. Assessment. Journal of Extension, 40 (3). Boyle (1996). Planning Better Programs. Development Series. McGraw-Hill, Inc. Begin with Learning Adult Education Association professional Curnan, S. P., & LaCava, L. A. (2000). Getting ready for outcome evaluation: Developing a logic Model. Community Youth Development Journal, 16 (1). García, A. (1999). Proyecto Cyfar, Sample Instrument. The University of Arizona, College of Agriculture, School of Family and Consumer Resources, Division of Family Studies, Tucson, Arizona 85721-0033. Huerta, J. (2005). Carta Circular sobre el Modelo de Lógica. Universidad de Puerto Rico, Recinto Universitario de Mayagüez, Servicio de Extensión Agrícola, 00681-9031. Huerta, (2005). Proyecto Manejo de Riesgo en la Agricultura. Muestra del instrumento. Universidad de Puerto Rico, Recinto Universitario de Mayagüez, Servicio de Extensión Agrícola. 00681-9031. Huerta, J. (2005). Modelo de Lógica para las Evaluaciones Educativas. . Universidad de Puerto Rico, Recinto Universitario de Mayagüez, Servicio de Extensión Agrícola, 006819031. Mager, F. (1996). Preparing Instruccional Objectives. David S. Lake Publisher, 500 Harbor Boulevard, Belmont, California, 94002. Martí, R. (2005). Taller sobre Elaboración de propuestas. Presentación realizada en San Juan, en adiestramiento auspiciado por la Cámara de Comercio de Puerto Rico. Mason, G. (1996). Recent Advances in Questionnaire Design for Program Evaluation. The Canadian Jouurnal of Program Evaluation. Volume 11, November1 April/May Mueller, J. (1998). Measuring Social Attitudes. A Handbook for Researchers and Practitioners. Teacher College Press, 1234 Amsterdam Avenue, New York, NY 10027. 9