un metodo de evaluación de prácticas de monitorización de redes

UN METODO DE EVALUACIÓN DE PRÁCTICAS DE
MONITORIZACIÓN DE REDES BASADO EN LOS INCIDENTES
CRÍTICOS
José Luis Poza, Pedro Cruz, Vicente Santonja
Escuela Técnica Superior de Informática Aplicada.
Universidad Politécnica de Valencia
jopolu@disca.upv.es, ppcruz@disca.upv.es, visan@disca.upv.es
RESUMEN
La evaluación del trabajo del alumno desarrollado a lo largo de una sesión de
prácticas es una labor compleja . El gran número de alumnos, que suele estar
trabajando a la vez en un laboratorio, hace que llevar un control del aprendizaje
y del uso de métodos para solucionar un problema sea difícil de llevar a cabo.
Generalmente la evaluación de la práctica se hace a partir de un boletín de
respuestas, por medio de la revisión de un montaje de circuitos o sistemas de
evaluación similares. En la práctica los alumnos emplean software de
monitorización de redes [1].
Estos métodos de evaluación adolecen de no poder evaluar cómo el alumno
afronta el trabajo desarrollado durante la práctica. Es decir, no se tiene en
cuenta las habilidades, los métodos o técnicas de las que hace uso el alumno
para afrontar la resolución de la práctica.
Existe una herramienta, empleada en las entrevistas de trabajo, conocida como
incidentes críticos [2] [3], consistente en que el entrevistado exponga
situaciones significativas de su experiencia laboral y personal, como ejemplo
real de casos en que el entrevistado ha resuelto problemas.
El método presentado copia la idea del método de selección de personal
anteriormente descrito y la aplica a la evaluación de las prácticas de la
asignatura “Monitorización y Evaluación de Redes”.
En estas prácticas, el alumno va encontrándose con diversas situaciones que
debe resolver. Estas situaciones no están previstas en la práctica, por lo que
cuando el alumno se encuentra con un problema que no esté previsto o
resuelto en el enunciado, debe plantear una solución.
El alumno debe ir redactando brevemente este proceso en el boletín de la
práctica. Esta redacción del incidente crítico debe organizarse por medio de
diversos apartados:
1. Descripción del problema.
2. Planteamiento de las posibles causas.
3. Proceso que se va a seguir para su resolución.
4. Resultado de la resolución.
5. Observaciones y comentarios.
De esta forma, la evaluación de las prácticas no se realizará exclusivamente
por medio de unos resultados empíricos de un boletín, sino también por medio
de una exposición de cómo ha sido el proceso de realización de la práctica.
La evaluación por medio de incidentes críticos proporciona al profesor la
información necesaria para poder determinar el grado de profundidad con el
que la sesión práctica ha sido abordada por parte del alumno, así como los
métodos y técnicas empleados en la resolución de los problemas.
La introducción estratégica de “erratas” en la práctica, que provoquen un
incidente crítico, puede proporcionar información sobre situaciones controladas
por el profesor. De esta forma estas situaciones serán más sencillas de
evaluar. También proporciona información sobre la posibilidad de que los
alumnos hayan copiado la práctica de los compañeros.
1. INTRODUCCIÓN
1.1. La asignatura Monitorización y Evaluación de Redes
La asignatura de Monitorización y Evaluación de Redes, es una asignatura
optativa de la intensificación de redes para la obtención del título de Ingeniero
Técnico en Sistemas Informáticos.
El objetivo principal de la asignatura es conocer y utilizar protocolos para la
gestión de redes de medianas y grandes dimensiones.
La asignatura se divide en dos bloques, el primero expone la gestión y
monitorización de redes, y el segundo entra en detalle con la monitorización y
gestión basada en el protocolo SNMP y RMON.
El temario de la asignatura es el siguiente:
Bloque I: Conceptos.
1. Introducción a la gestión de redes.
2. Dispositivos de red.
3. Monitorización de redes.
Bloque II: Estándar SNMP.
4. Conceptos básicos de SNMP.
5. Información para la gestión SNMP.
6. El protocolo SNMP.
7. Ampliaciones
1.2. Las prácticas de la asignatura Monitorización y Evaluación de Redes
Las prácticas de Monitorización y Evaluación de Redes (MER) consisten en
realizar un análisis de la actividad de una red de ordenadores por medio de
diversas aplicaciones. Para ello, se empleará diverso software de
monitorización de redes con el que se pretende que el alumno aprenda a
extraer conclusiones en función de los resultados obtenidos.
No necesariamente los objetivos de los alumnos son siempre los mismos. Por
ello, las prácticas se “bifurcan” al final en dos ramas: quienes deseen
profundizar más en la monitorización pueden realizar la práctica de
monitorización y gestión mediante RMON; quienes deseen profundizar en la
programación pueden escoger la práctica de programación de un servidor
SNMP. La secuenciación de las prácticas se puede observar en la figura 1.
6A
1
Monitorización de
redes con Ethetreal
2
Monitorización de
redes con Observer
3
Monitorización de
redes con SNMP
4
Cliente SNMP
5
Monitorización con
RMON
Gestión con RMON.
Servidor SNMP
(agente)
6B
Figura 1. Secuenciación de las prácticas de MER.
A continuación, describiremos brevemente cada una de las prácticas a realizar.
1.2.1. Práctica 1: Monitorización con Ethereal.
Ethereal es un analizador de protocolos que permite capturar conversaciones
entre dos o más estaciones. El analizador no sólo captura el tráfico, sino que lo
decodifica (interpreta su formato) mostrando qué está ocurriendo exactamente
en la red. Por ejemplo, si una sesión TCP/IP se bloquea, el analizador puede
determinar cuál fue la última estación que envió un paquete o la estación que
ha dejado de responder.
Los objetivos de la práctica son los siguientes:
•
•
Conocer una aplicación básica de monitorización a nivel de paquetes.
Aprender a extraer conclusiones a partir de los paquetes capturados.
1.2.2. Práctica 2: Monitorización con Observer.
En el proceso de análisis de prestaciones de la red se suelen emplear
aplicaciones profesionales que infieren datos a partir del análisis de paquetes
que circulan por la red. En esta práctica se empleará un programa al efecto:
Observer de Network Instruments, que viene a ser un analizador de protocolos
como Ethereal, pero con más prestaciones.
Los objetivos de la práctica son los siguientes:
• Conocer una aplicación profesional de monitorización y análisis de
prestaciones
• Entender el funcionamiento, localizar problemas a partir de una
aplicación de monitorización y saber extraer conclusiones a partir de los
datos suministrados.
1.2.3. Práctica 3: Monitorización con MIB Browser.
El Protocolo simple para gestión de la red (SNMP) fue diseñado originalmente
para proporcionar un medio para manejar los enrutadores de una red. Cada
dispositivo administrado por SNMP mantiene una base de datos que contiene
estadísticas y otro tipo de información a las que se puede acceder mediante
este protocolo. Estas bases de datos se llaman Base de información de
gestión, o MIB. El alumno deberá visualizar gráficamente la actividad de una
máquina por medio de la MIB -2.
Los objetivos de la práctica son los siguientes:
• Se plantea como objetivo principal que, al finalizar la práctica, el alumno
conozca los objetos de la MIB -2.
• También se plantea como objetivo que el alumno/a aprenda a utilizar un
programa comercial de análisis del MIB como es el MG-SOFT MIB
Browser.
1.2.4. Práctica 4: Cliente SNMP.
Ésta es la primera de las prácticas en que el alumno se adentrará en la
programación de aplicaciones de monitorización de redes. Se programará en
el entorno Visual Basic y se utilizarán controles SNMP (ActiveX) de la empresa
IPSoft. Se diseñará una aplicación que sirva para interrogar a un agente SNMP
ubicado en una máquina remota.
Los objetivos de la práctica son los siguientes:
• Que el alumno/a aprenda a realizar programas de monitorización desde
el punto de vista del programador.
• Que, al enfrentarse a la implementación de un cliente SNMP, asimile
mejor el funcionamiento de dicho protocolo.
1.2.5. Práctica 5: Monitorización con RMON.
El objetivo de esta práctica es gestionar un conmutador (s witch) mediante el
protocolo RMON. Dado que la información que se obtiene con la MIB -2 es local
a cada dispositivo gestionado, no se obtiene información sobre el tráfico global
en la red. Para esto se utiliza un monitor de red (analizador de red o sonda) al
que se le programan con RMON las acciones de monitorización a llevar a cabo.
Se utilizará como monitor de red (hardware) el conmutador SuperStack II
Switch 1100 de 3Com (fig. 2). La herramienta a utilizar para esta gestión es el
MG-SOFT MIB Browser, ya empleado en la práctica 3.
Figura. 2. Switch 1100 de 3Com.
1.2.6. Práctica 6 A: Gestión con RMON.
Esta práctica tiene dos partes: la primera consiste en realizar una aplicación
que obtenga una lista de computadores; y la segunda, en instalar una alarma
que controle una situación concreta de la red. Al igual que en la práctica 4, se
realizará en el entorno Visual Basic y se utilizarán controles SNMP (ActiveX) de
la empresa IPSoft. También en esta práctica se utilizará el conmutador
SuperStack II Switch 1100 de 3Com, dispositivo al que se le instalarán las
alarmas.
Los objetivos de la práctica son los siguientes:
• Gestionar las alarmas de un conmutador mediante RMON.
• Que, al enfrentarse a la implementación, el alumno asimile mejor el
funcionamiento de dicho protocolo.
1.2.7. Práctica 6B: Servidor SNMP.
En esta práctica pretendemos crear una MIB para una tostadora de pan que,
por medio de SNMP, queremos controlar y monitorizar. La práctica consiste en
crear una MIB privada, para comprobar cómo podemos utilizar la MIB para
poder monitorizar nuestro propio Hardware. Se realizará en el entorno Visual
C++ y se utilizará el software el MG-SOFT MIB Browser para acceder a dicha
MIB.
Los objetivos de la práctica son los siguientes:
• Aprender a compilar una nueva MIB e introducirla en un programa de
monitorización.
• Aprender a activar el servicio SNMP en sistemas Windows NT 4.0 ó 98.
• Obtener una visión global de la gestión de redes.
2. LAS SITUACIONES SIGNIFICATIVAS
Esta técnica ha sido innovada y utilizada con algunas variantes a través de los
años y es uno de los recursos que se emplean habitualmente para:
•
•
•
•
•
Realizar procesos de selección de personal.
Realizar evaluaciones del rendimiento laboral.
Realizar diagnósticos de necesidades de formación.
Realizar análisis de competencias específicas.
Identificar competencias de los evaluados.
En las entrevistas de trabajo, cuando se pregunta sobre los incidentes críticos,
el entrevistador, a través de una serie de preguntas abiertas, pide al
entrevistado que le describa lo que hizo, dijo, pensó y sintió durante una
experiencia concreta.
El entrevistador debe invitar a los entrevistados a narrar las acciones concretas
que tuvieron lugar en el pasado. De esta forma logra obtener las experiencias
del entrevistado tal y como fueron y como él las vivió.
Con las entrevistas de incidentes críticos, no se permite a los entrevistados
sacar conclusiones sobre sus experiencias pasadas. Lo que interesa es
averiguar los motivos, habilidades y conocimientos que realmente tiene y usa el
entrevistado.
La entrevista de incidentes críticos utiliza la estrategia de exploración
estructurada, buscando los indicios de que esa persona posee una serie de
competencias clave investigando si las ha realizado con ante rioridad.
3 APLICACIÓN EN LAS PRÁCTICAS
Para las prácticas se decidió anexar un apartado en los boletines de prácticas,
de manera que los alumnos podían completar las hojas de respuestas con la
exposición de las situaciones significativas acaecidas durante las mismas (fig.
3).
En este curso se decidió, como primer paso en este estudio, simplificar el
proceso, de manera que los alumnos sólo debían indicar en el boletín el
problema localizado y la solución adoptada. De este modo, no se les restringe
a unas situaciones concretas determinadas por el profesor, sino que son los
mismos alumnos quienes definen qué es una situación significativa, de entre
los distintos eventos que pueden acontecer en el devenir de la práctica.
Figura. 3. Hoja de respuestas de las situaciones significativas.
Tanto en la presentación de la asignatura como en la primera sesión de
prácticas, se expusieron las características de este método (figura 4), de forma
que, desde el primer momento, los alumnos supiesen los criterios de
evaluación de dicho método.
Figura. 4. Presentación del método.
Un 25% de la nota final de prácticas está basado en la exposición de los
incidentes. De tal forma que no es determinante en la puntuación final, pero
aporta un mínimo que lo hace atractivo de rellenar.
Además, este método puede utilizarse para detectar el aprovechamiento de la
práctica. Una práctica desarrollada con la concreción necesaria, da lugar, en la
mayor parte de las ocasiones, a más de una situación significativa (un mal
funcionamiento del programa de prácticas, de la red o similares). Por lo que, un
breve vistazo al apartado de situaciones significativas, permite hacerse una
idea aproximada de la seriedad con la que el alumno ha realizado la práctica.
4 RESULTADOS
A partir de los boletines de prácticas entregados a lo largo del curso por los
alumnos, se han extraído diversos resultados que se exponen a continuación.
4.1 Taxonomía de situaciones significativas
Como se ha comentado en el apartado 3, no se forzó a los alumnos a
discriminar unas situaciones concretas como significativas y otras no, sino que
se les dieron unas indicaciones genéricas sobre el concepto de situación
significativa, para que ellos mismos determinasen qué acontecimientos lo eran.
Se han analizado unos 200 boletines de prácticas y, a partir de las respuestas
de los alumnos, se ha realizado una clasificación ordenada según la mayor o
menor incidencia de apariciones de situaciones comunes. Dicha clasificación
se expone en la siguiente lista.
•
•
•
•
•
•
Problemas “técnicos”: del tipo “no funciona el ordenador”, “el
programa no responde”, “la red no funciona correctamente”, “no hay
conexión”, ausencia de componentes del sistema necesarios y
situaciones similares.
Resultados difíciles de interpretar. Aquellos resultados que no podían
interpretar, puesto que desconocían la base teórica en la que se
fundamentaban.
Resultados inesperados o sorprendentes. Aquellos resultados o
comportamientos del sistema que desconocían y les sorprendían. Por
ejemplo , la aparición de palabras clave sin encriptar en sesiones FTP y
asuntos similares.
No obtención del resultado. En ocasiones, el resultado pedido que
conocían de antemano, por las sesiones de teoría, no aparecía.
Generalmente se daba debido al desconocimiento del lenguaje de
programación o del software empleado en la práctica.
Críticas a la práctica. Falta de tiempo, ausencia de espacio para
contestar. Cabe destacar que en este tipo de situación, los alumnos
también incluían las erratas detectadas en los enunciados.
Incidencias durante la realización de la práctica. Comentarios o
aclaraciones al trabajo realizado en la práctica. Por ejemplo, el haber
tenido que realizar la práctica en varias sesiones, con el consiguiente
cambio de ordenador y, a veces, de resultados debido al cambio en las
condiciones de la red del laboratorio de una sesión a otra.
4.2 Valoraciones del estudio realizado
En general los alumnos mantienen una cierta seriedad contestando, aunque
algunos exponen muy pocas situaciones, o las exponen con una brevedad casi
telegráfica.
También se dan casos de alumnos que exponen muchas situaciones y
prácticamente llenan todo el espacio dedicado al efecto. Sin embargo, estos
casos son los más escasos.
En lo que a soluciones adoptadas, se hace complicado determinar qué es lo
que exactamente interpretan. En muchos casos la solución depende de la
situación. Si la situación expuesta no pasa de ser una mera exposición de un
hecho (“el ordenador no funciona”, “práctica sin poder finalizar en la sesión”) la
solución es obvia (“cambiamos de ordenador”, “finalizaremos la práctica en la
siguiente sesión”.
Sin embargo, algunas soluciones sí que responden a la solución esperada de
un incidente crítico. Estas soluciones suelen ser las planteadas ante
situaciones significativas de tipo técnico.
En lo que se refiere a respuestas en blanco del apartado de “situaciones
significativas”, se analizó cuántas hubo a lo largo de la entrega de las prácticas.
Los resultados se exponen en la figura 5. Por cuestiones de tiempo, no se pudo
realizar la práctica 6, por lo que no hay resultados de la misma.
20
15
10
5
0
p1
p2
p3
p4
p5
Figura. 5. Presentación del método.
Como se puede apreciar en la figura, el número de boletines de prácticas en
los que se deja el apartado de “situaciones significativas” en blanco va
creciendo a lo largo del curso. La evidente bajada de la práctica 5 se debe a
que se recordó a los alumnos que debían rellenar el apartado de “situaciones
significativas”, puesto que éste era un 25% de la nota de prácticas. Esto indica
una cierta dejadez o desinterés en algunos alumnos.
5. CONCLUSIONES
En primer lugar, valoraremos la “aceptación” que este método ha tenido por
parte del alumnado. Por parte de los profesores, los dos modos de conocer
dicha aceptación han sido algunos comentarios de los alumnos y,
evidentemente, los boletines rellenados por ellos. Los comentarios recibidos
muestran que los alumnos valoran positivamente la puntuación destinada a las
situaciones significativas ya que, con poco esfuerzo, pueden incrementar su
nota de prácticas. De los boletines se puede extraer el interés que han
mostrado por este método de evaluación viendo, por ejemplo, la rigurosidad
empleada en las descripciones de las situaciones y sus soluciones, o la
cantidad de situaciones que describen, tal y como se ha comentado en el
apartado 3.
El método expuesto se puede emplear para tener una perspectiva subjetiva,
desde el punto de vista del alumno, de tal manera que el mismo alumno da una
visión personal de su propio aprovechamiento.
El problema de que adolece el método es la cuantificación de los aspectos que
se exponen, sin embargo, la combinación de los resultados de los eventos
significativos con las respuestas clásicas de los boletines, proporcionan un
refuerzo al profesor muy interesante a la hora de valorar la práctica.
AGRADECIMIENTOS
Agradecemos su ayuda en el asesoramiento profesional sobre los aspectos de
selección de personal a Elisa Valls Torregrosa.
REFERENCIAS
[1] William Stallings. SNMP, SNMPv2, SNMP v3 and RMON 1 and 2. Third
edition. Addison Wesley. 1999.
[2] Martha Alicia Alles. Empleo: el proceso de selección. Ediciones Macchi,
Buenos Aires, 2001
[3] La Entrevista de Incidentes Críticos.
http://www.xcompetencias.com/seleccion/la_entrevista_de_inc.htm
Abril 2003.