Hacia una metodología de análisis de sitios webs universitarios Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Índice 1 2 3 Introducción Fundamentación La metodología propuesta 3.1 Objetivos 3.2 Diseño y descripción de la metodología 3.3 Recogida de información y análisis de datos 4 Resultados 5 Conclusiones 6 Bibliografía Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 1 1 Introducción Esta publicación intenta describir las características de una metodología diseñada para el análisis de los servicios y recursos que se ofrecen en los sitios web de las universidades, como parte de un estudio y análisis sobre las necesidades de utilización de las tecnologías de la información y de la comunicación de los alumnos de primer y segundo curso, de las universidades españolas, para la posterior creación de un portal de ayuda al alumnado de 1er ciclo. Los objetivos que nos planteamos en el estudio fueron: Primero, detectar las necesidades de formación en telemática/informática, técnicas de trabajo intelectual superior e información universitaria en alumnos/@s universitarios de primer ciclo (principiantes) de carreras universitarias; segundo, detectar y analizar los servicios que se ofrece al alumnado de nuevo ingreso en los websites de las Universidades españolas, los recursos que se incluyen y la organización de éstos; y tercero, diseñar y desarrollar un portal de recursos universitarios para alumnos de nuevo ingreso en las Universidades que compense las necesidades detectadas, al que hemos denominado “Ya soy universidad” (http://www.yasoyuniversidad.net). En el marco del segundo objetivo se centra esta publicación, en donde presentaremos la metodología ad hoc propuesta en nuestro estudio para analizar las prestaciones de los sitios Web de las universidades españolas, dirigida a los estudiantes universitarios que se matriculan por primera vez. Esta metodología nos permitió detectar aquellas debilidades que intentamos cubrir con el portal que se desarrolló posteriormente, en el estudio, para este mismo público objetivo. En una primera etapa, los sitios Web de las universidades españolas eran fundamentalmente Web informativas, describiendo la historia y los servicios de la institución, eventos y noticias relacionados con la vida académica, lista las direcciones de los centros de estudio, teléfonos y correos electrónicos de los miembros de la comunidad universitaria, entre otros servicios informativos. Esta concepción tradicional de los sitios Web resulta muy útil, pero no aprovecha toda la interactividad de la Red, por ello en la etapa actual muchos de estos sitios se han hecho mucho más interactivos, ofreciendo diversos servicios on line para la comunidad universitaria como por ejemplo, recursos docentes telemáticos. Concretamente, la relación de estos servicios para los estudiantes de nuevo ingreso es lo que vamos a analizar en este estudio. 2 Fundamentación En la investigación realizada por Silvio (1999) sobre los sitios Web universitarios de diferentes países, se identificaron diferentes tipos y grados de uso de un sitio Web según el grado y tipo de interactividad entre el usuario y el sitio Web. Siendo éstos: Presencial solamente, sin interactividad: corresponde al sitio Web que se limita a describir la organización, sus objetivos, etc., pero no permite al usuario llegar más allá ni realizar ningún otro tipo de operación. Sólo dispone de páginas informativas destinadas a mostrar que la universidad está presente pero nada más. Interactividad informativa: el usuario puede al menos obtener algunas informaciones suplementarias sobre la universidad, los cursos ofrecidos, los nombres y direcciones de profesores, las facultades y departamentos. Interactividad consultiva: el usuario puede acceder a informaciones contenidas en bases de datos de las universidades, o al menos, el sitio Web ofrece la posibilidad a estudiantes y profesores pertenecientes a ella de acceder previa identificación. Interactividad comunicacional: en este nivel, el sitio Web permite al usuario acceder a espacios de comunicación en tiempo real (comunicación sincrónica) o en tiempo diferido (comunicación asincrónica), para participar, por ejemplo, en foros de discusión (grupos IRC, newsgroups y listas de discusión). Interactividad transaccional: es el grado más sofisticado y elevado de interactividad, pues permite al usuario realizar diversas operaciones a través del sitio Web, tales como matricularse, comprar libros y documentos, participar en procesos de enseñanza-aprendizaje on line, participar en cursos y conferencias. Este tipo de interactividad es el más deseable y el que permite al usuario apropiarse realmente de la tecnología y del medio tecnológico a su disposición. Según el citado estudio, los tipos de interactividad menos predominantes son los dos extremos inferior y superior de la escala, es decir, el tipo presencial y el tipo transaccional, por el contrario el grado de interactividad más predominante es el de la interactividad informativa y luego la interactividad consultiva. Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 2 Sabemos que uno de los aspectos de Internet, que aún no está suficientemente investigado es la búsqueda de diferentes metodologías que orienten a cada tipo de organizaciones en la creación o mejora de sus sitios Web. Si bien una revisión del estado del arte nos indica que la mayoría de los trabajos realizados se orientan, fundamentalmente, a los sitios Web comerciales, es decir, a websites de empresas que suelen realizar alguna modalidad de comercio electrónico (Hoffman y Novak, 1995; Berthon, Pitt y Watson, 1996; Krijnen, 1997; Huizingh, 2000). En esta línea, referenciamos el trabajo realizado por Olsina, Godoy, Lafuente y Rossi (1999) sobre la evaluación de la calidad de los sitios Web, en donde se utilizan como criterios de evaluación, los siguientes: 1. 2. 3. 4. Funcionalidad del sitio Web (mecanismos de búsqueda, facilidad de navegación y relevancia de contenido) Facilidad de uso del sitio Web (estructura organizativa clara, datos sobre la última actualización, direcciones de contacto, etc.) Eficiencia del sitio Web (acceso rápido a la información) Fiabilidad de la información (inexistencia de errores) Posteriormente, Bauer y Scharl (2000) proponen un nuevo modelo para evaluar los sitios Web, que contempla un menor número de atributos a evaluar, pero de mayor relevancia, los cuales son: 1. 2. Contenido y presentación de la información Navegación e interactividad o interacción entre los usuarios y el sitio Web. Especial mención haremos del trabajo de realizado por Huizingh (2000), que profundiza en el análisis de dos características importantes de los sitios Web: el contenido y el diseño, para las que el citado autor estableció los aspectos más relevantes, agrupándolos en características que se pueden medir objetivamente y en percepciones subjetivas. Éstas son: 1 Contenido del sitio Web. 1.1 1.2 1.3 1.4 1.5 2 Características de información: información comercial sobre la empresa y sus productos y servicios, e información no comercial relacionada con la empresa, su sector, localización geográfica, etc. Características transaccionales: solicitud de propuestas y pedidos directos Características de entretenimiento. Características avanzadas Percepción del usuario sobre el contenido informativo. Diseño del sitio Web. 2.1 2.2 Características: estructura de la navegación, funciones de búsqueda y protección del contenido (con clave). Percepción del usuario sobre el diseño: calidad de la estructura de navegación, imagen, con inclusión de recursos multimedia y estilo de la presentación que estimule la lectura y facilite la interpretación de la información. En relación al tema que nos ocupa en este estudio, el análisis de los sitios Web universitarios, existen diferentes estudios de evaluación de los sitios Web educativos, de los que destacamos el trabajo de Sarapuu y Adojaan (1998), que proponen un modelo de evaluación de este tipo de sitios Web que incluye tres componentes: 1. 2. 3. Composición del sitio Web, que incluye, presentación e impresión del usuario. Aspectos pedagógicos. Aspectos relativos a la currícula formativa. fundamentalmente, características generales, En un estudio más reciente, de Mechitov, Moshkovich, Underwood, y Taylor (2001) en 13 universidades públicas de Alabama encontraron las siguientes características que debían tener los sitios Web universitarios para producir una percepción positiva en el estudiante: valor de entretenimiento, diseño de todo el sitio Web, fácil acceso a la información y la coordinación del color. Por el contrario, los estudiantes consideraron negativamente: la información incompleta, la dificultad en acceder a la información, la lenta descarga del sitio y la no existencia de suficientes gráficos y recursos de entretenimiento. Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 3 En esta misma línea, cabe destacar los trabajos de (Abels, White y Hahn, 1997; Machlis, 1998; Nielsen, 2000; Poock & Lefond 2001; Vista, Mechitov, Moshkovich, Underwood y Taylor, 2001; Kiang, Parette y Sterret, 2003) que vienen a sugerir que las características más importantes de los sitios Web académicos para los estudiantes universitarios son: 1. 2. 3. 4. 5. 6. 7. Organización y arquitectura del sitio. Facilidad de la navegación. Contenido Velocidad de descarga Organización orientada a la audiencia objetivo Amigabilidad/primera impresión Menor énfasis en los gráficos. En un ámbito más concreto, como son los sitios Web de las universidades españolas, destacamos el trabajo realizado por Buenadicha, Chamorro, Miranda y González (2001), los cuales, partiendo de las investigaciones desarrolladas por Evans y King (1999) y Olsina, et al. (1999), y tras realizar diversas consultas a expertos, concluyen que las categorías objetivas a evaluar de los sitios Web universitarios son: 1. Calidad del contenido del sitio Web, medida por la presencia o no en el sitio de información relevante para el usuario universitario, como son: direcciones de contacto, información sobre las diferentes facultades, planes de estudio, cursos de postgrado, publicaciones del cuerpo investigador, existencia de contador de visitas y fecha de actualización 2. Accesibilidad del sitio Web, medida por la posición que ocupa el sitio Web en los principales buscadores, y la popularidad o notoriedad del sitio Web, considerada como el número de sitios que poseen enlaces al mismo. 3. Velocidad de acceso al sitio Web, medida por el tamaño en bytes de la página de inicio del sitio. 4. Facilidad en la navegación o navegabilidad, medida por la existencia de un mapa del sitio, que permita un acceso rápido a las diferentes secciones desde cualquier página, así como el número de clicks necesarios para acceder a la información más relevante: la página de cada centro y los planes de estudios de cada titulación. A continuación en la Tabla 1 recogemos las cuatro categorías descritas anteriormente, los factores específicos dentro de ellas y sus respectivas ponderaciones. ACCESIBILIDAD 25 Posición en los buscadores 10 Popularidad 15 VELOCIDAD 20 Tamaño del sitio (bytes) 20 FACILIDAD DE NAVEGACIÓN 25 Mapa del sitio 15 Nº clicks acceso a página de centros 5 Nº clicks acceso a planes de estudios 5 CALIDAD DEL CONTENIDO 30 Direcciones de contacto 8 Planes de estudios 3 Calificaciones 3 Publicaciones 3 Cursos de postgrado 3 Nº de idiomas 8 Fecha de actualización 1 Contador 1 Tabla 1. Índice de Evaluación de sitios Web universitarios (Buenadicha, Chamorro, Miranda y González, 2001) Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 4 En el estudio citado anteriormente, después de aplicar el índice de evaluación anteriormente descrito a las sesenta y cinco universidades españolas durante el mes de junio de 2000, se obtuvieron las siguientes conclusiones: En relación a la velocidad de acceso, destacaban los sitios Web de las Universidades de Córdoba y Pablo de Olavide, que por su reducido tamaño de su página de inicio permiten un rápido acceso a la misma. El tamaño de las páginas analizadas oscilaba desde los 4.874 bytes de la Universidad de Córdoba a los 338.869 bytes de la Universidad de Almería. Un 83,1% de los sitios Web disponían de un mapa del sitio que permitía una fácil navegación dentro del mismo. El número medio de clicks para acceder a la página de los centros era de 2,4, mientras que para acceder a los planes de estudio de cada titulación era de 3,9. Respecto a la facilidad de navegación del sitio Web, las universidades más destacadas son la Pontificia de Salamanca y San Pablo CEU. Respecto al contenido de los sitios Web, un 46% de los sitios ofrecían una dirección de correo electrónico para contactar con la universidad; sólo un 43% ofrecían la dirección postal, un 41% mostraban un teléfono de contacto y un 34% un número de fax. Un 9% de los sitios no ofrecían información sobre los planes de estudios de sus titulaciones; sólo un 17% ofrecían la posibilidad de consultar las calificaciones en línea, un 58% de sitios no ofrecían información sobre las publicaciones de la universidad; mientras que el 82% de las instituciones informan en línea de su oferta de cursos de postgrado. Sólo un 20% de los sitios poseían un contador de accesos y casi un 77% no mostraban la fecha de su última actualización. Sólo un 40% de los sitios Web analizados disponían de una versión en inglés. Según la calidad del contenido, los websites universitarios que aparecían en primer lugar son los de la Universidad Pontificia de Comillas y de la Universidad Complutense de Madrid. A modo de resumen: los sitios Web universitarios de mayor calidad son los de la Universidad de Alicante, la Universidad de Murcia y la Universidad de Córdoba. Más recientemente el trabajo exploratorios de (Thelwall y Aguillo, 2003) sobre las Web universitarias españolas manifiesta el buen estado de salud, tanto en términos del tamaño de los sitios Web como por el grado de interconexión entre las universidades que demuestra la reutilización de fuentes, aunque el uso general de la WWW presenta cierto retraso comparándolo con países similares de todo el mundo. El muntilingüismo internacional de los enlaces web seleccionados muestra una orientación externa excelente y una perspectiva internacional por parte de los autores de estos sitios Web. Teniendo en cuenta las aportaciones anteriores, y nuestro objetivo, que no es la evaluación completa de los sitios Web universitarios sino el análisis de la presencia o no de determinados servicios y recursos que las universidades españolas ofrecen desde la WWW a los estudiantes que se matriculan por primera vez, nuestra propuesta metodológica para el análisis de contenido de los sitios Web universitarios se ha estructurado en función de un sistema de dimensiones y categorías que estuviese en concordancia con los objetivos planteados en la investigación, y que fueran objetivamente evaluables mediante el procedimiento de observación e interacción directa de los sitios Web universitarios, que se utilizará en la fase de recogida de datos. Con esta última limitación, hemos intentado mitigar uno de los inconvenientes que se presentan en los modelos de evaluación de los sitios Web, que es el carácter subjetivo de muchos de los factores a medir, como por ejemplo, la facilidad de acceso, la claridad del texto, la calidad en la presentación, la creatividad, la vistosidad, etc., (Buenadicha, Chamorro, Miranda y González, 2001). En este estudio no vamos a analizar las cuestiones relativas al diseño de sitios Web que se enmarcan en el término usabilidad (palabra traducida del vocablo inglés usability, que también podemos traducir por “ergonomía digital”), que intenta recoger aquéllos aspectos que inciden en que el diseño de un sitio Web logre, con eficiencia y eficacia, alcanzar los objetivos que se hubieren establecido, ya que este aspecto de los sitios Web ha sido ampliamente estudiado. Véase al respecto las normas de usabilidad de Jacob Nielsen (Nielsen 2000; Nielsen y Tahir, 2002) La mayoría de los estudios realizados sobre usabilidad de los sitios Web se centran en cómo los usuarios buscan la información en la Web, es decir, sobre la utilidad, facilidad de uso y satisfacción de los usuarios de los sitios Web, véase al respecto (Levi y Conrad, 1996; Nielsen, 2000). También son muy variados los métodos que se han Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 5 propuesto para la evaluación de la usabilidad de los sitios Web que van desde los métodos de inspección basados en la habilidad de los evaluadores (como la evaluación heurística o la exploración cognitiva) a métodos basados en la colaboración con los usuarios (como tests de usabilidad o evaluación cooperativa), pasando por los que usan técnicas de modelado (como los métodos basados en GOMS, Goals Operator, Methods and Selection Rules) (Paternó, Paganelli y Santoro, 2002). Destacamos el estudio realizado por Salgado y Molina (2002) donde comparan cinco sitios Web universitarios iberoamericanos, basados en "Designing Web Usability" de Jakob Nielsen. Para ello, los criterios utilizados fueron: Distribución espacial: contenido, navegación, anuncios, etc. Plataformas: navegadores, resolución en pantalla, html estándar, etc. Presentación: uso de plantillas, tipos y tamaños de letra, etc. Tiempo de respuesta: rendimiento, velocidad del servidor, horas pico, etc. Enlaces (links): estructura, significado, tipo letra, etc. Marcos: uso, presentación, etc. Diseño: imágenes, texto, contenido, etc. Otro de lo aspectos que no vamos a tener en cuenta en este estudio es el referido a la accesibilidad en los sitios Web universitarios, que consiste en el acceso a la información sin limitación alguna por razón de deficiencia, discapacidad, o minusvalía, no por que creamos que no tenga importancia en un análisis de sitios Web educativos, sino porque no responde a la finalidad de nuestro estudio, que es la de analizar si los sitios Web de educación superior ofrecen determinados servicios a los nuevos estudiantes. Además, existen numerosos trabajos de investigación que han analizado la accesibilidad de los sitios Web de las universidades españolas, como el de (Toledo, 2000) en donde se pone de manifiesto que sólo un 5% de los sitios Web de universidades españolas cumplen las normas de accesibilidad marcadas por el WAI (Web Accesibility Initiative)1. El problema de la accesibilidad es cada vez más importante, por lo que ya se han creado en nuestro país metodologías Web específicas para el análisis e información del grado de accesibilidad, como el Test de Accesibilidad Web desarrollado en base a las pautas y reglas básicas de la iniciativa Web Content Accessibility, del World Wide Consortium (W3C, 2003) por el Centro Estatal de Autonomía Personal y Ayudas Técnicas (CEAPAT)2. Además, existen en Internet sitios que incluyen un test de accesibilidad Web (véase http://www.tawdis.net/) para evaluar en línea al grado de accesibilidad de una determinada página Web. 1 La Iniciativa de Accesibilidad en la Web (WAI) del organismo internacional World Wide Web Consortium, W3C (W3C, 1999; W3C, 2002) recoge una serie de recomendaciones que, fundamentalmente, indican el tipo de información que tiene que tener un sitio Web para que sea lo más accesible posible a personas discapacitadas, lo que sin duda beneficiará al resto de los usuarios al facilitarle el acceso al contenido y eliminar barreras tecnológicas, visuales y de diseño: Para usuarios con discapacidades visuales, es importante que el contraste entre el texto y el fondo sea alto y que el tamaño de las fuentes sea adecuado. Para usuarios invidentes, existe software que sintetiza el texto de pantalla, por lo que debemos asegurarnos que el contenido importante esté escrito textualmente. Para discapacidades auditivas, deberemos ofrecer en nuestro diseño la posibilidad de leer el audio de videos/sonidos (videos subtitulados), es decir, que todos los sonidos tengan una descripción paralela por texto. Para las discapacidades motrices, deberemos evitar que el diseño requiera un uso muy preciso del ratón. Para las cognitivas, procuraremos que el contenido esté escrito en un lenguaje lo más comprensible posible para un nivel medio. 2 El Centro Estatal de Autonomía Personal y Ayudas Técnicas (CEAPAT) es un organismo del Ministerio de Trabajo y Asuntos Sociales que tiene como misión potenciar la accesibilidad integral y el desarrollo de la tecnología, con el fin de mejorar la calidad de vida de los ciudadanos, en especial apoyo a las personas con discapacidad y personas mayores. Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 6 En la actualidad, entre el 95% y el 99% de los sitios Web no son accesibles para personas con problemas auditivos, visuales o de motricidad que, en España suponen el 9% de la población con una cifra de 3.528,221 personas (García, 2002). Sobre este tema es de obligada referencia el contenido de la Guía de Referencia Rápida del WAI, adaptada a las características del mundo de habla hispana (SIDAR, 2002), que incluye una serie de recomendaciones dirigidas a los creadores de contenidos Web. Resulta especialmente interesante poder comprobar cómo en los sitios Web de organismos públicos apenas se cumplen las normas de accesibilidad, así en un estudio sobre la accesibilidad en los portales Web de las administraciones públicas españolas (Emergia, 2003) ha quedado reflejado que, a nivel central, autonómico y municipal, sólo cumplen un 34% de los criterios básicos de accesibilidad y ninguno de ellos cumple la totalidad de los mismos3. Centrándonos en el ámbito universitario, Buenadicha, Chamorro, Miranda y González (2001), en su estudio ya mencionado sobre los sitios Web universitarios españoles, evalúan la accesibilidad de estos sitios mediante su posición en los buscadores y el número de sitios con enlace a los mismos, destacando las Web de la Universidad de Barcelona y la Complutense de Madrid, debido principalmente a su elevados resultados en el segundo factor. Otro estudio sobre la accesibilidad de los sitios Web de las universidades, en este caso de ámbito andaluz, es el realizado por Toledo (2001), que analiza la accesibilidad que los websites de las ocho universidades andaluzas públicas ofrecen a los estudiantes que tienen algún tipo de discapacidad, fundamentalmente de tipo sensorial, detectando los problemas de accesibilidad que presentan en sus diseños. Entre los resultados del estudio destacamos, que sólo el 25% de las universidades (las Universidades de Córdoba y Cádiz, por este orden) utilizaban criterios de accesibilidad en el diseño de sus páginas Web. En este estudio también se recogen los diferentes problemas de accesibilidad encontrados en el diseño de estos sitios Web junto con unas recomendaciones para mejorar la accesibilidad de los sitios Web universitarios andaluces, las cuales son: Proporcionar texto alternativo para cada miniaplicación, en los sitios Web de las Universidades de Granada, Almería, Málaga, Jaén y Huelva. Proporcionar enlaces de texto alternativo y redundante para todas las imágenes y mapas interactivos, en los sitios Web de las Universidades de Granada y Cádiz. Proporcionar texto alterativo para todas las imágenes utilizadas como botones, en el sitio Web de la Universidad de Málaga. Poner a cada marco un título, en los sitios Web de las Universidades de Cádiz, Granada, Almería, Málaga, Sevilla, Jaén y Huelva. Asegurarse que las páginas son legibles y se pueden utilizar sin marcos, en los sitios Web de las Universidades de Almería, y Huelva. Proporcionar texto alternativo a todas las imágenes, en los sitios Web de las Universidades de Cádiz, Sevilla, Huelva, Granada, Almería, Málaga y Jaén. Proporcionar texto alternativo a todas las imágenes de mapas interactivos, en los sitios Web de las Universidades de Cádiz, Sevilla, Huelva, Granada, Almería, y Málaga. También existen diferentes estudios a nivel internacional, como el realizado en los sitios Web universitarios ingleses, primero por (Kelly, 2002), y posteriormente por (Nomensa, 2003), en donde se analizaron, fundamentalmente, tres necesidades básicas: la inclusión de textos para las imágenes, la escalabilidad del texto en diferentes navegadores y el uso de código html válido, concluyéndose que el 33% de las universidades estudiadas fallaban en estos requisitos. Otro trabajo es el de Klein, Myhill, Hansen, Michaelson, y Blanck (2003) que, después de examinar las páginas de inicio de 157 colegios públicos de enseñanza superior de Iowa, el problema de accesibilidad más frecuentemente encontrado es el la falta de texto alternativo (etiquetas ALT) para los gráficos, además confirmaron que la sofisticación tecnológica reduce la accesibilidad de estas páginas. Asimismo, Witt y McDermott (2004) insisten en que la accesibilidad debe tenerse en cuenta en la estrategia de diseño inicial y que las herramientas que existen en la red para el análisis del grado de accesibilidad que presentan los sitios Web., como por ejemplo, Bobby, tiene sus limitaciones. 3 Entre otros los principales defectos detectados son: Falta de comprensión del contenido sin color. Falta de formatos alternativos para los elementos no textuales. Contenidos incomprensibles en navegadores sólo texto. Falta de control en la visualización de textos. Ausencia de títulos descriptivos en los frames introducidos. Falta de información accesible sobre la maquetación general del sitio Web. Obligación de utilizar scripts, applets y otros objetos de programación para visualizar correctamente las páginas. Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 7 Otro de los aspectos que no vamos a tener en consideración en este estudio es el relativo a los imperativos legales que afectan a los sitios Web españoles, y más concretamente a su contenido informativo, que podemos extraer del marco legislativo español, y particularmente de la Ley Orgánica de Protección de Datos de Carácter Personal 15/1999 (LOPD) y de la Ley 34/2002 de Servicios de la Sociedad de la Información y de Comercio Electrónico (LSSI-CE), que consideramos que tienen una especial repercusión en los requerimientos legales exigidos a todos los sitios Web españoles. En esta línea destacamos el trabajo de Bockanic y Hogan (1999) que analizan los aspectos legales referentes al copyright que afectan a los sitios Web universitarios norteamericanos y proponen una serie de recomendaciones para evitar riesgos legales. Uno de los servicios más importantes de los sitios Web universitarios, cuya implantación vamos a analizar en este estudio y que requiere una especial mención, es el acceso a los servicios de las bibliotecas universitarias, ya que estas bibliotecas universitarias españolas no tienen sus propios sitios Web, sino que se ofrece como un servicio más desde los sitios Web de las universidades a las que pertenecen. De hecho (Bao, 2000) encontró que más de la mitad de las 1.402 instituciones de educación universitaria norteamericanas analizadas ofrecían un enlace a la biblioteca desde la página principal o portada de su sitio Web. Actualmente las bibliotecas universitarias han encontrado en la WWW, un canal electrónico que les permiten satisfacer las necesidades documentales de sus usuarios en un menor tiempo, así como agilizar sus procesos de adquisición, préstamo interbibliotecario, etc. En este estudio vamos a comprobar si cada sitio Web universitario incluye o no el acceso a los servicios bibliotecarios de su universidad, pero no vamos a estudiarlos con detalle, ya que son muy abundantes los trabajos de investigación que evalúan las bibliotecas universitarias en Internet tanto a nivel internacional como a nivel español. De los muchos artículos a nivel internacional, entre otros destacamos el de King (1998) que examinó los sitios Web de las 120 bibliotecas de la Association of Research Libraries para comprobar las similitudes y diferencias en su diseño y el de Csir (1998) que evaluó seis sitios web de de bibliotecas académicas públicas siguiendo los criterios de uso, exactitud, relevancia, estructura, presentación, mantenimiento y características; el de Clausen (1999) que evaluó los sitios Web de una docena de bibliotecas danesas en función de unos cuarenta criterios y el de Cohen y Still (1999) que compararon el contenido, funcionalidad y estructura de los sitios Web de las bibliotecas de 50 universidades y 50 colegios norteamericanos; el de Patalano (2002) que analiza la calidad de los sitios Web de 62 bibliotecas universitarias utilizando 45 indicadores de medición de la calidad agrupados en 4 criterios de análisis que responden a los aspectos relevantes que presentan los sitios Web académicos para lograr sus propósitos: presentación de la información, productos y servicios, información sobre la biblioteca y conectividad e interacción con el usuario; el de Chao (2002) que desarrolla, mediante una encuesta a expertos bibliotecarios, un instrumento para evaluar objetivamente la calidad de los sitios Web de las bibliotecas académicas compuesto de 16 factores fundamentales: contenido, presentación, información institucional, servicios, cabeceras y títulos, veracidad, diseño gráfico, capacidad de búsqueda, navegación, autoridad, inclusión de colecciones especiales y de novedades, facilidades y ayuda, compatibilidad, información sobre enlaces, integración y velocidad. También existen estudios a nivel internacional que profundizan en algún aspecto de los sitios Web de las bibliotecas universitarias, como son los casos de Eliasen, McKinstry y Fraser (1997), Gullikson, Blades, Bragdon, McKibbon, Sparling y Toms (1999) y Robins y Kelsey (2002) que evalúan la facilidad o dificultad que encuentran los usuarios al localizar la información disponible en estos sitios Web o los de Chisman, Diller y Walbridge (1999), Veldof, Prase & Mills, (1999), McGillis y Toms (2001) y Battleson, Booth y Weintrop (2001), que también se centran en la usabilidad de los sitios Web de las bibliotecas universitarias. Además, destacamos los trabajos de (Chressanthis, Wesley y Holley, 2001; Lee y Hai, 2001; Wang y Gao, 2004) específicos sobre la inclusión o no de una página Web sobre servicios técnicos en los sitios de las bibliotecas académicas y los de Vaughan (2001) y Shropshire (2003) que presentan modelos del funcionamiento de un sitio Web bibliotecario. Para una mayor información sobre trabajos anteriores realizados sobre diferentes aspectos de los sitios Web bibliotecarios véase el apéndice del trabajo de Shropshire (1993). De los estudios españoles destacamos el de Herrera (2001) que analiza la presentación en Internet de las principales bibliotecas universitarias españolas, el de Argudo y Núñez (1997) sobre las bibliotecas universitarias catalanas; el de Navarro Gimena y Barrera Gómez (1997) en donde analizan veinticinco aspectos relativos a los contenidos informativos (identificación de la biblioteca, acceso al catálogo, consulta de bases de datos, acceso al documento y acceso a recursos externos) de las bibliotecas universitarias andaluzas; el de Arellano, Rodríguez Mateos, Nogales y Hernández (1999) que analizan la estructura (tipo de ficheros, número de páginas, índices de hipertextualidad y apertura, número de enlaces internos y externos, errores, tamaño de las páginas, etc.) de los sitios Web de las bibliotecas universitarias andaluzas; el de Borrego (2000) sobre las bibliotecas universitarias de Castilla y León; y el de Álvarez y Suárez (2001) también sobre las bibliotecas universitarias andaluzas, en donde se recoge los siguientes servicios, como los más frecuentemente ofrecidos por las páginas Web de las bibliotecas universitarias: Información general institucional sobre la biblioteca (estructura orgánica, normativa vigente, localización física, fines, competencias, horarios, directorios de personal, organización de fondos, etc.) e información especializada sobre sus servicios (en qué consisten, cómo tener acceso a ellos…). Este tipo de información solucionará muchas preguntas que se plantea el usuario y que son de fácil respuesta. Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 8 Los catálogos en línea de acceso público (OPAC), que permiten a los usuarios consultar la base de datos bibliográfica de los materiales que constituyen la colección de la biblioteca. En principio, se proporcionaba acceso directo a sus respectivos catálogos sólo a través del servicio Telnet, pero en la actualidad se está produciendo una paulatina implantación de interfaces Web, sistema mucho más amigable y seguro, y con mayores posibilidades. Acceso a bases de datos. Posibilita el acceso online, en cd-rom y mediante redes de comunicación a bases de datos de pago, españolas y extranjeras. Se proporciona acceso a bibliografías electrónicas (bases de datos), bien en red local o en red extensa y en todas ellas se ofrece información sobre su uso, así como los pasos a seguir para poder acceder a las mismas. Proporcionan acceso a publicaciones electrónicas, tanto de referencia (anuarios, enciclopedias, diccionarios, estadísticas…), como de documentación primaria (revistas y libros electrónicos), literatura gris, librerías, servicios comerciales, etc. Enlaces a otros recursos de interés bibliotecario. Ofrecen acceso a otros servidores de información recomendados, tanto fuera como dentro de nuestro país, de interés para la biblioteca universitaria. Son muy importantes estos enlaces a recursos externos, pues Internet se convierte en una nueva fuente de información para la sección de información y referencia de las bibliotecas. 3 La metodología propuesta 3.1 Objetivos Analizar las prestaciones de los sitios Web de las universidades españolas para los estudiantes universitarios que se matriculan por primera vez. Detectar las debilidades y fortalezas que presentan los sitios webs de las universidades españolas en relación con las variables Información general sobre las Universidades, Orientación para Alumnos y Tecnologías de la Información y la Comunicación. 3.2 Diseño y descripción de la metodología Para el diseño de nuestra metodología tomamos en cuenta los estudios comentados en la fundamentación y partiendo de lo que a nuestro entender deben ser los aspectos prioritarios del contenido de los sitios Web universitarios para los estudiantes que se matriculan por primera vez, es decir, un contenido informativo de utilidad y la funcionalidad de determinados servicios para estos estudiantes, inicialmente, se planteó un grupo de dimensiones y categorías a evaluar en los sitios Web universitarios españoles que se sometió a la validación de un grupo de expertos. Luego de la triangulación de expertos, se decidió reducir las dimensiones y categorías consideradas, agrupando las iniciales en solo tres dimensiones y cada una de ellas descomponiéndola en una serie de categorías que conforman un total de treinta y cuatro, las cuales pasamos a comentar: 1. Información general sobre las Universidades. Con esta dimensión queremos recoger el contenido informativo sobre aspectos relevantes de la universidad de especial interés para los alumnos que se matriculan por primera vez. Las categorías que serán objeto de evaluación dentro de esta dimensión son: Creación: información sobre aspectos relacionados con el origen y la creación de la universidad Funcionamiento: información sobre el funcionamiento general de la universidad Órganos: descripción de los órganos de gobierno de la universidad Centros: información sobre los centros que conforman la universidad Estudios: acceso a la información académica presencial ofertada en la universidad. Normativas: información sobre las normativas que rigen la universidad. Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 9 Administrativos: servicios administrativos con los que cuenta la universidad. Acceso y Transportes: descripción de las vías de acceso y trasportes con los que cuenta la universidad. Residencias: información sobre las opciones de alojamiento con las que pueden contar los estudiantes de la universidad. Becas y ayudas: información sobre becas y ayudas ofertadas para el estudiantado universitario. Eventos: información sobre las actividades culturales o académicas a desarrollarse en el ámbito universitario. Biblioteca: acceso al servicio de biblioteca de la universidad. 2. Orientación para Alumnos. Con esta dimensión queremos recoger las actividades y servicios de especial orientación a los alumnos universitarios, y muy especialmente para los de primer ingreso. Las categorías que serán objeto de evaluación dentro de esta dimensión son: Iniciación: actividades o jornadas para los alumnos de primer curso de todas las carreras en donde se presentan los estudios que inician y se da información de interés para los nuevos alumnos. Tutorías: programas en los que cada alumno cuenta con un tutor que le orientará personal y académicamente a lo largo de su estancia en la Universidad. Técnicas estudio: cursos o actividades dirigidas a desarrollar en el estudiante universitario diversas técnicas y sistema de trabajo, planificación del proceso de estudio, consecución de una lectura eficaz, aumento de la concentración, memorización, etc. Servicios de orientación: opciones dirigidas a los estudiantes a través de las cuales se ofrecen servicios de orientación pedagógica a la comunidad universitaria Apoyo psicológico: apoyo psicológico profesional para ayudar al alumnado a afrontar dificultades personales de ansiedad, relación interpersonal, sexo y relaciones de pareja, toxicomanías, estudios, etc. Normalización: programas dirigidos a apoyar el proceso de participación de alumnos con alguna discapacidad en la universidad Servicios para el estudiante: Opciones que le brinda la universidad al estudiante para facilitarle el desarrollo de sus actividades universitarias. 3. Tecnologías de la Información y la Comunicación. Con esta dimensión queremos recoger los recursos especialmente encaminados a la formación en TIC y a la utilización de estas tecnologías para los estudiantes universitarios. Las categorías que serán objeto de evaluación dentro de esta dimensión son: Formación: desarrollo de actividades formativas en temas relacionados con la red, la publicación Web y la formación en Tecnologías de la Información y la Comunicación en general Manuales: manuales de referencia y guías del usuario que puede ser de utilidad para el alumno de la universidad. Suelen ser materiales para la autoformación que se pueden descargar y trabajar sin necesidad de conectarse a la Red (off line), como tutoriales y manuales elaborados en formato digital. Software: acceso a programas diversos de interés para los alumnos, como herramientas de navegación por la Red, de diseño gráfico, antivirus, compresores de archivos, visores multimedia, etcétera. Páginas personales: servicio para el registro y publicación de páginas Web personales, donde se recojan páginas creadas por usuarios de la universidad, además de otras páginas que puedan resultar de interés Campus virtual: espacio virtual para la realización de actividades de formación, bajo la modalidad a distancia y a través de Internet. Revistas electrónicas: publicación de revistas bajo formato digital con información, artículos y reseñas de interés para la comunidad universitaria y al alcance del alumnado. Con relación a este punto cabe comentar que según un estudio, realizado por la consultora Student Monitor (2002) Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 10 en EE.UU., sólo el 30 % de las publicaciones que editaban los campus universitarios estaban en línea, un porcentaje muy bajo aún a nuestro entender. La principal razón esgrimida en este estudio apunta hacia la comodidad del formato, es más portable una copia en papel, que utilizar un portátil. Tutorías virtuales: páginas Web correspondientes a asignaturas en desarrollo en sistemas presenciales, donde el estudiante encuentra toda la información relacionada con las mismas, tales como programas, horarios, calendario de evaluaciones, apuntes, enlaces de interés, etc. Y donde, además, puede establecer una comunicación, con características de tutorías, con el profesor de la materia. Boletines electrónicos o newsletters: boletines informativos electrónicos que faciliten la comunicación de la universidad hacia los estudiantes Portales: portales asociados con los que cuente la Web de la universidad Correo electrónico: posibilidad de comunicación en tiempo diferido a través del uso de una cuenta de correo electrónico facilitada por la universidad. Foros electrónicos: posibilidad de los alumnos de establecer comunicación en tiempo diferido entre distintas personas. Fuentes bibliográficas: posibilidad de acceder a fuentes de información publicadas en la Web y de interés para el estudiantado. Chat: posibilidad de establecer comunicación o charla en tiempo real entre distintas personas. Enlaces: relación de direcciones URL o enlaces en la Red de más frecuente uso o de interés general para los usuarios de la universidad, para la navegación libre. Herramientas de búsqueda: servicio de búsqueda de información publicada en la red o en la Web de la universidad. Por lo cual, el sistema dimensiones, categorías y códigos para el análisis del contenido de los websites de las universidades españolas resultante fue el siguiente: DIMENSIÓN 1: Información General DIMENSIÓN 2: Orientación para alumnos DIMENSIÓN 3: Tecnologías de la Información y la Comunicación para alumnos Creación Categoría Formación Funcionamiento Iniciación Manuales Órganos Tutorías Software Centros Técnicas Estudio Páginas Personales Estudios Servicios de Orientación Campus Virtual Formativas Apoyo Psicológico Revistas Administrativos Normalización Tutorías Virtuales Acceso y transportes Servicios para el estudiante Boletines Residencias Portales Becas y ayudas Correo Eventos Foros Biblioteca Fuentes Bibliográficas Chat Enlaces Búsqueda Tabla 2: Sistema de Dimensiones, categorías y códigos para el análisis de contenido de las websites de las universidades españolas. Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 11 No hemos propuesto ponderación alguna para las diferentes dimensiones y categorías, ya que nuestro objetivo no es tanto comparar los contenidos de los sitios Web universitarios, como comprobar la presencia o no de determinados servicios y recursos especialmente indicados por los nuevos estudiantes universitarios. 3.3 Recogida de información y análisis de datos Para la recolección de los datos se decidió utilizar un proceso de análisis de contenido de las Webs de cada una de las universidades que conforman la muestra. Este análisis de contenido se estructuró en función de un sistema de dimensiones y categorías que estuviese en concordancia con los objetivos planteados en la investigación. Se basó en tres dimensiones fundamentales, cada una conformada por un grupo categorías, tal y como se ha explicado en el apartado anterior. Para operacionalizar esta recogida se diseñó y aplicó un guión de análisis. Para el diseño del guión de análisis de la muestra se siguió el sistema de dimensiones elaborado y se obtuvo un instrumento estructurado en cinco partes: La primera parte recoge información sobre la web analizada: Nombre de la universidad a la cual corresponde, dirección URL y comunidad a la cual pertenece; una parte destinada al análisis de la primera dimensión Información General y sus categorías; otra parte correspondiente a la dimensión Orientación para alumnos, también con sus categorías; una cuarta parte destinada a registrar los datos relativos a la dimensión Tecnologías de la Información y la Comunicación para alumnos y las categorías que la conforman; y una última parte donde se registrarían aquellos elementos presentes en la web analizada y que pudiesen ser tomados en cuenta a la hora de diseñar el portal de ayuda planificado. Para el análisis de los datos obtenidos se organizaron los datos, estructuraron y simplificaron de manera de hacer más comprensible su interpretación. La posterior presentación de los mismos fue organizada por provincia y el análisis de los éstos se realizó agrupándolos según el sistema de dimensiones diseñado para la elaboración del guión de análisis. 4 Resultados En relación con la primera dimensión analizada: Información General, las universidades españolas han considerado incluir, en sus portales web, la mayoría de las categorías consideradas, estando presente en una u otra; la excepción serían las relativas a Normativas, Funcionamiento y Administrativos. Esta situación puede deberse a la complejidad que puede suponer integrar este tipo de información en la web. Estas categorías tienen especial interés para la agilización de procesos atención al alumnado en los que generalmente se dedica mucho tiempo a informarles de aspectos que podrían resolverse a través de Internet. Por otra parte, notamos como categorías como Creación, Órganos, Centros, Estudios, Eventos y Biblioteca están mayoritariamente disponibles en las universidades de las comunidades autónomas españolas. La orientación para alumnos a través de Internet nos ofrece un panorama menos optimista. En la Dimensión TEC, a diferencia de la Dimensión Información General, hay más ausencias que presencia. En la mayoría de los casos de presencia de servicios de orientación para los alumnos, las universidades lo que presentan en sus webs es la información especializada y la relativa al servicio que brindan de manera presencial. Destacar en la tercera y última dimensión la enorme diferencia que existe entre muchas de las universidades. La generalidad ha sido que las universidades ofrezcan, en su mayoría, las categorías de Enlaces, Búsquedas, Fuentes Bibliográficas y Revistas. También se ha podido constatar cómo la mayoría de los servicios de comunicación de las universidades tiene su acceso restringido y solo pueden hacer uso de ellos los estudiantes matriculados en los campus virtuales. Es de hacer notar a las universidades españolas la importancia que incorporen sistemas de comunicación virtual como Foros, Chats y Correo electrónico disponible para toda la comunidad universitaria y de esta manera propiciar el uso de estas herramientas que sin duda vienen a favorecer las relaciones comunicativas entre alumnos y entre profesor-alumnos. 5 Conclusiones En relación a los resultados de la investigación podemos concluir que las universidades ofrecen en sus webs una extensa variedad de servicios informativos, como Creación, , Órganos, Centros, Estudios, Normativas, Acceso y transportes, Residencias, Becas y ayudas, Eventos, Biblioteca; pero poca información sobre servicios administrativos y funcionamiento de la universidad. En otro campo, les hace falta ahondar en servicios dirigidos a la orientación de los alumnos, ya que, como hemos comprobado, la mayoría de las universidades presentan en sus webs información sobre procesos de Iniciación, más no información sobre Tutorías, Técnicas Estudio, Servicios de Orientación, Apoyo Psicológico, Normalización, ofertados de manera virtual, sino vinculados a los servicios que en el área de orientación prestan de manera presencial. En relación a las Tecnologías de la Información y la Comunicación ofrecidas a través de las webs universitarias, podemos subrayar la amplia oferta de algunas universidades, en contraste con la ilusoria oferta de otras. Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 12 Además, creemos que servicios como Chat, videoconferencias, foros y correo electrónico deben estar presentes sin restricciones en las webs universitarias, contribuyendo a la interacción de alumnos, profesores y demás miembros de la comunidad universitaria e interuniversitaria. Por último, y en asociación con la metodología, podemos concluir que con esta investigación hemos validado la metodología que diseñamos y que ahora proponemos. Hemos demostrado su utilidad y valía. En este sentido, podemos afirmar que nuestra metodología puede ser una ayuda a referencias futuras de análisis e investigación en esta temática y en el contexto universitario. Puede ser considerada como una estrategia de análisis valiosa y útil tanto para el investigador como para las instituciones universitarias españolas. Con nuestra propuesta esperamos haber contribuido para avanzar en esta línea de estudio y trabajo. 6 Bibliografía Abels, E. G., White, M. D. y Hahn, K. (1997). “Identifying user-based criteria for Web pages. Internet Research: Electronic Networking Applications and Policy”. Nº 7, 252-262. Álvarez Álvarez, M. A. y Suárez Samniego, M. “Las páginas Web de las bibliotecas universitarias andaluzas” Jornades Catalanes de Documentació". Vol. 7, Nº 99, 289-304.http://www.cobdc.org/09jornades/7es/5.pdf Arellano Pardo, C., Rodríguez Mateos, D., Nogales Flores, J. T. y Hernández Pérez, T. (1999) “Análisis de estructura de sitos Web: el caso de las bibliotecas universitarias andaluzas”. Segundas Jornadas Andaluzas de Documentación JADOC 99: nuevos mercados, nuevos usuarios. Asociación Andaluza de Documentalistas, Sevilla. 39-50 Argudo, S. y Núñez, L. (1997) “Les bibliotheques universitaires catalanas a la Web”. Item, Nº 20. 6-22. Bao, X-M. (2000) “Academic Library home pages: link location and database provision”. Journal of Academic Librarianship. Vol. 26, Nº 3, 191-195. Battleson, B., Booth, A. y Weintrop, J. (2001) “Usability testing of an academic library Web site: a case study”. The Journal of Academic Librarianship. Vol. 27, Nº 3, 188-198. Bauer, C. y Scharl, A. (2000) “Quantitative evaluation of Web site content and structure”. Internet Research: Electronic Networking Applications and Policy. Vol. 10, Nº 1. 31-43. Berthon, P., Pitt, L.F. y Watson, R.T. (1996) “The World Wide Web as an advertising medium”. Journal of Advertising Research. Enero-Febrero, 43-54. Bit & Bytes (2002) “Las universidades prefieren difundir noticias en papel antes que en la Red”. http://microdek.com/carta190802a.htm Edición: 19 de Agosto del 2002. [20-10-2003] Borrego Huerta, A. (2000) “Las bibliotecas universitarias castellanoleonesas vistas a través de sus páginas Web” Jornadas de Bibliotecas Universitarias de Castilla y León". Vol. 3, Biblioteca Universitaria. Universidad de Burgos http://www.ubu.es/biblioteca/bucle/11.htm Bockanic, W. N. y Hogan, P. T. (1999) “Legal issues involving the operation of a University Web site”. Cyber Dimensions. Journal of Education for Business. Julio-Agosto, 373-378 Buenadicha, M., Chamorro, A., Miranda, F.J. y González, O. “A new Web assessment index: spanish universities análisis”. Internet Research: Electronic Networking Applications and Policy”. Vol. 11, Nº 3. 226-234. Chao, H. (2002) “Assessing the quality of academic libraries on the Web: the devolpment and testing of criteria”. Library & Information Science Research. Vol. 24, Nº 2, 169-194. Chisman, J., Diller, K. y Walbridge, S. (1999) “Usability testing: a case study”. College & Research Libraries. Nº 60, 552-569. Chressanthis, J., Wesley, K. y Holley, B. (2001) “The techical services departmental webpage: A new wave management tool for serialits”. Serials Librarian, Vol. 40, Nº 3-4, 194-195. Clausen, H. (1999) “Evaluation of library web sites: the Danish case”. The Electronic Library. Vol. 17, Nº 2, 83-87 Cohen, L. B. y Still, J.M. (1999) “A comparison of research university and two-year college library web sites: content, functionality, and form”. College and Research Libraries. Vol. 60, Nº 3, 275-289. Csir, F.J. (1998) Evaluation and criteria of World Wide Web: Reference wen sites. Unpublished master´s thesis, Kent State University. Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 13 Eliasen, K., McKinstry, J. y Mabel Fraser, B. (1997) “Navigating online menus: A Quantitative experiment”. College & Research Libraries Nº 60, 552-569. García, J. (2002) “Internet para personas con discapacidad, ¿Es posile?. @World. Nº 48. Abril. Gullikson, S., Blades, R., Bragdon, M., McKibbon, S., Sparling, M., y Toms, E, G. (1999). “The impact of information architecture on academic web site usability”. The Electronic Library, Vol. 17, Nº 2, 293-304. Herrera, J.L. (2001) “Presentación y organización de la información en los sitios Web de las bibliotecas universitarias españolas”. Congreso ISKO. España. Hoffman, D.L.; Novak, T.P. (1995) “Marketing in Hypermedia Computer-Mediated Environments: Conceptual Foundations”. Journal of Marketing. Vol. 60, 50-68. Huizingh, E. (2000) “The content and design of Web sites: an empirical study”. Information and Management. Nº 37, 123-134. Kelly, B. (2002) “An accessibility analysis of UK university entry points”. http://www.ariadne.ac.uk/issues33/webwatch. [02-09-2003] Kiang C. N., Parette, P. y Sterret, J. (2003). “Evaluation of a graduate school Web-site by graduate assistants”. College Student Journal Tomo 37, Nº 2, 242-249 King, D.L. (1998) “Library home pages design: a comparison of page layout for front-ends to ARL library web sites”. College and Research Libraries. Vol. 59, Nº 5, 458-465. Klein, D., Myhill, W., Hansen, L., Michaelson, S. y Blanck, P. “Electronic Doors to education: Study of high school web site accessibility in Iowa”. Behavioral Sciences and the Law, Nº 21, 27-49. Krijnen, F. (1997) “Adverteerders moeten nog veel leren op de elektronische snelweg”. Adformatic. Nº 36, 48-50. Lee, K.H. y Hai, T. K. (2001) “Evaluation of Academic Library Web Sites in Malaysia”. Malaysian Journal of Library and Information Science. Nº 5, 106. Levi, M.D. y Conrad, F.G. (1996) “A heuristic evaluation of World Wide Web prototype”. Interactions Magazine. Vol. 3, Nº 4. 50-61. Machlis, S. (1998). “Site redesigns keep it simple”. Computerworld, 32(43), 43-44. McGillis, L. y Toms, E.G. (2001) “Usability of the academic library web site: implications for design”. Colleges and Research Libraries. Vol. 62, Nº 4, 355-367. Mechitov, A.I., Moshkovich, H.M., Underwood, S.H., & Taylor, R.G. (2001). "Comparative analysis of academic Web sites" Education 121, 4. 652-662 Navarro Gimena, E. M. y Barrera Gómez, J. A. (1997) “Estudio comparativo de las páginas Web en las bibliotecas universitarias andaluzas”. Primeras Jornadas Andaluzas de Documentación JADOC 97: sistemas y políticas de información en el estado de las autonomías. Asociación Andaluza de Documentalistas, Sevilla, 97-104. Nielsen, J. (2000). Designing Web Usability: The Practice of Simplicity. New Riders. Publishing, Indianapolis. Nielsen, J. y Tahir, M. (2001) Homepage usability: 50 Websites deconstructed. New Riders Publishing, Indianapolis. Nomensa.com (2003) “University sites barely reach basic levels of accesibility”. New Media Age. Junio. 15. Olsina, L., Godoy, D., Lafuente, G.J. y Rossi, G. (1999) “Specifying quality characteristics and attributes for websites”. I ICSE Workshop on Web Engineering. Los Angeles, USA. Patalano, M. (2002) “Análisis de los sitios web de las bibliotecas universitarias argentinas”. El profesional de la información. Vol. 11, Nº 2, 102-110. Paternó, F., Paganelli, L. y Santoro, C. (2002) “Modelos y herramientas para diseño y evaluación de la interfaz de usuario”. Novática, Nº 156, 44-48. Poock, M. C. y Lefond, D. (2001). “How college-bound prospects perceive university web sites: Findings, implications, and turning browsers into applicants”. College & University Journal. Vol. 77, Nº1, 15-21. Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 14 Robins, D. y Kelsey, S. (2002) “Analysis of Web-based information architecture in a university library: Navigating for known items”. Information Technology and Libraries. Tomo 21, Nº 4, 158- 160. Salgado, E. y Molina Gochez, I. “Desarrollo de Aplicaciones en Internet”. Universidad Latino Americana de Ciencia y Tecnología, ULACIT http://www.geocities.com/esteban_salgado2001/universidades/index.html [20-10-2003] Sarapuu, T. y Adojaan, K. (1998) “Evaluation scale of educational Web sites”. ERIC Nº ED427733. Shropshire, S. (2003) “Beyond the design and evaluation of library web sites: An analysis and four case studies”. The Journal of Academic Librarianship. Vol. 29, Nº 2, 95-101. SIDAR. “Guía breve para la creación de sitios Web accesibles” http://www.sidar.org/guia.htm[04-04-2002] Silvio, J. F. (1999) “La virtualización de las universidades”. Temas de Tecnologías digitales de comunicación. N° 105. 1er. Trimestre. Universidad Diego Portales Facultad de Comunicación http://facom.udp.cl/CEM/TDC/estudios/ univint/univvirtual.htm [20-10-2003] Thelwall, M. y Aguillo, I.F. (2003) “La salud de las Web universitarias españolas”. Revista Española de Documentación Científica. Vol. 26, Nº 3, 291-305. Toledo, P. (2000) “Estudio sobre la accesibilidad de las Webs de universidades españolas”. Documentos Académicos y software educativo del II CIIEE, 2000. Córdoba. Toledo, P. (2001) “La accesibilidad en las Webs de las universidades andaluzas”. Revista Píxel-Bit, Nº 17. http://www.sav.us.es/pixelbit/articulos/n17/n17art/art176.htm [16-10-2003] Vaughan, J. (2001) “Three iterations of an academic library Web site”. Information Technology and Libraries. Tomo 20, Nº 2, 81-93. Veldof, J., Prase, M. & Mills, V. (1999) “Chauffeured by the user: Usability in the electronic library”. Journal of Library Administration. Nº 26, 115-140. Vista, C., Mechitov, A. I., Moshkovich, H. M., Underwood, S. H. y Taylor, R. G. (2001). “Comparative analysis of academic Web sites”. Education Nº 121, 652-662. Wang, J. y Gao, V. (2004) “Techical services on the net: Where are we now? A comparative study of sixty web sites of academic libraries”. The Journal of Academic Librarianship. Vol. 30, Nº 3, 218-221. Witt, N. y McDermott, A. (2004) “Web site accessibility: what logo will we use today”. British Journal of Educational Technology. Vol. 35, Nº 1, 45-56 World Wide Web Consortium, W3C (1999) “Pautas de Accesibilidad del contenido Web 1.0. Recomendación W3C de 5 de mayo de 1999. Traducido por Egea, C. y Sarabia, A. http://usuarios.discapnet.es/disweb2000/PautaWAI/WCAG10.htm[16-09-2002] World Wide Web Consortium, W3C (2002) “Web Accessibility Initiative (WAI)”. http://www.w3.org/WAI/[04-042002] Luna Huertas, Paula Universidad de Sevilla luna@us.es Aguaded Gómez, José Ignacio Universidad de Huelva aguaded@uhu.es Martínez López, Francisco José Universidad de Huelva francis@uhu.es García Ordaz, Mercedes Universidad de Huelva ordaz@uhu.es Martínez López, Antonio Manuel Universidad de Huelva manu.martinez@dem.uhu.es Pardo Rojas, Adnaloy Universidad de Huelva adnaloy.pardo@eduh.uhu.es Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 15 Luna, P; Aguaded, J. I; Martínez, F. J; García, M; Martínez, A. M; Pardo, A. Hacia una metodología de análisis... Pág. 16