Universidad Alberto Hurtado Departamento de Sociología Magíster en Sociología Medición de la calidad universitaria en Chile: la influencia de los rankings Tesis para optar al grado de Magíster en Sociología Autora:Claudia Reyes Gutiérrez Profesora Guía: Elisabeth Anna Simbürger Profesor Lector: Claudio Ramos Z. Santiago, 2015 Gracias, a Elisabeth, por su paciencia, apoyo y estímulo permanente, a Paz y mis compañeros de ruta del Magíster, por su generosidad, a cada uno de los entrevistados por darme parte de su valioso tiempo, a Pancho, por las conversaciones sobre el lenguaje que iluminaron mi búsqueda, y a Francisco, por todo el tiempo robado. 1 ÍNDICE I. INTRODUCCIÓN...................................................................................................................... 3 II. CONTEXTO SOCIOHISTÓRICO DE LA CALIDAD EN EDUCACIÓN SUPERIOR ......... 5 III. PLANTEAMIENTO SOCIOLÓGICO DEL PROBLEMA A INVESTIGAR .................... 13 III.1 Pregunta de Investigación ................................................................................................... 15 III.2 Objetivo General ................................................................................................................ 15 III.3 Objetivos Específicos ......................................................................................................... 15 IV. MARCO TEÓRICO .............................................................................................................. 16 IV.1 Las Estadísticas públicas y la creencia ................................................................................. 16 IV.2 El enfoque de la Performatividad ....................................................................................... 20 V. MARCO METODOLÓGICO .................................................................................................. 29 VI. RESULTADOS ..................................................................................................................... 34 VI.1 LA MEDICION DE LA CALIDAD EN CHILE ................................................................. 35 PARTE 1 VI.1.1 ¿COMO SE MIDE ACTUALMENTE LA CALIDAD UNIVERSITARIA? ............... 37 Los Rankings Universitarios .............................................................................................. 37 VI.1.1.1 Estudio descriptivo de tres rankings publicados en Chile ................................................ 37 VI.1.1.2 Análisis crítico de los rankings desde el punto de vista de su construcción y divulgación 45 VI.1.2 El proceso de acreditación de la calidad .............................................................................. 62 PARTE 2 ¿QUÉ ES LO QUE SE MIDE CUANDO HABLAMOS DE CALIDAD? ................... 67 VI.1.3 Los rankings como actos del habla ..................................................................................... 68 VI.1.4 La idea de universidad que esconden los rankings ............................................................... 69 VI.2 LAS CONSECUENCIAS DE MEDIR EN LAS INSTITUCIONES Y LOS EFECTOS PERFORMATIVOS DE LOS RANKINGS ..................................................................................... 72 VI.2.1 La respuesta de las instituciones.......................................................................................... 73 VI.2.2 El lenguaje de los rankings y la creencia .............................................................................. 81 VI.2.3 La iterabilidad o replicabilidad del discurso performativo.................................................... 82 VI.2.4 Agenciamiento sociotécnico o la capacidad de acción del discurso sobre calidad................. 83 VI.3 DIMENSIONES EXCLUIDAS DEL DISCURSO ACTUAL DE CALIDAD ..................... 91 VII. CONCLUSIONES ................................................................................................................ 96 VIII. REFERENCIAS BIBLIOGRÁFICAS ................................................................................. 102 IX. ANEXOS............................................................................................................................. 109 2 I. INTRODUCCIÓN La noción de calidad aparece como un concepto central en muchos estudios internacionales sobre el desarrollo de la educación superior de los últimos 35 años y al igual que en el mundo, en Chile ha sido un tema de debate desde que comienza a hablarse de ella en las políticas gubernamentales, hasta hoy, cuando vemos la calidad como una noción muy utilizada en el discurso público, especialmente en torno a una reforma al sistema de educación superior que el gobierno actual ha declarado como una de sus principales tareas. Los discursos de algunos políticos y expertos del sector sostienen que la calidad no ha sido suficientemente considerada como uno de los elementos de la reforma y el gobierno argumenta lo contrario; por otro lado, las instituciones universitarias se plantean en favor de mejorar el actual sistema de aseguramiento de la calidad. Todo este debate ocurre en un contexto marcado por el surgimiento de un movimiento estudiantil que desde el año 2011 se manifiesta por cambios profundos en educación siendo una de sus principales demandas, junto a la gratuidad, una mejor calidad de la educación pública. Mucho se ha hablado en los últimos años de la calidad en educación superior, pero sin hacer explícito a qué se refieren en el fondo los actores con esta idea que aparece claramente naturalizada en sus discursos. ¿De qué hablamos cuando hablamos de calidad? fue la pregunta inicial que nos llevó a ahondar en el tema de esta tesis para abordar la idea de calidad universitaria que ha sido desde su origen un tema de debate y de gran influencia en el desarrollo del sistema de educación superior chileno, configurándose como uno de sus ejes estructurantes. Quisimos profundizar en esta temática desde las ciencias sociales, aproximándonos a través de la sociología a un área que usualmente ha sido tema de interés de otras ciencias como la educación y la economía, esperando contribuir con nuevos enfoques sociológicos a una comprensión más amplia de los alcances y significados que la idea de calidad plantea, aportando una nueva perspectiva dentro de los estudios en educación superior que abundan sobre el tema. Queremos develar las ideas ocultas y preconcepciones que existen en torno a la noción de calidad, tarea que abordaremos a partir de la medición, una práctica común de la economía de mercado que se ha ido instalando también en el campo de la educación. Estudiaremos la medición de la calidad a través de los rankings universitarios buscando allí las respuestas a nuestras principales interrogantes. 3 Nuestro problema se configura en un sistema universitario donde interactúan varias fuerzas y actores que se vinculan a través de la medición de la calidad. Por una parte tenemos una institucionalidad vigente representada por el estado y sus estructuras o agencias; por otra, están los estudiantes y sus familias que son los beneficiarios de la información resultante de las mediciones; y como tercer campo de fuerzas, están las instituciones universitarias que son evaluadas en los rankings. Aquí focalizaremos nuestro estudio, dejando fuera por ahora la evidencia empírica de los estudiantes y sus familias que quedarán para una futura investigación. Creemos que existe una idea de calidad preconcebida, no explicitada que se ha instalado en el sistema universitario nacional apoyada por una historia de políticas públicas que vinculando la calidad a incentivos financieros, han facilitado el desarrollo de un modelo bajo ciertos lineamientos definidos por la institucionalidad vigente. Creemos que los rankings universitarios asumen este discurso institucional de calidad que influye de alguna manera en las universidades chilenas provocando ciertos efectos. Hemos planteado el desarrollo de una investigación cualitativa cuyo aporte radica en la evidencia empírica que indaga en las propias universidades para hacer un análisis que permitirá probar nuestras hipótesis de estudio. La pregunta que orientó la investigación fue ¿cómo contribuyen los rankings a moldear una idea de calidad de las universidades en Chile? y los objetivos específicos que nos propusimos fueron, 1) describir y analizar tres rankings universitarios publicados en Chile, 2) conocer la opinión sobre la construcción, uso y divulgación de los rankings universitarios, desde la perspectiva de las autoridades y expertos en calidad de las universidades, 3) contrastar los juicios emitidos sobre los rankings por parte de autoridades y expertos universitarios con los discursos provenientes de los rankings estudiados, y 4) analizar el efecto performativo de los rankings en la calidad universitaria. Como técnicas de recolección y análisis de la información usamos la entrevista semiestructurada con dos grupos de informantes clave de las universidades, rectores y expertos en calidad. Además, como complemento a esta evidencia empírica, escogimos y analizamos críticamente las narrativas textuales de tres rankings universitarios publicados en Chile. Los resultados encontrados fueron analizados bajo un marco teórico que pone en juego dos conceptos fundamentales: la idea de performatividad, un concepto que nace en los años sesenta en la teoría del lenguaje y desde allí ha sido extensamente tratado por la sociología con gran profundidad en estudios sobre las ciencias económicas; y el concepto de fact-totem o 4 también llamadas estadísticas públicas, dispositivos que nos proveen de cifras que se han hecho parte de nuestra vida cotidiana y que han despertado gran interés en estudios sociológicos de los últimos años. II. CONTEXTO SOCIOHISTÓRICO DE LA CALIDAD EN EDUCACIÓN SUPERIOR La noción de calidad en educación superior es un concepto más o menos reciente que surge con fuerza en los años 80, especialmente en EE.UU y Europa donde comenzaron a notarse importantes cambios en la manera como venía desarrollándose el sector (OCDE, 2008). Se constata un incremento importante en la demanda por estudios superiores y el consiguiente aumento en la oferta educativa (Brunner J. , 2005), (UNESCO, 2010), (Altbach, Rizberg, & Rumbley, 2009), (Dias Sobrinho, 2008), caracterizada por la provisión mixta de los servicios educativos; comienza a surgir un sector privado de universidades que va desplazando al sector estatal que tradicionalmente había sido el único proveedor de estudios universitarios. El aumento en el número de oferentes obliga a los gobiernos a concebir sistemas de educación superior al interior de los países (Bernasconi, 2006) y a desarrollar políticas públicas y mecanismos de regulación entre los que se encuentran los sistemas de evaluación y medición de la calidad (OCDE, 2008). La masificación de la educación superior y consecuente aumento de las universidades es un fenómeno mundial que comienza a observarse junto con la mercantilización del sector (Texeira, 2009), (Fernández & Bernasconi, Elementos conceptuales para el análisis organizacional de universidades en contextos de mercado, 2012), es decir, la apertura de un mercado de la educación universitaria que como todo mercado competitivo, aspira a cruzar las fronteras de los países iniciándose procesos de internacionalización que reflejan el interés de los países y sus instituciones por captar estudiantes provenientes de otros países (Marginson & Van der Wende, To Rank or be Ranked: The impact of global rankings in Higher Education, 2007), (UNESCO, 2010). La globalización del mercado educativo terciario es una realidad que se observa en el intercambio académico y estudiantil entre países, constituyéndose el sector como una importante fuente de divisas para algunas naciones (UNESCO, 2013). Países como 5 Australia, Nueva Zelandia y algunos de la Comunidad Europea han desplegado estrategias con relativo éxito, pero el liderazgo indiscutido lo tiene Estados Unidos, país donde parece haberse instalado la idea de mejor calidad educativa. La sociología ha tenido un marcado interés en observar el fenómeno de la mercantilización de la educación superior en el mundo y nuestro país ha tenido un rol destacado como ejemplo de éxito en el desarrollo del sistema neoliberal (Taylor, 2003), donde las corrientes mercantilistas han impactado en casi todos los temas sociales de interés público tales como salud y educación, desplazando en buena medida la injerencia del estado en estas materias (Casas, 2012). En Chile, a comienzos de los años 80 se sientan las bases para el desarrollo de un nuevo sistema de educación superior que se inicia el año 1981 con la promulgación de la ley DFL11 que permite la creación de nuevas universidades con capitales exclusivamente privados que irían a responder a la estrategia de incrementar la matrícula universitaria, complementando la oferta de las universidades públicas y tradicionales existentes que desde entonces ven limitadas sus posibilidades de expansión. La ley establece que las dos universidades estatales existentes en ese momento se transforman en 16 instituciones ubicadas a lo largo del país, consolidándose así un sistema de 25 universidades públicas y tradicionales agrupadas en un Consejo de Rectores, más un incipiente número de instituciones privadas que a la fecha hacen un total de 59 universidades con reconocimiento oficial en el país2. El diseño del nuevo sistema considera escasos mecanismos de regulación y control, quedando esta responsabilidad ya no a cargo del estado, sino en manos del mercado. Frente al crecimiento sostenido de la matrícula universitaria y la oferta de instituciones, y siguiendo la tendencia de los países más desarrollados, comienza a hablarse en el país de aseguramiento de la calidad y de mecanismos para regular la oferta de las universidades. La noción de calidad aparece con fuerza en Chile durante la década de los noventa y las primeras iniciativas se generan al interior de las propias universidades (Silva, Reich, & Vasquez, 2003) 1 Decreto con fuerza de Ley N° 1. Fija normas sobre universidades, http://www.leychile.cl/Navegar?idNorma=3394 2 Consejo Nacional de Educación, CNed, http://www.cned.cl/public/Secciones/SeccionEducacionSuperior/listadoinstitucionesreconocidasfunc iona.aspx#Uni 6 tomando como referentes la experiencia internacional que ya ostentaba sistemas de aseguramiento nacionales donde destacaba el modelo norteamericano. En esa época, consultores internacionales trajeron al país las ideas que circulaban en el mundo, sensibilizando a las instituciones chilenas, a mirar especialmente los procesos internos de autorregulación para el aseguramiento de la calidad (Kells, 1993). A inicios de la década y como última acción del gobierno de la dictadura militar en materia educacional, se promulgó la Ley Orgánica Constitucional de Enseñanza, LOCE3 que estableció un sistema de licenciamiento obligatorio para las nuevas instituciones privadas de educación superior creadas a partir del año 1981, tarea que fue encomendada a un organismo autónomo, pero financiado por el estado, el Consejo Superior de Educación, CSE (actual CNED). Una de las experiencias destacadas que logró el compromiso de un buen número de universidades el año 1995, pero que al poco tiempo terminó debido a discrepancias internas, fue la Comisión de Autorregulación Concordada del CRUCH que tenía por fin evaluar la nueva oferta de carreras de las universidades integrantes de este grupo (Fernández, Política Públicas de Educación Superior desde 1990 hasta el presente, 2015). La década culmina con la instalación en Chile del programa de Mejoramiento de la Calidad y Equidad de la Educación Superior, MECESUP4, iniciativa llevada a cabo por el Ministerio de Educación a través de un préstamo del Banco Mundial (BIRF) al Gobierno de Chile que intentaba dar solución al desafío de implementar cambios estructurales en el sistema universitario chileno e instalar la calidad como un objetivo central. Tal como se señala en el texto del primer préstamo 4404-CH del International Bank for Reconstruction and Development, BIRF, “en torno al aseguramiento de la calidad, un objetivo en esta etapa, será implementar una campaña de concientización sobre la calidad en educación superior” (BIRF, 1999). Se trataba de una iniciativa con aspiraciones globales que inyectaba cuantiosos recursos a los países en desarrollo para crear sistemas de educación superior locales bajo la asesoría y los lineamientos convenidos con el Banco que ya tenía varios intentos en otros países latinoamericanos como Brasil, México y Argentina, este último con resultados poco satisfactorios que finalmente condujeron a la salida del organismo (Ascolani, 2008). En Chile en cambio, el programa fue exitoso (Reich, 2012) y le siguieron nuevos préstamos que a la fecha garantizan el desarrollo de un tercer 3 Ley N° 18.962, http://www.leychile.cl/Navegar?idNorma=30330 4 http://www.mecesup.cl/index2.php?id_portal=59&id_seccion=3586&id_contenido=14892 7 programa, MECESUP3 cuya vigencia es hasta el año 2016 (MECESUP3, Financiamiento Institucional, 2015). El primer programa consta de cuatro componentes: Aseguramiento de la Calidad, Fortalecimiento Institucional, Fondo Competitivo y Formación Técnica de Nivel Superior, focos que van cambiando en el tiempo; es así como el fondo competitivo de proyectos del MECE3 asigna recursos en aquellos proyectos universitarios mejor evaluados que se orienten hacia los objetivos que el programa establece y cuyos principales ejes son el mejoramiento de los aprendizajes de los estudiantes, incremento de la eficiencia de la educación terciaria y el mejoramiento de las capacidades de gestión de las instituciones (MECESUP3, Financiamiento Institucional, 2015). En torno a este último objetivo, ha habido un fuerte énfasis en la instalación de la planificación estratégica y en el desarrollo de unidades de información y análisis institucional en las universidades. Debido a las necesidades del país de la época, en una primera etapa los proyectos financiaron una fuerte inversión en infraestructura para la docencia y la investigación, además de bibliotecas, laboratorios y salas de clases, etapa que se desarrolló entre los años 1999 y 2006, para luego focalizarse en recursos docentes y capital humano avanzado a través del financiamiento de contrataciones de personal académico especializado y asesorías que quedaron en manos de un nuevo mercado de consultores internacionales y nacionales que en sintonía con los lineamientos del programa, irán a diseñar los cambios internos y solucionar los problemas que los proyectos comprometen en cada universidad. Paralelamente al programa MECESUP y en parte con financiamiento de este programa, a inicios de la década del 2000 se instala experimentalmente en chile un sistema de aseguramiento de la calidad del pregrado (CNAP) y del postgrado (CONAP) (Lemaitre, 2015, pág. 310), que promovía que las universidades se sometieran voluntariamente a evaluación, una evaluación basada en los procesos de autoevaluación de las propias instituciones, y en la evaluación de pares externos para obtener finalmente el reconocimiento oficial de cierto nivel de calidad. Esta primera etapa, previa a la iniciativa legal se destacó por un énfasis en el desarrollo de criterios y procedimientos para la acreditación junto con una importante participación de los actores en la socialización de los nuevos procesos (Lemaitre, 2015, pág. 328) que tenía como fin la promoción de la calidad entre las instituciones. En forma similar a varios países de la región y tras un largo debate público, el año 2006 se promulga en el país la primera ley de aseguramiento de la calidad de la educación superior 8 (Ley-acreditación, 2006), instalándose en el país un sistema de evaluación para acreditar instituciones y programas. La acreditación institucional, basada en criterios y estándares de medición de las diferentes funciones que deben cumplir las universidades, establece como funciones principales la docencia de pregrado y la gestión institucional; opera hasta hoy a través del Consejo Nacional de Acreditación, CNA, organismo autónomo, pero dependiente del MINEDUC que tiene a su cargo llevar adelante los procesos de evaluación que se han caracterizado en los últimos años por un énfasis creciente en el uso de indicadores cuantitativos (Lemaitre, 2015, pág. 331). Pese a que la acreditación sigue siendo voluntaria, el acceso a proyectos competitivos, así como a otros mecanismos de financiamiento público, está condicionado solo a universidades que cuentan con acreditación institucional, lo que deja en evidencia una relación de control e intereses entre el gobierno y las universidades. Este fuerte desarrollo institucional en torno a la promoción e instalación de la calidad que tiene lugar en el país en los últimos 15 años, lleva asociados una serie de nuevas prácticas y un léxico sobre calidad que contribuye a enarbolar nuevos valores institucionales que las universidades intentarán cultivar. Temas como el accountability o rendición de cuentas públicas, procesos de autoevaluación institucional, sistemas de monitoreo y evaluación de proyectos basados en indicadores de desempeño, planificación estratégica, mejora continua y análisis de información, son algunos de los nuevos procesos que apoyados con fondos del estado, se instalan fácilmente en las instituciones. Todas estas nuevas prácticas tienen algo en común: la medición. Actualmente, cualquier proyecto o programa promovido por el gobierno debe ser verificable y para ello se basa en indicadores de desempeño o resultados medibles que se usan no solo en el programa MECESUP, en CONICYT5 y en el sistema aseguramiento de calidad, sino también en las políticas de financiamiento contra desempeño de las universidades que el gobierno comienza a implementar en forma importante en la última década (5% Aporte Fiscal Directo, Fondo Basal por desempeño, Fondo de Equidad o Fondo de Fortalecimiento Institucional para las universidades del CRUCH, entre otros). Se instala la medición y el uso de indicadores como una práctica recurrente en el sistema universitario y las unidades de registro de información emergen ya no solo a nivel gubernamental (SIES, Servicio de Información de Educación Superior, 2015) sino al interior 5 Consejo Nacional de Ciencia y Tecnología, http://www.conicyt.cl/ 9 de cada universidad (UCT, 2015), (UdeC, 2015), (UCH, 2015). Las universidades responden como se espera de ellas, con unidades de análisis institucional y vastos equipos de profesionales y software que procesan datos y alimentan a las fuentes externas y gubernamentales; y muestran resultados que mayoritariamente cumplen con los estándares mínimos esperados. En definitiva, tras todo el esfuerzo gubernamental parece haberse creado una cultura de la evaluación, no necesariamente de la calidad. Entre los sistemas de medición de la calidad que surgen a finales de la década de los 90 se encuentran los rankings universitarios, principalmente vinculados a medios de comunicación y a las propias universidades. Éstos pueden definirse como un ordenamiento jerárquico de universidades de acuerdo a ciertos indicadores, que ponderados generan un puntaje que posiciona a las universidades de mayor a menor (Bernasconi, 2006), (Usher & Savino, 2006), destacándose las instituciones que se ubican en las primeras posiciones como las mejores universidades o las de mejor calidad. Los rankings se instalan en el mundo, incluido nuestro país, en el contexto del desarrollo de prácticas institucionales en torno a la calidad y son vistas por algunos como un mecanismo regulatorio que aporta a la transparencia del sistema universitario (Lemaitre, 2015). Es una forma de medición de la calidad de las instituciones, noción que aparentemente ha sido construida reduciendo las complejidades que tiene la idea de lo que actualmente se considera una buena universidad. El nacimiento de los rankings en el mundo se remonta a los años 80 en EE.UU junto con el creciente aumento de la oferta educativa y de los costos implicados en la formación universitaria para las familias (Usher & Savino, 2006). Esto hacía necesario dar mayor transparencia al sistema universitario y mostrar los desempeños de las instituciones (Meller & Rappoport, 2006). A partir de ese momento se han desarrollado rankings en la mayoría de los países que sustentan sistemas universitarios, así como también a nivel regional y mundial. Los más difundidos y reconocidos a nivel mundial por su permanencia en el tiempo son el Times Higher Education (Times Higher Education, 2014) y Academic Ranking of World Universities (Shanghai University Rankings, 2014); el primero desarrollado en UK y el segundo generado al interior del Center for World-Class Universities de Shanghai Jiao Tong University. 10 La recopilación de datos institucionales y aparición de indicadores de desempeño permite la construcción de los primeros rankings universitarios desarrollados en Chile, aunque inspirados en los ya destacados a nivel mundial como el THE o Shanghai. En el año 2004 se publica el primer ranking de Universidades a cargo de la revista “El Sábado” del diario El Mercurio y paralelamente, se publica el ranking de la revista Qué Pasa, este último vigente en la actualidad. Con posterioridad a éstos han surgido varias iniciativas, mayoritariamente a cargo de grupos especializados integrados por académicos universitarios que, en alianza con medios de comunicación, logran una difusión masiva a nivel nacional. Hay que mencionar también el reconocimiento y uso que se les da en Chile a rankings regionales, desarrollados en otros países, que se focalizan en la medición de aspectos específicos vinculados a la docencia y a la investigación. Tal es el caso del QS Latin América University Ranking (QS Quacquarelly Symonds, 2014) y del Scimago Institutions Rankings (SCIMAGO, 2015). Así como se evidencia un aumento sostenido de los rankings en el mundo, es posible apreciar en la literatura existente un número significativo de seguidores y detractores, algunos de los cuales enunciaremos para presentar algunos de los conceptos y dimensiones de análisis que abordaremos en la investigación. Los rankings estimulan la competencia en el mercado global de la educación superior (Marginson & Van der Wende, To Rank or be Ranked: The impact of global rankings in Higher Education, 2007) aportando información sobre el desempeño de las instituciones (Meller & Rappoport, 2006) y cumpliendo con el objetivo de aportar transparencia al sistema y una base comparable entre las instituciones (Usher & Savino, 2006). Se consideran un aporte como mecanismo de autorregulación de las propias instituciones, como un mecanismo con gran poder regulatorio desde la política pública (Lemaitre, 2015) y como un insumo para la planificación estratégica (Meller & Rappoport, 2006). Desde el punto de vista de las instituciones, los rankings representan una plataforma de visibilidad de las universidades a nivel nacional y mundial, reforzando el reconocimiento o prestigio de las instituciones, algo que es aparentemente muy valorado por los empleadores al momento de contratar a los graduados de una determinada universidad (Fernández & Bernasconi, Elementos conceptuales para el análisis organizacional de universidades en contextos de mercado, 2012). 11 Entre los críticos de los rankings, hay quienes señalan que son vistos como campos de poder simbólico porque legitiman una competencia desigual entre instituciones que no son comparables entre sí, enfatizan una idea de calidad preconcebida de las instituciones y la educación ofrecida, favorecen la hegemonía de las universidades que se mantienen en los primeros lugares y utilizan los medios de comunicación masivos para difundirse a nivel mundial (Muñoz García, 2011). Pese a una serie de cuestionamientos metodológicos, los rankings han aumentado en número e importancia a través de los años, instalándose como un elemento central en los sistemas de educación superior (Fernández & Bernasconi, Elementos conceptuales para el análisis organizacional de universidades en contextos de mercado, 2012), (Rauhvargers, 2011), (Marope, Wlls, & Hazelkorn, 2013) La medición de la calidad a través de los rankings supone indicadores y estándares de medición y con ellos subyace un modelo de universidad, una idea de cómo es la mejor universidad, que se presenta como el único modelo posible y como un referente a seguir. Esta idea de calidad parece haberse instalado como un discurso dominante en el campo de la educación superior chilena. 12 III. PLANTEAMIENTO SOCIOLÓGICO DEL PROBLEMA A INVESTIGAR Marketización [ contexto mundial de la Educación Superior ] Sistemas de educación superior Masificación CALIDAD UNIVERSITARIA Globalización Rendición de cuentas (accountability) ESTRUCTURA GOBIERNO (INSTITUCIONALIDAD) Idea de calidad “universidad ideal 1” Calidad “objetivada” (cuantitativa) Estándares e indicadores de desempeño Internacionalización AGENCIA Sistemas de medición de la calidad • Acreditación • Rankings • Mecanismos financiamiento Discurso dominante Poder simbólico (Influencia de la estructura sobre la agencia) UNIVERSIDADES ESTUDIANTES Y FAMILIAS Idea de calidad “universidad ideal 2” Subjetividad Factores de calidad no medidos Figura N°1. El problema de la calidad: agentes y sistemas de medición (Elaboración propia) La idea de calidad universitaria se ha instalado en el mundo y también en Chile por medio de diferentes sistemas de evaluación y medición de la calidad que la operacionalizan a través de criterios e indicadores de medición sobre ciertos aspectos de la universidad, aquellos más relevantes y significativos para el que evalúa. Una de las maneras en que los gobiernos, como agentes reguladores y garantes de la calidad de la oferta educativa, se vinculan con las instituciones de educación superior es a través de estos mecanismos de evaluación y medición de la calidad. Entre éstos se ubican los sistemas de aseguramiento de la calidad, algunos mecanismos de financiamiento estatal vinculados a los desempeños de las instituciones, y los rankings universitarios, aunque estos últimos, pese a que operan bajo las mismas lógicas de medición, son desarrollados mayoritariamente por organismos no estatales. A juicio de los expertos, los sistemas de medición de la calidad buscan entregar a los estudiantes la información necesaria para disminuir las asimetrías de información al momento 13 de elegir una carrera o institución donde cursar estudios superiores (Meller & Rappoport, 2006), (Bernasconi, 2006). La elección de indicadores y estándares que se utilizan en estas mediciones y la forma en que éstos se utilizan parecen remitir a una idea de calidad global que intenta instalar la institucionalidad vigente y que exploraremos en esta investigación a través del estudio de los rankings universitarios. Esta idea de calidad universitaria o de cómo debe ser una buena universidad, proveniente de la estructura institucional vigente, no es explícita y parece encarnar en la actualidad un discurso dominante sobre calidad que está influyendo de alguna manera sobre el funcionamiento de las instituciones universitarias, especialmente porque se vincula a poderosos incentivos financieros. La acreditación institucional, por ejemplo, es requisito para postular a fondos concursables y otras fuentes de financiamiento público de la educación superior. Por otra parte, sospechamos que las instituciones responden a los requerimientos de calidad de la institucionalidad vigente de una manera “adecuada y funcional”, movidos por fuerzas que no necesariamente reflejan las creencias e ideas sobre calidad universitaria que abrigan las comunidades al interior de estas instituciones. Siguiendo la figura que encabeza este capítulo, creemos que las universidades tienen una idea diferente de “universidad ideal”, que considera elementos subjetivos no conocidos ni medidos, que podrían contribuir a ampliar la comprensión y a enriquecer la noción de calidad universitaria. En particular, en esta investigación estudiaremos algunos rankings que se utilizan en Chile para develar cuál es la idea de calidad universitaria que sustentan y cómo esta noción está influyendo en el funcionamiento de las universidades chilenas. Dejaremos para un estudio posterior la posible influencia de los rankings sobre los estudiantes, objetivo para el cual teóricamente fueron creados. Creemos que los rankings de alguna manera contribuyen a instalar esta idea institucional de calidad a la cual las universidades responden sistemáticamente, a través de una cierta conducta o comportamiento que cumple con el modelo de calidad esperado; luego la pregunta que orientará nuestra investigación apunta a develar la forma en que los rankings influyen en las universidades chilenas. Específicamente nos preguntamos: ¿cómo contribuyen los rankings a moldear una idea de calidad de las universidades en Chile? 14 III.1 Pregunta de Investigación ¿Cómo contribuyen los rankings a moldear una idea de calidad de las universidades chilenas? III.2 Objetivo General Analizar de que manera los rankings universitarios contribuyen a moldear una idea de calidad de las universidades chilenas III.3 Objetivos Específicos OBJETIVO ESPECÍFICO 1 Describir y analizar tres rankings universitarios publicados en Chile OBJETIVO ESPECÍFICO 2 Conocer la opinión sobre la construcción, uso y divulgación de los rankings universitarios, desde la perspectiva de las autoridades y expertos en calidad de las universidades. OBJETIVO ESPECÍFICO 3 Contrastar los juicios emitidos sobre los rankings por parte de autoridades y expertos universitarios con los discursos provenientes de los rankings estudiados. OBJETIVO ESPECÍFICO 4 Analizar el efecto performativo de los rankings en la calidad universitaria. 15 IV. MARCO TEÓRICO En la construcción de un marco teórico para abordar nuestro desafío de investigación, hemos identificado dos conceptos fundamentales que se afirman en un amplio recorrido teórico, que contribuirá a dar relevancia sociológica a nuestro tema de investigación. Se trata de los conceptos de fact-totem y de performatividad a cuyo abordaje nos vamos a referir a continuación. IV.1 Las Estadísticas públicas y la creencia El sociólogo argentino Martín de Santos, estudió durante el año 2001 - año que antecedió al corralito 6 - el impacto público de un indicador económico denominado “riesgo país” 7 y descubrió que los números públicos, como llama a este tipo de estadísticas, generan representaciones sociales colectivas de alto impacto (De Santos, 2009). El estudio incluyó la revisión de los medios de comunicación de la época (cartas, noticias, columnas de opinión) y la realización de una serie de entrevistas en profundidad que permitieron constatar una dinámica país que había traspasado a todos los segmentos de la población, generada por el resultado de un índice que se seguía a diario en los medios y generaba en la población un abanico de representaciones sobre el país y su situación económica y política presente y futura. Según relata de Santos en su estudio, legisladores, taxistas y amas de casa, pasando por el ministro de hacienda de la época eran capaces de asignar un significado al indicador, ideas que se compartían en las conversaciones cotidianas a partir del resultado diario del índice “riesgo país”. Esta dinámica tuvo capturada a la nación por largo tiempo. La amplia presencia en los medios, el ser objeto cotidiano de conversación, los humores sociales cambiantes que generaba, ser causante de sentimientos de tristeza, soledad y desesperación en la población argentina de la época, permitieron caracterizar el índice “riesgo país” no solo como un objeto epistémico, sino como generador de un fenómeno social. “El indicador se convirtió en un vigoroso objeto a través del cual un público se imaginaba a sí mismo e imaginaba su lugar en el mundo” (De Santos, 2009, pág. 168). 6 El corralito se denominó a la restricción impuesta por el gobierno Argentino, de la libre disposición de dinero en efectivo de plazos fijos, cuentas corrientes y cajas de ahorros entre el mes de diciembre de 2001 y el 2 de diciembre de 2002, fecha en la que se permitió la liberación de los depósitos retenidos. 7 Indice financiero que mide el precio de los bonos según se negocian en los mercados internacionales secundarios. 16 A partir de este trabajo, de Santos elabora el concepto de fact-totem, que se refiere a una estadística con elevada visibilidad mediática y pública que se articula con relatos identitarios centrales de una colectividad. Dice de Santos: “los fact-tótems son símbolos poderosos que condensan la atención social y suscitan respuestas apasionadas en vastas audiencias” (De Santos, 2009, pág. 148). Entre sus características están el ser un ámbito donde los medios y el público coinciden periódicamente; y ser un ámbito social y conscientemente reconocido como un punto de encuentro colectivo. Para que un fact-totem exista deben darse ciertas condiciones de posibilidad para que una estadística, así como un hecho científico, se transfiera desde el dominio de los expertos hasta el dominio público y permee a una sociedad consumista de información, en este caso de estadísticas, como es posible también observar este fenómeno en nuestra realidad nacional; lo que ocurre con algunos indicadores económicos de amplia difusión mediática tales como el IPC 8, el IPSA 9 y la tasa de desempleo. Son cifras de amplio conocimiento público y parte constitutiva de la vida cotidiana de las personas. En el caso de los índices o estadísticas públicas, convergen tres ámbitos discursivos institucionales que en conjunto, incrementan el poder de representación de estos objetos: la matemática, la ciencia y los medios de comunicación. Los números y las matemáticas tienen por si solos un poder de representación objetiva e impersonal de la realidad. Nadie podría discutir la verdad representada por los números o por un algoritmo que utiliza el lenguaje de las matemáticas para llegar a representar algo. “Los números no mienten”, dice el dicho popular. Ciertamente –dice de Santos- parece haber un grado mayor de credibilidad y objetividad sobre los números que sobre las palabras (De Santos, 2009, pág. 171) y éstos facilitan el poder de creencia de las estadísticas. Si agregamos un segundo tipo de discurso que es el discurso científico o experto, las posibilidades de confiabilidad se acrecientan. Ya desde el siglo XIX el acervo científico 8 Indice de precios al consumidor, http://www.ine.cl/canales/chile_estadistico/estadisticas_precios/ipc/base_2013/ 9 Indice de precios selectivos de acciones, http://www.bolsadesantiago.com/Composicion%20de%20Indices%20Bursatiles/Metodolog%C3%A Da%20de%20C%C3%A1lculo.pdf 17 representa una voz respetable y reconocida que genera alta confianza pública. Hay un aura de autoridad en este tipo de discurso transportada por una carga de capital simbólico que nos hace recordar a Pierre Bourdieu (De Santos, 2009, pág. 171), asociada a una fuente imparcial de conocimiento proveniente de las universidades, que ningún ciudadano no experto podría poner en duda. Finalmente, el discurso de los medios de comunicación agrega una dosis final de capacidad imaginativa que hace que las estadísticas públicas cobren un significado que va mucho más allá de lo que se plantean en términos científicos. El discurso de los medios permite una amplia circulación y acceso a un público masivo. La narrativa utilizada, como sostiene de Santos, es el melodrama, refiriéndose con esto a los titulares o elementos textuales que enuncian historias de ascenso y caída, destacándose habitualmente cuánto subió o cuánto bajó el índice, connotando positiva o negativamente los hechos y su posible impacto futuro en las condiciones que afectarían a la población, el país y/o las personas. De Santos habla de la imaginación estadística como el conjunto de significados articulados en torno a las estadísticas por los medios y las audiencias de legos y describe cómo hablan los medios masivos de las estadísticas a audiencias que no son especializadas. Dice de Santos: “las estadísticas parecen ser inmunes contra la opinión: parcelas de la realidad misma presentadas en forma prístina como noticias” (De Santos, 2009, pág. 172). Imaginemos por un momento, qué ocurriría en Chile si las fuentes de información oficiales declararan un aumento de 10 puntos en la tasa de desempleo nacional. Probablemente la notica sería titular y primera plana en todos los medios de comunicación nacionales e incluiría una buena dosis de especulación de los columnistas habituales sobre los impactos económicos venideros para el país y para la población. El recorrido que hace de Santos para comprender el efecto de las estadísticas públicas, se focaliza en la cuestión del poder de representación cultural y simbólico que conlleva, cuyo significado varía según el contexto. En sus propias palabras, las estadísticas son: “signos semióticos y objetos culturales sujetos al cambio de contextos, géneros, relatos y medios diversos” (De Santos, 2009, pág. 155). Mientras para los científicos y expertos esta información se comporta como un objeto transparente, como simple información, como datos; para un público no experto, las estadísticas pueden resignificar cosas muy diferentes a las planteadas originariamente. 18 En las representaciones de las estadísticas en el mundo público, donde dejan de ser meros datos y se transforman en representaciones colectivas, juega un papel importante la idea de creencia (u opinión), la doxa10 de la que nos ha hablado Bourdieu en El sentido práctico (Bourdieu P. , El sentido práctico, 2007), aquello que aceptamos sin conocer y que nos muestra la forma en que se naturalizan las ideas. La doxa, denominada también por otros autores como “ideología” (Bourdieu & Eagleton, Doxa y vida cotidiana: una entrevista, 1997) viene a poner una diferencia con la verdad y creencia científica. Se trata de una distinción entre “haber aprendido” (el conocimiento científico) y “estar persuadido” (por la creencia) y en último término, se trata del “valor de verdad que acompaña a cada uno de esos dos estados epistemológicos del alma: mientras que una creencia puede ser tanto verdadera cuanto falsa, un conocimiento siempre será verdadero” (Tonelli, 2011, pág. 124). Tal como nos presenta de Santos las estadísticas, rescatando la idea de imaginación estadística como las presentan los discursos de los medios y como son entendidas por el público, podemos suponer que a partir de su alto poder de representación, vivimos estas cifras como verdades incuestionables. Ejemplos de representaciones hay muchas, desde la situación económica y el futuro del país en Argentina, a partir del índice “riesgo país” del que nos hablaba de Santos; hasta el valor que asignamos a la vida y la muerte. Notemos cómo reaccionamos ante las estadísticas de uso común en la medicina actual donde las narrativas que sustentan la prevalencia de graves enfermedades se apoya fuertemente en estadísticas; por ejemplo, estadísticas de muerte por cáncer de mamas o cáncer de próstata sustentan políticas públicas que incentivan a la población a tomar acción sobre controles médicos periódicos y exámenes de salud para prevenir dichas enfermedades. Otro ejemplo que nos toca de cerca como ciudadanos se percibe en cómo las estadísticas sobre el crimen y los delitos afectan nuestras opiniones y acciones sobre la seguridad pública, cómo nos protegemos de robos y asaltos y cómo estas acciones han derivado en el lucrativo mercado de los seguros. 10 Término griego que se suele traducir por "opinión" y con el que nos referimos a aquel tipo de conocimiento que no nos ofrece certeza absoluta, y que no podría ser, pues, más que una creencia razonable, un conocimiento "aparente" de la realidad. En este sentido parecen utilizarlo tanto Parménides, al distinguir la "vía de la verdad" de la "vía de la opinión", como Platón, al distinguir, también contraponiéndolas, la "doxa" de la "episteme", es decir, el conocimiento aparente (el conocimiento de la realidad sensible) del verdadero conocimiento (el conocimiento de la verdadera realidad, de las Ideas). En Glosario de Filosofía, http://www.webdianoia.com/glosario/display.php?action=view&id=96&from=action=search%7Cby =D 19 Las representaciones que genera un fact tótem pueden llegar a transformarse en una realidad posible, un hecho nuevo se realizará siempre que pueda sustentarse en el tiempo, en la medida que permanezca como discurso o narrativa. Para ello será necesaria una estructura que apunte al modelamiento permanente, a fin de conseguir una evidencia, una respuesta que de cuenta de la permanencia del hecho. Aparece así la idea de performatividad, un concepto que da cuenta de este proceso que a continuación pasamos a tratar. IV.2 El enfoque de la Performatividad La idea de performatividad proviene de la ontología del lenguaje, a partir de las investigaciones del filósofo inglés John L. Austin (1911-1960), autor de la teoría de los actos del habla. Su trabajo se refiere al estudio de los actos lingüísticos que realizamos al comunicarnos con otros (Cuadrado, 2009). Remontándonos a la ciencia del siglo pasado, Austin sospecha de la presunción descriptiva del lenguaje que proponía que todos los enunciados debían ser verdaderos o al menos, falsos; de lo contrario, carecían de significado cognoscitivo. Pero Austin identifica un tipo de enunciado donde la verdad o falsedad no puede verificarse y sin embargo son emisiones no carentes de significado. “Son emisiones donde la persona que las hace, está haciendo algo, en vez de meramente diciendo algo” (Valdes Villanueva, 1995). Ejemplos de estos enunciados son: “los declaro marido y mujer”, “haremos una profunda reforma al sistema educacional”, “te apuesto a que Chile gana la copa América”, “te amo”. Este tipo de actos del habla son llamados por Austin performativos y se refiere a ellos en los siguientes términos: “La palabra performativo será usada en muchas formas y construcciones conectadas entre sí, tal como ocurre con el término “imperativo”. Deriva, por supuesto, de “realizar” (to perform), que es el verbo usual que se antepone al sustantivo “acción”. Indica que emitir la expresión es realizar una acción y que ésta no se concibe normalmente como el mero decir algo” (Austin, 1976, pág. 6) Una segunda distinción de importancia en la teoría de los actos del habla corresponde a la diferencia entre lo que se dice y cómo se dice. Decir algo es hacer una locución, en cambio, realizar un acto ilocucionario es llevar a cabo un acto al decir algo. Austin distingue aquí la fuerza ilocucionaria de su significado (Cuadrado, 2009). 20 La fuerza de los actos del habla, determinará entonces un tercer grupo de actos del habla que serán en esta investigación los de nuestro principal interés. Se trata de los actos perlocucionarios, aquellos que, en palabras de Austin “producimos o logramos porque decimos algo” (Austin, 1976). Austin describe esta clasificación de la siguiente manera: “En primer lugar distinguimos un grupo de cosas que hacemos al decir algo. Las agrupamos expresando que realizamos un acto locucionario, acto que en forma aproximada equivale a expresar cierta oración con un cierto sentido y referencia, lo que a su vez es aproximadamente equivalente al “significado” en el sentido tradicional. En segundo lugar, dijimos que también realizamos actos ilocucionarios tales como informar, ordenar, advertir, comprometernos, etc., esto es, actos que tienen una cierta fuerza (convencional). En tercer lugar, también realizamos actos perlocucionarios; los que producimos o logramos porque decimos algo, tales como convencer, persuadir, disuadir, e incluso, digamos sorprender o confundir.” (Austin, 1976, pág. 109). Se trata en este último caso del efecto producido en otros cuando decimos algo. Sin embargo, Austin llegará finalmente a la conclusión de que todos los enunciados, incluso aquellos que pueden ser verdaderos o falsos (como son las constataciones de la ciencia), son de carácter performativo. Más tarde, su discípulo, John Searle, ampliará este concepto, incorporando la noción de contexto y de estatus en una propuesta teórica sobre los hechos institucionales (Searle, 1997). Searle sostiene que para que un enunciado sea performativo debe existir un contexto institucional y quien emite el enunciado debe tener un cierto rango que le otorgue autoridad para decir lo que dice. Además, elabora una estructura particular para las expresiones performativas que él tipifica como declaraciones: “X cuanta como Y en un contexto C”, explica cómo se crean los hechos institucionales, esto es, un enunciado “X” adquiere el estatus de “Y” en un cierto contexto “C”. A modo de ejemplo, se podría decir: “este pedazo de papel (X) cuenta como dinero (Y) en el mercado del intercambio comercial (C)”. A partir de estas últimas distinciones, Michel Foucault se refiere a la performatividad en el contexto institucional, como la idea inversa al concepto de parrhesía que se define como: hablar franco, decir todo y decir la verdad. En un enunciado performativo, dice Foucault: “una vez 21 proferido el enunciado, sigue un efecto, un efecto conocido de antemano, regulado de antemano, un efecto codificado que es precisamente aquello en que radica el carácter performativo del enunciado” (Foucault M. , 2009, pág. 78); mientras que en el enunciado de la verdad (la parrhesía), se abre un riesgo indeterminado. Una segunda característica de los enunciados performativos señalados por Foucault es la importancia del estatus de quien los emite, de este modo, quien dice “yo te bautizo”, debe tener cierto estatus para poder bautizar o quien decide “lo declaro culpable”, debe también tener la autoridad para declarar tal sentencia; en cambio en los enunciados de verdad no es preciso tener estatus alguno para emitir este tipo de enunciado. Una tercera característica es que en los enunciados performativos no es relevante la sinceridad de quien emite el enunciado, es decir, no importa el compromiso de quien enuncia con el enunciado mismo. El enunciado es performativo por el solo hecho de decirlo. A diferencia de los enunciados de la parrhesía, esto no es posible, el sujeto compromete lo que piensa con lo que dice, atestiguando la verdad (Foucault M. , 2009, pág. 79). En el campo de la sociología, tal vez uno de los trabajos más conocidos corresponde a Judith Butler quien habla de la performatividad en el origen de los discursos sobre género (Butler J. , Género en Disputa. El feminismo y la subversión de la identidad, 2007) e identifica como propias de las ciencias, las narrativas lingüísticas performativas perlocucionarias, refiriéndose con ello a la capacidad que tienen de alterar situaciones preexistentes, siempre que operen favorablemente ciertas condiciones de posibilidad pues existe un riesgo de fracaso que es estructuctural a este tipo de construcción de realidad (Ramos C. , El ensamblaje de ciencia social y sociedad, 2012, pág. 216). Para Butler la identidad de género no es sino un resultado performativo que describe del siguiente modo: “el género es instituido por actos internamente discontinuos, la apariencia de sustancia es entonces precisamente eso, una identidad construida, un resultado performativo llevado a cabo que la audiencia social mundana, incluyendo a los propios actores, ha venido a creer y a actuar como creencia” (Butler J. , Actos performativos y constitución del género: un ensayo sobre fenomenología y teoría feminista, 1990, pág. 297). Derrida agregará a la noción de performatividad el carácter de iterable y al mismo tiempo alterable de los actos del habla perlocucionarios, donde radica su poder performativo. Lo mismo que para Butler, el poder performativo radica en “una repetición estilizada de actos en el 22 tiempo” (Butler J. , Actos performativos y constitución del género: un ensayo sobre fenomenología y teoría feminista, 1990, pág. 297) donde habría una relación entre esos actos y diferentes maneras de repetición, lo que denomina ruptura o repetición subversiva, algo que Ramos más tarde llamará la capacidad “citacional” de los actos del habla. De este modo, “la performatividad es modelamiento, a través de cadenas de reiteraciones, pero es un modelamiento que va variando a través del proceso y que es inherentemente inestable” (Ramos C. , Investigación científica y performatividad social: el caso del PNUD en Chile, 2012, pág. 225) La idea de performatividad deriva más tarde en trabajos que abordan esta dimensión en las ciencias. Las investigaciones más conocidas provienen de Michel Callon y Donald Mackenzie y sus investigaciones en el campo de la economía (Callon M. , 1998), (Callon M. , 2007), (Mackenzie, Muniesa, & Siu, Do Economists Make Markets? On the Performativity of Economics, 2007). Aquí se plantea que, “la ciencia económica, más que constituir una mera observación de su objeto, se hace parte de tal objeto y contribuye a su configuración; de este modo los mercados son así, tanto objetos como producto de investigación” (Ramos C. , 2014, pág. 159). En relación a las investigaciones de Mackenzie, Claudio Ramos reflexiona sobre los mercados, señalando que “no se trata de un modelo que logre aprehender el mundo, sino de cómo el mundo termina actuando de la manera en que el modelo lo predice a través de sus fórmulas”. (Ramos C. , El ensamblaje de ciencia social y sociedad, 2012, pág. 221) En estos estudios, básicamente se distingue el hecho de que las ciencias no solo dan cuenta de representaciones constatativas de la realidad, sino que al mismo tiempo la comunicación social de la que son parte, les agrega un potencial performativo tanto dentro del campo científico como fuera de él (Ramos C. , Investigación científica y performatividad social: el caso del PNUD en Chile, 2012) Michel Callon identifica en el campo de la economía un conjunto de elementos que provee a la disciplina científica de capacidad de acción y de intervención en las agencias del mercado y los denomina agenciamiento sociotécnico (Callon M. , 2007). Se trata de los elementos mediadores e interconectores entre el productor de conocimientos y sus eventuales usuarios. Corresponde al conjunto de elementos textuales, humanos, organizativos y materiales donde participan economistas, consultores, contadores, agentes técnicos, software, procedimientos, tecnologías, modelos y otros, que facilitan la intervención del discurso científico. Las ideas de la ciencia que 23 moldean el mundo real no son transferidas meramente por la lectura de papers científicos, requieren de un agenciamiento que se articula, traduce e instala a través de procesos diferentes y recurrentes que incluyen dispositivos y personas, conversaciones, formas de cálculo y discursos que van modelando gradualmente las conductas que el modelo predice. Por su parte, MacKenzie, desde la economía, elabora una tipología de acciones performativas (Mackenzie, Muniesa, & Siu, Do Economists Make Markets? On the Performativity of Economics, 2007), entre los que distingue cuatro tipos diferentes: genéricas, efectivas, barnesianas y contraperformativas. Las acciones performativas genéricas se refieren a una alteración indeterminada de los procesos sociales producida por algún agente que interviene con algún elemento de las ciencias (una teoría, un modelo, una base de datos); en la performatividad efectiva es posible distinguir el tipo de alteración producida por los elementos de la ciencia y su objetivación o estabilización ocurre en un periodo de tiempo más largo; la performatividad Barnesiana (en reconocimiento a Barnes, su creador) es similar a la efectiva pues es posible identificar específicamente la alteración en los procesos sociales, y este comportamiento tiende a parecerse a los procesos descritos por la ciencia; finalmente, la contraperformatividad es la inversa de la barnesiana, es decir hace que los comportamientos generados por la intervención tiendan a alejarse de aquellos descritos por la ciencia (Ramos C. , El ensamblaje de ciencia social y sociedad, 2012, págs. 222-223). La performatividad de las ciencias sociales puede entenderse también como discursos fundados en distinciones lingüísticas, datos, categorías, construcciones interpretativas básicamente ideológicas- que se ponen continuamente en acto discursivo, lo que les permite reproducirse y existir (Brunner J. , 2014). Un buen ejemplo, es el poder performativo de las prácticas evaluativas en educación (SIMCE, PSU, Prueba INICIA) que pueden llegar a generar grandes efectos en la opinión pública. Situándonos en el dominio de la producción de los discursos científicos, no podemos dejar de mencionar la teoría de Pierre Bourdieu sobre las luchas de poder simbólico de los campos sociales (Bourdieu P. , Homo Academicus, 1984), en este caso, del campo del conocimiento científico o intelectual. Nos referimos a las luchas de poder entre los productores de conocimiento dentro del campo que utilizan estrategias de subsistencia para mantener o mejorar sus posiciones de poder en la estructura social a la que pertenecen. La competencia es 24 por visibilidad, reputación y recursos, o en palabras de Bourdieu: “…se lucha (también) por la conquista de legitimación cultural o, dicho en otros términos, por el monopolio de la legítima producción, reproducción y manipulación de bienes simbólicos y su correspondiente poder de legitimación” (Brunner J. , 2014, pág. 156). Una estrategia es justamente la reproducción de sus discursos a través de la interacción permanente y transferencia del conocimiento a intermediarios y usuarios o consumidores del conocimiento producido, que se encuentran fuera del campo científico. JJ Brunner se refiere a estas luchas en los siguientes términos: “En el caso del campo intelectual, el poder simbólico consiste en la capacidad de nombrar legítimamente, de designar fenómenos, imponer clasificaciones, crear categorías y aprovechar para sí el efecto performativo de las ciencias sociales” (Brunner J. , 2014, pág. 156). Veamos ahora cómo opera la performatividad y cuáles son las condiciones que facilitan la intervención de las ciencias. En primer lugar y tal como hablaba de Santos sobre las estadísticas, se señala la legitimidad social que tiene el conocimiento científico, donde el uso de los números y las matemáticas como parte de su andamiaje cuantitativo, genera la apreciación de objetividad y confiabilidad sobre el conocimiento puesto en juego. Al respecto se señala, citando a Porter: “La cuantificación es, históricamente, el mejor proxy de la objetividad y la objetividad es la mayor fuente de legitimidad social de la ciencia, proveyendo de autoridad a los conocimientos científicos en la vida social y política contemporánea” (Ramos C. , El ensamblaje de ciencia social y sociedad, 2012, pág. 225). El poder de las estadísticas de las que nos habla de Santos se basa justamente en la creencia sobre los números que utiliza el conocimiento científico. Un segundo mecanismo operativo de la performatividad es el agenciamiento sociotécnico del que habla Callon (Callon M. , 2007). Se trata del ensamblaje agenciador que articula y traduce el conocimiento científico. Está compuesto por una red de personas y organizaciones por donde circula el conocimiento que incluye a los mismos científicos y a una red de mediadores o intermediarios entre los que se puede nombrar a consultores, expertos, profesionales de segunda línea, medios de comunicación, agencias estatales, entidades de financiamiento, partidos políticos y centros internacionales. Otros elementos de este ensamblaje lo integran el equipamiento e instrumentos tales como, bases de datos, procedimientos de cálculo, software, 25 cuestionarios y encuestas, computadores y buscadores digitales, entro otros. Las organizaciones son también parte del ensamblaje sociotécnico donde destacan las universidades y dentro de éstas especialmente las escuelas de negocios, los centros de investigación, think thanks y empresas de estudios de mercado y marketing. Finalmente, los textos y sus narrativas integran también el ensamblaje agencial; el texto principal es el “paper” de investigación pues otorga la confianza y legitimidad del conocimiento científico que se va a agenciar (Ramos C. , El ensamblaje de ciencia social y sociedad, 2012). La estructura cuantitativa de los rankings universitarios se sustenta en las mismas lógicas de construcción de conocimiento científico que las estadísticas públicas, haciéndolos aparecer como un fact tótem y al mismo tiempo, como un dispositivo con capacidad performativa. La potencia de ambos conceptos y su vinculación en un mismo dispositivo los transforma en una especial herramienta para analizar la calidad universitaria como objeto de estudio. Vinculado al enfoque de la performatividad, convendría en este punto hacer una reflexión sobre la idea de medir. Un trabajo destacable en esta materia es el propuesto por Espeland & Sauder, quienes asignan a la noción de reacción que deriva de las mediciones públicas, las capacidades performativas de una nueva realidad (Espeland & Sauder, 2007). Aunque debemos advertir que no compartimos totalmente esta última idea pues pareciera que la reacción tiene efectos instantáneos y poco duraderos en el tiempo, a diferencia de los efectos performativos cuyas condiciones de posibilidad requieren de mecanismos más complejos que los hacen permanentes en el tiempo. La necesidad de mayor transparencia y rendición de cuentas públicas (accountability) ha incentivado la proliferación de mediciones en el mundo. En educación especialmente, se han instalado prácticas evaluativas tales como pruebas estandarizadas, evaluaciones de desempeño de colegios y universidades y los rankings, que constituyen sólidas evidencias de su uso. Varios investigadores de este fenómeno en el Reino Unido han caracterizado el creciente uso de la medición como parte de una “cultura de la evaluación” (Morley, Producing New Workers: quality, equality and employability in higher education, 2001), (Davis, Fisher, Kingsbury, & Merry, 2012) término que también se ha comenzado a escuchar en Chile. A partir del estudio de un ranking de las escuelas de leyes en los Estados Unidos, Espeland & Sauder analizaron la noción de reacción, o en otras palabras, como la gente cambia su 26 comportamiento en respuesta a ser evaluado, observado o medido; y propusieron un marco para analizar las consecuencias de las mediciones públicas, aquellas intencionadas y no intencionadas, identificando dos mecanismos que producen patrones o modelos de efectos: la profecía autocumplida y las mediciones comparables (commensuration). La profecía autocumplida es un concepto cercano a la idea de performatividad propuesta por Callon; se refiere a respuestas de las audiencias que confirman las expectativas o predicciones que las mediciones producen y que al mismo tiempo, aumentan su validez. Los rankings, según el estudio, crean expectativas sobre la calidad de las escuelas de leyes y la gente cambia su comportamiento de acuerdo a esos resultados. Bajo este mecanismo, la investigación muestra cómo los rankings transforman gradualmente a las escuelas de leyes en entidades más cercanas a los criterios usados en la construcción de los rankings. En el caso de las mediciones comparables, tales como los precios, mediciones costo-beneficio y los rankings, lo que ocurre es una transformación en el proceso cognitivo pues se asignan propiedades cuantitativas a propiedades cualitativas que comparten una métrica común. Este mecanismo produce cambios importantes en la manera en que los agentes toman decisiones y actúan, simplificando y reduciendo la información, estandarizando las similitudes y diferencias entre entidades e inspirando a la gente a apreciar el significado de los números. Quienes critican las mediciones destacan sus consecuencias nocivas, las que ocurren cuando los actores que se ven involucrados “play to the test” (juegan para la prueba), centrándose en cumplir con los indicadores más que en las cualidades que han sido definidas en las mediciones. Para los autores, las mediciones son vehículos para enactar 11 accountability e inducir cambios en los desempeños y por tanto el foco de las mediciones está en la agencia. En última instancia, para los autores de este trabajo, “la reacción es una forma de interacción que revela cuán difícil es mantener las diferencias entre las mediciones y el objeto de las mediciones, descripciones e inscripciones, ciencia y sociedad, entre lo social y lo natural” (Espeland & Sauder, 2007, pág. 35). Finalmente, convendría mencionar someramente el enfoque de la gubernamentalidad de Foucault pues tiene cierta incidencia en la construcción de nuestro objeto de estudio, la 11 Término creado por Anne Marie Mol en sus estudios sobre el cuerpo enfermo de arterosclerosis. Una definición posible la encontramos en el trabajo de investigación de O. Bernasconi (Fondecyt n°11110459). Enactar refiere a hacer algo o alguien mediante la práctica y a través de una serie de operaciones: movilización, uso, significación, distribución, transformación, conexión, y también afectación. 27 calidad. De allí su vinculación con la idea de performatividad. Foucault aporta una mirada anclada en el estudio del poder y en la forma en que se fue construyendo una racionalidad del gobierno a partir de la modernidad. La estadística y las diversas formas de medición en el campo educativo responden a cierto tipo de prácticas que devienen de las tecnologías de gobierno sobre la población (políticas de salud, seguridad, etc.), lo que Foucault llamó biopolítica o el poder sobre la vida en el principio de la modernidad (Foucault M. , 2006). Más tarde estos conceptos constituirán el enfoque de la gubernamentalidad que se entiende como el gobierno de sí y de los otros. “Son prácticas del poder del estado que se apoyan en el conocimiento de las ciencias como regímenes de verdad, que surgen adosados al estado, buscando anticipar y regular eventos posibles que permiten conducir a distancia la conducta de individuos en agregados poblacionales”. (Ramos C. , 2014, pág. 157). Hemos dicho que la fuerza ilocucionaria determina de algún modo el efecto performativo de las ideas que podrían instalarse en la sociedad como un simple nuevo discurso (conceptos, clasificaciones, indicadores, categorías), hasta una intervención más profunda que llega a moldear los comportamientos de las audiencias o públicos a quienes se dirige la narrativa performativa (indicadores del mercado bursátil, vacunas, alimentos transgénicos). Hemos sostenido, por otra parte, que los rankings proponen una idea de calidad universitaria, de cómo debe ser una buena universidad y asumimos como hipótesis que esta narrativa influye decididamente en una cierta respuesta de las instituciones; las universidades se ven obligadas o estimuladas a mantener o mejorar las posiciones que han logrado en los rankings para ser reconocidas y para ello, están obligadas a mejorar sus indicadores de desempeño. Podríamos decir que responden positivamente a la competencia que pone en juego el ranking al comparar instituciones. El discurso de calidad universitaria propuesto por los rankings tendría entonces un efecto performativo sobre el comportamiento de las instituciones en torno a la calidad. En otras palabras, estamos diciendo que el discurso sobre calidad de los rankings realiza una suerte de intervención, modela en las instituciones una idea de calidad esperada. 28 Nuestra hipótesis coincide con la idea de Claudio Ramos, quien reconoce la performatividad en la noción de calidad aplicada a universidades, situándola dentro de los focos performativos en un nivel organizacional de intervención. Señala que se reconocen los efectos performativos de una serie de mecanismos de medición, modelos y definiciones de calidad, que junto con diversos tipos de estímulos (financieros, acceso a mercados y becas) hacen posible una respuesta favorable de parte de las instituciones hacia el cumplimiento de los estándares que el modelo propone. (Ramos C. , Investigación científica y performatividad social: el caso del PNUD en Chile, 2012). V. MARCO METODOLÓGICO Para dar respuesta a las interrogantes planteadas describiremos en esta parte las decisiones metodológicas y el conjunto de técnicas que utilizaremos para recorrer el camino hacia los objetivos de la investigación que se han puesto de tal modo en un esfuerzo por superar la perspectiva positivista de la investigadora, abriéndonos hacia un camino de incertezas en el ejercicio de la indagación constructivista que, “respaldado por la metodología cualitativa, intenta interpretar una experiencia en su contexto y bajo los diferentes puntos de vista de los sujetos implicados (Valles, 1999, pág. 56). No buscaremos verdades últimas, sino relatos. De este modo, la investigación propuesta se enmarca en un estudio de tipo cualitativo y descriptivo basado principalmente en las técnicas de entrevista en profundidad y análisis del discurso sobre textos y documentos de uso público. V.1 Estrategia y alcance El trabajo de campo de la investigación consiste en describir, desde la perspectiva de los sujetos, las nociones que tienen sobre los mecanismos de medición de la calidad universitaria y en particular sobre la construcción y usos de los rankings universitarios. Indagaremos en la opinión sobre los aspectos metodológicos y uso de indicadores como representaciones válidas de una idea de calidad universitaria, así como también, en la respuesta de las universidades y en el uso que ellas hacen de sus resultados en los rankings con otros fines. 29 Considerando que la palabra calidad está cargada de significados, nos abocaremos a indagar en la idea de una “universidad ideal” que construyen los actores a partir de sus creencias y experiencia de trabajo en la universidad, tomando esta idea como metáfora de la calidad, pero sin hablar de ella. Lo haremos, invitando a los entrevistados a imaginar una universidad ideal, basándonos en el trabajo de Ronald Barnett que busca rescatar una nueva idea de universidad para el siglo XXI (Barnett, Imagining the University, 2012). Se trata de un esfuerzo por describir que se desarrollará en forma inductiva, que no busca obtener conclusiones generales, sino revelar la riqueza y diversidad de significados que los sujetos atribuyen a la idea de calidad y universidad (Bourdieu P. , Meditaciones Pascalianas, 1999). Para este fin se consideró entrevistar a autoridades universitarias y a expertos en calidad de las universidades chilenas, tomando en ambos casos, una muestra representativa de sujetos con énfasis en el primer grupo integrado por autoridades para cubrir razonablemente bien el universo de instituciones actualmente existentes en el país. La segunda forma de recolección de información para abordar parte de los objetivos de la investigación, se basó en textos nacionales e internacionales publicados en medios de comunicación web o impresos donde se aplicó la técnica de análisis del discurso como principal forma de análisis. Se tratará entonces de describir y analizar críticamente los discursos que subyacen tras las publicaciones de los rankings universitarios, a través de tres casos concretos de estudio. V.2 Descripción y justificación de técnicas de recolección de información Se realizaron entrevistas semi-estructuradas a dos grupos de informantes: autoridades y expertos en calidad universitaria, miembros de universidades ubicadas a lo largo del país. Se realizaron un total de once entrevistas en profundidad a un grupo de seis rectores y cinco expertos en calidad, uno de los cuales es consultor externo y no está adscrito a ninguna institución. Se utilizó una pauta de entrevista (Anexo V) organizada según las dimensiones temáticas que se consideraron en el diseño de la investigación y se aplicó a ambos grupos de entrevistados, permitiendo cubrir razonablemente bien, todos los temas inicialmente pensados. Un total de 14 preguntas orientaron la conversación, aunque a veces fueron modificadas u omitidas según el desarrollo y las necesidades que planteó cada entrevista. En la mayoría de los casos, las 30 conversaciones se iniciaron con temas generales para ir avanzando hacia los aspectos más específicos que sugiere la pauta. El objetivo que se buscó fue conocer las distinciones y juicios que tienen los entrevistados sobre los rankings universitarios, a partir de su construcción, uso y divulgación; sin embargo, no siempre se abordaron los temas planteados y surgieron fuertes énfasis hacia otros aspectos que involucra la medición de la calidad. Las entrevistas fueron grabadas, haciendo un total de 504,87 minutos de grabación. Los registros se almacenaron en 11 archivos de audio, en formato mp4 que posteriormente fueron transcritos en 11 archivos de texto disponibles en formato Word. A partir de estos textos se trabajó en el análisis de la información recogida. Antes de cada una de las entrevistas, los participantes aceptaron firmar un documento que entregó el consentimiento para dar curso a la grabación de las entrevistas y al mismo tiempo se informaron de las condiciones y usos que posteriormente se le daría a la información recogida, asegurando especialmente la confidencialidad de sus identidades. Se guarda registro de los once documentos mencionados como antecedente del proceso de trabajo de campo y recogida de información. Las entrevistas se desarrollaron casi sin interrupciones, la mayoría de ellas en las oficinas de los entrevistados ubicadas en sus respectivas universidades, lugares que contribuyeron a dar comodidad al entrevistado y la entrevistadora, asegurando el tiempo suficiente para el desarrollo de la entrevista. En ambos grupos de entrevistados se intentó -en la medida de lo posible-, equilibrar la proporción de hombres y mujeres, pero la poca diversidad de sexos en cargos directivos dificultó este objetivo y solo en el grupo de expertos en calidad fue posible encontrar mujeres. La distribución de los grupos de informantes se hizo considerando su pertenencia a los diferentes tipos de universidades que se consideran en la tipología de universidades descrita por Reyes & Rosso (Reyes & Rosso, 2013) que considera cuatro grupos diferentes de instituciones: 1) universidades docentes; 2) universidades docentes con proyección en investigación; 3) universidades de investigación y doctorado en áreas selectivas; y 4) universidades de investigación y doctorado. 31 Del mismo modo, al interior de los dos grupos de entrevistados se cuidó un adecuado equilibrio en una segunda tipología de universidades al que pertenece el entrevistado, de acuerdo a las siguientes nuevas categorías: universidad estatal (E), universidad tradicional no estatal (T) y universidad privada (P). Adicionalmente, se consideró como criterio para la muestra, una equilibrada distribución geográfica de las universidades participantes a lo largo del país, para lo cual se consideraron las categorías: universidad regional (R) y universidad metropolitana (M). Para la segunda forma de recolección de información, se trabajó con las narrativas textuales de tres rankings diferentes publicados en medios web o impresos que fueron elegidos conforme a los siguientes criterios: 1) que tengan más de un año de existencia o que hayan sido publicaos más de una vez; 2) que incluyan una cantidad significativa de universidades chilenas; y 3) que tengan un impacto mediático significativo o que aparezcan como noticia en medios nacionales. Además, se trabajó con una selección de noticias asociadas a los rankings publicados en distintos formatos y medios de comunicación. Fundamentalmente, en esta parte se trabajó con el análisis de contenidos y del discurso a fin de describir y analizar en profundidad las narrativas que proponen los rankings. El uso de más de una fuente de información en el trabajo de campo justifica la posibilidad de triangulación de estas fuentes, entrevistas y textos con al marco teórico propuesto, lo que permitió finalmente esbozar una conclusión sobre las principales cuestiones planteadas en respuesta a la pregunta de investigación. V.3 Diseño muestral A partir de las consideraciones efectuadas en el punto anterior, los sujetos entrevistados fueron distribuidos por tipo de Universidad. De acuerdo a cifras del año 2014 12 , la tipología de universidades mencionada da origen a los siguientes cuatro grupos de universidades: Clasificación. Ranking de Calidad de las Universidades Chilenas 2014, http://rankinguniversidades.emol.com/clasificacion-2014/ 12 32 Grupo 1 Grupo 2 15 U.es de Docencia con Proyección en Investigación (UDPI) U. ARTURO PRAT U. AUTONOMA DE CHILE 11 U.es de Docencia (UD) U. CATOLICA DE LA SANTISIMA CONCEPCION U. ACADEMIA DE HUMANISMO CRISTIANO U. CATOLICA DE TEMUCO U. ADVENTISTA DE CHILE U. CATOLICA DEL MAULE U. BERNARDO OHIGGINS U. DE ATACAMA U. CATOLICA SILVA HENRIQUEZ U. CENTRAL DE CHILE U. DE ARTE Y CIENCIAS SOCIALES ARCIS U. DE PLAYA ANCHA DE CS. DE LA EDUCACION U. DE VIÑA DEL MAR U. DE LOS LAGOS U. DE MAGALLANES U. DEL BIO-BIO U. DEL DESARROLLO U. MAYOR U. METROPOLITANA DE CS. DE LA EDUCACION U. DEL PACIFICO U. SAN SEBASTIAN U. FINIS TERRAE U. SANTO TOMAS U. TECNOLOGICA DE CHILE INACAP U. TECNOLOGICA METROPOLITANA Grupo 3 Grupo 4 13 U.es de Investigación Doctorado en Áreas Selectivas (UIAS) U. ADOLFO IBAÑEZ U. ALBERTO HURTADO U. CATOLICA DEL NORTE U. DE ANTOFAGASTA U. DE LA FRONTERA U. DE LOS ANDES 6 U.es de Investigación y Doctorado (UID) U. DE TALCA PONTIFICIA U. CATOLICA DE CHILE U. DE TARAPACA PONTIFICIA U. CATOLICA DE VALPARAISO U. DE VALPARAISO U. AUSTRAL DE CHILE U. DIEGO PORTALES U. DE CHILE U. NACIONAL ANDRES BELLO U. DE CONCEPCION U. TECNICA FEDERICO SANTA MARIA U. DE SANTIAGO DE CHILE U. DE LA SERENA Figura N° 2. Clasificación de Universidades según tipología Reyes & Rosso13 Nota de la figura N° 2: las universidades marcadas en color en los grupos 2 y 3 son universidades que en el año 2014 cambiaron de grupo respecto de su ubicación en el año 2013, pues cumplieron con los criterios establecidos para ingresar a los nuevos grupos. Según este ordenamiento, el diseño muestral consideró el siguiente número de universidades para cada grupo: Tipología Grupo 1 Grupo 2 Grupo 3 Grupo 4 Descripción Universidades Docentes Universidades Docentes con proyección en investigación Universidades de investigación y doctorado en áreas selectivas Universidades de investigación y doctorado n° instituciones 3 2 3 2 Tabla N° 1. Diseño muestral universidades resultante según tipología Reyes & Rosso 13 http://rankinguniversidades.emol.com/clasificacion-analisis-2014/ 33 Para el segundo criterio clasificatorio se consideró que, excluyendo a un conjunto de instituciones que a la fecha han perdido su acreditación, no la han obtenido o nunca se han sometido a ella, el sistema universitario nacional está compuesto por un total de 45 universidades acreditadas de las cuales 16 son estatales (35,5%), 9 tradicionales (20%) y 20 privadas (44,5%). Siguiendo estas proporciones, la muestra consideró 3 universidades estatales (E), 2 universidades tradicionales (T) y 5 privadas (P). Del mismo modo, 5 de los entrevistados pertenecen a universidades metropolitanas (M) y 5 a universidades regionales (R). En cuanto a la categoría de género, finalmente solo cuatro de los sujetos entrevistados son mujeres (M) y los 7 restantes son hombres (H). V.4 Reflexiones éticas La identidad de los informantes que forman parte de la muestra fue confidencial, lo que significa que ninguna persona –aparte de la investigadora- tuvo acceso a sus antecedentes. Las condiciones de confidencialidad de la información quedaron respaldadas en un contrato denominado Consentimiento Informado (Anexo VI) que fue suscrito antes de cada entrevista por cada uno de los informantes. A pesar de que en la transcripción del material grabado que se generó como documentación de cada caso, colaboraron personas ajenas a la investigación, se resguardó la identidad y descripciones de los entrevistados en todo momento, durante el proceso de transcripción de la información y en el uso posterior de la información durante la elaboración de la tesis donde se utilizaron códigos para identificar a los informantes. VI. RESULTADOS En esta parte del trabajo de investigación abordaremos sus resultados e intentaremos responder a la pregunta ¿cómo contribuyen los rankings a moldear una idea de calidad universitaria en las instituciones chilenas? Requerimos en primera instancia hacer algunas definiciones conceptuales y contextuales previas que nos ayudarán a situar mejor los alcances de la pregunta por la performatividad de los rankings. Particularmente, queremos por una parte 34 profundizar en la idea de calidad y por otra, conocer en detalle qué son los rankings universitarios. Para ello, en una primera parte analizaremos la medición de la calidad en Chile desde dos perspectivas: la primera es descriptiva y responde a la pregunta, ¿cómo se mide actualmente la calidad en Chile?, allí describiremos los dos mecanismos más conocidos que surgieron de la investigación, la acreditación institucional y los rankings universitarios, temas que profundizaremos considerando como fuentes de información el estudio de tres rankings que se publican en Chile y los resultados de las entrevistas realizadas a representantes de una muestra de universidades chilenas. En la segunda parte de este capítulo sobre medición, responderemos analíticamente a la pregunta sobre qué es lo que se mide cuando hablamos de calidad, donde abordaremos la medición en los rankings y descubriremos cuál es la idea de calidad universitaria que tenemos actualmente en el país. En el siguiente capítulo de la investigación, proponemos una posible respuesta a la pregunta de investigación; abordaremos cuáles son las consecuencias de medir en las instituciones y probaremos la performatividad de los rankings universitarios identificando las condiciones que posibilitan efectivamente esta acción. Finalmente, en el último capítulo, mostraremos las dimensiones excluidas de la calidad a través de la idea de universidad ideal y cuál es la importancia que estos elementos cobran hoy día. Para enfrentar este desafío de reflexión que nos exige indagar en posibles resultados, contrastaremos las dos fuentes de información planteadas en la metodología, el estudio de tres rankings universitarios publicados en Chile y los resultados de las entrevistas a personas del ámbito universitario nacional, con los fundamentos teóricos en los cuales hemos basado nuestra interpretación del fenómeno de la calidad. VI.1 LA MEDICION DE LA CALIDAD EN CHILE Introducción Recordemos que en esta investigación hemos considerado el estudio de la calidad universitaria a partir de la medición, que se presenta como una tendencia mundial de la cual nuestro país no se escapa y cuya justificación reside en el hecho de que es una manera de dar garantía pública de la calidad de las instituciones a los beneficiarios de la educación superior, los estudiantes y 35 sus familias. Tampoco podemos dejar de ver que la medición de los desempeños es una práctica común del sistema de mercado en que operan los distintos sectores de la economía no solo en Chile, sino prácticamente en el mundo entero. En nuestro caso, la educación superior es considerada un sector económico que se sitúa en la llamada Economía del Conocimiento (Marginson, Open Source Knowledge and University Rankings, 2009) y como tal, la medición de los agentes que la teoría económica denomina consumidores (estudiantes) y oferentes (universidades), es también una práctica recurrente. En Gran Bretaña, por ejemplo, investigadores han caracterizado la práctica de medir como una cultura de la medición (audit culture) (Morley, Producing New Workers: quality, equality and employability in higher education, 2001), (Davis, Fisher, Kingsbury, & Merry, 2012) donde los ejercicios de evaluación han reorganizado la educación superior en su conjunto. El uso creciente de indicadores cuantitativos ha transformado el significado de la rendición de cuentas que ahora debe ser verificable a través del diseño de indicadores de desempeño (Espeland & Sauder, 2007) Una reflexión que toca en parte este tema fue planteada por uno de los entrevistados en los siguientes términos: “Las universidades de Chile son producto de una cultura que está en el mundo occidental y lo que se mide en Inglaterra, en Estados Unidos, como que llegó aquí. Uno se podría hacer la pregunta de si acaso eso que se mide en Inglaterra y que por agregación cultural se mide en Chile también, es lo que Chile debe medir para medir calidad”. (Rector, Universidad Estatal, de Investigación y doctorado en áreas selectivas, Regional) Lo destacable en esta cita es también la pregunta que se hace el entrevistado, si lo que debiéramos medir en Chile es lo que estamos midiendo, hay una reflexión sobre la calidad como objeto separada de los criterios que la operacionalizan. Debemos prevenir también al lector sobre el uso del concepto evaluación, que para los fines de este estudio utilizamos indistintamente con el de medición, pese a que algunos entrevistados hicieron algunas distinciones en relación con la medición. Podemos sostener que los entrevistados no hicieron muchas diferencias entre ambos conceptos que no se presentan en forma contradictoria, sino vinculados; por lo tanto asumimos que la evaluación de la calidad es una idea que considera aspectos cualitativos y cuantitativos y cuando identificamos estos últimos, hablamos de su medición. Uno de los entrevistados lo expresa de la siguiente manera: 36 “yo estaría de acuerdo [con] que la cuantificación es esencial, y más que la cuantificación, que la objetivación es esencial. Uno no puede tampoco vivir de impresiones porque ahí sí que sería demasiado fácil. Todas las universidades nos creeríamos súper buenas… es muy fácil vivir de mitos en la academia…”. (Rector, Universidad Estatal, de Investigación y Doctorado, Metropolitana). PARTE 1 ¿COMO SE MIDE ACTUALMENTE LA CALIDAD UNIVERSITARIA? Actualmente existen en Chile varios sistemas de medición de la calidad que se asocian fundamentalmente a una evaluación cuantitativa de la calidad. Los entrevistados identificaron claramente dos mecanismos, los Rankings universitarios y la acreditación institucional y de programas. A pesar de considerarse un proceso que incluye etapas diferentes, la acreditación aparece fuertemente asociada a la idea de los rankings, pues se reconoce en ella la expresión de un ordenamiento (o ranking) en el resultado final de años de acreditación otorgado a las instituciones como parte del aseguramiento de su calidad. VI.1.1 Los Rankings Universitarios Para hablar de los rankings y de su influencia necesitamos previamente conocer qué es un ranking, cómo y en qué contexto se construye, y describir las principales características que lo hacen una narrativa sobre calidad universitaria. Presentamos a continuación un estudio de tres rankings publicados en Chile a partir del cual intentaremos abocarnos a la tarea explicativa de analizar los discursos que éstos proponen. VI.1.1.1 Estudio descriptivo de tres rankings publicados en Chile La primera parte de este estudio incluye una descripción individual y sintética de tres rankings utilizados en Chile que se realizó a partir de la información disponible en los formatos donde cada uno de ellos fue publicado, a través de sitios web, revistas y periódicos. Además, se 37 utilizaron como fuentes de información, noticias y avisaje publicitario de las universidades, publicados en los mismos medios de comunicación donde se presentan los rankings. Los criterios considerados para la elección de los rankings a estudiar fueron: que incluyeran un número significativo de universidades chilenas, que tuvieran un impacto mediático significativo (o que aparecieran como noticia en medios nacionales) y, que tuvieran una cierta cantidad de años de existencia o que no fueran publicados por primera vez. Aquellos que mejor cumplieron con estas tres condiciones fueron: el QS University Ranking-Latin América, proveniente de Reino Unido; el Ranking de Universidades de la Revista Qué Pasa y el Ranking GEA Universitas-El Mercurio, ambos construidos en Chile. La segunda parte del estudio aborda un análisis crítico de los rankings a partir de los tres ejemplos previamente descritos. Considerando que los contextos de producción y divulgación de los rankings presentan importantes diferencias que queremos demarcar para los fines de la investigación, nos referiremos a la producción o construcción de los mismos de manera independiente de su publicación y divulgación a través de medios de comunicación, donde la información es utilizada por instituciones y medios para difundir total o parcialmente los resultados del ranking. Sobre esta primera distinción nos referiremos más extensamente en los siguientes capítulos de la investigación. a) QS University Ranking - Latinamérica El ranking QS (QS Quacquarelly Symonds, 2014) ha tenido un creciente impacto noticioso en el país desde su primera aparición en el año 2011 (P. Universidad Católica de Chile, 2011), (La Nación, 2011), (El Mercurio, 2014), (Portal Minero, 2014), (El Mercurio, 2012), (La Tercera, 2011), (24 Horas, 2014), cuando incorpora en un solo ranking al conjunto de universidades de la región, entre las cuales se ubican algunas universidades chilenas. En la última versión del ranking QS para Latinoamérica 2014-2015 figuran 31 universidades chilenas entre un total de 300 instituciones evaluadas. Siete de ellas están dentro de las primeras 50 universidades latinoamericanas que ocupan las posiciones más destacadas, la P. U. Católica de Chile ocupa el primer lugar, la U. de Chile el puesto n°6 y la U. de Concepción, el n° 12. Desde su última publicación, el ranking está siendo utilizado por algunas de ellas como parte de su publicidad en medios de difusión nacionales (El Mercurio, 2014), (Universidad Diego Portales, 2014), (P. Universidad Católica de Valparaíso, 2014), (La Tercera, 2014), (P. Universidad Católica de Chile, 2014), (Universidad Andrés Bello, 2015) . 38 El ranking es producido por Quacquarelly Symonds (QS), un grupo vinculado a la industria de la educación superior a nivel mundial que viene produciendo rankings e información relativa a eventos y oferta de estudios superiores desde el año 2004, fecha en que publica el primer ranking mundial de universidades. QS es una empresa británica con sede en Londres, fundada en el año 1990 como una iniciativa estudiantil de su actual gerente, Nuncio Quacquarelly Symonds, mientras éste realizaba sus estudios de MBA en Pennsylvania. El primer producto lanzado fue una guía de las mejores escuelas de MBA en el mundo que evolucionó con los años hasta generarse en el año 2004, The-QS World University Ranking en colaboración con Times Higher Education, uno de los actuales líderes en materia de rankings internacionales. Actualmente la empresa del conglomerado que produce los rankings, QS Intelligence Unit (QS Intelligende Unit, 2014), cuenta con más de 150 profesionales e investigadores y con sedes a través del mundo en las ciudades de Londres, Paris, Singapur, Boston, Washington D.C, Johanesburgo y Alicante. Además de publicar anualmente una serie de rankings a nivel mundial y por regiones, ofrece a potenciales estudiantes una vasta cantidad de información para seguir estudios de pre y postgrado en diferentes lugares del mundo. QS se plantea en su sitio web (QS Quacquarelly Symonds, 2014) como el proveedor líder mundial de información y soluciones para la educación superior, destacando una amplia oferta de estudios internacionales y toda la información relacionada para acceder a ellos: promociona eventos y ofrece guías de universidades en diferentes países, orienta sobre las mejores ciudades del mundo para estudiar, dónde estudiar según diferentes disciplinas o dónde están las mejores facultades en una determinada disciplina, cómo preparar un examen para ingresar al postgrado, cómo gestionar una beca y obtener visas, entre algunos de los temas que desarrolla. Además, QS Intelligence Unit (QS Intelligende Unit, 2014) ofrece a las instituciones los servicios de consultoría, benchmarking y QS Stars 14 para universidades y escuelas de negocios, servicios que realiza utilizando la misma información recogida por más de 20 años para construir cada uno de los rankings que produce. La mayoría de estos servicios se ofrecen como agregados o “combos” 14 Es un mecanismo de rating paralelo al ranking, desarrollado a partir de una auditoría que evalúa el desempeño de la universidad sobre ciertos parámetros. Se reconoce a la institución con una cierta cantidad de estrellas que le permiten “brillar”, independientemente de su posición en el ranking y son una herramienta útil para hacer marketing y comunicar fácilmente a las comunidades las áreas fuertes de la institución.http://www.topuniversities.com/qsstars#sorting=overall+country=+rating=+order=desc+orderby=uni+search= 39 que incluyen productos adicionales y la posibilidad de aparecer en el sitio web del grupo QS cuya visibilidad mundial, según señalan, está ampliamente garantizada: más de 50 millones de visitas el año 2012 y difusión en más de 4.000 periódicos y portales de noticias en el mundo. Los costos de los servicios ofrecidos varían entre los USD 3.000 a USD 55.000 y una cantidad no despreciable de instituciones aparece listada como clientes, entre ellas, tres universidades chilenas (Universidad Andrés Bello, 2015). A modo de ejemplo, el servicio de benchmarking tiene un costo de USD 45.000 y utiliza los datos de 10 años para comparar un número determinado de universidades que son elegidas por el cliente. El servicio se ofrece como una herramienta para la planificación estratégica de las instituciones y para fortalecer la investigación. QS destaca como partners y clientes a instituciones universitarias, gobiernos y a más de 300 medios de comunicación en el mundo; los valores asociados a su marca son “trusted independant - global” (confiable, independiente y global). Dentro de los media partners de QS aparecen algunas organizaciones chilenas entre las cuales destacan la P. Universidad Católica de Chile, la Escuela de Economía y Negocios de la U. de Chile, Universidad de Concepción, Universidad Diego Portales y Universidad Alberto Hurtado. El sitio web de QS Intelligence Unit (QS Intelligende Unit, 2014) registra, junto a la publicidad de universidades de diferentes latitudes, discursos testimoniales de autoridades de varias instituciones que han contratado uno o varios de los servicios ofrecidos, refiriéndose a las bondades y beneficios logrados por la institución a partir de los servicios contratados. Un dato adicional que aparece en forma destacada en su sitio web es la vinculación con el IREG Observatory (IREG Observatory on Academic Ranking and Excellence, 2014), de quien obtuvo recientemente la certificación internacional de los rankings que produce. El IREG Observatory es una iniciativa que nace a partir de la UNESCO European Center for Higher Education y un grupo de expertos internacionales. Es una organización sin fines de lucro fundada en Bélgica el año 2008 y con oficina técnica en Polonia, integrada por representantes de rankings, universidades y otras instancias internacionales cuya principal misión ha sido trabajar por la calidad de los rankings universitarios. Actualmente una de sus ofertas es la auditoría y certificación de rankings universitarios a través del mundo, servicio que es vendido a los interesados. 40 El QS University Rankings: Latin América (QS Quacquarelly Symonds, 2014) considera cuatro dimensiones de análisis (Anexo I) que se focalizan en la docencia, empleabilidad, investigación e internacionalización como los aspectos fundamentales a medir para emitir un juicio de calidad sobre las universidades. Utiliza siete indicadores ponderados en diferente cuantía que permiten generar el puntaje final en torno al cual se ordena la posición final de las universidades en el ranking. Dos de los principales indicadores representan encuestas de percepción de académicos y empleadores y en conjunto pesan el 50% del puntaje final. Los restantes cinco indicadores se refieren a datos cuantitativos que son recolectados desde los respectivos países anualmente a través de fuentes de información, usualmente provenientes de los gobiernos. b) Ranking de Universidades Revista Qué Pasa El ranking universitario de la revista Qué Pasa se desarrolla localmente desde el año 2000 y está enfocado a dar a conocer lo que opina el mercado laboral sobre la calidad de los planteles universitarios del país (Revista Qué Pasa, 2013). Se construye fundamentalmente a partir de una encuesta de percepción realizada a empleadores sobre el desempeño de los graduados que contratan en sus empresas, sin embargo desde el año 2013 se incorporan una serie de nuevos indicadores que son destacados en la revista como indicadores “certificados por el SIES y CONICYT del Ministerio de Educación, los mismos que informan la situación del país a la OCDE y que entregan información sobre la calidad de la gestión institucional, académicos y alumnos y sobre el nivel de investigación de las universidades” (Revista Qué Pasa, 2013) El levantamiento de información sobre la percepción de calidad de los empleadores es realizado por la empresa consultora experta en investigación de mercados, TNS15 y en el último año se hizo a una muestra de 460 ejecutivos quienes deciden directa o indirectamente la contratación de profesionales egresados de las diferentes universidades en cargos de primera línea, es decir gerentes o subgerentes de las empresas encuestadas. Se señala que la mitad de la muestra corresponde a empresas ubicadas en la región metropolitana y la otra mitad a empresas regionales. La encuesta se hace en forma telefónica y consiste en asignar una nota de 1 a 7 (donde 1 es la de más mala calidad y 7 la de mejor calidad) a cada una de las universidades 15 http://www.tnsglobal.cl/ 41 evaluadas. No se presentan mayores detalles metodológicos ni sobre la cobertura ni sobre el contenido de las encuestas. Los estudios se publican masivamente una vez al año en la edición impresa de la revista que tiene circulación nacional y en su versión web, que está accesible durante todo el año hasta la siguiente publicación. La última publicación fue auspiciada por más de diez universidades que compraron derechos de avisaje entre sus páginas, incluido un inserto de dos páginas de una universidad que anuncia la creación de una nueva facultad y el lanzamiento de un programa de doctorado. La publicación está a cargo de un equipo periodístico que ha recogido la información enviada cada año, directamente desde las universidades que van a ser rankeadas. El contenido de los avisajes de las universidades auspiciadoras se refiere, en general, a información sobre indicadores de desempeño que muestran el tamaño de su oferta, describiendo su planta académica, programas y carreras, vinculaciones nacionales e internacionales, y hacen referencia a distintas fuentes de información, incluyendo la Comisión Nacional de Acreditación, CNA, otros rankings nacionales y el mismo ranking de la revista. Otras universidades muestran sus sellos valóricos a través de distintivas imágenes y frases alusivas (Revista Qué Pasa, 2013). La metodología del ranking propone cinco dimensiones de análisis: percepción calidad que el mercado laboral otorga a cada universidad, gestión institucional, calidad del cuerpo académico, calidad de los alumnos y niveles de investigación de las universidades (Anexo II). Para medir algunas de estas dimensiones se utilizan indicadores de uso común en el área de educación superior del país como los denominados indicadores de eficiencia (tasa de retención, duración de la carrera) en clara alusión a las capacidades de gestión que debiera tener una universidad para evitar que sus estudiantes deserten en los primeros años y para asegurar que se titulen en tiempos “prudentes” en comparación al tiempo teórico según el cual el plan de estudios de la carrera se ha diseñado. Se considera también el resultado de la acreditación institucional, medida en años, como un indicador de calidad institucional otorgada tras una evaluación de expertos externos e independientes de la institución. También son de uso nacional los indicadores que dicen relación con los resultados de la prueba de selección universitaria, PSU. 42 c) Ranking GEA Universitas – El Mercurio Este ranking surge en el año 2011 como respuesta al uso y difusión que tienen los dos rankings universitarios existentes en Chile en ese momento, generados por dos revistas especializadas en temas económicos y políticos. Se consideró un desafío trabajar en un ranking que permitiera comparar adecuadamente instituciones, considerando que una de las principales falencias detectadas en los rankings existentes era que establecían los mismos criterios comparativos para un sistema que presentaba una gran diversidad institucional. En otras palabras, se intentó superar la comparación trivial de “peras con manzanas” que hacían la mayoría de los rankings, para lo cual se diseñó, como primer paso, una clasificación de universidades en cuatro grupos diferentes y luego se procedió a comparar instituciones de similares características en cada uno de ellos, generándose cuatro rankings diferentes que miden calidad universitaria en el sistema chileno (El Mercurio-GEA Universitas, 2014) La iniciativa surgió al interior de la Red Universitaria Cruz del Sur, conformada por cinco universidades chilenas de investigación y doctorados y liderada por el entonces rector de la PUC, Pedro Pablo Rosso. El año 2014, el ranking va en su tercera versión y se ha convenido su difusión por medio de una alianza entre la consultora GEA Universitas16, generadora de los rankings y el diario El Mercurio que los publica y difunde masivamente a través de una publicación especial impresa y también a través de un sitio web (Universitas - El Mercurio, 2014) donde se describe ampliamente la metodología utilizada. El equipo de GEA Universitas está integrado por académicos con experiencia en investigación en universidades chilenas y extranjeras y por asesores con trayectoria en educación superior. Desde el año 2012, a solicitud del diario El Mercurio, se trabaja en la producción de un ranking general que mide y compara solo los aspectos comunes a todas las universidades del sistema que se encuentran en el ámbito de la docencia de pregrado. El diario difunde los rankings con el objetivo de “orientar a los estudiantes, aportando criterios de calidad sobre las instituciones que vayan a elegir para seguir una determinada carrera” (Universitas - El Mercurio, 2014), a través de un suplemento especial que aparece cada año en la semana previa a la rendición de la PSU y a los procesos de admisión y matrícula de los nuevos postulantes a las universidades chilenas. La publicación considera en forma limitada la oferta de avisaje de parte de las universidades. GEA Universitas, Grupo de Estudios Avanzados en Educación Superior, http://www.geauniversitas.cl/site/somos/ 16 43 Se hace énfasis en que los estudios se realizan utilizando fuentes de datos públicas que se encuentran disponibles en los sitios web de instituciones dependientes del Ministerio de Educación que tienen la misión de recoger y validar la información desde las casas de estudio. Entre las principales instituciones proveedoras de información se cuentan el Servicio de Información de la Educación Superior, SIES, Consejo Nacional de Educación CNed y la Comisión Nacional de Acreditación, CNA. La clasificación de universidades chilenas (Reyes & Rosso, 2013) que luego permite comparar universidades dentro de cada grupo se inspira en la histórica clasificación creada en los años 60 por la Carnegie Foundation (Carnegie Commission on Higher Education, 1973) que al igual que en este caso, busca “aportar claridad al sistema para fines de investigación y de apoyo a las políticas públicas”. El sistema de clasificación considera como principio orientador las misiones institucionales declaradas por las universidades y en coherencia con ello, las universidades se clasifican según las actividades que ellas realizan. Así, se asume una primera distinción en el sistema chileno, reconociendo que existen dos grupos diferenciados de instituciones, un grupo dedicado principalmente a la docencia que no ofrece programas de doctorado (acreditados) y el otro grupo de universidades, que además de realizar actividades docentes, se distingue por la oferta de este tipo de programas. Como segundo criterio diferenciador, cada uno de los grupos se dividen según el nivel de investigación que desarrollan en las distintas disciplinas, configurándose cuatro grupos diferentes de instituciones (Figura N° 2, pág.33): Grupo 1: Universidades Docentes; Grupo 2: Universidades Docentes con proyección en Investigación; Grupo 3: Universidades de Investigación y Doctorado en áreas selectivas; y Grupo 4: Universidades de Investigación y Doctorado (estas últimas cubren todas las áreas disciplinarias). Las pruebas estadísticas aplicadas validan la pertinencia de la clasificación lo que permite a continuación construir un ranking por grupo, basado en indicadores pertinentes para cada grupo que permiten medir y comparar instituciones de similares características. Las dimensiones de calidad utilizadas en los rankings se basan en el reconocimiento del modelo tradicional de universidad que considera que toda universidad que se precie de tal debe desarrollar, además de las actividades propias de la docencia, un componente fundamental de actividad en investigación. Se usó también el modelo de Universidad “de clase mundial” que propone Jamil Salmi (Salmi, 2009) que sostiene que para que los países logren tener 44 universidades de este tipo se requieren tres elementos: captar personas con talento (buenos estudiantes y buenos profesores), disponer de suficientes recursos materiales y financieros, y desarrollar una buena gestión institucional y gobernanza, en un contexto de políticas públicas que resguarden la autonomía de las instituciones. De este modo derivan las seis dimensiones evaluadas en los rankings: calidad de los estudiantes, calidad de los académicos, calidad de los procesos formativos, calidad de la investigación, calidad de la oferta de doctorados y calidad de la gestión institucional. La elección de los indicadores que representan estas dimensiones se basa solo en la información disponible en fuentes de datos públicas y se intenta poner los énfasis en aquellas cuestiones que se consideran importantes de acuerdo a las bases conceptuales señaladas (Anexo III). La clasificación obliga a medir la calidad en cada grupo de diferente manera. Se usan los mismos indicadores y ponderaciones para los grupos 1 y 2; y a estos se le agregan aquellos referidos a la investigación, doctorados e internacionalización que conforman el conjunto de indicadores que miden la calidad de las instituciones integrantes de los grupos 3 y 4 (Anexo IV). Al igual que en los casos anteriores es posible advertir en la publicación de este ranking el avisaje de las mismas universidades que son evaluadas en el ranking y que luego replican sus resultados (la posición que ocupan en relación a otros) en la publicidad que realizan en sus propios sitios web o en otros medios de comunicación (Universidad de Talca, 2014), (Universidad de Concepción, 2014), (Universidad de los Andes, 2014). VI.1.1.2 Análisis crítico de los rankings desde el punto de vista de su construcción y divulgación Dimensiones e Indicadores de los tres rankings estudiados El siguiente cuadro (Tabla N°2) describe en detalle el conjunto de dimensiones e indicadores asociados a cada uno de los rankings descritos e incluye las ponderaciones o pesos de cada cual que incidirán en el puntaje final obtenido. Fueron calculados sobre la misma base a fin de que sean fácilmente comparables. 45 Previo al análisis conviene explicitar algunos supuestos en el ordenamiento de los indicadores. Aquellos correspondientes a los académicos son usualmente asociados –y así lo confirman los tres rankings estudiados-, con las capacidades investigativas de la universidad, siempre que consideremos el indicador “porcentaje de académicos con PhD” como un proxy17 válido de la productividad científica, asumiendo que cualquier académico habilitado con este grado lo hace espontáneamente productivo, cosa que no es necesariamente evidente. RANKING INDICADORES QS-Latin América % AFI (Aporte Fiscal Indirecto) Estudiantes 6% % NEM (Notas Enseñanza Media) % PSU (Prueba Selección Universitaria) % Académicos PhD 4,5% 0 15% 15% 10% 9% 5% % Acad. Magister o Esp. Médica 6% % Académicos Jornada Completa 5% Publicaciones por académico SUBTOTAL Citas por publicación o CCP DIMENSIONES Investigación 7,5% 5% 20% 22,5% 15% 10% 7,5% 5% 5% Publicaciones más citadas 5% 10% 7,5% 5% % programas doctorado acreditados 5% Promedio años acreditación prog. Doctorado Estudiantes por profesor 5% 0% 10% 0% 15% 3% 6% Retención 2,25% 3% Brecha duración carreras 2,25% 3% Promedio años acreditación carreras SUBTOTAL 18% 10% Acreditación Institucional Gestión institucional ENCUESTAS 15% n° programas doctorado acreditados SUBTOTAL Gestión académica 10% Publicaciones primer cuartil SUBTOTAL Doctorados Universitas- El Mercurio* 15% 4,5% SUBTOTAL Académicos Qué Pasa Impacto web o grado internacionacionalización 7,5% 30% 7,5% 7,5% 10% 1% Gasto por alimno 1,5% SUBTOTAL 10% 7,5% 10% SUBTOTAL DIMENSIONES 50% 60% 100% Encuesta Empleadores 20% 40% Encuesta académicos 30% SUBTOTAL ENCUESTAS TOTAL RANKING 50% 100% 40% 100% 0% 100% Tabla N°2. Dimensiones, Indicadores y distribución de porcentajes asignados en los tres rankings estudiados. (Elaboración propia) 17 Datos que tienen cierta correlación estadística con otros a partir de los cuales es posible inferir un resultado. 46 De acuerdo a la tabla es posible distinguir cuáles son los factores o dimensiones que intervienen en la calidad de las instituciones y de acuerdo a sus pesos porcentuales totales, podemos ver cuáles son aquellos aspectos de la calidad universitaria que tienen mayor incidencia en cada uno de los rankings. Las dimensiones de calidad evaluadas son estudiantes, académicos, investigación, postgrado (doctorados), gestión académica y gestión institucional. En los tres casos analizados, las dimensiones elegidas coinciden mayoritariamente, todos los rankings evalúan la gestión institucional, la calidad de los académicos, la gestión académica y la investigación; solo excepcionalmente se evalúa el postgrado (doctorados) y la calidad de los estudiantes que es un factor particularmente utilizado en Chile pero escasamente usado en rankings internacionales, aparece solo en los dos rankings nacionales (Qué Pasa y GEA Universitas). La dimensión calidad del postgrado, que representa la capacidad y calidad con que las instituciones forman especialistas en investigación, es considerada solo en el rankings GEA Universitas-El Mercurio. En el caso de la Gestión Institucional hay también algunas diferencias importantes que evidencian una diversidad de representaciones, mientras para el ranking Qué Pasa, ésta queda representada por un solo indicador, el resultado de la acreditación institucional; y para el QS por un indicador que mide el impacto de apariciones en la web como un proxy de la presencia internacional; en ranking GEA Universitas-El Mercurio se utilizan tres indicadores diferentes donde la acreditación institucional concentra el mayor peso entre tres, acreditación, gasto por alumno e internacionalización, este último, medido por el porcentaje de estudiantes de procedencia extranjera en la institución. En términos del peso o importancia asignada a los indicadores involucrados puede decirse que los tres rankings privilegian en cierta medida la dimensión investigación en su evaluación. El 30% del puntaje final en el caso de QS, 24% en Qué Pasa y 25% en GEA Universitas, tiene que ver con las capacidades para investigar (% académicos con PhD), con los resultados de investigación (publicaciones por académico) y con la calidad de la investigación producida (citas por publicación, publicaciones del primer cuartil y publicaciones más citadas). Sumando a estos indicadores aquellos que miden la calidad de la formación de postgrado (doctorado), cuyo desarrollo va de la mano de la investigación, el ranking GEA Universitas eleva la importancia asignada a esta área a un 35%. Por otra parte, si consideramos la reputación lograda por las instituciones en las disciplinas (encuestas de opinión a académicos) como un proxy de la calidad lograda en investigación disciplinaria, en el caso del Ranking QS, la 47 importancia asignada a esta área subiría al 60% del total. En contraposición al énfasis puesto en medir la investigación, está la importancia otorgada a la gestión docente, tema particularmente relevante en la formación de pregrado, donde los porcentajes de peso asignado por los rankings son comparativamente menores (10% en QS y 7,5% en Qué Pasa), exceptuando GEA Universitas que asigna un 30% a esta dimensión, haciéndola comparativamente similar a la importancia asignada a la investigación18. Podríamos entonces concluir que los rankings revelan un cierto estándar en la evaluación que apunta hacia aquellas universidades que se orienten mejor al desarrollo de la investigación, en desmedro de aquellas que se concentran más en desarrollar aspectos docentes. Esto es especialmente notorio en el caso de los dos primeros rankings (QS y Qué Pasa) pues estos evalúan por igual a todas las universidades, en cambio GEA Universitas considera en forma previa al ranking una clasificación de universidades que discrimina con diferentes ponderaciones según el tipo de universidad del que se trate. La metodología del Ranking QS no difiere sustancialmente de otros rankings internacionales que utilizan prácticamente los mismos indicadores para evaluar las dimensiones consideradas (Times Higher Education, 2014), (Shanghai University Rankings, 2014), excepto por la importancia otorgada a los resultados de dos estudios de opinión que se suman a los resultados de indicadores cuantitativos y por el uso del indicador “impacto web”, derivado de un ranking español de visibilidad on-line que se ha considerado como proxy del grado de internacionalización de las instituciones, cuestión ampliamente debatible. Sobre las encuestas no hay mayores detalles en el sitio web, más allá de datos como el total de personas encuestadas en ambos estudios por país. Esta falta pone una nota de alerta sobre la metodología utilizada ya que se desconoce la cobertura de las encuestas, el tipo de encuesta utilizada, las preguntas realizadas y si la muestra de encuestados por país es significativa y representativa de la realidad de las naciones, lo que en suma no aminora posibles sesgos o tendencias en los resultados. Con todo, recoger la opinión de académicos y empleadores sobre 18 Corresponde destacar que en el caso de GEA Universitas-El Mercurio, existe una clasificación previa al ranking que plantea cuatro grupos diferentes de universidades lo que genera cuatro rankings diferentes que consideran distintas ponderaciones de los indicadores utilizados. Luego, para efectos de comparar los tres rankings estudiados, se utilizaron las ponderaciones correspondientes al grupo 4 de Universidades de Investigación y Postgrado. 48 la calidad de las instituciones remite a juicios de valor que relativizan la idea de calidad universitaria. De manera similar, en el ranking Qué Pasa se asigna parte importante del puntaje final a la percepción de empleadores sobre los graduados (40%), traspasando directamente al mercado del empleo el juicio de calidad sobre la institución a partir de sus egresados. El 60% restante se divide entre los restantes factores que en parte hemos analizado. GEA Universitas es el único de los tres rankings que no utiliza encuestas de percepción basando su construcción solo en indicadores cuantitativos; además es el único ranking de los tres que aporta una clasificación previa de universidades lo que indica ciertamente un cuidado mayor en las consideraciones previas a la operación comparativa. Metodología, indicadores y datos utilizados en la construcción de los rankings La construcción de los rankings es una tarea que, en general, compete e involucra a expertos o a personas con el conocimiento técnico suficiente para trabajar con datos y construir el diseño metodológico de las mediciones. En los rankings estudiados, dos de las iniciativas (QS y GEA UNIVERSITAS-El Mercurio) otorgan antecedentes y credenciales académicas sobre los equipos que tienen a cargo la elaboración de los estudios, en cambio el Ranking Qué Pasa es un poco más hermético y no identifica especialistas. Distinto es el caso de quien usa el ranking con fines de difusión, o podríamos también decir, de quien “consume” los rankings como información, una vez presentados por los medios de comunicación, pues se trata mayoritariamente de un público “no experto”. Distinguimos de este modo dos maneras diferentes de relacionarse o aproximarse a los rankings según el tipo de actor involucrado. Los rankings se refieren a un ordenamiento de las universidades, de mayor a menor valor, según un puntaje calculado a partir de un algoritmo que se construye en base a la ponderación de indicadores o índices, que representan diferentes dimensiones de calidad de las universidades. Entre estos índices se puede incluir también un puntaje asociado al resultado de la aplicación encuestas de percepción con una determinada ponderación. Se trata de la configuración de un modelo matemático que involucra el uso de ciertas variables ya conocidas. Su validez tiene que ver con una lógica matemática y coherencia metodológica que representa la abstracción de una idea de calidad universitaria a partir de la información disponible. Este 49 desarrollo se circunscribe, en la lógica de los expertos o especialistas que lo construyen (estadísticos, metodólogos, etc.), a un ejercicio científico-técnico cuyo resultado, el ranking, quedará validado si la metodología utilizada es consistente en el tiempo y no tiene cuestionamientos lógico-matemáticos. En lenguaje matemático, podemos definir la calidad “C” de una determinada institución “i ”, como una función de diferentes dimensiones de calidad, f (dj), donde el subíndice j representa las diferentes dimensiones de calidad y es un valor que varía entre 1 y m, dependiendo del número de dimensiones que se van a medir. Además, “n” representa el total de universidades consideradas en el ranking . Nuestra fórmula entonces puede escribirse como: C i = f (dj ) donde i = 1,n y j = 1,m Para avanzar en la definición de las dimensiones a evaluar y la forma en que estas se relacionan para obtener finalmente una cierta calidad C de la institución i, podemos en principio plantear el algoritmo en los siguientes términos: Ci = Donde i = 1, n según el número de instituciones a evaluar j = 1, m según el número de dimensiones a medir, y αj es el porcentaje con que se pondera la dimensión dj Además, 0 ≤ ≤1 Lo que significa que la calidad C de la Universidad i puede definirse como la sumatoria de j dimensiones que serán evaluadas y ponderadas de cierta manera. Por otra parte, podemos definir una dimensión de calidad dj en función de un grupo de indicadores Ik que la definen de la siguiente manera: Dj = 50 donde (I * )k corresponde al indicador I ponderado en un porcentaje y el subíndice k representa el número de indicadores y sus correspondientes ponderaciones que se suman l veces. Análogamente, j = 1, m según el número de dimensiones a medir, k = 1, l según el número de indicadores que representa la dimensión, y0≤ ≤1 Luego, nuestro algoritmo de cálculo final de la calidad C para la universidad i puede escribirse como: Ci = Para la expresión anterior del ranking de instituciones, ordenadas de mayor a menor según el valor final de Ci se asumirá que los indicadores Ik, son datos existentes y conocidos para todas las universidades evaluadas de modo que sea posible el cálculo de todas las dimensiones de calidad dj Con esta definición del algoritmo que usualmente utilizan los rankings en su construcción no pretendemos más que mostrar cómo queda representada la calidad de una determinada universidad en lenguaje matemático y cómo se construye un algoritmo, pues ambas características parecen determinantes para la legitimidad que logran los rankings en el contexto de su construcción. El discurso de quienes producen los rankings representa un esfuerzo por reducir la complejidad de una idea, cuyo abordaje matemático lo permite hasta llegar a un número y posición que se hace fácilmente transmisible a un público masivo. En esta traducción de la calidad a un lenguaje matemático, se tiende a discriminar y elegir solo ciertas dimensiones y parámetros de la calidad a partir de los datos que están disponibles y que han sido aparentemente validados por fuentes oficiales. Podríamos decir que, como en todo enfoque positivista, para dar solución a un problema, hay un esfuerzo por reducir la complejidad de la realidad observada, donde la calidad quedaría representada solo por ciertos aspectos, aquellos más significativos para quienes construyen los rankings. No queremos con este argumento minimizar el valor del método científico y de las matemáticas, cuestión que parecería absurda 51 considerando la larga historia de avances en el conocimiento que esta ciencia ha hecho posible, sino simplemente mostrar el punto preciso donde la ciencia –en este caso las matemáticas-, aborda la complejidad de una idea en el proceso de objetivación de dimensiones eminentemente cualitativas. En la lógica de la construcción de los casos estudiados, no se destaca claramente como parte de la metodología una etapa previa de abordaje teórico sobre la idea de calidad universitaria a partir de la cual deberían surgir los indicadores a medir y consecuentemente, los requerimientos de datos a utilizar, y no a la inversa, como aparentemente ocurre en los casos estudiados. La decisión sobre qué dimensiones incluir o no en la construcción del ranking puede también dar cuenta de una idea de calidad ciertamente predeterminada, pareciera que existe una concepción implícita sobre cómo debiera ser una buena universidad que trasciende a la construcción de los rankings y que de algún modo determina a priori cuáles debieran ser los aspectos a medir y cuáles no. a) Críticas a la metodología En los aspectos metodológicos se concentran, en general, las principales críticas a los rankings que se presentan en Chile y el mundo (Usher & Savino, 2006), (Meller & Rappoport, 2006), (Albach, 2012), (Marginson & Van der Wende, To Rank or be Ranked: The impact of global rankings in Higher Education, 2007), (Ordorika & Rodriguez, 2010), (Marginson, Global University Rankings: Implications in General and for Australia, 2007). La falta de consistencia metodológica como una alta ponderación otorgada a aspectos históricos o cuantitativos, estos últimos asociados principalmente al número de profesores y a los resultados en investigación, favorece a las instituciones más antiguas y de gran tamaño con respecto a las más jóvenes y de menor tamaño (Reyes & Rosso, 2013). Explícitamente reconocidos como un mecanismo de medición, los entrevistados expresaron fuertes críticas a la manera en que los rankings miden la calidad, fundamentalmente por la forma en que estos han sido construidos. A los cuestionamientos más o menos conocidos en la literatura sobre la metodología empleada, la confiabilidad de los datos utilizados y el uso de algunos indicadores (Morley & Aynsley, Employers, Quality and Standars in Higher Education: Shared Values and Vocabularies or Elitism and Inequialities?, 2007), se agregan discrepancias en torno a aspectos más específicos como el uso de ciertos indicadores para medir calidad de la 52 docencia. Sin embargo, también se reportaron algunos aspectos positivamente valorados de los rankings, como la transparencia que aportan y la posibilidad de comparar instituciones. Los rankings son una simplificación de una idea compleja Los rankings aparecen bajo la sospecha de los entrevistados. La mayoría de ellos, conocedores de la realidad universitaria, mira con suspicacia el resultado que los rankings arrojan, enfatizando la necesidad de una adecuada lectura conjunta de los indicadores pues conocen los detalles de su construcción. Son conscientes de las dificultades que conlleva la cuantificación de dimensiones cualitativas de las funciones que desarrolla la universidad y por tanto expresan -como expertos- las precauciones necesarias para una adecuada comprensión de los resultados. Algunos de los entrevistados los caracterizaron como una fotografía del conjunto de universidades en un determinado momento, otros, como simple información. Uno de los entrevistados se refiere a los rankings en los siguientes términos: “[los encuentro] extremadamente peligrosos por la simplificación. [El ranking] por esencia, tiende a numerar lo que es cualitativo. ¿Y cómo mides la calidad de una sonrisa? Si [los rankings] están construidos en base a indicadores, entonces son sesgados. [Los indicadores] están llenos, llenos, llenos de trampas; y si [yo] no soy consciente del sesgo, puedo producir injusticias brutales”. (Rector, Universidad Privada, de Investigación y Doctorado en áreas selectivas, Metropolitana) También resulta cuestionable la alta ponderación otorgada a elementos subjetivos y de prestigio, como la opinión de pares académicos, de estudiantes o de representantes del mundo laboral como en el caso de dos de los tres rankings estudiados, donde salta a la vista la falta de información sobre los diseños metodológicos de las encuestas de percepción que se aplican tanto en el ranking QS, que incluye a empleadores y a académicos, como en el ranking Qué Pasa que incluye solo a empleadores. En el caso de este último, la falta de información sobre la metodología utilizada en el levantamiento de opiniones de las encuestas plantea serias dudas sobre los criterios definidos para escoger la muestra de empleadores. En la descripción metodológica, se habla solo de ejecutivos, no queda claro si –por ejemplo-, se consideran o no a empleadores del sector público; a qué tipo de sectores económicos pertenecen y cómo estos reclutan a graduados de universidades que están focalizadas en ciertas áreas de desarrollo, como las humanidades o ciencias sociales, por ejemplo. Tampoco sabemos si la muestra cubre 53 razonablemente bien y bajo qué criterios de distribución la localización geográfica de las instituciones que son evaluadas. Sabemos que las universidades regionales aportan solo la mitad de los graduados a nivel nacional (SIES, 2012), lo que sostiene que se entreviste a la mitad de los empleadores en regiones, pero ello no justifica que se omita información sobre estos aspectos. En la muestra de universidades que representan los entrevistados, la queja mayoritaria de las universidades que ocupan los últimos lugares es generalmente, en contra de la metodología, aunque tal vez esta crítica oculta otro fin, que es invalidar el ranking donde se las presenta como instituciones de la peor calidad pues el daño más profundo es contra su imagen y prestigio, cuestiones que parecen difíciles de ser revertidas (Fernández & Bernasconi, Elementos conceptuales para el análisis organizacional de universidades en contextos de mercado, 2012). Para aminorar las posibles críticas u opiniones en contra de la metodología utilizada y de los posibles sesgos que ésta pudiera acarrear, QS presenta su metodología con una certificación de calidad otorgada por un organismo internacional aparentemente autónomo, el IREG Observatory19, que le otorga prestigio y confiabilidad. Cuestión similar hace el ranking Qué Pasa y GEA Universitas-El Mercurio, que se vinculan a organizaciones serias y confiables en las fuentes de datos para el cálculo de los indicadores. Los dos rankings chilenos que reiteran el uso de fuentes públicas de datos asociadas al Ministerio de Educación, parecen buscar allí un aval de confiabilidad sobre las propuestas presentadas. Qué Pasa es explicito al referirse a las fuentes como “las mismas que aportan los datos a la OCDE”. Otra manera de validar los rankings es apelando a los autores que los sustentan y construyen, sean estos personas con antecedentes de especialistas o personas de reconocido prestigio y trayectoria en el ámbito de la educación superior, de manera que nadie pueda dudar de la seriedad y por tanto de la confiabilidad de la propuesta presentada. Este es el caso del Ranking GEA Universitas-El Mercurio, liderado por un ex rector de la Pontificia Universidad Católica de Chile. 19 http://ireg-observatory.org/en/ 54 b) El tipo de indicadores que se construyen Todos los rankings se basan en el uso de indicadores o índices agregados, aunque ponderados en diferente proporción. Las ponderaciones se asignan en forma aparentemente arbitraria pues en ninguno de los casos analizados ni en otros casos en los que se investigó este aspecto, explican en su metodología los fundamentos bajo los cuales se definen las ponderaciones de las dimensiones e índices evaluados. En el caso de los Rankings analizados solo uno de ellos se construye íntegramente en base a índices cuantitativos (GEA Universitas-El Mercurio); los otros dos se basan, además, en los resultados de encuestas de percepción de calidad de pares académicos y/o empleadores donde tampoco se justifican los pesos de tales factores en el puntaje final. Un aspecto que puede destacarse es el tipo de indicadores utilizados, lo que es especialmente notorio en los dos casos de rankings chilenos. El uso de indicadores de eficiencia y productividad, conceptos muy cercanos a la empresa, parecen haberse trasplantado a la organización universitaria como una forma de medir calidad. La eficiencia y productividad aplicada a la universidad se plantea como una suerte de medida del rendimiento de los académicos. Cuánto es capaz de producir o de hacer un académico en un período de tiempo. Por ejemplo, “número de publicaciones anuales por académico”, es un indicador de amplio uso a nivel mundial y nacional que representa bastante bien la idea de productividad. La dimensión temporal asociada al desempeño humano permite identificar estándares del tipo: cuál es la cantidad máxima de publicaciones que en un año puede generar -en este caso un académico- en su desempeño como investigador. Podemos identificar también los indicadores denominados de eficiencia docente (o gestión docente) que intentan ser un proxy válido de la calidad de la docencia. Estos miden relaciones de desempeño en torno a la labor docente o, de manera agregada, en torno a la institución: la tasa de retención estudiantil representa entonces la capacidad de los profesores y/o de la institución para mantener a sus estudiantes y evitar su deserción, pero nada dice sobre qué capacidades debe tener ese profesor. Del mismo modo, la tasa de estudiantes por profesor o duración real de las carreras, son indicadores que – siguiendo la metáfora empresarial-, en cierta forma hacen mirar la universidad como una organización para la “producción eficiente de profesionales”, es decir, la mejor universidad desde el punto de vista de la calidad de la docencia, sería aquella donde los estudiantes no desertan (o tienen bajas tasas de deserción), logran graduarse en los tiempos establecidos 55 (duración de los estudios cercanos al tiempo teórico de duración) y responden, en definitiva, a un cierto perfil de estudiante “ideal”, poco común en la realidad chilena. Uno de los indicadores que presentó reparos por parte de algunos entrevistados y que se utiliza en los dos rankings construidos en Chile, es el que se refiere a los recursos asignados a las universidades por concepto de aporte fiscal indirecto, AFI 20 , dando cuenta con ello de la calidad de los estudiantes que la universidad recibe. Aquellas que obtienen más recursos, han podido captar mayor cantidad de estudiantes con mejores puntajes en la prueba de selección universitaria, PSU21. De este modo, la calidad institucional quedaría determinada por la calidad de los estudiantes seleccionados bajo el criterio PSU, cuestión que ha sido largamente cuestionada en los últimos años, especialmente desde las universidades del CRUCH22 que promueven un Sistema Único de Admisión a las Universidades 23 . Se cuestiona el hecho de considerar exclusivamente el puntaje de la PSU como criterio de selección universitaria por mérito académico, pues estos resultados favorecen a los postulantes provenientes de colegios particulares pagados que, se sostiene, preparan mejor a los estudiantes para esta prueba, en comparación con estudiantes provenientes de colegios subvencionados o municipalizados, que presentan serias carencias formativas y consecuentemente, bajos puntajes en la PSU, y cuyos resultados no se condicen con los resultados académicos obtenidos en sus respectivos establecimientos de origen. Luego, utilizar solo el criterio PSU para definir cuál universidad es de mejor calidad, si aquella que logra captar a los mejores puntajes PSU o aquella que logra transformar en profesionales a estudiantes que ingresan con carencias formativas (y baja PSU), es una cuestión ampliamente discutible. La relatividad del concepto “calidad de estudiante” bajo este indicador hace cuestionable la forma en que estos rankings abordan esta dimensión. El uso de encuestas a los empleadores donde se pretende evaluar la calidad de los graduados, es un indicador que merece mayor reflexión. Presente en dos de los casos estudiados (QS y 20 Aporte Fiscal Indirecto, AFI es un fondo de recursos públicos que se asigna a cualquier universidad estatal o no estatal (incluidas las privadas creadas con posterioridad al año 1981) que logra captar los mejores puntajes PSU dentro de los 27.500 mejores puntajes. 21 Prueba de Selección Universitaria, http://www.psu.demre.cl/la-prueba/que-es-la-psu/caracteristicaspsu 22 23 Consejo de Rectores de las Universidades Chilenas, http://www.consejoderectores.cl/web/ Sistema Único de Admisión, http://sistemadeadmision.consejoderectores.cl/index.php 56 Qué Pasa), este indicador es coherente con la idea de que la universidad es una especie de fábrica productora de profesionales y lo que mide es el valor agregado entregado por la universidad a sus graduados; que además de graduados deben ser sujetos empleables en el mercado del trabajo, sin considerar que la empleabilidad depende de varios otros factores, en cierta medida exógenos a la institución, como por ejemplo, la oferta de empleo en el país o el capital social del que dispone el graduado y su capacidad de articular redes que faciliten su acceso al mercado del trabajo. De acuerdo a los rankings que usan este tipo de encuestas, la calidad de la universidad quedaría entonces determinada por la capacidad de la institución para formar profesionales empleables en el mercado laboral. Los rankings replican indicadores utilizados internacionalmente para validar su performance nacional. Esto es así en la mayoría de los índices utilizados para medir resultados en investigación, aunque ciertamente en este caso, porque el mecanismo que se utiliza para validar y medir lo que es o no un aporte al conocimiento, opera a nivel mundial y las bases de datos que indexan las publicaciones científicas válidas son de acceso internacional (ISI web of Science, SCOPUS). Varios de los indicadores de investigación son usados también en las evaluaciones de agencias acreditadoras y por los gobiernos cuando miden desempeño de las universidades, señalando con esto que la diversificación de su uso por parte de distintos actores en el sistema universitario mundial, avala su uso como medidas válidas de una idea de calidad de la investigación aparentemente institucionalizada internacionalmente. La mayoría de los entrevistados repara en la selección de ciertos indicadores y en la forma arbitraria en que se ponderan para llegar a un resultado agregado, pero sin desconocerles cierta utilidad para fines comparativos entre instituciones. Los entrevistados saben que los rankings están dirigidos a un público no conocedor de la realidad universitaria y son cautos en advertir que si bien los rankings aportan información sobre las universidades a quienes no conocen del tema, constituyen solo una posible lectura sobre calidad universitaria que debe asumirse con espíritu crítico, como un discurso que en ningún caso debe tomarse como una verdad absoluta. c) Fuentes de información y validez de los datos Un punto fundamental sobre el cual no se ha puesto demasiada atención en los diseños metodológicos de los rankings es la confiabilidad de los datos con que se cuenta para el cálculo de indicadores. 57 En general, los rankings apelan a la confianza derivada de las organizaciones que emiten datos, creyendo que por ser fuentes públicas y oficiales, institucionalizadas en el gobierno, resultan confiables, pero siendo exhaustivos, no hay información explícita en estas organizaciones sobre la validez de la información que producen. En el caso de los rankings chilenos, las bases de datos provenientes de fuentes gubernamentales o asociadas a ellas (SIES, Cned) se construyen a partir de información entregada por las propias universidades. Lo mismo aplica para los rankings internacionales que usan fuentes de información públicas disponibles en los países, como es el caso de QS. De acuerdo al SIES-MINEDUC 24 , solo en los datos de matrícula y académicos de las universidades, habría un proceso validatorio de la información. Este punto de vista pone un gran manto de duda sobre la confiabilidad de los resultados obtenidos y resulta crucial al momento de analizar la metodología de los rankings. Reforzando el argumento anterior, la mayoría de los entrevistados conoce los artilugios que se pueden usar para llegar a un buen resultado en las posiciones finales de los rankings y por eso varios de ellos cuestionaron tajantemente el origen de los datos que se utilizan en la medición de indicadores, aunque estos son entregados directamente al MINEDUC por las propias instituciones; hay sospechas de que la información entregada no refleja cabalmente la realidad, sino que ha sido alterada para mejorar los resultados de los indicadores y por tanto la posición final en los rankings. Algunos entrevistados cuestionaron no tanto el sistema de medición en sí, sino la calidad y confiabilidad de la información que alimenta el sistema de medición. Uno de los entrevistados lo expresa del siguiente modo: “La seriedad de los datos también puede tener algún efecto [en los rankings]. ¿La institución entrega el dato real, objetivo o entrega aquello que le conviene entregar? Por eso te digo que tengo algunas aprensiones con eso, pero no dejo de desconocer que gran parte de esos datos, son datos oficiales que nosotros mismos hemos entregado al Ministerio [y] que ellos han constatado”. (Experto, Universidad Privada, Docente con proyección en investigación, Metropolitana) Perece apropiado reflexionar aquí un poco más sobre el papel que tienen las agencias públicas de información en los sistemas de medición, y particularmente en los rankings. La definición de datos y medición formal de indicadores es una tarea que primariamente compete a estas 24 http://www.mifuturo.cl/index.php/servicio-de-informacion-de-educacion-superior/quie 58 agencias del estado y en ellas se gestiona la recopilación de información anual desde el sistema universitario; estas agencias construyen estadísticas y acumulan una historia de datos comparables en el tiempo constituyéndose así en las fuentes de información propicias desde donde los dispositivos de medición elaboran su metodología, la que siempre quedará determinada por los datos que las agencias hacen disponibles públicamente. Su poder radica en el hecho de que se erigen como las fuentes oficiales de información del estado que señalarán primariamente en el sistema lo que es propio de medir o no. El devenir de estas prácticas de medición del estado proviene de una larga historia que podemos mirar bajo el enfoque de la gubernamentalidad del estado de Foucault (Foucault M. , 2006). El estado, en nuestro caso de estudio, ha tenido una fuerte incidencia en la definición y operacionalización de la noción actual de calidad universitaria por la vía de la definición de los datos a medir. Naturalmente hay también un efecto global, como se pone de manifiesto en una serie de investigaciones que abordan el tema de la gobernanza global de los indicadores como tecnologías efectivas para el gobierno de las conductas, la producción y distribución de recursos (Davis, Fisher, Kingsbury, & Merry, 2012). Podemos observar desde Latinoamérica que el sector educativo ha estado sometido a sucesivos sistemas clasificatorios y de medición de diversos índices a partir de agencias internacionales tales como el International Bureau of Education 25 y UNESCO 26 , que desde 1925 y 1945, respectivamente, intentaba recabar información estadística sobre el desarrollo educativo de los países con fines comparativos (Rosselló, 2015). Cuestiones como la matrícula por país y el gasto por nivel educativo son solo dos ejemplos de indicadores que integran actualmente una sofisticada estructura de clasificación estandarizada para medir y comparar los desempeños que cada país tiene en materia educativa. Organizaciones como la OCDE 27 y UNESCO que han unificado sus registros de información y bases de datos, son las agencias internacionales que hoy marcan la pauta en los países occidentales sobre qué es lo importante de medir en Educación Superior. 25 http://www.ibe.unesco.org/en/about-the-ibe/who-we-are/history.html 26 http://www.uis.unesco.org/Education/Pages/default.aspx 27 http://stats.oecd.org/ 59 d) Después de la publicación de los rankings Antes de terminar con el análisis, debemos movernos hacia una nueva perspectiva para mirar con detención los mecanismos utilizados por los rankings en su divulgación, un espacio que nos saca del ámbito de su construcción. La etapa de divulgación se inicia cada año una vez publicado el ranking e involucra a nuevos actores, ya no a quienes los construyeron, sino fundamentalmente a los medios de comunicación y a las propias universidades que serán los responsables de amplificar o intensificar el discurso propuesto. Es en esta etapa de divulgación de los rankings con su persistente reiteración, donde parece radicar gran parte de su poder y permanencia en el tiempo. Mecanismos de Publicación y difusión Los tres rankings estudiados se publican anualmente y tienen su propio sitio web donde despliegan los resultados y una diversidad de información acerca de sus autores y construcción. Los tres gozan de una amplia difusión mediática que se concentra en el período de tiempo inmediatamente a continuación de su primera publicación. En la tabla N° 3 se puede observar cuál es el alcance mediático de cada uno de los rankings estudiados, cuáles aparecen destacados como noticia nacional en los medios de prensa, radio y televisión; cuáles integran páginas de publicidad universitaria en diarios y revistas y cuáles son difundidos en los sitios web de las propias universidades. RANKING QS-Latin América Qué Pasa Universitas- El Mercurio* Aparecen en la publicidad de las instituciones x PUBLICACIÓN Y DIFUSIÓN Aparecen en Realizan noticias asesorías a nacionales gobiernos e (diversidad instituciones medios de comunicación) x Aparecen en sitios web de las instituciones (difusión interna) x x x x x x x x Tabla N° 3. Mecanismos de publicación y difusión de resultados de los rankings. No realizamos un conteo exhaustivo sobre la cantidad de apariciones de cada uno de los rankings según las situaciones descritas en la tabla, sino que apelamos a ejemplos en cada uno 60 de ellos que dan cuenta del poder mediático que logran a través de las reiteradas apariciones en diferentes espacios. Es así como encontramos que crecientemente los rankings y la posición lograda aparecen mencionados en la publicidad realizada por las propias instituciones (P. Universidad Católica de Valparaíso, 2014), (El Mercurio, 2014), (Universidad de Talca, 2014), publicidad que primariamente se despliega en los sitios web de las universidades (P. Universidad Católica de Chile, 2014), (Universidad de los Andes, 2014). Los rankings como noticia en medios de comunicación de distinto formato (prensa escrita, radio, TV y web) tienen una presencia intensa, pero corta en el tiempo. Cuando el ranking es lanzado por primera vez, la noticia se esparce rápidamente en titulares de prensa y medios, pero no se sostiene por mucho tiempo hasta la aparición de la siguiente versión del ranking el año próximo, donde vuelve a repetirse la misma operación con alta intensidad de noticias de corta duración. Mención especial merece el ranking QS que además de la difusión de resultados, publicita una amplia oferta de servicios de asesoría dirigida a los gobiernos y universidades que incluyen en los rankings. QS se ha posicionado a nivel mundial no solo como un proveedor de información sobre las universidades dirigido a los estudiantes, sino como un proveedor de servicios para el sector universitario que ofrece y comercializa la posibilidad de prestigiar y posicionar internacionalmente a las instituciones. En estos términos podríamos caracterizar a QS como una especie de trampolín, un medio para que las universidades consigan mayor reconocimiento nacional y especialmente internacional. QS Intelligence ha sabido agregar valor a la información generada en los rankings y ha sido capaz de crear un lucrativo negocio para sus dueños. Esta posibilidad de vinculación de las universidades con QS, a través de la compra-venta de productos y asesorías personalizadas a instituciones pone en cierto modo, en tela de juicio la confiabilidad de la propuesta de los rankings pues lo que ocurre con la venta de servicios es el acceso privilegiado -para las universidades que pagan- a información sobre otras universidades competidoras, lo que les permite lograr mejores indicadores y por tanto un mejor resultado y posicionamiento en los rankings futuros. Si observamos más detenidamente la relación entre los rankings y los medios podemos constatar una fuerte vinculación que va más allá de una mutua validación, los medios traducen el discurso de calidad de los rankings y lo sacan del contexto centrado en la construcción donde se prioriza el lenguaje científico, orientándolo a una audiencia masiva que se ubica en el 61 contexto de lo social y lo público. Los medios amplifican el discurso de los rankings, o como dice Ramos, dan cuenta de la intensidad del discurso (Ramos C. , Investigación científica y performatividad social: el caso del PNUD en Chile, 2012) y le permiten llegar ampliamente a los públicos que le interesan, legitimando de este modo el poder de su discurso. La recurrencia y repetición de la propuesta de calidad de los rankings que ocurre gracias a la divulgación sostenida que facilitan los medios, permite afianzar la idea en los públicos a los que llega, aquí radica su principal poder. VI.1.2 El proceso de acreditación de la calidad Durante las entrevistas, el proceso de acreditación de la calidad de las instituciones y carreras es un tema que espontáneamente surgió en la gran mayoría de los entrevistados frente a la pregunta general sobre su opinión de los sistemas de medición de la calidad existentes hoy en Chile, sorprendiendo a la investigadora por el énfasis y la importancia que le otorgaron los participantes. La acreditación es un proceso conocido por todos los entrevistados al que se han sometido todas las instituciones que se consideraron en la muestra de informantes. La mayoría de ellos identificaron primariamente la medición de la calidad con los procesos de acreditación que realiza la Comisión Nacional de Acreditación, CNA28, dando por sentado que la medición de la calidad es un hecho que no se cuestiona del todo. La principal reflexión se centró no tanto en la idea de medir, sino en el cómo esta se mide. El recorrido realizado por los entrevistados en sus relatos fue desde la descripción de la experiencia donde abordaron cómo se viven estos procesos en las instituciones, cuáles son los significados que le atribuyen al proceso de aseguramiento de la calidad, hasta la racionalización de esta experiencia –que se dio solo en algunos casos-, expresada en las ideas de los entrevistados sobre como debiera ser el proceso de medición. En el análisis de esta parte resultó inevitable no preguntarse por la sinceridad de las opiniones vertidas sobre este tema, especialmente cuando se trató de autoridades y de instituciones que se vieron afectadas por un mal resultado en la acreditación o por un resultado que no cumplió 28 https://www.cnachile.cl/Paginas/Inicio.aspx 62 con sus expectativas. Frente a estas situaciones fue difícil excluir la posibilidad de cierta molestia y oposición con la forma en que opera el sistema de acreditación. Recordemos que el sistema de aseguramiento de la calidad de la educación superior vigente en Chile por la ley N° 20.12929 del año 2006 establece, entre varios otros requerimientos, que las universidades pueden someterse voluntariamente a procesos de acreditación institucional que están a cargo de una agencia nacional, la Comisión Nacional de Acreditación. Este sistema busca evaluar la calidad de la oferta educativa de las instituciones para dar fe pública de un nivel mínimo de buen desempeño de las instituciones. Incentivos económicos versus interés por la calidad Para los entrevistados, la demanda por la acreditación institucional se presenta como una prueba que las universidades deben superar cada cierto tiempo y se asocia a una exigencia, no tanto de la ley, sino de la competitividad del sistema al estar vinculada a incentivos económicos que permiten el desarrollo y crecimiento de las instituciones. Podemos entonces plantear que la idea de calidad que la institucionalidad vigente intenta instalar en el sistema a través de la acreditación, pierde cierta validez al estar asociada a este tipo de incentivos perversos que distorsionan un genuino interés de las instituciones por la calidad. Uno de los entrevistados se refiere a este punto: “Y la acreditación -que tú sabes- es voluntaria, pero con incentivos tales que la voluntariedad es relativa. O sea, hoy nadie quiere estar fuera [de la acreditación], fundamentalmente por el CAE y por el prestigio, porque cada vez la gente tiene mayor conciencia de lo que es y significa la acreditación y por lo tanto quieren estar [seguros], las familias de los alumnos, que sus hijos estén en una institución acreditada”. (Experto, Universidad Privada, Docente con proyección en Investigación, Metropolitana) La competencia por financiamiento público que la política pública ha desarrollado a través de la institucionalidad vigente, en la forma de diferentes fondos competitivos o mecanismos de acceso a créditos para los estudiantes, promueve que las instituciones decidan someterse a los procesos de calidad que se han puesto como condición para acceder a tales recursos 29 Ley de Aseguramiento de la Calidad, http://www.leychile.cl/Navegar?idNorma=255323 63 económicos. No sabemos si habría real interés por la calidad de parte de las universidades si no hubiera este tipo de incentivos. La medición de la calidad se da en un contexto de desigualdad Cuando se mide calidad no se hacen distinciones respecto de las diferencias entre instituciones. Para algunos entrevistados, cuestiones como los años de antigüedad o la localización territorial de las instituciones se reconocen como situaciones inequitativas al momento de evaluar. La competencia es considerada desigual, compiten todos contra todos bajo las mismas reglas. Las universidades más pequeñas y de fundación más reciente se sienten en desventaja frente a las más grandes pues no han tenido el tiempo suficiente para lograr un mayor desarrollo ni resultados comparables a las más antiguas y de mayor tamaño, por ejemplo en los resultados de investigación. O frente al centralismo de Santiago, aquellas que se ubican en regiones declaran tener menos facilidades para lograr resultados en los indicadores que actualmente se miden. Se cuestiona que no existan categorías al momento de medir ya sea por matrícula, por antigüedad o por ubicación geográfica de las instituciones, lo que lleva inevitablemente a un resultado sesgado de la evaluación. Uno de los entrevistados lo expresa del siguiente modo: “Hasta en el más brutal de los deportes existen categorías, por ejemplo en el box… los chicos pelean con los chicos y los grandes con los grandes… Entonces cuando comparamos -vis a vis- esos indicadores, uno puede decir bueno… el peso pesado le pega al peso mosca. ¡Es obvio!”. (Rector, Universidad Estatal, de Investigación y Doctorado en áreas selectivas, Regional). Tener que demostrar lo bien que lo hemos hecho Los procesos de acreditación se viven internamente en las universidades como una exigencia, pues están sometidas a una gran presión externa por cumplir con cierto desempeño, tienen que responder a la comisión acreditadora lo que se espera de ellas y deben demostrarle lo bien que lo han hecho; para finalmente, mostrar a la sociedad los años de acreditación logrados. La siguiente cita describe muy bien como se viven los procesos internamente: “…son procesos que se hacen cada 4, 5, 6, 7 años para demostrar lo bien que se hacen las cosas…lo que hacemos nosotros [las universidades] son como “operativos” donde van... ciertas normativas de cómo las instituciones funcionan y un año antes de la acreditación, ya sea para un postgrado, un pregrado, o para la institución, se prepara todo un set [de información]… Son 64 actividades que se desarrollan con una gran tensión y después viene un relajo…” (Rector, Universidad Estatal, de Investigación y Doctorado en áreas selectivas, Regional) En esta opinión se puede ver la descripción de una experiencia donde participa la universidad en su conjunto, o al menos un número importante de personas que se involucra directamente en el proceso, un proceso que se vive de una determinada manera, pues como dice otro de los entrevistados, es una prueba que se necesita superar. Para lograr un buen resultado, lo que parece haber ocurrido es que las universidades han aprendido a responder exitosamente al proceso de acreditación, es una estrategia que consiste en la preparación previa de la institución para pasar esta prueba. Esta preparación toma tiempo e involucra a personas que se dedican a trabajar para este fin, que preparan informes, construyen datos, y prepara a los equipos que participarán en las entrevistas con los pares evaluadores externos. Otro entrevistado lo expresa del siguiente modo: “Pienso que en este minuto está muy instalada la idea de que las instituciones tienen que aprender cómo funciona el mecanismo como para “pasar la prueba”, digamos. Hay un aprendizaje de que es lo que hay que hacer, como una receta para que te vaya bien. Ahora, es entendible porque hay una presión muy grande, por poder mostrar el numerito mágico (los años de acreditación). Son presiones externas, porque están muy vinculados a la imagen que existe…” (Consultora Experta, Santiago) La interacción de las universidades con los pares evaluadores es compleja, fue un tema algunas veces evadido y minimizado por los entrevistados, pero enunciado como algo importante donde se dejó entrever que hay grandes discrepancias y un juego de intereses. Esta interacción se da en el marco de una evaluación donde una de las partes está sometida al juicio de un grupo de personas a las que se les ha asignado la autoridad para decidir si la contraparte pasa o no la prueba. Frente a esta comisión que tiene el poder de decisión, la universidad intentará demostrar todo lo bien que lo ha hecho, intentará dar las respuestas correctas, no necesariamente las respuestas verdaderas. Consideremos para una mayor comprensión de esta situación de interacción cara a cara, el uso del arte teatral que propone Goffman en La presentación de la persona en la vida cotidiana (Goffman, 2001). Allí, sostiene el autor, habría una actuación o performance que sirve para influir de algún modo sobre los otros participantes; la persona intentará dar lo mejor de sí para 65 manejar la situación y controlar la impresión que los otros se hagan de la situación, intentará dar las respuestas que el otro espera de él o ella (Goffman, 2001, pág. 27). Un par de opiniones de entrevistados que da cuenta de las percepciones sobre la interacción de los pares evaluadores con los representantes de la universidad durante el proceso de acreditación, son las siguientes: “…porque la medición se hace con una comparación subjetiva que tiene el evaluador en la cabeza. Hay un cierto prejuicio…” (Rector, Universidad Tradicional, Docente con proyección en Investigación, Regional) “Uno sabe perfectamente lo que tiene, lo que está bien desarrollado y aquello que hay que mejorar… Los pares que vienen -que son unas personas muy expertas, muy especializados (yo he sido par evaluador)….Uno va a una institución, está tres o cuatro días visitándola y se forma una idea general…., pero decir que logró el convencimiento total de lo que está ahí es difícil, porque no tienes el tiempo suficiente para conversar con todo el mundo, conocer todos los antecedentes y desarrollar en plenitud lo que es el quehacer institucional o académico de una institución.” (Experto, Universidad Privada, Docente con proyección en Investigación, Metropolitana) Ambos entrevistados ponen en tela de juicio la capacidad de los pares evaluadores para juzgar adecuadamente la calidad de la institución, sospechando en el fondo sobre lo sesgada que puede llegar a ser la evaluación de este grupo de personas que algunas veces no se condice con los resultados finales obtenidos. El aseguramiento de la calidad es una responsabilidad institucional Parece haber una comprensión generalizada de que el sentido más profundo de la acreditación es la mejora continua de las instituciones, cuestión reconocida y valorada por los entrevistados. Es en el proceso de autoevaluación –parte del proceso de acreditación-, donde las instituciones dicen identificar y desarrollar sus propios mecanismos de autorregulación de la calidad. Basándose en este punto, varios de los entrevistados sostienen que el aseguramiento de la calidad es una responsabilidad de las propias instituciones que no se logra por medio de una ley impuesta. Dos de los entrevistados se refieren a este aspecto del siguiente modo: 66 “[La autoevaluación] para mí es el [mecanismo] que tiene la mayor importancia. Porque es cuando la institución tiene la convicción de que la responsabilidad por la calidad es institucional. Su responsabilidad principal [es] garantizar la calidad de la propia institución. No es [responsabilidad] del Estado por la Ley impuesta que ya te mencioné, no es por [lograr] la acreditación o los incentivos económicos que ello conlleva, es la propia institución, a través de una serie de mecanismos, -y eso tratamos de hacer en esta universidad-, [que tratamos] de ir mejorando permanentemente y no esperar que nos vengan a ver para saber [que calidad tenemos].” (Experto, Universidad Privada, Docente con proyección en Investigación, Metropolitana). “Yo diría que deberíamos construir y exigir que las universidades tengan sistemas de aseguramiento de la calidad en todos los niveles y lo que debiéramos acreditar debieran ser [esos] sistemas, ahora… si eso da nota o no da nota, no sé... da un poco lo mismo al final. El sistema funciona o el sistema no funciona, es como sí o no”. (Rector, Universidad Estatal, de Investigación y Doctorado en áreas selectivas, Regional) PARTE 2 ¿QUÉ ES LO QUE SE MIDE CUANDO HABLAMOS DE CALIDAD? En esta parte de la investigación intentaremos describir cuál es la idea de calidad universitaria que tenemos en Chile, aquella que actualmente constituye el discurso dominante en la educación superior chilena, un discurso que también se ha construido a través de una historia de acciones gubernamentales en torno a la calidad, como vimos en el capítulo II. Una historia de prácticas y un léxico donde prevalecen conceptos nuevos que circundan y apoyan el discurso: accountability, mejora continua, medición de los desempeños, planificación estratégica son algunos ejemplos de los conceptos asociados que conforman una suerte de estructura para la calidad Analizaremos para este fin los mecanismos de medición que acabamos de revisar en el capítulo precedente, los rankings y la acreditación a través de las dimensiones e indicadores que se utilizan en estas mediciones. 67 VI.1.3 Los rankings como actos del habla Situándonos en el origen del concepto de performatividad de J. Austin sobre los actos del habla, recordemos que su aporte reside en la distinción entre enunciados que describen el mundo y aquellos que actúan en el mundo ayudando a darles existencia; estos últimos, los enunciados performativos, están activamente comprometidos en la constitución de la realidad que ellos describen (Callon M. , 2007). Entonces, reconociendo que los rankings emiten un juicio de calidad sobre las universidades, podemos concebirlos como un enunciado de este tipo, es decir como un acto del habla que va a producir ciertos efectos en los oyentes o públicos que lo escuchan en torno a la idea de calidad que el enunciado expresa. En el caso de nuestra investigación vamos a distinguir a los oyentes, por una parte indagamos en las respuestas de las instituciones, y por otra observamos qué ocurre con los otros públicos, aquellos que están fuera del dominio de los expertos y de las propias universidades. Como ya hemos dicho, el discurso de los rankings en su forma más simple y básica, expresado a través de los medios de comunicación, es una noción de calidad universitaria asociada a la posición que una universidad ocupa en un determinado ordenamiento. De este modo se establece en el público no conocedor una idea de mejor y peor calidad, asociando a las universidades que se ubican en los primeros lugares de las tablas y que consecuentemente obtienen los puntajes más altos, como aquellas de mejor calidad; y análogamente, identificando a las que se ubican en los últimos lugares de las tablas, con los puntajes más bajos, como aquellas de peor calidad. La simpleza de este juicio en términos de su legibilidad y fácil comprensión, más la confianza otorgada a quien lo emite, parecen generar en la opinión del público “no experto” una idea de calidad que permanece en el tiempo y que parece instalarse en el imaginario nacional, afectando ciertamente en forma positiva o negativamente el prestigio de las universidades o, en otras palabras, su capacidad para ser percibidas como universidades de buena calidad. Esta fácil manera de leer y derivar a un juicio final, responde a la manera en que opera la creencia (Bourdieu P. , El sentido práctico, 2007), aquello que aceptamos sin conocer y que permite naturalizar las ideas en torno a algo, transformándolas en verdades inmutables. Cuando actúa la creencia o la doxa, se omite la reflexión y una comprensión más profunda sobre la construcción de los rankings; lo que aparece como un ejercicio técnico para sus creadores o 68 para quienes conocen el mundo universitario, una fotografía o simple información sobre las instituciones, no es vista de igual modo por el público “no experto”. Por el contrario, el juicio de calidad parece instalarse en la opinión pública como una sentencia permanente. Aparece entonces la relevancia del contexto o el espacio en torno al cual el ranking tendrá un significado particular y diferente; noción que cobra importancia en la teoría del lenguaje de J. Searle, dentro de las condiciones que hacen posible la performatividad de los hechos institucionales (Searle, 1997). VI.1.4 La idea de universidad que esconden los rankings Todo sistema de medición lleva consigo un sistema de referencia frente al cual se compara lo que se mide y este caso no es la excepción a esta regla, la medición de la calidad universitaria oculta un sistema de referencia que representa algo así como la idea de la mejor universidad. La calidad universitaria para los rankings queda entonces capturada por un modelo de universidad a seguir. Si observamos con detención qué es lo que se mide, cuáles son los énfasis que ponen los rankings en la definición y ponderación de dimensiones e indicadores, se revela un cierto modelo de universidad que será el referente. Este modelo de universidad lo encontramos en los rankings bajo el paradigma de las grandes universidades de investigación. De acuerdo a este argumento, la universidad de mejor calidad sería aquella de mayor tamaño que realiza las funciones de docencia y que también desarrolla intensivamente la investigación; es la universidad que hace más y mejor investigación en toda la variedad de disciplinas existentes, es aquella que dispone de un cuerpo académico mayoritariamente con grado de doctor o PhD, lo que supuestamente hace a la institución más productiva en publicaciones indexadas y en patentes de invención, y es también la institución que logra el mayor impacto de esas publicaciones. Este modelo de universidad en Chile es también el que presenta los mejores indicadores de eficiencia docente, aquella universidad donde los estudiantes no desertan y se titulan en el menor tiempo posible, y aquella universidad donde los graduados mayoritariamente encuentran trabajo poco tiempo después del egreso obteniendo las más altas remuneraciones. Es decir, una universidad integrada por un perfil de estudiante “ideal” o tal vez debiésemos decir, imaginario o inexistente. 69 De acuerdo a este paradigma comparativo, validado mundialmente en los principales rankings universitarios publicados (Times Higher Education, 2014), (Shanghai University Rankings, 2014), encontramos en una situación desfavorable a las instituciones de menor tamaño y a aquellas concentradas en áreas disciplinarias focalizadas. En el caso chileno, también quedarían al margen las universidades que se declaran solo como universidades docentes o con baja labor en investigación. En los rankings presentados en nuestro estudio, coinciden la investigación, docencia y gestión como las dimensiones primordiales para evaluar calidad universitaria, pero bajo el paradigma de la gran universidad de investigación, ciertamente están en desventaja en los rankings analizados (QS y Qué Pasa y GEA Universitas), aquellas instituciones cuyo foco es la docencia, y por el contrario, resultan privilegiadas las grandes universidades de investigación chilenas que siempre ocuparán las primeras posiciones. La inamovilidad o aparición reiterada, año a año de estas últimas en los primeros lugares de los rankings, no parece entonces ser prueba de una correcta metodología, sino más bien parece deberse a cierta superioridad que logran estas universidades por acercarse más al modelo de universidad que validan los rankings. Algunos de los entrevistados reconocieron que las mediciones de la calidad y especialmente los rankings universitarios, contienen implícitamente un modelo comparativo de universidad que queda en evidencia al mirar las dimensiones e indicadores utilizados para medir, aquello que indica cuáles son las cosas importantes a considerar en toda medición. Ciertamente el modelo de universidad trasciende a los rankings pues se revela no solo en los actuales rankings universitarios internacionales y nacionales (tasa de publicaciones ISI, citas por publicación, tasa académicos con PhD, entre otros), sino también en las mediciones que contempla la acreditación (proyectos de investigación, composición de la planta académica que realiza investigación, entre otros) y ciertas instancias gubernamentales que miden desempeño universitario. Además, se usan estándares de desempeño internacionales en varias de las dimensiones evaluadas, especialmente al medir capacidades de investigación, postgrado e innovación. Uno de los entrevistados se refirió explícitamente a este aspecto de la siguiente manera: “El sistema de medición de indicadores que tenemos tiene un paradigma que lo concibe. La mejor [universidad] es aquella donde los recursos se reparten a la mejor ciencia, a los mejores científicos, 70 con las mejores ideas, ahí van las becas a los doctorados, los proyectos CONICYT, todas las cosas, o todo lo que son fondos concursables para…la calidad, son para complejidad”. (Rector, Universidad Estatal, de Investigación y Doctorado en áreas selectivas, Regional). En consecuencia, la mejor universidad o aquella de mejor calidad es la universidad que puede dar cuenta de los máximos resultados para los indicadores que se han seleccionado. Tal como lo expresa otro de los entrevistados, la situación en Chile no deja de parecerse al resto del mundo, nuestros referentes universitarios son internacionales y lo serán en la medida que sigamos utilizando los mismos indicadores de desempeño que se validan en el resto del mundo y que aparecen recurrentemente en los rankings nacionales. “A nosotros aquí [en Chile] nos ponen los criterios de calidad que nos impone el mundo desarrollado porque estamos en un mundo globalizado”. (Rector, Universidad Privada, de Investigación y Doctorado en áreas selectivas, Metropolitana) Internacionalmente, la idea de mejor universidad, aquella con la cual hay una comparación implícita, es también la gran universidad de investigación, la que aparece en los primeros lugares en los rankings más conocidos. La superioridad de las universidades norteamericanas es manifiesta en los resultados y el modelo de universidad de Harvard es sin duda el que mejor encarna las aspiraciones del mundo global. Pese a que la mayoría de los entrevistados compartieron la opinión de que los rankings adolecen de otras dimensiones de calidad tanto o más relevantes que las que actualmente se evalúan, tales como la pertinencia nacional de la investigación o la calidad de la docencia, casi todos validaron los indicadores que actualmente se utilizan para medir investigación pues esta representaría una parte esencial y distintiva de la misión universitaria. Uno de los entrevistados expresa esta idea de la siguiente manera: “Jamás se me pasaría por la mente decir que no es relevante, como decíamos antes, por ejemplo, variables absolutamente cuantitativas como los papers que produce, la calidad de las revistas donde publican los papers, el número de proyectos de investigación que tiene, las visitas o interacciones que tienen con otras universidades de buena calidad a nivel internacional; es evidente que todas esas cosas son medibles y son variables muy importantes, eso está fuera de discusión… como piso tiene que haber una tasa de artículos de investigación en las revistas de más alto nivel 71 por académico, mínima que tiene que estar . Ahí yo no hago ninguna relativización……y si [la universidad] no tienen ninguna [publicación] es porque está muy, muy mal….y no debería llamarse universidad”. (Rector, Universidad Estatal, de Investigación y Doctorado, Metropolitana) Contrasta con esta última opinión la idea de Universidad que hay tras la institucionalidad vigente en nuestro sistema de educación superior. Una lectura cuidadosa del actual mecanismo de acreditación nos da pistas sobre ella. Se desprende de la distinción entre áreas que es preciso acreditar para recibir el sello de calidad como universidad de un cierto tipo. A diferencia de lo que plantea el entrevistado, una universidad que acredita solo las áreas obligatorias de gestión institucional y docencia de pregrado puede llamarse universidad, aunque no desarrolle la función de investigación o incluso si la desarrolla mínimamente, validando de este modo el modelo de universidad puramente docente. Por otro lado, el sistema de acreditación nos muestra que la universidad docente puede desarrollar también otras áreas que le darían una condición de universidad más compleja, dependiendo de la cantidad de áreas adicionales que elija voluntariamente acreditar, entre vinculación con el medio, investigación y postgrado. VI.2 LAS CONSECUENCIAS DE MEDIR EN LAS INSTITUCIONES Y LOS EFECTOS PERFORMATIVOS DE LOS RANKINGS En este capítulo intentaremos por fin responder a la pregunta de investigación, ¿cómo contribuyen los rankings universitarios a moldear una idea de calidad de las universidades chilenas?, estableciendo como opera la performatividad de los rankings universitarios y cuáles son las condiciones que la hacen posible. Apoyándonos en el recorrido teórico presentado en el capítulo III, intentaremos describir los efectos que produce el discurso de los rankings en las instituciones y a partir de estos efectos, evaluaremos la acción performativa. Como la pregunta lo sugiere, no es solo la existencia de los rankings universitarios lo que permite alcanzar los niveles de modelamiento logrados, sino que junto con ellos se han reconocido otros mecanismos contribuyentes a la instalación de la idea de calidad que actualmente tenemos. Reconociendo esta situación, nos referiremos en una forma más 72 genérica, a los efectos de medir (Espeland & Sauder, 2007), anticipando la presencia de otras agencias que conforman una red que realiza el efecto performador. ¿Qué ocurre al interior de las universidades con la aparición pública de los rankings? ¿Cómo se manejan internamente los resultados y qué acciones toman las instituciones? Las consecuencias de medir la calidad de las instituciones, produce en las propias universidades ciertos efectos algunas veces adversos, otras, beneficiosos que fueron reconocidos por varios de los entrevistados. VI.2.1 La respuesta de las instituciones Entre los entrevistados, la mayoría reconoce que los rankings tienen mayor importancia que la que declaran públicamente, especialmente las autoridades universitarias quienes habitualmente minimizan su impacto. Se reconoce que el resultado de un ranking, sea este positivo o negativo para la institución, moviliza a la gente internamente y se discute sobre el resultado. Uno de los entrevistados lo expresa del siguiente modo: “Yo creo que [en la universidad] le ponen mucha atención, en general. Tengo la impresión de que es un tema importante, porque se preocupan. Cuando les va bien, se lo cuentan a medio mundo, lo publican o lo hablan, o se sienten felices y cuando les va mal, encuentran que el ranking es malo... Toda institución, aunque no lo reconozca, yo creo que sí debe dar una miradita a ver donde quedó, si mejor o peor que el año pasado….porque sabe que los demás lo están viendo a través de eso. A lo mejor, a veces sienten que es injusto, hay muchas instituciones, me imagino, que sienten que es injusto porque quisieran mostrar, a lo mejor otro lado, otras cosas que se están haciendo, o que se están esforzando por hacer mejor”. (Consultora Experta, Santiago) La competencia que generan los resultados de las mediciones entre las instituciones Hay una evidente respuesta de las universidades frente a los rankings que se refleja por ejemplo, en la competencia que generan. Las universidades evidencian interés por mejorar sus indicadores y así mantener o mejorar las posiciones logradas, o en otros casos, intentan negar la validez del ranking por encontrarse en posiciones desaventajadas que no son compartidas ni asumidas por los entrevistados que argumentan un daño a su prestigio. La necesidad de aparecer en los rankings y de ocupar posiciones destacadas revela por una parte, el interés de 73 las instituciones por ser reconocidas por otros, e idealmente ser elegidas por los estudiantes por su calidad y al mismo tiempo, muestra que ellas asumen la propuesta de calidad que los rankings proponen. En este punto podemos observar una primera manifestación de la noción de performatividad, al asumir las universidades la propuesta de calidad de los rankings, asumen también que las dimensiones de calidad que se miden y los indicadores que se utilizan son los que efectivamente describen la calidad universitaria, la respuesta positiva de sumarse al ranking y trabajar para aparecer en él es un actuar conforme a las reglas que pone el ranking, favoreciendo el modelo de calidad vigente. Este sentido de competencia por la calidad entre las instituciones por lograr cada vez un mejor resultado es reconocido por los entrevistados. Contribuye a este efecto el diseño mismo del mecanismo de medición, que es con fines comparativos. Solo aquellos que están en las mejores posiciones serán destacados en las noticias, tendrán mayor publicidad y serán reconocidos por la opinión pública como universidades de prestigio por su calidad. Se trata entonces, de esforzarse internamente y de seguir las estrategias necesarias para ir con el tiempo ganando posiciones en los rankings. Uno de los entrevistados reflexiona sobre este punto del siguiente modo: “No se cuan importantes son los rankings y esta locura por los rankings…La reificación de los rankings que tienen que ver un poquito con esta ideología neoliberal, también de la competencia, de que tenemos que medirnos y yo soy mejor que usted porque yo me saqué 180 y usted se sacó 169…”. (Rector, Universidad Estatal, de Investigación y Doctorado, Metropolitana) En esta reflexión, el entrevistado parece distinguir dos cosas importantes: que la acción de medir responde en parte a un signo de los tiempos, es una práctica constitutiva del sistema neoliberal que gobierna casi todas las estructuras de mercado; y que el efecto de medir genera cierta cosificación de los conceptos o dimensiones que están siendo medidas, en este caso es la calidad lo que se cosifica; lo que podría entenderse según Espeland & Sauder, bajo la idea de medición comparativa (commensuration) (Espeland & Sauder, 2007, pág. 16); la cosificación es el efecto de una transformación de las propiedades cualitativas en un número que determina si eres o no mejor que otro. 74 La competencia entre instituciones aparece entonces vinculada a una práctica natural y común del mercado en el que se está desarrollando el sistema universitario chileno, cuestión que fue observada en la opinión de solo un entrevistado. Más allá de la calidad está el prestigio de las instituciones, un atributo cercano que se le vincula. El prestigio se refiere al desempeño adecuado y a un cierto status (Bie, 2006) y pareciera ser el atributo que mejor responde a los valores de la institucionalidad universitaria histórica. Representa una fuerza que actúa como el poder o la riqueza, que nos lleva a luchar o competir por el status ganado (Marginson, Global field and global imagining: Bourdieu and worldwide higher education, 2008) y está entre las reglas implícitas que impone la actual configuración del sistema universitario, donde toda institución luchará por mantener la posición ganada, incluso a costa de dejar fuera a otros competidores. Esta configuración de prestigio y calidad es puesta a prueba cada año a través de los rankings universitarios. Estrategias para mostrar lo bueno que somos Pareciera que la misma actitud estratégica para “pasar la prueba” que han desarrollado las instituciones frente a la acreditación, ocurre frente a los rankings. Las universidades desarrollan mecanismos para lograr un mejor puntaje y responder exitosamente, acercándose a los estándares que los rankings están poniendo; para responder al modelo de universidad que se está pidiendo. Algunos de los mecanismos utilizados para mejorar los indicadores son expuestos por el siguiente entrevistado: “Hay formas [de mejorar los indicadores]… Cuando uno mide retención, uno cambia el reglamento de estudio y puede mejorar el indicador. En el tiempo de titulación, si todos [los estudiantes] hacen una permanencia en el extranjero, se atrasa el tiempo de titulación”. (Rector, Universidad Estatal, de Investigación y Doctorado en áreas selectivas, Regional) La metáfora utilizada por otro entrevistado resume claramente el manejo de estrategias para mejorar los indicadores y así aparecer mejor posicionado en una medición: “Cuando hablo de medición de calidad, uno comienza a jugar con el indicador. Hay mucho, mucho, mucho del niñito que no quiere ir a clases, entonces agarra el termómetro y lo pone en el guatero y se lo muestra a la mamá…”. (Rector, Universidad Estatal, de Investigación y Doctorado, Metropolitana) 75 El juego de los indicadores para mostrar mejores resultados es una clara evidencia de cómo se modela la noción de calidad en las universidades, el efecto performativo parece haberse logrado: las universidades han asumido el juego y responden de la manera esperada. Cuando un enunciado es performativo, hay una respuesta esperada de antemano -nos dice Foucault-, las universidades asumirán esa idea de calidad y no otra y responderán lo que se espera de ellas (Foucault M. , 2009); en este caso, en la forma que Mac Kenzie describe la performatividad efectiva en su tipología (Mackenzie, Is Economics Performative? Option Theory and Construction of Derivatives Markets, 2007), es decir el comportamiento producido por el discurso en la realidad, responde efectivamente a lo predicho, a los criterios descriptivos del modelo (de la ciencia). El uso de los rankings para fines publicitarios Como ya se ha dicho, una característica distintiva de los rankings es que se publican y difunden a través de medios de comunicación masivos. Revistas, periódicos, y sitios web son los medios predilectos que permiten el consumo masivo de esta información sobre calidad universitaria por parte de un público no conocedor del tema. Pero no solo los medios de comunicación contribuyen a este fin con las noticias en torno a la aparición de los rankings, las universidades han asumido también la tarea de replicar y difundir sus resultados aportando de este modo a la asimilación de la noción de calidad que hemos descrito y se constituyen como una nueva entidad dentro de una red agencial (Callon M. , 2007, págs. 319-320) que comienza a configurarse. La participación de instituciones en el avisaje de las publicaciones donde aparecen los rankings a través de la compra de publicidad, aparece como una respuesta favorable hacia el ranking que junto con validar el instrumento permite validar las posiciones ocupadas por estas instituciones. Se genera una suerte de círculo vicioso o virtuoso que favorece la aparición de las universidades de los primeros lugares en el imaginario de los públicos, validándose mutuamente el ranking y la universidad. De este modo los rankings resultan ser un medio efectivo para las universidades en la construcción de su prestigio a través de las recurrentes apariciones en los medios donde se difunden mutuamente. Aunque varios de los entrevistados reconocen las limitaciones de los rankings y son cautos en su lectura, una de las consecuencias de la existencia de este tipo de mediciones, es que las 76 universidades las utilizan con fines publicitarios. En aquellos casos donde conviene, señalan algunos entrevistados, los rankings contribuyen a fortalecer la tarea de marketing que hacen las casas de estudio, ayudando a posicionar en el imaginario público la calidad lograda por la institución en el último ranking publicado, siempre y cuando la universidad haya obtenido una posición favorable como resultado. En otras palabras, pese a que muchas instituciones critican la manera en que éstos miden calidad y cuestionan sus resultados, los validan, promoviendo sus resultados como noticia en los distintos formatos de publicidad que realiza la institución. Sobre las acciones que toman las universidades frente a los rankings donde aparecen bien posicionadas, uno de los entrevistados señala: “La respuesta [de las universidades] es la misma que hacen los colegios con el famoso SIMCE u otras pruebas estandarizadas que en el fondo usan [el ranking] como una herramienta de marketing…, son estrategias”. (Rector, Universidad Tradicional, Docente con proyección en investigación, Regional) La medición produce una distorsión del quehacer de las universidades. Como se dijo anteriormente, se reconoce que cualquier medición que produce como resultado un ranking de posiciones permitirá a las instituciones manipular los resultados pues es posible prepararse para “pasar la prueba”. En la opinión de varios entrevistados, las universidades trabajan para obtener el mejor resultado, para lograr más puntos, desviándose de su verdadera misión y quehacer. Varios ejemplos avalan este argumento, la preparación de los colegios para la PSU, las escuelas de medicina frente al EUNACOM30, los colegios frente al SIMCE31, son evidencias de que el impacto de las mediciones sobre las instituciones existe, hay un aprendizaje de las instituciones a lo largo del tiempo orientado a ser exitoso en el logro de una posición y de este modo la institución se hace funcional al resultado del ranking, es decir, comienza a actuar en función del resultado, más que en función de su misión y objetivos como organización educacional. La siguiente cita de una de las entrevistas representa bien este punto: 30 Examen Único Nacional de Conocimientos de Medicina, http://www.eunacom.cl/ 31 Sistema Nacional de Resultados de Aprendizaje, http://www.agenciaeducacion.cl/simce/que-es-elsimce/ 77 “Hoy día la forma como se mide calidad es totalmente valida, pero lamentablemente es sesgada… cuando uno mide mal la calidad se produce una distorsión del quehacer de las universidades. Esto se ha prestado para que en vez de preocuparse de la calidad o de la pertinencia o de la investigación, reconociendo la importancia que se le reconoce a esa variable en muchas partes, hace que la universidad de centre solo en aquello que le da los puntos que necesita, y eso produce una distorsión del quehacer de la universidad”. (Rector, Universidad Estatal, de Investigación y Doctorado, Metropolitana) Varios entrevistados reconocen que se trabaja para mejorar los indicadores y que muchas veces esto produce problemas pues se deja de hacer esfuerzos importantes que son parte del quehacer universitario. Hoy día lo que miden los rankings o las mediciones de la calidad en general, marcan la pauta de las cosas que son realmente importantes para decir si una universidad es o no de una cierta calidad, dejando fuera aquello que no se mide y que muchas veces responde a la verdadera misión de la institución. Siguiendo la lógica performativa de los rankings y actuales sistemas de medición, pareciera que aquello que no se mide no existe o no tiene importancia. Otro de los entrevistados señala sobre este punto: “De alguna forma los [los rankings] van guiando un poco también hacia dónde va la cosa. Las instituciones no son indiferentes a cómo van guiando los rankings…, [van guiando] una idea de universidad, una idea de qué cosas son importantes. Entonces claro, si se incluye el número de doctores, de profesores…son las cosas importantes que se miden”. (Experta Consultora, Santiago) Esta última entrevistada reconoce explícitamente la manera en que los rankings moldean la realidad, “van guiando hacia dónde va la cosa” y reconoce también que las universidades tienen una respuesta positiva a esta guía, “no son indiferentes”. Observamos aquí una segunda evidencia clara sobre la función performativa de los rankings en el sentido de que al definir o señalar un camino sobre qué es lo importante de medir en la universidad, actúan agenciando la noción de calidad que se intenta institucionalizar. Según esta observación los rankings se presentan como parte de la red de agenciamiento sociotécnico de la que nos habla Callon (Callon M. , 2007), son una tecnología, un medio de agenciamiento de la idea de calidad que representa el discurso dominante, que deja fuera varios aspectos que al no considerarse, son subvalorados o parecieran inexistentes. 78 Se genera un efecto negativo en la docencia Uno de los efectos destacados en la distorsión del quehacer universitario del que habla uno de los entrevistados, es el reconocimiento de que habría una tendencia a subvalorar la docencia como parte de las funciones universitarias prioritarias. Se distingue como una dimensión difícil de medir y escasamente abordada por los rankings, en oposición al valor que se le otorga actualmente a la investigación como parte fundamental en cualquiera de los actuales mecanismos de medición de calidad universitaria. Un entrevistado se refiere a este punto en los siguientes términos: “Sin duda que a quienes gestionamos instituciones de educación superior, los ranking nos producen unos efectos, en el sentido de que para mejorar el ranking hay siempre que ir generando mejores condiciones –por ejemplo-, para los investigadores que son los que dan puntos para el ranking. Y no todas las universidades son instituciones de investigación, -quizás las más grandes, las más complejas pueden darse ese lujo-, pero universidades comunes y corrientes, las universidades “de a pie” –digamos-, tienen que combinar labores docentes… [Entonces], hay un efecto en la docencia que es perverso”. (Rector, Universidad Estatal, de Investigación y Doctorado en áreas selectivas, Regional). La mayoría de los rankings internacionales no tiene en consideración adecuadamente la docencia, minimizando con ello la importancia de la calidad del proceso de enseñanzaaprendizaje en la formación de los estudiantes. Y aquellos rankings que si dan cuenta de ella, en nuestro estudio, Qué Pasa y GEA-UNIVERSITAS-El Mercurio, se basan en la medición de indicadores que no reflejan adecuadamente la calidad del proyecto educativo de la institución. La opinión de uno de los entrevistados sobre este tema es la siguiente: “Yo creo que no están los indicadores de la calidad de la docencia [adecuados], no están bien… Sin duda que el cuerpo de profesores es importante, pero supongo que puede estar dedicado a investigación...Entonces [los indicadores docentes] no dan cuenta de la calidad del proyecto educativo, [solo se] ven… resultados. Por ejemplo, si uno mirara estos colegios de la educación media que hacen dos o tres cursos en uno..., son lo más eficientes, todos aprueban, pero de que hay calidad ahí, me provoca sus serias dudas… Debiéramos buscar mecanismos [para] evaluar de una mejor forma la calidad de la docencia”. (Rector, Universidad Estatal, de Investigación y Doctorado en áreas selectivas, Regional) 79 Este efecto perverso en la docencia, como lo señala el entrevistado, queda en evidencia porque la preocupación actual de las instituciones tiende a ser solo sobre aquellos aspectos que otorgan visibilidad, puntos para aparecer mejor posicionado en el ranking, donde esta dimensión no aparece efectivamente evaluada, sino aproximada a través de indicadores proxy que representan medidas de eficiencia de procesos docentes (estudiantes por académico, tasa de retención o tasa de titulación). Por el contrario, los principales esfuerzos se hacen en investigación, en favorecer la productividad académica de los docentes a través de publicaciones ISI, restándole valor a la función docente que tiene impacto directo sobre el estudiante y refleja la calidad de los procesos de enseñanza aprendizaje y en última instancia, la calidad del proyecto educativo de la institución. Esta cuestión alerta una dicotomía, una suerte de fuerzas opuestas, que en última instancia se centra en los académicos y en el valor que las propias instituciones otorgan a sus funciones en la docencia versus su desempeño en investigación. Pareciera que las actuales mediciones de calidad llevan a que las instituciones establezcan sus prioridades en mejorar las condiciones para que los docentes investiguen, más que en mejorar sus habilidades docentes. En esta parte de los resultados, hemos descrito los principales efectos que los rankings producen en las universidades y pudimos identificar varias de esas respuestas como efectos performativos, entre ellas cómo las instituciones juegan para obtener los mejores resultados y las más altas posiciones, “playing to the test” (Espeland & Sauder, 2007, pág. 2), evidencias del modelamiento de un discurso de calidad que se ha instaurado a través del tiempo como el discurso dominante que actúa subrepticiamente en las propias universidades. Es la manifestación de la profecía autocumplida (Callon M. , 2007, pág. 321), la constatación de la respuesta esperada de parte de las instituciones. Para Callon un discurso es performativo cuando éste contribuye a construir la realidad que está describiendo (Callon M. , 2007, pág. 316) y en este caso podemos ver que el discurso de calidad produce, en la realidad, la noción de calidad que está describiendo, una noción reconocida por los indicadores estandarizados que se utilizan para medirla. Los rankings aparecen entonces como un mecanismo agencial, son un medio que muestra esta operación. 80 VI.2.2 El lenguaje de los rankings y la creencia Sin duda un elemento que influye decisivamente en la capacidad performativa de los rankings es el lenguaje que se utiliza en su construcción y la legibilidad con la que se transmite el concepto de calidad universitaria. La simpleza de su representación a través de un número y la posición de éste en relación a otros, facilita la comprensión por parte de un público no conocedor de las universidades quien tenderá a aceptar sin cuestionamientos el discurso de calidad que nos presentan los rankings. Esta operación nos muestra, como ya hemos dicho, cómo actúa la creencia o la doxa (Bourdieu P. , El sentido práctico, 2007). Aceptamos –sin conocer el fondo-, el juicio de calidad que se propone sobre el conjunto de universidades rankeadas, de modo tal que nuestra creencia sobre cuáles son las universidades de mejor calidad y cuáles las de peor calidad se instala como una verdad absoluta y permanente. La autoridad histórica del lenguaje matemático y del método científico utilizado en la construcción de los rankings contribuye a legitimar su existencia, aportando verdad al discurso que nos proponen y facilitando la creencia (De Santos, 2009), (Callon M. , 1998), (Espeland & Sauder, 2007), (Ramos C. , El ensamblaje de ciencia social y sociedad, 2012). La cotidianeidad con que vivimos las estadísticas públicas y la fuerza de verdad que ellas traen consigo debe permitirnos también mirar los indicadores y datos que utilizan los rankings en su construcción, como una estructura amparada en la representación de objetividad que tienen por si solos los números. Siguiendo a de Santos, podemos asimilar los rankings a la presencia de un fact-totem, un símbolo poderoso que condensa la atención social y suscita respuestas apasionadas de vastas audiencias; en ellos coinciden periódicamente los medios de comunicación y el público y son un punto de encuentro colectivo pues traspasan a una sociedad consumista de información (De Santos, 2009), es decir podemos ver los rankings como un discurso factico, se crea una realidad en torno a la idea de calidad. El lenguaje de los rankings impacta directamente en la forma en que se instala la idea final de calidad universitaria. Dos de los entrevistados, se refieren a la manera en que esto ocurre, señalando que en los rankings la gente se queda solo con un número o posición, con el valor final: 81 “Yo creo que es [información] muy engañosa y si no se tiene mucho cuidado…Hay que enseñar a la gente a leerla. Si yo no sé leer, [entonces] leo desarticulado completo y la mayoría de la gente se queda con la fracción final, [con el resultado]”. (Rector, Universidad Privada, de Investigación y Doctorado en áreas selectivas, Metropolitana) “Los rankings también tienden a generar segregación; lo que hacen es que distorsionan en cómo te identifican en la opinión pública, en quienes están interesados en investigar en las universidades y en quienes asignan los recursos. La gente se mueve por el lugar del ranking: “ah, no, es que esta está más arriba”, pero no se pregunta porque está ahí”. (Rector, Universidad Tradicional, Docente con proyección en investigación, Regional). Para ilustrar mejor este argumento volvamos a nuestro marco teórico. En los estudios de la performatividad de las ciencias económicas, Callon dice que “para predecir el comportamiento de los agentes, la teoría económica no debe ser verdadera, solo necesita ser creída por todos, incluso, si las creencias no tienen relación con el mundo, el mundo termina pareciéndosele, o siendo la creencia” (Callon M. , 2007, pág. 322). VI.2.3 La iterabilidad o replicabilidad del discurso performativo Michel Callon articuló la noción de agenciamiento sociotécnico para representar de este modo una red de mecanismos, procedimientos y personas que hacen posible la asimilación de las ideas que viajan desde un contexto científico hacia afuera de esos dominios. La existencia de una cadena agencial que sostiene el discurso sobre calidad muestra que es una narrativa coconstruida que se repite a través de diferentes actores y dispositivos, no de la misma manera dirá Butler, sino aportando a la construcción del relato sobre calidad que, así como en los discursos de género, “incluyendo a los propios actores, ha venido a creer y a actuar como creencia” (Butler J. , Actos performativos y constitución del género: un ensayo sobre fenomenología y teoría feminista, 1990, pág. 297). Para Butler, “lo iterable de la performatividad es una teoría de la capacidad de acción (o agencia), una teoría que no puede negar el poder como condición de su propia posibilidad” (Butler J. , Género en Disputa. El feminismo y la subversión de la identidad, 2007, pág. 29). Los estudios sobre género de Butler anticipan el enfoque de la performatividad en la construcción de esa identidad, una identidad que no es estable, sino que se ha instituido por 82 una repetición estilizada de actos en el tiempo y continúa Butler, “en la relación arbitraria de esos actos, en las diferentes maneras posibles de repetición, en la ruptura o repetición subversiva de este estilo, se hallarán posibilidades de transformar el género” (Butler J. , Actos performativos y constitución del género: un ensayo sobre fenomenología y teoría feminista, 1990, pág. 297). La idea de ruptura o repetición subversiva que resalta Butler como condición para la performatividad de los actos del habla, se observa por ejemplo en otros usos de los datos e indicadores que se presentan en los rankings. El uso reiterado de los mismos indicadores y datos en diferentes tipos de mediciones o en mediciones realizadas con distintos fines, incluidos otros rankings, por ejemplo en los procesos de acreditación, en evaluaciones de programas y proyectos, en mediciones del desempeño para la asignación de recursos públicos, su uso reiterado en charlas o presentaciones por parte de expertos, representa la repetición estilizada de los actos en el tiempo, la repetición del mismo discurso de calidad bajo diferentes agentes, actuando como una suerte de “intermediarios” del discurso performativo; emiten narrativas similares a los rankings que en conjunto contribuyen a incrementar la capacidad de agenciamiento de la idea de calidad universitaria. En esta estructura agencial, los medios de comunicación junto con las universidades, contribuyen adicionalmente con la replicabilidad de los rankings a través de la recurrencia en las noticias y publicidad cuyas narrativas serán también asumidas por algunos académicos – siempre y cuando el resultado de la medición sea favorable para la institución-, y por expertos en rankings dentro y fuera de las universidades; quienes nuevamente contribuirán con sus discursos en seminarios, charlas, conferencias y papers, al igual que los medios, a situar y validar esta manera de hablar de calidad. VI.2.4 Agenciamiento sociotécnico o la capacidad de acción del discurso sobre calidad Si entendemos la performatividad como el viaje de las ideas que se desplazan a través de diferentes contextos, desde el discurso científico o técnico hacia un público no experto, y moldean la realidad produciendo una respuesta (esperada), descubriremos que en este modelamiento interviene una red agencial que opera bajo distintos contextos, que va contribuyendo con sus discursos a la institucionalización de la idea de calidad que actualmente tenemos. 83 El agenciamiento sociotécnico es un término acuñado por M. Callon en sus estudios sobre la performatividad de los discursos de la ciencias económicas (Callon M. , 1998); (Callon M. , 2007), (Mackenzie, Muniesa, & Siu, Do Economists Make Markets? On the Performativity of Economics, 2007) y resulta ser una de las principales condiciones de posibilidad de los actos performativos; Callon se refiere al agenciamiento como “arreglos” (arrangements) dotados de capacidad de acción de diferentes formas, dependiendo de su configuración; y la construcción de esta red es también parte del agenciamiento que actúa en línea con el discurso, así como las instrucciones son parte de un dispositivo de software que permiten hacerlo funcionar (Callon M. , 2007, pág. 320). El agenciamiento sociotécnico es lo que permite sostener en el tiempo la acción modeladora de la idea de calidad a través de la repetición del discurso que se manifiesta en diferentes actores o cosas, como el uso de las prácticas de medición y evaluación, y en el uso reiterado de los mismos indicadores y datos para evaluar calidad. En la perspectiva de esta red agencial, los rankings universitarios pasarían a ser una suerte de tecnología o dispositivo agencial de la idea de calidad universitaria que hemos descrito, insertos en un continuo donde opera algo así como un metadiscurso de calidad que actúa transversalmente, encarnado en la red de agentes sociotécnicos. Visto así, los rankings son como interfases, mediadores del discurso performativo de calidad, cuestión que se logra a través del tiempo y apoyado a su vez en la cadena agencial que potencia el discurso. Describir cómo se manifiesta esta red agencial es entonces una parte fundamental del trabajo de investigación que abordamos a continuación. En nuestro estudio, vamos a situar el inicio de la cadena agencial en los creadores de los rankings, los expertos que construyen el relato inicial de calidad universitaria, aunque no tiene tanto de nuevo como ya hemos visto, pues el relato ya ha sido instalado por una red agencial que se basa en el uso de indicadores y dimensiones de calidad que ya han sido usados por otros y validados en mediciones para otros fines, son parte del léxico de calidad que se ha instalado lentamente en el país. Valdría la pena recordar en este punto que cuando surgen los primeros rankings en Chile ya existe un contexto donde se habla de calidad; el aseguramiento de la calidad es una actividad que se está llevando a cabo experimentalmente como política pública y se están instalando otros mecanismos de medición en agencias gubernamentales vinculados a la asignación de recursos, lo que podríamos describir -en la forma en que Foucault los plantea-, como acciones donde opera la gubernamentalidad 84 del estado (Foucault M. , 2006), (Ramos C. , 2014) que tiene fuerte incidencia en la construcción de la noción de calidad. Sin embargo, el relato de los rankings tiene de “nuevo” la forma en que se presenta. Sus fines comparativos muestran el resultado de una competencia por la calidad entre universidades, que posiciona a las mejores en los primeros lugares y a las peores en los últimos. Este discurso es el que viajará hasta instalarse en un público no experto que finalmente, asumirá estas posiciones como una creencia, es decir el público no experto llegará a identificar a las ganadoras y a las perdedoras en la competencia por la calidad sin importarle mucho como se llegó a ese resultado. En el medio de este viaje, hay otros actores que surgieron en la investigación que tienen la capacidad de rearticular el discurso de los rankings utilizando las mismas fuentes de datos y los mismos indicadores para hablar de calidad, entre ellos destacan los medios de comunicación y los rectores entrevistados que representan a las instituciones universitarias. VI.2.4.1 El Rol performativo de los rectores La condición performativa de un enunciado está limitada por un cierto contexto y status de quien lo emite, nos aclara John Searle en la definición de los hechos institucionales (Searle, 1997). Si asumimos que el discurso de calidad actual se proyecta institucionalmente, entonces los rankings podrían constituir un acto del habla de este tipo. Resultará entonces interesante revisar los conceptos de contexto y status en la estructura agencial que hemos esbozado. El contexto se refiere a la situación, en este caso se trata de una entrevista a una autoridad universitaria para hablar de calidad, un espacio donde se encuentran entrevistadora y entrevistado quien expresa sus opiniones como conocedor del tema. En cuanto al status, se trata del reconocimiento de cierta autoridad de los agentes para hablar de los temas universitarios y en especial de la calidad universitaria. Seguramente, quienes construyen los rankings tienen el status de expertos para decir lo que dicen, de otro modo los rankings no subsistirían; pero también dentro de las universidades existen quienes cumplen un rol performativo. Hablaremos en este caso de los rectores, autoridades reconocidas en la administración universitaria a quienes hemos podido entrevistar y analizar a través de sus intervenciones y discursos. En particular en el grupo de autoridades, aspectos como el conocimiento previo entre el entrevistado y la investigadora influyeron en el grado de confianza del entrevistado para 85 expresar sus opiniones y en cierta falta de libertad que el cargo de autoridad conlleva para explayarse y abordar con sinceridad las opiniones que guardan las personas más allá de sus cargos. Varias veces las autoridades entrevistadas se remitieron a una respuesta “adecuada” o – podríamos decir-, “políticamente correcta” para no comprometer opiniones que se contravienen con la identidad o etiqueta que el cargo les impone. Uno de los entrevistados se refirió explícitamente a esta situación cuando se le planteó cuál era su idea de una universidad ideal, señalando: “Yo pienso más bien en la microeconomía de la universidad, he tratado de hacer un esfuerzo por buscar la utopía, en oposición a [lo que sería] una respuesta de catálogo: que [la universidad] esté súper vinculada al extranjero, que tenga las mejores redes internacionales, que sea capaz de organizar los sistemas…” (Rector, Universidad Estatal, de Investigación y Doctorado en áreas selectivas, Regional) En esta situación, ciertamente limitante de un cargo de autoridad frente a lo que se dice o deja de decir, podemos vislumbrar la presencia de la agencia; parte de la cadena agencial que permite performar la idea de calidad actualmente vigente en el país a nivel institucional. Las respuestas “de catálogo” a las que alude la cita de este rector son justamente parte de la retórica, del discurso sobre calidad universitaria que se ha venido instalado institucionalmente, discurso que asumen en forma natural y ciertamente inconsciente los rectores de las universidades y que es fácilmente identificable a través de indicadores de desempeño estandarizados, reconocibles y medibles. En otras ocasiones, algunos temas fueron claramente evadidos por estas autoridades cuando aparecieron cuestiones sobre las que no quisieron polemizar ni profundizar. Uno de los rectores entrevistados de una universidad privada, refiriéndose al tema de la acreditación, señala: “…esta evaluación que hace la misma comisión de visita de pares….ese es otro tema….¿qué pasa con el número de años?... es una cosa que también uno podría conversarla, pero quizás en otro momento….” (Rector, Universidad Privada, Docente, Metropolitana) Junto con estas reflexiones es preciso identificar también una cierta agenda de temas que toda autoridad que cumple un rol de liderazgo lleva consigo y por tanto, no se puede descartar la posibilidad que abre para él o ella una entrevista donde intentará transmitir aquellas cuestiones 86 que son parte de sus intereses. Ejemplos de este tipo de interferencias hubo en muchas de las entrevistas. Sin que se les preguntara por ello, inevitablemente los entrevistados destacaron con orgullo, en más de una oportunidad, hechos, datos, indicadores o acciones realizadas por sus propias instituciones como ejemplos de calidad o de lo bien que lo están haciendo como universidad. Aparece de este modo, nuevamente, el carácter performativo de los discursos sobre calidad universitaria, donde se intenta mostrar aquellas dimensiones en que la universidad representada tiene evidencia de buenos resultados y ciertamente el interés en que se pongan de relieve. La siguiente cita de una de las entrevistas muestra bien esta cuestión: “Te lo digo yo como rector….nosotros que lo hemos definido como universidad, hoy día tenemos un 91% de los programas acreditados, todas las ingenierías por cuatro años y con cuatro agencias diferentes…las decisiones que se toman, se toman siempre pensando en los mismos estándares que la institución se ha ido imponiendo…” (Rector, Universidad Privada, Docente, Metropolitana) El enunciado de la cita puede leerse de este otro modo: “te lo digo desde mi cargo de rector (el status), desde mi autoridad, por lo tanto debes confiar en la sinceridad y verdad de lo que digo: lo estamos haciendo bien como institución, estamos respondiendo bien a lo que se espera de nosotros”. Se revela también en esta opinión, que el discurso de calidad que esta autoridad maneja responde a los criterios de calidad esperados, a aquellos que el discurso ha modelado, basándose en indicadores y estándares como los mencionados; “tenemos el 91% de los programas acreditados”, es ciertamente un indicador representativo del discurso de calidad dominante. Para Foucault, bastaría con el status del hablante para que exista un efecto por lo que dice pues la sinceridad del hablante no es una condición para la performatividad del discurso, por el contrario, el hablar franco y veraz (la parrhesía) se opone al discurso performativo pues en este último caso, las consecuencias de lo que se dice están definidas de antemano (Foucault M. , 2009, pág. 79). Otro ejemplo, que en apariencia podríamos calificar como “coincidencia” es posiblemente una muestra del discurso performativo de calidad sobre el cual estamos indagando: se trata de la vinculación entre calidad y lucro en la opinión de cuatro de los cinco entrevistados 87 pertenecientes a las universidades privadas consideradas en la muestra. El tema no fue parte del diseño de la investigación ni estaba considerado en la pauta de preguntas, sino que surgió espontáneamente en algún momento de la entrevista. Los cuatro entrevistados se refirieron al tema del lucro, expresando implícitamente la fuerte presión pública que sienten como autoridades y representantes de instituciones que han sido cuestionadas en su calidad por pertenecer a una clase de instituciones –las universidades privadas- que se ha visto vinculada a este problema, intentando con ello borrar la idea que parece haberse instalado de que las universidades que lucran no pueden ser de calidad. Pudimos constatar en estas opiniones la necesidad de explicar y aclarar que “son inocentes” y que no han estado involucradas en situaciones de lucro, poniendo de relieve su calidad, la manera correcta y positiva en que han hecho las cosas, destacando la forma en que han encauzado su crecimiento y desarrollo como universidades que merecen reconocimiento y utilizando para decirlo, la batería de indicadores disponibles que se utilizan para hablar de calidad: cuánto ha crecido la matrícula, cuánto han investido en infraestructura, cuántos académicos con PhD han contratado en el último tiempo, etc.. Podríamos suponer que –tal vez- estas entrevistas fueron una oportunidad para los entrevistados, para justificar la existencia de sus instituciones y demostrar con ejemplos concretos lo bien que lo están haciendo como universidad privada. Un par de entrevistados se refieren al tema en los siguientes términos: “Pero desde el punto de vista de esto que tanto se ha cuestionado, este tema del lucro -que es el tema candente que se habla todo el tiempo-; la gente, la verdad es que no entiende lo que es el lucro….se cree que el hecho de que una universidad cobre, eso es lucrar. Pero el lucro tiene que ver con otro aspecto…, tiene que ver simplemente con que los excedentes que aquí se generen tienen que ser reinvertidos en la propia corporación, no se lo pueden llevar para la casa -dicho en términos brutales-. Entonces todos estos edificios son propios, [provienen] de lo que la universidad genera. De otro modo no se podría hacer, nadie hoy día estaría en condiciones de ponerse con una cantidad brutal [de dinero], endeudarse, además con la incertidumbre que hoy existe. Porque antes, efectivamente, cuando partieron muchas de estas [universidades privadas] -y eso a la gente le cuesta entender-, estas universidades parten cuando no son sujetos de crédito; [entonces] quiénes se endeudaron para construir fueron los señores que crearon esta figura y, por lo tanto, de alguna manera arriesgaron su patrimonio para poder financiar un crédito y pagar… Después la cosa fue 88 distinta, pero al comienzo fue eso” (Experto, Universidad Privada, Docente con proyección en Investigación, Metropolitana) “Ahora [que aparecemos bien en los rankings] hay una tranquilidad, y también con la acreditación de las cinco áreas, en el sentido que se reconoce el trabajo que está realizando la unidad. No es que sea lo más importante, pero es sano. Es sano el reconocimiento público y más encima en esta época que estamos tan cuestionadas las universidades privadas… En el fondo es muy bueno decir…A los académicos como que les llama la atención porque, en el fondo, no aparecíamos [bien posicionados], y también algunos no percibían este cambio y cómo la universidad ha ido mejorando en todas la áreas de la investigación”. (Experta, Universidad Privada, de Investigación y Doctorado en áreas selectivas, Metropolitana) Los estereotipos o metáforas fueron también parte de las expresiones de uso recurrente en las respuestas de algunos rectores entrevistados para decir algo de manera más oculta o caracterizar de este modo modelos o conceptos. Podríamos decir que el uso de metáforas es una manera de decir las cosas cuando el cargo no permite ser claro y explícito en ciertas materias donde es más conveniente la ambigüedad. Varios ejemplos ya se han mostrado en las citas utilizadas como parte de los resultados. La mayoría de las entrevistas tuvo una evolución en el sentido de que la actitud del entrevistado fue cambiando, oscilando entre momentos en que el discurso se planteaba como lo “políticamente correcto”, es decir momentos donde aparece claramente la agencia, y momentos donde aparece la sinceridad de la persona que se arriesga a emitir su opinión. Estos cambios eran acompañados de una cierta disposición corporal de los participantes que mostraba en general signos de apertura, brazos abiertos, relajo del cuerpo en el sillón, gestos del rostro. Atención especial merece una pregunta donde se logran percibir bastante bien estos cambios, permitiendo a los entrevistados, mayor soltura y comodidad que se reflejó no solo en un discurso más reflexivo y en divagar hasta construir una idea, sino también en su corporalidad. La pregunta por “imaginar una universidad ideal” otorgó libertad al entrevistado, fue una invitación a crear un mundo, a hablar de una utopía que los posicionó frente a un futuro por inventar, sacándolos de sus actuales posiciones y preocupaciones. En este caso, en varias de las entrevistas, la agencia performadora del discurso institucional de calidad, no se reveló. 89 VI.2.4.2 La manera en que intervienen los medios de comunicación Hemos dicho que el sentido de los rankings y de la acreditación institucional –vista igualmente como un ranking-, es informar al público sobre el estado de la calidad de las instituciones y compararlas entre ellas; así lo declaran quienes construyen estas mediciones. Para el logro de este objetivo se requiere una amplia difusión pública de los resultados, tarea que descansa en aparatos de difusión masivos como los medios de comunicación, los que generalmente utilizan formatos electrónicos como garantía de una amplia propagación en la web. En el caso de los resultados de la acreditación, la ley actual establece que las propias instituciones deben difundir este resultado en toda la publicidad que realicen (CNA) lo que obviamente involucra la participación de medios comunicacionales. Los medios constituyen una parte fundamental en la estructura agencial del discurso sobre calidad, en la manera en que Callon lo describe; y son tal vez un fin para los rankings pues en ellos descansa gran parte de su capacidad performativa. Su poder de difusión alcanza a un público masivo y permite mantener en el tiempo el discurso sobre calidad propuesto, multiplicándolo a través de sus propias redes mediáticas. Con este nuevo actor se genera un cambio de contexto en el viaje de la idea de calidad. La publicación de los rankings en los medios de comunicación produce un efecto comunicacional que instala con cierta distorsión la propuesta de los expertos y altera la concepción de calidad de las instituciones en la opinión pública. Los medios de comunicación intervienen en la forma en que se transmite la información, minimizando en cierta medida la complejidad de la medición y de una idea de calidad multidimensional que se expresa en forma parcial y simplificada. Uno de los entrevistados lo expone del siguiente modo: “Los sistemas de medición -en primer lugar-, se validan en un contexto que no necesariamente es idóneo como validador. Desde el punto de vista de la prensa o de cómo se dan las noticias… la gran noticia que va a mostrar el titular del diario es que la universidad xxx que antes era la segunda, ahora fue séptima. Esa espectacularidad con que se muestran las noticias tiene un factor de llegada a un consumidor que no es un juez idóneo y no se quiere que sea un juez idóneo, porque mientras más tonto, más fácil de hacer leso es… enseguida hay una percepción en la opinión pública que claramente no es objetiva ni científica”. (Rector, Universidad Estatal, de Investigación y Doctorado, Metropolitana) 90 El entrevistado logra identificar claramente el cambio de contexto del que es sujeto el ranking, desde el ámbito de los expertos (en el medio universitario o de investigación) al ámbito público (en el medio social) donde hay un consumidor de información no experto que –como dice el entrevistado- no es un juez idóneo para comprender la propuesta del ranking. La manera en que esto ocurre, la manera en que el ranking “viaja” desde un público experto a uno no experto se logra a través de los medios de comunicación que aportan otra manera de leerlos, realizan una suerte de traducción desde un lenguaje científico, que se focaliza en distinciones metodológicas y conceptuales, hacia un lenguaje más coloquial y comprensible por un público masivo, donde lo relevante ya no son las definiciones metodológicas o cómo se construyeron los indicadores utilizados, sino otros aspectos, como quienes ocupan los primeros y los últimos lugares en el ordenamiento de posiciones. De Santos describe el lenguaje de los medios como un lenguaje melodramático (De Santos, 2009), donde lo importante son los cambios de posición de las universidades rankeadas, las subidas y las bajadas, quienes mejoran su calidad y quienes empeoran. Ramos, por otra parte, se refiere a la fuerza ilocucionaria (Ramos C. , Investigación científica y performatividad social: el caso del PNUD en Chile, 2012) de los medios identificando con ello la fuerza expresiva con que el discurso de calidad de los rankings se amplifica en este nuevo contexto. Los titulares de los medios generalmente utilizan recursos expresivos para poner la noticia sobre los rankings, no importando destacar la manera en que el ranking fue construido, ni diferenciando las dimensiones de calidad evaluadas; por el contrario, se tiende a simplificar al máximo el discurso destacando sobretodo como titulares, sentencias absolutas de calidad tales como, la universidad “xx lidera la mejor calidad en el país”, o “la universidad zz subió al primer lugar en el ranking de calidad 2015”. VI.3 DIMENSIONES EXCLUIDAS DEL DISCURSO ACTUAL DE CALIDAD En este último capítulo nos referiremos a aquello que ha quedado fuera de las mediciones en la idea institucionalizada de calidad que hemos ido perfilando como una idea moldeada en el tiempo a través de una cadena agencial de interventores, de la que forman parte los medios de comunicación y las mismas universidades a través de sus representantes. Trataremos ahora de identificar cuáles son aquellos elementos que han sido excluidos de esta idea que al no ser 91 mencionados aparecen como irrelevantes o inexistentes. Estas ideas marginadas del discurso dominante actual son las que los entrevistados rescatan al imaginar cómo sería la universidad ideal. La universidad ideal: un nuevo referente comparativo La pregunta por imaginar la universidad proviene del enfoque utilizado por el sociólogo británico Ronald Barnett en su último trabajo de investigación cuyos resultados se expresan en Imagining the University (Barnett, Imagining the University, 2013). Frente al escaso y poco sustancial debate actual sobre la naturaleza de la universidad y constatando que el surgimiento mundial del modelo de la universidad empresarial parece representar una idea que se acomoda al pensamiento mayoritario, Barnett invita a repensar la universidad a través de la imaginación, un recurso epistemológico que permite al sujeto soñar, pensar en la utopía, pero en una utopía viable de nueva universidad ante la cual aparece la posibilidad de la universidad ecológica (Barnett, Imagining the University, 2012). Para Barnett, el ejercicio de imaginar pone al sujeto en la situación de pensar algo que no existe en el mundo real, pero que se le parece pues se construye a partir de ideas previas, a partir de los déficits percibidos en el imaginario actual. Imaginar es un ejercicio individual que predispone a pensar en libertad pues se opone al pensamiento ideológico y permite construir una comprensión colectiva sobre algo (Barnett, Imagining the University, 2013, pág. 15). Usamos este recurso para indagar en la idea de calidad, pero sin hablar de ella, buscando una respuesta frente a la universidad ideal, buscando ideas que se repiten entre los entrevistados que nos permiten construir un nuevo referente comparativo para la calidad universitaria. Como ya se describió en parte en el capítulo anterior sobre el rol performativo de los rectores, la pregunta por imaginar una universidad ideal, permitió a la mayoría de los entrevistados expresar libremente sus deseos, expectativas y una mirada hacia el futuro de la universidad chilena, los llevó a pensar en una utopía y construir una idea de lo que sería para ellos la universidad de mejor calidad. Aunque no faltaron las “respuestas de catálogo” o políticamente correctas, vale decir la aparición de la agencia performadora de la idea de calidad actualmente vigente, los entrevistados describieron cómo podría ser esta institución ideal que en varios aspectos contrasta con el paradigma comparativo actual de universidad. 92 Los atributos asignados por los entrevistados a la universidad ideal, fueron compartidos en muchos casos y reflejan algunos de los aspectos que comienzan a aparecer tímidamente en el debate público actual de la educación superior. Se trata de características que habitualmente no se miden en los rankings existentes pues algunas de ellas se consideran difíciles de medir. Revisemos a continuación aquellos más representativos que emergieron del discurso de los entrevistados: a) Diversidad del alumnado Para algunos entrevistados, un rasgo distintivo en la universidad ideal debe ser la diversidad del alumnado pues esta condición contribuye a un mejor aprendizaje, no solo de conocimientos sino de aspectos valóricos y cívicos que fueron considerados de importancia dentro de la formación profesional. Aprender a vivir en tolerancia y aceptación del otro es una de las miradas que concibe a la universidad como un reflejo del país. “[Esa] universidad sería una universidad -creo yo-, diversa en términos de su alumnado, porque finalmente, los estudiantes aprenden entre ellos, aprenden en un contexto, en el aula, donde no da lo mismo el conjunto, digamos. Diversa, puede ser por nacionalidad, puede ser por nivel o background socioeconómico, cultural; puede ser diversa por su disciplina o interés principal digamos. Yo creo mucho en eso de la oportunidad de poder mezclar jóvenes que están estudiando... Por último, que tengan la oportunidad, si están en una carrera bien específica, de que hayan algunas áreas comunes que se mezclen. Entonces, que por lo menos tengan esa experiencia de algunos cursos con gente de otras áreas. Eso te da más posibilidades que un estudiantado absolutamente homogéneo como tiende mucho a darse en Chile….”. (Consultora Experta, Santiago) b) Una comunidad de aprendizaje La mayoría de los entrevistados se refirió a la universidad como una comunidad que involucra a los distintos estamentos universitarios, especialmente a profesores y alumnos en el proceso de enseñanza aprendizaje. Uno de los entrevistados lo señala del siguiente modo: “Las universidades también deben formar [un] criterio profesional… No es posible armar criterios profesionales solo por el autoaprendizaje; el profesional se hace producto de la discusión, de la dialéctica con los profesores, alumnos, compañeros…la universidad [ideal] es una 93 comunidad de docentes…, de discípulos y maestros”. (Rector, Universidad Estatal, de Investigación y Doctorado en áreas selectivas, Regional) El desafío está entonces en formar esas comunidades que parecen haberse perdido en el tiempo –según uno de los entrevistados-, siendo uno de los pilares de la universidad desde sus inicios. Hoy en día la comunidad se ha perdido, la tecnología ha ocupado espacios que fomentan el autoaprendizaje y la relación de docentes y estudiantes se percibe lejana a lo que en un tiempo fueron maestros y aprendices. c) Mejor docencia Un elemento esencial en la universidad ideal se refiere a la calidad de la docencia, a la necesidad de mejores profesores para el pregrado. Los entrevistados apelan a que la universidad ideal necesita de maestros, personas comprometidas con la docencia que sepan enseñar, donde la docencia debe nutrirse de la investigación sobre las propias prácticas. Uno de los entrevistados se refiere a este punto del siguiente modo: “Hay un par de elementos que son esenciales, el tema de la calidad de los profesores y académicos. El cómo se enseña y cómo se aprende. Creo que es importante, no solamente que hayan grupos de académicos [investigadores] que tengan connotados currículum y publicaciones, pero también que haya una preocupación por la calidad de la enseñanza, y del aprendizaje de los estudiantes. Yo soy de la opinión que también puede haber profesores muy, muy buenos que a lo mejor no tienen una trayectoria en investigación tan destacada porque se han preocupado mucho más de aprender cómo ser mejores docentes… Que tengan el bagaje del cómo trabajar en el aula para lograr un aprendizaje profundo en los estudiantes, lo encuentro esencial”. (Consultora Experta, Santiago) d) Investigación y pertinencia Se reconoce la importancia de la investigación en la universidad ideal, pero también se reclama por la pertinencia de esa investigación. Esta pertinencia es entendida como la respuesta a una adecuada vinculación con el medio donde la universidad está situada. Uno de los entrevistados lo describe del siguiente modo: 94 “Debiéramos tener también universidades que sean pertinentes…, una pertinencia respecto a lo que son las ventajas de localización. Las universidades deben buscar sus ventajas de localización para hacer lo que hacen. La pertinencia es el contacto con la realidad, con el empleo y con los problemas [locales].... La universidad debe apuntar a solucionar los problemas de la comunidad, los problemas reales del mundo. Reproducir universidades complejas en el mismo lugar muchas veces es muy difícil….”. (Rector, Universidad Estatal, de Investigación y Doctorado en áreas selectivas, Regional) La responsabilidad de la universidad ideal, para muchos de los entrevistados, se sitúa en una función pública y eso significa hacerse parte en la solución de los problemas del país y del entorno local donde la universidad está ubicada, en su comunidad o región, contribuyendo de este modo al desarrollo económico, social y cultural de su entorno. La investigación pertinente muchas veces se contrapone con la investigación que produce publicaciones ISI que son aquellas más valoradas en las actuales mediciones de calidad, en los rankings y en los fondos concursables para su financiamiento; allí están puestos hoy los incentivos donde la universidad será reconocida, no tanto en la investigación para la solución de problemas reales que su entorno inmediato necesita. Algunos de los entrevistados señalan que la universidad debe responder a ambas demandas y ser exitosa tanto en la producción de investigación de nivel internacional como en aquella orientada a lo local. “Debería tener una pertinencia [local] como un rasgo muy importante y [también] debería tener una presencia internacional, ser capaz de combinar las dos cosas. Desde luego una investigación que se tradujera en publicaciones a nivel internacional, o sea, tendría que cumplir con estándares internacionales, pero al mismo tiempo ser pertinente al país y estar en consonancia con las necesidades de un pueblo, de las demandas –digamos- locales, y conjugar esas dos cosas”. (Rector, Universidad Estatal, de Investigación y Doctorado, Metropolitana) Varios de los entrevistados fueron enfáticos en señalar la importancia de la pertinencia como rasgo distintivo de la universidad ideal para salvar a la universidad actual que se ve más cercana a cumplir la función de un centro de estudios avanzados donde solo prima la productividad en investigación de punta o bajo estándares internacionales. 95 e) Gestión universitaria Los temas asociados al liderazgo, la forma de gobernar y la organización universitaria no estuvieron fuera de la idea de universidad ideal. Se develaron atributos como el liderazgo de los equipos directivos, el sistema de gobierno universitario y la necesaria representación de todos los estamentos universitarios, y un gobierno corporativo que respeta los principios de la autonomía, como condición estructural del sistema universitario. La existencia de estos elementos en la universidad ideal contribuirá –según los entrevistados-, a una mejor gestión de la institución. Uno de los entrevistados consideró como segundo elemento más importante en su idea de universidad ideal, aspectos relacionados con las personas que influyen directamente en la gestión de la institución: “Lo segundo es el liderazgo, la gestión que puede haber en esa institución. No tengo el sesgo de que solamente la gente que ha tenido como una trayectoria académica sean los que puedan tener roles de liderazgo en una institución de educación superior. Yo creo que puede ser una mezcla. Me imagino gente que tenga un perfil ad hoc, que entienda muy bien la cultura, la dinámica [interna], la política, todo, cómo se mueve una institución”. (Consultora Experta, Santiago) VII. CONCLUSIONES En esta investigación hemos visto cómo la medición ocupa un lugar central dentro de las actuales prácticas que dan cuenta de la calidad universitaria, allí ubicamos los rankings, la acreditación institucional y la asignación de recursos públicos por parte del estado. La medición se presenta como una tendencia natural en el marco del sistema de mercado en el que se desarrolla actualmente la educación superior chilena; es una práctica que lleva asociada la competencia por una posición en el universo de instituciones que son comparadas. De esta aproximación cuantitativa deviene un estatuto cosificado de la calidad universitaria que resulta de la operación que transforma aspectos cualitativos en cifras. Uno de los dispositivos de medición de la calidad son los rankings universitarios que analizados críticamente revelan, a partir de las dimensiones que son evaluadas y los indicadores 96 que representan estas dimensiones, un énfasis que está puesto principalmente en los resultados de investigación que las universidades son capases de lograr, subordinando otras posibles dimensiones de calidad a un segundo plano y mostrando de este modo que hay un modelo oculto, no explícito de universidad que los rankings ponen como referente a través de lo que están midiendo. Se trata de la gran universidad de investigación, aquella que está mejor capacitada por su tamaño para lograr la mayor cantidad posible de publicaciones indexadas, en la mayor cantidad de áreas disciplinarias y obteniendo el mejor impacto internacional de esas publicaciones. Esta universidad referente es la que ostenta la mayor planta académica de investigadores capacitados para investigar, que tienen el grado de doctor o PhD. En nuestro país, a este modelo validado internacionalmente, se agregan capacidades de eficiencia docente, que se traducen en un tipo de estudiante ideal que ingresa a la universidad con un alto puntaje PSU, que no deserta de la institución y que se titula en los tiempos establecidos, un modelo que está lejos de representar a la mayoría del estudiantado chileno. De este modo, son pocas las instituciones que a nivel nacional pueden acercarse al modelo propuesto, y son sólo esas pocas aquellas que logran los mejores resultados en los rankings, mostrando una permanente superioridad frente al resto, porque pueden dar mejor cumplimiento a los indicadores que los rankings miden. Hemos mostrado también cómo los rankings, a través de su construcción, pueden simplificar una idea compleja, multidimensional. Apelando a la ciencia y al lenguaje matemático, los rankings logran reducir a un número la calidad de una cierta universidad y presentarla en un ordenamiento de posiciones donde es posible comparar sus resultados con otras; de este modo usando los indicadores y los datos adecuados, los rankings entregan información sobre las universidades al mundo universitario y se presentan ante un público no conocedor del tema, apoyados por los medios de comunicación que permiten su llegada a una audiencia masiva. Los rankings se construyen científicamente, apelando a una cierta metodología donde residen sus principales críticas. Se utilizan indicadores agregados, ponderados arbitrariamente, varios de los cuales representan proxys de dimensiones cuya complejidad hacen difícil su medición. Hemos revisado las limitaciones de varios de estos indicadores y reflexionado sobre los datos que se utilizan para construirlos, cuestionando su confiabilidad, a pesar de que estos emanan de agencias gubernamentales que tienen la potestad de ser fuentes de información oficiales. 97 Ciertamente, una de las principales conclusiones de la investigación es que los rankings producen ciertos efectos, en primer lugar frente al público hacia el cual se dirigen, una audiencia de personas no conocedoras de los temas universitarios. En este contexto, construidos bajo los lineamientos de la ciencia con su aura de verdad y con la objetividad de las matemáticas, los rankings pueden llegar a crear una realidad en torno a la idea de calidad universitaria que proponen. Este discurso fáctico de los rankings, opera a través de la creencia, cuando somos persuadidos a creer y aceptar un discurso que no conocemos, como una verdad. En segundo lugar, el juicio de calidad que emiten los rankings sobre las universidades que son medidas, va a tener un impacto en las propias instituciones, que a diferencia del público masivo se consideran entes expertos o al menos conocedoras del tema. Los rankings producen ciertos efectos que fueron reconocidos por un grupo de entrevistados de una muestra representativa de instituciones chilenas. En los resultados de esta evidencia empírica, no se distinguen diferencias significativas entre las opiniones de los entrevistados según los grupos o categorías de instituciones diseñadas en la investigación, exceptuando una única mención encontrada en los entrevistados pertenecientes a universidades privadas, donde se develó una especial vinculación entre calidad y lucro. Una explicación posible para este hecho reside en el tamaño de la muestra que pudo resultar insuficiente para constatar si efectivamente se generan opiniones compartidas o distintivas de una clase de instituciones dentro de las categorías definidas. Lo claro hasta ahora es que pareciera que en torno a la calidad universitaria no se perciben opiniones muy diferentes entre los distintos tipos de universidades. No podemos, sin embargo, sostener que habría acuerdo en torno a los temas o que éstos serían transversales a las instituciones que se consideraron en la muestra, pero sí podemos proponerlo como hipótesis para futuras investigaciones sobre el tema. Uno de los mecanismos de medición que surgió espontáneamente y con un gran énfasis entre los entrevistados fue el efecto que provoca en las instituciones la acreditación, cuyo resultado final como número de años logrado, se considera también un ranking de posiciones, aunque sabemos que el sentido original de la ley de acreditación de la calidad no fue planteada en este fin. La acreditación se vive internamente como una exigencia y comporta toda una preparación de parte de las universidades para “pasar la prueba” y lograr un buen resultado. Para los entrevistados, las universidades deben mostrar en esta evaluación todo lo bien que lo han 98 hecho, intentando dar las respuestas correctas, no necesariamente las respuestas verdaderas. Se develó también que el interés por estar acreditado responde a los incentivos económicos que trae aparejada la acreditación, lo que hace pensar en cómo sería un genuino interés por la calidad si no hubiera este tipo de incentivos, pregunta que no podemos responder ahora pues nos desviamos del objetivo de la investigación; sin embargo dejamos planteada la opinión de los entrevistados sobre el tema: la calidad es vista como una responsabilidad institucional que no se logra por una ley impuesta sino que se afirma en los procesos de autorregulación que desarrollan las propias instituciones. Entre los efectos que provocan en las instituciones los rankings en particular y las mediciones de la calidad en general, destacan la competencia que generan. No quedar fuera de los rankings las obliga a aceptar el discurso de calidad que traen consigo, las obliga a jugar con esas reglas y a lograr los resultados necesarios para parecerse cada vez más al modelo de universidad de investigación que se plantea como referente. Se compite entonces por un mejor resultado, por mantener el prestigio o reconocimiento otorgado por la posición lograda que deberá mantenerse o superarse en el próximo ranking. La respuesta de las universidades se focaliza entonces en mejorar los indicadores de desempeño que los rankings proponen “playing to the test” (Espeland & Sauder, 2007) y de este modo responder positivamente a la competencia que pone en juego el ranking al comparar instituciones. Al igual que en la acreditación, las universidades deben demostrar lo bien que lo hacen siguiendo las reglas del juego, es decir, deben mejorar los resultados sólo en las dimensiones e indicadores que se han definido para medir calidad, son esos indicadores los que dan puntos para el ranking; no hay otros elementos que valgan para dar cuenta de la calidad, aunque la universidad lo haga muy bien en otros aspectos. El modelo se describe solo a través de ciertos indicadores, el resto de las cosas que la universidad hace queda excluido y pareciera no existir. Estos efectos producen una distorsión del quehacer de las universidades, es decir todos los esfuerzos estarán puestos en responder al modelo, descuidando otras áreas, aún cuando éstas pueden representar aspectos fundamentales del quehacer universitario. El modelo de mejor universidad que promueven los rankings subvalora otras dimensiones que quedan excluidas de la idea de calidad como la docencia que, aunque es vista como una de las dimensiones fundamentales del quehacer universitario, recibe un impacto negativo en contraposición a la importancia otorgada a la investigación. 99 Tras estas evidencias de efectos creemos que la respuesta a la pregunta por la performatividad de los rankings ya queda esbozada. En efecto, bajo la interpretación de M. Callon, podemos constatar que el discurso de calidad de los rankings produce en la realidad, la noción de calidad que está describiendo, una noción que se reconoce en los discursos por el uso de los indicadores estandarizados que se utilizan para medirla. Bajo esta premisa, los rankings se presentan como un dispositivo de agenciamiento sociotécnico dentro de una suerte de metadiscurso de la calidad que sostienen distintos actores y cosas, los agentes del modelo de calidad que se ha institucionalizado o que está en un proceso continuo de institucionalización. Así, el discurso sobre calidad de los rankings realiza una intervención, dentro de una compleja y permanente gestión de agenciamiento de una red que contribuye a modelar en las instituciones la idea de calidad esperada, aquella que constituye actualmente el discurso dominante de calidad en el país. La red de entidades agenciales está integrada también por otros mecanismos tales como las distintas prácticas de medición que utilizan los mismos indicadores que los rankings o sólo algunos de ellos, que reconocemos en los procesos de acreditación y en las mediciones que realiza el gobierno y sus agentes para la asignación de recursos públicos. La capacidad de agenciamiento de la red debe su efecto performativo a la iterabilidad o repetición discontinua del discurso, lo que Butler llama “la repetición subversiva de los actos en el tiempo” (Butler J. , Actos performativos y constitución del género: un ensayo sobre fenomenología y teoría feminista, 1990), donde debemos poner atención en la forma, en la dimensión temporal en que ocurre el agenciamiento. Se trata de diferentes repeticiones del discurso a lo largo del tiempo que permiten instalar subrepticiamente el modelo, de modo casi inconsciente. En esta red agencial hemos identificado diversos actores, partiendo por los productores de los rankings cuyo estatus de expertos los faculta para emitir un discurso que será validado en el contexto de la ciencia. Identificamos además a los medios de comunicación como agentes clave en la transformación del discurso emanado de los rankings para facilitar la creencia de un público masivo y no conocedor del tema. Podemos también reconocer como posibles agentes a consultores independientes o a expertos adscritos a las propias universidades que han asumido el modelo y sus criterios, utilizando las dimensiones de calidad y sus indicadores que se reconocen fácilmente en sus discursos. 100 Indagado en las propias universidades representadas por sus autoridades, hemos reconocido en ellos a agentes performadores del discurso de calidad, un discurso que se identifica –como ya hemos dicho-, por los términos con los que se describe la calidad. El rol performativo de los rectores se presenta en un hablar intermitente que también da pie a la parrhesía, en palabras de Foucault, a un hablar franco y veraz donde comprometen su sinceridad para describir un nuevo referente de universidad, donde la calidad queda representada por nuevas dimensiones que no incluye el discurso dominante que hemos descrito. Estas dimensiones, que quedan excluidas del discurso oficial, tienen gran importancia al describir lo que representa para los entrevistados la idea de universidad ideal y las funciones que ella debe cumplir. Aparecen así la importancia asignada a la docencia en contraposición al amplio espacio del que hoy goza la investigación; la pertinencia de la investigación, no solo una investigación validada por su impacto internacional, sino que responde a las necesidades locales de la sociedad y economía del país o del entorno donde se sitúa la institución, cumpliendo así el rol público que se le reconoce a la institucionalidad universitaria; y por cierto, aparece también la necesidad de una gestión institucional que involucre un adecuado liderazgo de los equipos que conducen la universidad y una equilibrada gobernanza. Naturalmente los límites de toda investigación permiten solo dejar planteadas una serie de interrogantes que se abrieron en este trabajo en torno a los temas tocados, cuyo abordaje permite vislumbrar futuras investigaciones. La reflexión y alcances en torno a la práctica de medir y al uso de indicadores de desempeño para visibilizar o invisibilizar ciertos temas universitarios o cómo esta práctica ha invadido ampliamente la manera en la que se relacionan y vinculan los sectores y actores que integran el ámbito universitario, es una tendencia cuyos impactos merecen ser profundizados en futuros estudios. Junto con ella, también, se abre un camino para conocer más profundamente la idea de universidad ideal como nuevo referente del discurso de calidad, idea que está tras los actores que participan en el mundo universitario, en la opinión de estudiantes y académicos que contribuirían junto con administradores, a construir ideas más sólidas en torno a un discurso que emerge desde las instituciones. 101 VIII. REFERENCIAS BIBLIOGRÁFICAS 24 Horas. (2014). Tres Universidades Chilenas escalan en Ranking QS. Recuperado el 3 de diciembre de 2014, de http://www.24horas.cl/nacional/tres-universidades-chilenas-escalan-enranking-qs-mira-su-posicion-a-nivel-global-1417826?google_editors_picks=true Albach, P. (2012). The Globalization of College and University Rankings. Change, 26-31. Altbach, P., Rizberg, L., & Rumbley, L. (2009). Trends in global HE: Tracking and Academy Revolution. Paris: UNESCO. Ascolani, A. (2008). Estrategias del Banco Mundial para el financiamiento de la educación en los países latinoamericanos. Educação, 31(2), 139-156. Austin, J. (1976). How to do things with words. New York: Oxford University Press. Barnett, R. (2012). Imagining the University. International Higher Education(71), 7-9. Barnett, R. (2013). Imagining the University. New York: Routledge. Bernasconi, A. (2006). La difícil tarea de clasificar universidades. Rankings y Clasificaciones como reacción a la heterogeneidad institucional. (25), 81-95. Bie, R. (2006). Diccionario de Sociología. Buenos Aires: Claridad. BIRF. (1999). Loan Number 4404-CH. Loan Agreement between Republic of Chile and International Bank for Reconstruction and Development. Santiago, Chile. Bourdieu, P. (1984). Homo Academicus. Paris: Les Editions de Minuit. Bourdieu, P. (1999). Meditaciones Pascalianas. Barcelona: Anagrama. Bourdieu, P. (2007). El sentido práctico. Buenos Aires: Siglo XXI editores. Bourdieu, P., & Eagleton, T. (1997). Doxa y vida cotidiana: una entrevista. En T. Eagleton, Ideología (págs. 295-308). Barcelona: Paidos. Brunner, J. (2005). Guiar el Mercado. Santiago: Universidad Adolfo Ibáñez. Brunner, J. (2014). Sociología de la Sociología. Estudios Públicos, 133, 147-163. Butler, J. (1990). Actos performativos y constitución del género: un ensayo sobre fenomenología y teoría feminista. En S.-E. Case, Performing Feminisms: Feminist Critical Theory and Theater (págs. 270-282). Johns Hopkins University Press. Butler, J. (2007). Género en Disputa. El feminismo y la subversión de la identidad. Barcelona: Paidos. 102 Butler, J. (2010). Performative Agency. Journal of Cultural Economy, 147-161. Callon, M. (1998). The laws of the Markets. Oxford: Blackwell Publishers. Callon, M. (2007). What Does It Mean To Say That Economics is Performative? En D. Mackenzie, F. Muniesa, & L. Siu, Do Economists make Markets?: On the Performativity of Economics (págs. 311-357). Prienceton: Princeton University Press. Carnegie Commission on Higher Education. (1973). A Classification of Institutions of Higher Education. Berkeley, CA. . Casas, F. (2012). Estudios y miradas para pensar el funcionamiento de la educación universitaria en el contexto contemporáneo. Calidad de la Educación, 37, 189-202. CNA. (s.f.). Circular N° 19. Recuperado el 25 de junio de 2015, de Comisión Nacional de Acreditación, CNA-Chile: https://www.cnachile.cl/Documentos%20de%20Paginas/circular19.pdf Cuadrado, F. (2009). Ilocucionarios y Performativos. Santiago: P. Universidad Católica de Chile. Davis, K., Fisher, A., Kingsbury, B., & Merry, S. E. (2012). Governance by Indicators. Oxford: Oxford University Press. De Santos, M. (2009). Los fact-totems y la imaginación estadística: la vida pública de una estadística en la Argentina de 2001. Apuntes de Investigación, 18, 147-180. Dias Sobrinho, J. (2008). Calidad, Pertinencia y Responsabilidad Social de la Universidad Latinoamericana y Caribeña. En A. Gazzola, & A. Didriksson, Tendencias de la Educación Superior enAmérica Latina y el Caribe (págs. 87-112). Caracas: IESALC-UNESCO. El Mercurio. (2012). Prestigioso Ranking ubica a cuatro UES chilenas entre las 10 mejores de Latinoamérica. Recuperado el 3 de diciembre de 2014, de http://www.emol.com/noticias/nacional/2012/06/13/545415/prestigioso-rankingubica-a-cuatro-ues-chilenas-entre-las-10-mejores-de-latinoamerica.html El Mercurio. (2014). En defensa de la Universidad de Concepción. (Inserción). Recuperado el 3 de diciembre de 2014, de http://impresa.elmercurio.com/Pages/NewsDetail.aspx?dt=2014-11-09&dtB=30-072015%200:00:00&PaginaId=3&bodyid=10 El Mercurio. (2014). U Católica es la mejor universidad de América Latina. Recuperado el 3 de Diciembre de 2014, de http://www.emol.com/noticias/nacional/2014/05/27/662302/u-catolica-es-la-mejoruniversidad-de-america-latina-segun-prestigioso-ranking-internacional.html 103 El Mercurio-GEA Universitas. (2014). GEA Universitas. Obtenido de Ranking de Calidad de las Universidades Chilenas: http://www.emol.com/educacion/especiales/rankinguniversidades/2012/quienessom os.html Espeland, W., & Sauder, M. (July de 2007). Rankings and Reactivity: How Public Measures Recreate Social Worlds. American Jornal of Sociology, 113(1), 1-40. Fernández, E. (2015). Política Públicas de Educación Superior desde 1990 hasta el presente. En A. Bernasconi, La Educación Superior en Chile. Transformación, Desarrollo y Crisis (págs. 173-217). Santiago: Universidad Católica de Chile. Fernández, E., & Bernasconi, A. (2012). Elementos conceptuales para el análisis organizacional de universidades en contextos de mercado. Innovar, 22(46), 87-98. Foucault, M. (2006). Seguridad, Territorio, Población. Curso del Collège de France (1977-1978). Buenos Aires: Fondo de Cultura Económica de Argentina. Foucault, M. (2009). El gobierno de sí y de los otros. Buenos Aires: Fonde de Cultura Económica de Argentina. Goffman, E. (2001). La presentación de la persona en la vida cotidiana. Buenos Aires: Amorrortu. IREG Observatory on Academic Ranking and Excellence. (2014). IREG Observatory.org. Recuperado el 3 de diciembre de 2014, de http://www.iregobservatory.org/index.php?option=com_content&task=blogcategory&id=23&Itemid =239 Kells, H. (1993). Autorregulación en la Educación Superior Chilena. Procedimientos, Avances y perspectivas para asegurar y controlar la calidad. Santiago: Consejo Superior de Educación. La Nación. (2011). Pontificia Universidad Católica es segunda en ranking latinoamericano. Recuperado el 3 de Diciembre de 2014, de http://www.lanacion.cl/pontificia-universidad-catolicaes-segunda-en-ranking-latinoamericano/noticias/2011-10-04/083236.html La Tercera. (2011). Siete UES chilenas entre las 50 mejores en ranking latinoamericano. Recuperado el 3 de diciembre de 2014, de http://diario.latercera.com/2011/10/05/01/contenido/pais/31-85839-9-siete-ueschilenas-entre-las-50-mejores-en-ranking-latinoamericano.shtml La Tercera. (2014). Ranking QS. Universidad de Chile y PUC destacas entre las mejores 250. Recuperado el 3 de diciembre de 2014, de Nacional: http://www.latercera.com/noticia/nacional/2014/09/680-596145-9-ranking-qsuniversidad-de-chile-y-puc-destacan-entre-las-mejores-250.shtml 104 Lemaitre, M. J. (2015). Aseguramiento de la Calidad: una política y sus circunstancias. En A. Bernasconi, La Educación Superior en Chile. Transformación, Desarrollo y Crisis. (págs. 295343). Santiago: Ediciones Universidda Católica de Chile. Ley-acreditación. (2006). Ley n° 20.129. Obtenido de http://www.cnachile.cl/Documentos%20de%20Paginas/Ley_Aseg_Calidad%2020.12 9.pdf Mackenzie, D. (2007). Is Economics Performative? Option Theory and Construction of Derivatives Markets. En D. Mackenzie, F. Muniesa, & L. Siu, Do Economists Make Markets? (págs. 54-86). New Jersey: Princeton University Press. Mackenzie, D., Muniesa, F., & Siu, L. (2007). Do Economists Make Markets? On the Performativity of Economics. Princeton: Princeton University Press. Marginson, S. (2007). Global University Rankings: Implications in General and for Australia. Journal of Higher Education Policy and Management, 29(2), 131-142. Marginson, S. (2008). Global field and global imagining: Bourdieu and worldwide higher education. British Journal of Sociology of Education, 29(3), 303-315. Marginson, S. (2009). Open Source Knowledge and University Rankings. Thesis Eleven, 96, 939. Marginson, S., & Van der Wende, M. (2007). To Rank or be Ranked: The impact of global rankings in Higher Education. Journal of Studies in International Education, 11(3-4), 306329. Marope, P., Wlls, P., & Hazelkorn, E. (2013). Rankings and Accountability in Higher Education. Paris: UNESCO. MECESUP3. (2015). Financiamiento Institucional. Obtenido de Ministerio de Educación: http://www.mecesup.cl/index2.php?id_portal=59&id_seccion=4734&id_contenido= 25490 MECESUP3. (2015). Financiamiento Institucional. Obtenido de Ministerio de Educación: http://www.mecesup.cl/index2.php?id_portal=59&id_seccion=3586&id_contenido= 14892 Meller, P., & Rappoport, D. (2006). Nueva Metodología para un Ranking de Universidades Chilenas. Calidad en la Educación, 25, 57-77. Morley, L. (2001). Producing New Workers: quality, equality and employability in higher education. Quality in Higher Education, 7(2), 131-139. 105 Morley, L., & Aynsley, S. (2007). Employers, Quality and Standars in Higher Education: Shared Values and Vocabularies or Elitism and Inequialities? Higher Education Quarterly, 229-249. Muniesa, F., & Callon, M. (2007). Economics Experiments and Construction of Markets. En D. Mackenzie, F. Muniesa, & L. Siu, Do Economists Make Markets? On the Performativity of Economics. Princeton: Princeton University Press. Muñoz García, H. (2011). La universidad mexicana en el escenario global. Perfiles educativos, XXIII, 21-33. OCDE. (2008). Assuring and Inproving Quality (chapter 5). En Terciary Education for a Knoledge Society. Paris: OECD. Ordorika, I., & Rodriguez, R. (2010). El Ranking Times en el mercado del prestigio universitario. Perfiles Educativos, XXIII(129), 8-29. P. Universidad Católica de Chile. (2011). P. Universidad Católica de Chile sube al puesto 250 en el ranking QS. Recuperado el 3 de Dicicembre de 2014, de http://relacionesinternacionales.uc.cl/destacados-18 P. Universidad Católica de Chile. (2014). UC se ubica como la mejor universidad de América Latina en el Ranking QS. Recuperado el 3 de diciembre de 2014, de http://www.uc.cl/es/component/content/article/15569-uc-se-ubica-como-la-mejoruniversidad-de-america-latina-en-el-ranking-qs P. Universidad Católica de Valparaíso. (2014). PUCV sube siete lugares en Ranking QS y se ubica en el 29° puesto a nivel latinoamericano. Recuperado el 3 de diciembre de 2014, de http://prensa.ucv.cl/?p=33194 Portal Minero. (2014). Universidad de Santiago avanza por quinto año consecutivo en prestigioso ranking internacional. Recuperado el 3 de diciembre de 2014, de http://www.portalminero.com/pages/viewpage.action?pageId=94315072 QS Intelligende Unit. (2014). QS Intelligenceunit. Recuperado el 3 de diciembre de 2014, de http://www.iu.qs.com/ QS Quacquarelly Symonds. (2014). QS Top Universities. Recuperado el 3 de Diciembre de 2014, de http://www.topuniversities.com/university-rankings/latin-american-universityrankings/2014#sorting=rank+region=+country=+faculty=+stars=false+search= Ramos, C. (2012). El ensamblaje de ciencia social y sociedad. Santiago: Ediciones Universidad Alberto Hurtado. 106 Ramos, C. (2012). Investigación científica y performatividad social: el caso del PNUD en Chile. En T. Ariztía, Produciendo lo Social. usos de las ciencias sociales en el Chile reciente. Santiago: Ediciones Universidad Diego Portales. Ramos, C. (2014). Datos y relatos de la ciencia social como componentes de la producción de realidad social. Convergencia. Revista de Ciencias Sociales, 21(66), 151-177. Rauhvargers, A. (2011). Globar University Rankings and their Impact. Brussels: European University Association. Reich, R. (2012). The MECESUP Program in Chile. 15 years Supporting Higher Education Quality Improvement. ReVista, 32-34. Revista Qué Pasa. (2013). Ranking de Universidades 2013. Recuperado el 3 de diciembre de 2014, de http://papeldigital.info/qp/index.html?2013121302# Reyes, C., & Rosso, P. (2012). A New approach for classifying chilean universities. International Higher Education, 67, 26-27. Reyes, C., & Rosso, P. (2013). Una nueva clasificación de las universidades chilenas. En Clasificación de Instituciopnes de Educación Superior (Vol. 2, págs. 135-151). Santiago: Educación - ES. Rosselló, P. (2015). Historical Note on the IBE (1934-1977). Obtenido de International Bureau of Education: http://www.ibe.unesco.org/en/about-the-ibe/who-we-are/history.html Salmi, J. (2009). El desafío de crear universidades de rango mundial. Washington D.C., USA: Banco Mundial. SCIMAGO. (2015). SCIMAGO INSTITUTIONS RANKINGS. Recuperado el julio de 2012, de Scimago Lab: http://www.scimagoir.com/ Searle, J. (1997). La construcción de la realidad social. Barcelona: Paidós. Shanghai University Rankings. (2014). Academic Ranking of World Universities. Recuperado el 3 de diciembre de 2014, de http://www.shanghairanking.com/es/ARWU-Methodology2014.html#2 SIES. (2012). Informe Titulación. Obtenido de http://www.mifuturo.cl/index.php/informessies/titulados SIES. (2015). Servicio de Información de Educación Superior. Obtenido de MINEDUC: http://www.mifuturo.cl/index.php/academicos-einvestigadores Silva, M., Reich, R., & Vasquez, C. (2003). Autoevaluación Universitaria. Principios y mecanismos operativos desde la experiencia. Paris: Columbus. 107 Taylor, M. (2003). The Reformulation of Social Policy in Chile, 1973-2001. Global Social Policy, 3(I), 21-44. Texeira, P. (2009). Mass Higher Education and Private Institutions. En OECD, Higher Education to 2030. Volume 2. Globalisation (págs. 231-258). OECD. Times Higher Education. (2014). THE World University Rankings. Recuperado el 3 de diciembre de 2014, de http://www.timeshighereducation.co.uk/world-university-rankings/201415/world-ranking/methodology Tonelli, M. (2011). Pístis, Dóxa y Epistéma. Un análisis de la relación entre el Gorgias y el Menón. Hypnos(26), 123-145. UCH. (2015). Unidad de Análisis Institucional. Obtenido de Universidad de Chile: http://www.uchile.cl/portal/presentacion/vicerrectoria-de-asuntos-economicos-ygestion-institucional/unidades-vaegi/57974/unidad-de-analisis-institucional UCT. (2015). Dirección General de Gestión Institucional. Obtenido de Universidad Católica de Temuco: http://gestioninstitucional.uctemuco.cl/?page_id=90 UdeC. (2015). Dirección de Estudios Estratégicos. Obtenido de Universidad de Concepción: http://www.udec.cl/dee/node/2 UNESCO. (2010). Global Report on Higher Education. Paris: UNESCO. UNESCO. (2013). Quality Assurance in Higher Education. Technical Notes. Education Sector. UNESCO. Universidad Andrés Bello. (2015). Ranking QS ubica la U.Andrés Bello en el top 100 latinoamericano. Obtenido de http://investigacion.unab.cl/noticias/ranking-qs-ubica-la-u-andres-belloen-el-top-100-latinoamericano/ Universidad Andrés Bello. (2015). UNAB obtiene 4 estrellas en la clasificación QS stars. Obtenido de http://investigacion.unab.cl/noticias/unab-obtiene-4-estrellas-en-la-clasificacion-qsstars/ Universidad de Concepción. (2014). UdeC se ubica entre las tres mejores universidades de docencia del país. Obtenido de Noticia Destacada: http://www.udec.cl/panoramaweb2/2014/11/udec-se-ubica-entre-las-tres-mejoresuniversidades-de-docencia-del-pais/ Universidad de los Andes. (2014). Uades subió seis puntos y se ubicó en 9 lugar en ranking de calidad de el mercurio-universitas. Obtenido de Noticias: http://www.uandes.cl/noticias/uandessubio-seis-puestos-y-se-ubico-en-9-lugar-en-ranking-de-calidad-de-el-mercurio-yuniversitas.html 108 Universidad de Talca. (2014). Universidad destaca entre las cuatro mejores en calidad docente. Obtenido de Universidad de Talca: http://www.utalca.cl/link.cgi//SalaPrensa/admision/8515 Universidad Diego Portales. (2014). UDP sube 15 puestos en ranking QS 2014. Recuperado el 3 de diciembre de 2014, de http://www.udp.cl/noticias/detalle_noticia.asp?noticiaId=5823 Universitas - El Mercurio. (2014). Rankinguniversidades.emol.com. Recuperado el 3 de diciembre de 2014, de http://rankinguniversidades.emol.com/ Usher, A., & Savino, M. (2006). Estudio Global de los Rankings Universitarios. Calidad de la Educación, 25, 33-53. Valdes Villanueva, L. (1995). La Búsqueda del Significado. Madrid: Tecnos. Valles, M. (1999). Técnicas Cualitativas de Investigación Social. Reflexión metodológica y práctica profesional. Madrid: Síntesis. IX. ANEXOS ANEXO I: Tabla N° 4. Descripción de Indicadores utilizados en Ranking QS para Latinoamérica INDICADOR DESCRIPCIÓN Estudio de Encuesta de percepción que consulta a pares académicos Reputación. sobre dónde creen ellos se está realizando el mejor Encuesta a trabajo en la disciplina de su expertice. PESO 30% académicos Estudio de Encuesta de percepción a los empleadores que revela Reputación. cuáles son las universidades que a su juicio producen los Encuesta a mejores graduados. 20% empleadores Profesores por estudiante Citas por Esta relación mide el compromiso con la enseñanza, indicando un mejor nivel de supervisión académica y 10% menores tamaños de clases. Mide el impacto de la investigación científica que se 10% 109 publicación realiza en la universidad. Qué cantidad de investigaciones son citadas por otras investigaciones. Utiliza las bases de datos de SCOPUS32 Publicaciones por académico Proporción de académicos con Phd Mide la productividad científica de la institución contabilizando en promedio cuántas publicaciones 10% produce cada profesor. Mide la cantidad de profesores dentro del total de académicos de la universidad que disponen del grado 10% Phd o equivalente. Se considera un proxy de la promoción internacional de la universidad, cómo se proyecta la institución on-line a Impacto web través de su sitio web. Este resultado se obtiene del Webometrics Ranking, un estudio anual generado por el 10% Consejo Superior de Investigaciones Científicas del Ministerio de Educación de España. ANEXO II: Tabla N°5. Descripción de indicadores utilizados en Ranking de revista Qué Pasa DIMENSIÓN Percepción calidad empleadores (encuesta de percepción) PONDERACIÓN INDICADOR 40% Acreditación institucional (50%) Gestión institucional 15% N°alumnos/JCE (20%) Retención de 2° año (15%) Brecha duración carreras (15%) Calidad de académicos 15% Porcentaje JCE con doctorado (60%) 32 Base de Datos donde se registran las investigaciones científicas mundiales que se publican en revista de corriente principal, es decir revistas que tienen un comité editorial que acepta o no la publicación de los papers evaluados. La Base de Datos SCOPUS pertenece a la editorial Elsevier (http://www.elsevier.com/online-tools/scopus, una de las empresas editoriales más grandes del mundo. 110 Porcentaje JCE con magíster o especialidad médica u odontológica (40%) Porcentaje AFI (40%) Calidad de estudiantes 15% NEM (30%) Puntaje PSU (30%) Nivel de investigación Productividad (50%) 15% Calidad científica (50%) ANEXO III: Tabla N°6. Indicadores utilizados en el Ranking Universitas El Mercurio ANEXO IV: Tabla N°7. Ponderación de Indicadores utilizados en Ranking Universitas-El Mercurio Calidad PUNTAJE Calidad Calidad Calidad Calidad Calidad Procesos RANKING GRUPOS Estudiantes Académicos Investigación Doctorados Institución Formativos GRUPO 1 y 2 0.15 0.25 0.40 GRUPO 3 y 4 0.15 0.15 0.30 0.2 0.15 0.15 0.1 111 ANEXO V: Pauta Entrevista ENTREVISTA _código_ LUGAR (dirección, ciudad) TIPO UNIVERSIDAD 1 (Grupo 1/ Grupo 2/ Grupo 3/ Grupo 4) TIPO DE UNIVERSIDAD 2 (Estatal/Tradicional/ Privada) TIPO DE UNIVERSIDAD 3 (Regional / Metropolitana) SEXO (m /f) Introducción sobre tema de la tesis: Sobre la idea de calidad universitaria, los sistemas de medición y los rankings: 1. ¿Qué opina de los sistemas de medición de la calidad de la educación superior existentes en Chile? 2. ¿A quién le sirve esta información? 3. ¿Cómo se imagina una Universidad “ideal”? ¿Qué requisitos debe cumplir? ¿Cómo debe ser? 4. ¿Miden los rankings esta idea de universidad? 5. ¿Qué opina de los rankings universitarios? ¿Qué aspectos valora? ¿Qué aspectos critica? 6. ¿Confía en (los resultados de) los rankings? Sobre la construcción de los rankings: 7. ¿Qué le parece la metodología que se utilizan en los rankings? 8. ¿Qué opina de los indicadores que se utilizan? En caso de no identificar indicadores, señalar por ejemplo: • “retención estudiantil” • indicadores que miden calidad de la investigación • ¿Qué le sugiere la “tasa de empleabilidad” de una determinada carrera? 9. ¿Qué opinión le merecen las encuestas de percepción que se utilizan en algunos rankings? Sobre uso e influencia de los Rankings: 112 10. ¿Cómo son recibidos los rankings (donde aparece su universidad) por la comunidad universitaria? 11. ¿Cuáles son a su juicio los beneficios y perjuicios de aparecer en un ranking? 12. ¿Cómo se usan los rankings en su universidad? Finalmente: 13. Hay algo relacionado con el tema del que hemos hablado, que no le haya preguntado, pero al que quiera referirse? ANEXO VI: Consentimiento Informado UNIVERSIDAD ALBERTO HURTADO DEPARTAMENTO DE SOCIOLOGÍA CONSENTIMIENTO INFORMADO – ENTREVISTA EN PROFUNDIDAD Por medio de este documento, se solicita su participación en la investigación sobre medición de la calidad de la educación universitaria, llevada a cabo por la estudiante del Magíster en Sociología de la Universidad Albero Hurtado, Claudia Reyes Gutiérrez. Esta investigación corresponde al proyecto de tesis de grado de la estudiante por lo que sus fines son netamente académicos. PROPÓSITO DEL ESTUDIO El propósito del estudio es analizar la idea de calidad de la educación universitaria chilena, a partir del estudio de los rankings universitarios, mecanismo de medición que nos permitirá 113 acceder a la idea de calidad que tienen las instituciones y compararla con el discurso proveniente de los rankings. ¿QUÉ QUEREMOS PROBAR? Queremos probar que los rankings tienen actualmente una influencia importante en las universidades chilenas pues estas utilizan sus resultados para diferenciarse, difundirse y posicionar su marca como instituciones de calidad en el país. ¿CÓMO LO VAMOS A HACER? El trabajo de campo para realizar la investigación incluirá una revisión bibliográfica y análisis del discurso sobre tres rankings utilizados en chile, y entrevistas en profundidad a autoridades universitarias y expertos en calidad de las instituciones. PROCEDIMIENTOS La participación en este estudio es voluntaria. Le invitamos a participar en una entrevista que durará aproximadamente una hora y que se desarrollará en el lugar más conveniente para usted. Le solicitamos autorización para grabar la entrevista. De ser necesario, puede detener la entrevista en el momento que estime conveniente. La información generada será usada solo con fines de la investigación. Las identidades de los entrevistados son confidenciales, lo que quiere decir que nadie más podrá saber lo que usted diga en esta conversación. Su nombre no quedará registrado en la grabación y en su análisis se utilizará como identificador el grupo o categoría de los entrevistados, un identificador de la institución (grupo tipológico, categorías país y tipo), el número de la entrevista y sexo del entrevistado/a. Por ejemplo, Autoridad/Experto, Universidad Grupo X, Regional/metropolitana, Estatal/Tradicional/Privada, Entrevista N°12, hombre/mujer. CONFIDENCIALIDAD Las conversaciones serán totalmente confidenciales. Si bien estas serán grabadas y transcritas, no se registrará el nombre del entrevistado en la grabadora ni en el trabajo escrito. Tampoco 114 se utilizarán nombres personales en el trabajo escrito. A cada entrevista se le asignará un código, tal como se ha especificado en el punto anterior. Toda la información que usted aporte, será tratada de manera confidencial de acuerdo a la ley 19.628 de 1999, sobre protección de la vida privada y protección de datos de carácter personal. No se dará a conocer su fuente, solo tendrá acceso a esta información la estudianteinvestigadora del proyecto y dos académicos a cargo del proceso de tesis. ACCESO A RESULTADOS DEL ESTUDIO Los resultados de la investigación serán publicados en un informe final de tesis que se entregará a la universidad y será de conocimiento público a través del repositorio de la biblioteca de la institución. Eventualmente, los resultados podrán ser parte de una publicación académica vinculada a la tesis. En caso que usted quiera tener acceso a los resultados, podrá contactarse con la estudiante responsable de la investigación. Si necesita más información sobre el estudio, puede contactarse con la responsable al correo Claudia.reyes37@gmail.com, celular 8 409 2505. Si en alguna fase del estudio usted considera que sus derechos han sido vulnerados, puede ponerse en contacto con el Comité de Ética de la Universidad Alberto Hurtado al teléfono 028897452, o por correo electrónico a vanguita@uahurtado.cl FIRMA DEL PARTICIPANTE O DE SU REPRESENTANTE LEGAL Si está de acuerdo con los términos para participar en la entrevista, debe firmar dos ejemplares de este consentimiento informado. Uno de ellos quedará en su poder. Hago saber de mi pleno conocimiento de la naturaleza y alcances de mi participación en el proyecto como se especificó anteriormente. Voluntariamente, doy mi consentimiento para participar en el proyecto, lo que queda expresado en la presente copia y de la cual se me otorgará una copia. 115 ------------------------------------------ -------------------------------- ---------Nombre del Participante Firma del Participante Claudia Reyes Gutiérrez ------------------------------------------ -------------------------------- -------Nombre del estudiante-investigador Firma del estudiante-investigador Fecha ___________________ 116 117