Diverging perceptions.en.es

Traducido del inglés al español - www.onlinedoctranslator.com
Computadoras y Educación: Inteligencia Artificial 7 (2024) 100305
Listas de contenidos disponibles enCiencia directa
Computadoras y Educación: Inteligencia Artificial
Página de inicio de la revista:www.sciencedirect.com/journal/computers-and-education-artificialintelligence
Percepciones divergentes sobre la inteligencia artificial en la educación superior:
Comparación de las valoraciones de los estudiantes y del público sobre los
riesgos y los daños de la predicción del rendimiento académico en Alemania
Marco Lünich∗, Birte Keller, Frank Marcinkowski
Departamento de Ciencias Sociales, Universidad Heinrich-Heine de Düsseldorf, Alemania
ABSTRACTO
La integración de la inteligencia artificial (IA) en la educación superior, en particular a través de la predicción del rendi miento académico (APP), promete
mejores resultados educativos. Sin embargo, al mismo tiempo plantea inquietudes sobre la privacidad de los datos, posibles sesgos e implicaciones sociotécnicas
más amplias. Nuestro estudio, centrado en Alemania (un actor fundamental en la configuración de las políticas de IA de la Uni ón Europea), busca comprender
las percepciones predominantes de la APP entre los estudiantes y el público en general. Los hallazgos iniciales de una gran encuesta estandarizada en línea
sugieren una divergencia en las percepciones: si bien los estudiantes, en comparación con la población general, no atribuyen un mayor riesgo a la APP en una
evaluación de riesgo general, sí perciben mayores daños sociales y, en particular, individuales de la APP. Los factores que i nfluyen en estas percepciones de
daños incluyen la confianza en la IA y las experiencias personales con la discriminación. Los estudiantes enfatizan además la importancia de preservar su
autonomía al otorgar un alto valor al intercambio de datos autodeterminado y explicar su APP individual. Reconocer estas perc epciones variadas es crucial para
los educadores, los formuladores de políticas y las instituciones de educación superior a medida que navegan por el intrincado panorama ético de la I A en la
educación. Esta comprensión puede brindar información para diseñar estrategias que aborden tanto los beneficios potenciales como las preocupaciones asociadas
con las herramientas educativas impulsadas por IA.
1. Introducción
El reciente aumento del interés y los efectos revolucionarios
previstos de las tecnologías de Inteligencia Artificial (IA) en diversas
áreas de la vida social hanTambién se han planteado preguntas sobre cómo
la IA afectará a la educación superior. Muchas aplicaciones de IA ya están
permeando sutilmente la educación superior, trayendo consigo una serie de
oportunidades, desafíos y cuestiones éticas. Una aplicación notable de la IA
en este contexto es la predicción del rendimiento académico (APP) basada en
el aprendizaje automático. APP se refiere al uso de aplicaciones de IA para
predecir el rendimiento académico de un estudiante en función de varios
factores para los que hay datos digitales disponibles de los estudiantes. El
objetivo de la APP es entonces identificar posibles desafíos y oportunidades
para el éxito académico de los estudiantes individuales, permitiendo así a los
educadores e instituciones personalizar el aprendizaje para mejorar la
participación de los estudiantes y los resultados educativos generales. Muchas
instituciones de educación superior (IES) ya están aprovechando el potencial
de la APP (Ahmed y Khan, 2000).2019;Arnold y Pistilli,2012; Kemper y
otros,2020). Sin embargo, la implementación de APP también tiene
sus problemas. Existen preocupaciones con respecto a la privacidad de
los datos, la transparencia de los algoritmos de IA utilizados y la
posibilidad de sesgos discriminatorios e injusticias en las predicciones
y el proceso administrativo resultante que conducen a toda una gama
de
problemas
sociales
de
la
tecnología
(Keller
et
al.,2022;Smuha,2022). Como resultado, el riesgo de una dependencia
excesiva
*Autor correspondiente.
El estudio de las predicciones automatizadas imperfectas plantea
importantes cuestiones sociales, éticas y prácticas que los responsables
de la toma de decisiones políticas y administrativas en la educación
superior deben considerar cuidadosamente y que requieren un análisis
científico para fundamentar la toma de decisiones.
Al igual que con cualquier implementación de tecnología,
especialmente dentro del sector público, es crucial comprender y
considerar cómo los diferentes grupos de partes interesadas perciben la
implementación de la tecnología y los problemas sociales resultantes,
centrándose en los actores sociales directamente afectados. En el contexto
de la IA en la educación (AIEd), por ejemplo, los estudiantes están sujetos
a sistemas sociotécnicos de administración y, en consecuencia, están
subordinados al funcionamiento y, especialmente, al mal funcionamiento
de los sistemas informáticos basados en datos (Fazelpour y Danks,
2008).2021;Slade y Prinsloo,2013). Sus puntos de vista sobre la
implementación de una tecnología en particular pueden brindar
perspectivas únicas sobre los beneficios percibidos de la APP y, más
importante aún, los daños individuales y sociales. Estos conocimientos
pueden ayudar a dar forma al desarrollo de la APP de maneras que
satisfagan mejor sus necesidades e inquietudes (Keller et al.,2022;
Whitelock–Wainwright y otros,2019). Como argumentamos, no tener en
cuenta la opinión pública y las preocupaciones de los estudiantes puede
dar lugar a protestas públicas (Edwards,2021) o incluso puede conducir a
la salida de estudiantes de la IES (Marcinkowski et al.,2020). Es necesario
que los responsables de las políticas y los administradores de la educación
superior consideren las demandas y preferencias de los estudiantes. Sin
embargo, los estudiantes son sólo uno de los grupos demográficos
relevantes.
Direcciones de correo electrónico:marco.luenich@hhu.de (M. Lünich),birte.keller@hhu.de (B. Keller),Frank Marcinkowski, Hhu.de (F. Marcinkowski).
https://doi.org/10.1016/j.caeai.2024.100305
Recibido el 18 de agosto de 2023; Recibido en forma revisada el 19 de agosto de 2024; Aceptado el 18 de septiembre de 2024
Disponible en línea el 30 de septiembre de 2024
2666-920X/© 2024 El autor(es). Publicado por Elsevier Ltd. Este es un artículo de acceso abierto bajo la licencia CC BY (http://creativecommons.org/licenses/by/4.0/).
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
alemana. Si bien los estudiantes, en comparación con la población
general, no atribuyen un mayor riesgo a la APP en una evaluación de
riesgo general por un lado, sí perciben mayores daños sociales y, en
particular, individuales de la APP en una evaluación más específica por
otro lado. La confianza en la IA mitiga las percepciones de daño. Por el
contrario, las experiencias personales de discriminación tienden a
intensificar las percepciones de daños sufridos individualmente. Por lo
tanto, este estudio de encuesta proporciona información detallada sobre
las percepciones de los estudiantes alemanes y, en contraste, la
población alemana en general hacia la IA, la IAIEd.y APP. Comprender
las percepciones divergentes puede ayudar a los educadores, las instituciones
de educación superior y los responsables de las políticas a abordar los
problemas sociales y los dilemas éticos asociados con la implementación de la
IA sociotécnica en la educación superior.
cuyas percepciones de la APP deben ser consideradas durante la
implementación de la APP. La población en general, como votantes,
también puede influir significativamente en las decisiones relacionadas
con la política y la implementación de la tecnología. Sus perspectivas
sobre la AIEd, que pueden diferir enormemente de las de los
estudiantes, pueden tener implicaciones sociales de largo alcance. Las
diferencias en la evaluación de la APP y las diferentes preferencias
para su uso pueden deberse a la probabilidad de que un individuo se
vea afectado negativamente, lo que refleja un efecto de "No en mi
patio trasero" (Wu et al.,2014). Una posible divergencia de
percepcionesLos conflictos y los intereses entre los estudiantes y el
público en general pueden plantear un conflicto social considerable y
pueden desafiar la implementación efectiva de la IA en el sector
público. Los conflictos correspondientes podrían surgir, por ejemplo,
en el debate sobre diferentes preferencias políticas (Bobrytska et
al.,2024;Sun y otros,2019) o una asignación adecuada de recursos
(Lünich & Kieslich,2022), ya que el desarrollo de la IA y su uso
requieren recursos considerables. Los conflictos también pueden surgir
debido a desequilibrios de poder (Kalluri,2020;Weinberg,2022), ya
que la población en general influye considerablemente en los
resultados electorales y las decisiones políticas posteriores, incluso si
no se ven directamente afectadas por la decisión. En conclusión, si
bien la IA y las aplicaciones móviles prometen mejorar la educación
superior, también conllevan importantes impactos sociales potenciales
y conflictos resultantes sobre la implementación de la tecnología que
deben considerarse y analizarse cuidadosamente.
En respuesta al llamado a una mayor investigación sobre la IA
centrada en el ser humano y en línea con el enfoque de “sociedad en el
circuito” solicitado por Rahwan (2018), llevamos a cabo un estudio
exploratorio estandarizado de encuesta a gran escala para evaluar y
explicar las percepciones y evaluaciones de APP entre los estudiantes,
así como entre la población en general de Alemania. Por lo tanto,
cuando nos referimos a la población en general de Alemania en lo
sucesivo, nos referimos a la población representativa excluyendo a los
estudiantes para comparar empíricamente las percepciones de los
estudiantes con las de los no estudiantes en el sentido del resto de la
población. El enfoque en Alemania es más que meramente incidental.
Como país líder dentro de la Unión Europea (UE), Alemania
desempeña un papel fundamental en la configuración de las políticas
de la UE (Daehnhardt,2011) y visualiza el uso de la IA y sus
consecuencias de formas normativas específicas (Bareis y
Katzenbach,2021;Köstler y Ossewaarde,2022). Se podría argumentar
que la Ley de IA de la UE recientemente desarrollada, que enfatiza
fuertemente el concepto de "IA confiable", puede al menos reflejar una
estrecha coordinación con los intereses políticos alemanes. Esta Ley de
IA subraya el compromiso con el desarrollo de IA socialmente
responsable, lo que hace que la opinión del público alemán para un
mayor desarrollo e implementación de políticas tecnológicas sea
particularmente relevante. En consecuencia, las aplicaciones y
aplicaciones de IA específicas se consideran de "alto riesgo" según la
Ley de IA de la UE (Comisión Europea,2021;Smuha,2022). Con esto
en mente, el objetivo de la encuesta fue medir cómo los estudiantes y
no estudiantes de la población general perciben estas tecnologías e
identificar y explicar cualquier divergencia en las percepciones entre
ellos. En consecuencia, a través de la encuesta estandarizada,
recopilamos datos sobre la aprobación de los encuestados de las
aplicaciones de IA en varios sectores sociales y sus percepciones de
riesgo y daño con respecto a las APP. Con énfasis en la confiabilidad
estipulada de los sistemas de IA, luego exploramos cómo las
preocupaciones de privacidad de los estudiantes, su discriminación
experimentada individualmente y su confianza en la IA y su IES
influyen en las percepciones de daño. Finalmente, exploramos la
evaluación de los estudiantes de diferentes formas prospectivas de
implementación de APP.
En general, los resultados de la encuesta sugieren que las
percepciones de la IA difieren entre los estudiantes y la población
2
(2020) reveló que el Computadoras
66% de Glos
encuestados
perciben
alto nivel
y Educación:
Inteligencia
Artificialun
7 (2024)
de riesgo en la toma100305
de decisiones de IA. Se ha demostrado que esta
percepción influye en la adopción de IA (Chatterjee y
Bhattacharjee,2020). Una situación similar surge con respecto al
análisis del aprendizaje, como se refleja en un estudio de Tsai et al.
(2021), donde los estudiantes y el personal universitario expresan
ciertas aprensiones. Destacan los riesgos potenciales de una
distribución desequilibrada del poder que la AIEd podría magnificar.
Sus preocupaciones abarcan un posible trato desigual, violaciones de la
autonomía personal, efectos sobre el bienestar general y un posible uso
indebido de la AIEd. Estos hallazgos indican obstáculos considerables
para el desarrollo positivo
M. Lünich, B. Keller y F. Marcinkowski
Por lo tanto, en última instancia, analizamos las implicaciones de
nuestra investigación para los responsables de las políticas de
educación superior, los administradores y la sociedad.
2. Usos, problemas e incógnitas de la predicción del
rendimiento académico
2.1. Predicción del rendimiento académico y sus usos en la educación
superior
Cuando se trata de AIEd y Learning Analytics, su implementación
sociotécnica a menudo se asocia con esperanzas de mejorar los
resultados educativos, reducir las cargas administrativas y brindar un
apoyo más individualizado y equitativo a los estudiantes,
especialmente a aquellos que a menudo están en desventaja en su vida
diaria y académica (Attaran et al.,2018; Martínez Neda et al.,2021Se
espera que estos sistemas ayuden a los estudiantes, profesores y
administradores en su trabajo educativo y administrativo dentro de las
IES (Chiu et al.,2023). Uno de los sistemas de IA más utilizados en el
sector educativo es el análisis predictivo (Zawacki-Richter et
al.,2019), que, basándose en los datos de los estudiantes, puede
predecir el rendimiento de los estudiantes.calificaciones en exámenes o
módulos específicos (Alyahyan y Düştegör,2020; Costa-Mendes et
al.,2021), o incluso la probabilidad de que completen con éxito sus
estudios o su potencial de abandonarlos, a menudo denominada
detección de abandono (Aulck et al.,2016; Casanova y otros,2021;
Niyogisubizo y otros,2022). En particular, los sistemas que predicen
el rendimiento académico prometen proporcionar retroalimentación
individualizada para cada estudiante, de modo que, por ejemplo, el
apoyo a los estudiantes se brinde sobre una base basada en datos que
eventualmente beneficie a los estudiantes, especialmente a aquellos
que reciben un peor pronóstico de rendimiento (Duong et al.,2023).
Al aprovechar la IA, las IES pretenden crear una educación más
personalizada.
experiencia educativa y garantizar que se reconozcan y aborden las
necesidades y el potencial únicos de cada estudiante. Como resultado,
las universidades que aplican APP esperan un mayor éxito académico
de los estudiantes (Alturki et al.,2022). Para una predicción precisa
del desempeño futuro de un estudiante, se utilizan comúnmente
algoritmos de aprendizaje automático y a menudo se entrenan con
datos de desempeño históricos de estudiantes anteriores para luego
hacer predicciones para las cohortes de estudiantes actuales
(Askinadze y Conrad,2019; Duong y otros,2023; Sweeney y
otros,2016). Además de los datos sobre el rendimiento académico
pasado de los estudiantes, estas bases de datos pueden incluir
asistencia, hábitos de estudio, información de interacción social,
intereses personales e incluso factores como la salud y el bienestar u
otros detalles sociodemográficos. Estas variables sociodemográficas
se pueden utilizar especialmente para mejorar la precisión de la
predicción (Abu Saa et al.,2019; Aggarwal y otros,2021).
2.2. La predicción del rendimiento académico y sus implicaciones en la
educación superior
Sin embargo, los desafíos asociados con la adopción de la IA y las
APP, en particular, son tan diversos como los beneficios potenciales.
Por ejemplo, la Ley de IA de la UE y el Grupo de expertos de alto
nivel sobre IA (AIHLEG) de la Comisión Europea hacen hincapié en
la consideración de factores como la discriminación, la equidad, la
transparencia y la explicabilidad de los procedimientos y resultados
del aprendizaje automático en el desarrollo de la IA. También
subrayan la necesidad de abordar cuestiones de solidez técnica y
rendición de cuentas en los sistemas de IA (AI HLEG,2019). Al
hacerlo, la AIHLEG destaca simultáneamente los graves obstáculos y
los riesgos potenciales en el desarrollo y la implementación de la IA.
Los riesgos asociados con la IA en la educación se vuelven
particularmente relevantes para las instituciones de educación
superior cuando se los considera desde la perspectiva de sus partes
interesadas (Marcinkowski et al.,2020). Esta consideración adquiere
aún más importancia porque una encuesta realizada por Araujo et al.
3
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
En consecuencia, si muchos estudiantes se niegan a dar su consentimiento
para la recopilación y el procesamiento de datos, el sistema está
inevitablemente destinado al fracaso (Reidenberg y Schaub, 2008).2018).
Las investigaciones también han demostrado que los estudiantes difieren
entre sí en su disposición a consentir el análisis de aprendizaje y la
divulgación de datos (Kizilcec et al.,2023; Li y otros,2022) y que, en
general, son más reacios a compartir datos personales para análisis de
aprendizaje además de datos internos de la universidad (Ifenthaler y
Schumacher,2016). Por ejemplo, no todos están igualmente dispuestos a
compartir sus datos y a que se analice su rendimiento académico. Sin
embargo, si grupos específicos de estudiantes se abstienen de participar en
evaluación de sistemas sociotécnicos que dependen en gran medida de
datos personales y afectan a áreas sensibles de la vida escolar y
personal de los estudiantes. La recopilación, el procesamiento y el
análisis de grandes cantidades de esos datos personales plantean
cuestiones relacionadas con la privacidad de los datos, los sesgos de
los datos y la discriminación que pueden percibirse como perjudiciales
a nivel individual y social. Además, las implicaciones pedagógicas de
confiar en información determinada algorítmicamente deben
examinarse críticamente, ya que la implementación de la IAIEd puede
incorporar o reflejar pedagogías y enfoques instructivos distintos (du
Boulay,2019; Caballero y otros,2014; Aleven y otros,2023). Es
fundamental considerar si tales prácticas podrían conducir
inadvertidamente a un deterioro u homogeneización de las
experiencias educativas o disminuir el papel de los educadores en el
fomento de un entorno de aprendizaje dinámico (Rowe,2019). Por lo
tanto, el despliegue ético de las tecnologías AIEd requiere el
cumplimiento de las leyes de protección de datos y una reflexión sobre
los principios pedagógicos que aborden la equidad educativa y el
bienestar de los estudiantes.Además, en consonancia con la búsqueda de la
UE de una "IA confiable" y la amplia literatura sobre el tema, es importante
investigar el papel potencial de la confianza en la IA y la confianza
institucional para la evaluación de cuestiones de IA y sus consecuencias para
la implementación de sistemas de IA sociotécnicos (Gedrimiene et al.,2023;
Li y otros,2022). Por lo tanto, a continuación arrojaremos luz sobre
diferentes cuestiones relacionadas con la IA que influyen en las
percepciones de riesgo y daño de la APP. En este proceso, debemos
distinguir entre una evaluación de riesgo más amplia alineada con la
Ley de IA de la UE y el grado en que los encuestados perciben estos
riesgos como manifestándose a nivel individual y social, explorando
sus percepciones de los daños esperados.
2.2.1. Privacidad de datos
Las cuestiones de privacidad y protección de datos surgen en muchos
contextos, incluido el uso de medios digitales y herramientas de análisis
de datos. Los datos personales se recopilan, almacenan y analizan para
diferentes usos, a menudo no para los fines que se comunicaron
adecuadamente cuando las personas aceptaron que se recopilaran sus
datos (Rubel y Jones, 2008).2016). Cuando se trata de recopilar datos de
los estudiantes a través de las instituciones de educación superior, se
entrega mucha información privada a la institución para la inscripción en
el curso de estudio. Los datos de rendimiento académico complementan
posteriormente dichos datos privados, principalmente demográficos. Sin
embargo, existe cierta incertidumbre entre los estudiantes sobre la
recopilación y el uso de datos personales y confidenciales, por lo que los
estudiantes pueden tener inquietudes sobre su privacidad y la divulgación
de sus datos en el contexto de predicciones automatizadas (Reidenberg y
Schaub, 2005).2018). Por ejemplo, la mayoría de los estudiantes carecen
de conocimientos sobre el procesamiento de datos y no conocen los
procesos de minería de datos ni los datos específicos utilizados (Jones,
Asher et al.,2020). A pesar de esta incertidumbre, o quizás debido a ella,
muchos estudiantes temen una pérdida de autonomía en su entorno
personal de aprendizaje (Schumacher & Ifenthaler,2018; Slade y
otros,2019). Los estudiantes, por un lado, esperan que sus instituciones de
educación superior apliquen altos estándares éticos a la recopilación y uso
de sus datos (Whitelock–Wainwright et al.,2019). Por otro lado, también
exigen control personal y consentimiento informado después de haber sido
educados sobre la recolección de datos y de que se les hayan explicado los
procesos (Sun et al.,2019). La concienciación entre los estudiantes sobre
el uso de sus datos personales es de particular importancia, ya que un alto
nivel de preocupaciones por la privacidad conduce a actitudes negativas
hacia los sistemas de IA y a una mayor percepción de riesgos (Araujo et
al.,2020). A continuación, Lobera et al. (2020) también encuentran que las
preocupaciones sobre la privacidad impulsan la oposición a la IA.
Además, la efectividad de los análisis de aprendizaje y los sistemas de
procesamiento de datos, en general, depende del Big Data, lo que infiere
una necesidad de recopilar la mayor cantidad posible de datos personales.
4
como una variable Computadoras
dependientey Educación:
en la investigación
(por
ejemplo,
Inteligencia Artificial
7 (2024)
Choung et al.,2023;100305
Crockett y otros,2020; para una descripción
general, véase también Glikson y Woolley,2020), pero se sabe menos
sobre el impacto de la confianza en otros parámetros como las
percepciones de riesgo. Sin embargo, se ha demostrado que confiar en
un algoritmo, por ejemplo, tiene un impacto positivo en la intención de
seguir una recomendación correspondiente de la IA (Gedrimiene et
al.,2023). Rodway y Schepman (2023) también
M. Lünich, B. Keller y F. Marcinkowski
análisis de datos, esto podría introducir aún más sesgo y dar lugar a
más consecuencias discriminatorias (Li et al.,2022).
2.2.2. Sesgo y discriminación de datos
En consecuencia, además de las preocupaciones sobre la
privacidad, la discriminación es una de las amenazas más discutidas
para las aplicaciones de IA, como se denuncia en varias directrices
éticas para el desarrollo de una IA confiable y centrada en el ser
humano por parte de actores de la política, los negocios y la sociedad
civil (Jobin et al.,2019). En cuanto al riesgo de discriminación, esta
preocupación es doble y puede distinguirse entre sesgo estadístico y
social (Mitchell et al.,2021). Por un lado, el desarrollo descuidado de
la IA puede conducir a algoritmos discriminatorios cuando utiliza
atributos sensibles (por ejemplo, etnia) que no deberían afectar la
predicción o cuando las métricas de equidad implementadas no se
eligen cuidadosamente o incluso se ignoran por completo (Kizilcec y
Lee,2022; Makhlouf y otros,2021Veale y Binns,2017). Por otra parte,
la discriminación puede emanar de los datos de entrada, reproducidos
por el algoritmo de manera análoga a los estereotipos que contiene
(Fazelpour y Danks,2021). Sin embargo, Kizilcec y Lee (2022) se
refieren a otra fuente de discriminación, a saber, las acciones
resultantes basadas en una decisión, predicción o recomendación
algorítmica. En este caso, la discriminación puede surgir de una
interpretación errónea del resultado, por ejemplo, por parte de los
humanos dentro de la administración de la institución de educación
superior que procesan los resultados de la aplicación. Si bien varios
estudios están analizando las percepciones de equidad hacia la IA
(para una revisión, consulte Starke et al.,2022), necesitamos aprender
más sobre las poblaciones que ya han sufrido un trato desigual.
Parece concebible que aquellos grupos de estudiantes que ya han
sufrido un trato desigual en el pasado, consciente o
inconscientemente, sean especialmente susceptibles a la perpetuación
de los sesgos encontrados en los datos históricos y también sean más
vulnerables.capaz de daños individuales resultantes de APP (Baker &
Hawn,2022). Además, las experiencias personales previas de discriminación
podrían moldear las creencias sobre la objetividad de los sistemas de IA y su
potencial para un trato justo. Un estudio de Koch–Bayram et al. (2023) en
el contexto de la selección de personal apoya esta visión al mostrar
que las personas con experiencias de discriminación evalúan la toma
de decisiones algorítmica de manera más positiva que las personas
que no han experimentado un trato desigual.
2.2.3. Confíe en la IA
En el contexto de la "IA confiable", comprender la confianza en la
IA misma yEn las organizaciones que la implementan se está
volviendo cada vez más esencial, ya que la confianza entre los
miembros de la organización es un prerrequisito crítico para la
implementación exitosa de la IA institucional. Nos adherimos a la
definición de confianza como “la voluntad de una parte de ser
vulnerable a las acciones de otra parte con base en la expectativa de
que la otra realizará una acción particular importante para el que
confía, independientemente de la capacidad de monitorear o controlar
a esa otra parte” (Mayer et al.,1995, p. 712). En consecuencia, para
los sistemas de IA que son inherentemente opacos, un determinante
clave de la confianza es si la tecnología es percibida como confiable
por aquellos afectados por el sistema. La confiabilidad se considera,
por lo tanto, un atributo multidimensional de un sistema técnico y un
factor primario que influye en la confianza de los encuestados, lo que
refleja su propensión a actuar en función de estas percepciones
(Mayer et al.,1995; Wiencierz y Lünich,2022). Por lo tanto, como
solución a los problemas de privacidad y discriminación, se supone
que la "IA confiable" impulsa el desarrollo y la implementación de
una IA responsable (AI HLEG,2019;Shneiderman,2020) y se
considera elemental para la implementación y aceptación exitosa de
AIEd (Drachsler y Greller,2016). En este contexto, la confianza juega
un papel, especialmente en situaciones de incertidumbre, como lo
sugieren los desafíos que plantean las nuevas tecnologías (Lee,2018).
Si bien la confianza y la confiabilidad en la IA a menudo se usan
indistintamente en la literatura empírica, ambas se estudian a menudo
5
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
rara vez se han estudiado empíricamente (Li y Gu,2023). Mientras
tanto, abordar las preocupaciones y expectativas de las partes
interesadas y del público en general puede conducir a políticas de IA
más integrales y equilibradas y mejorar la adopción y el éxito generales
de la tecnología en el sector público y otros sectores de la sociedad
(Lünich et al.,2024). Sin embargo, los resultados de una encuesta
reciente de Kieslich et al. (2023) indican que la conciencia de las
implicaciones éticas de la IA es baja entre el público alemán,
especialmente entre los grupos potencialmente más afectados por las
consecuencias de las aplicaciones sesgadas de la IA. Sigue sin estar
claro si estas diferencias se extienden a las percepciones de la IA y
muestran que las actitudes generales hacia la IA influyen en la
comodidad de los estudiantes con la AIEd, mientras que la predicción
del rendimiento (especialmente en forma de predicción de
calificaciones) se percibe como la menos cómoda, lo que los autores
interpretan como que requiere un alto nivel de confianza en la APP.
2.2.4. Confianza institucional
Además, la AIEd y la APP pueden tener consecuencias de largo alcance
para las instituciones de educación superior, como lo demuestran varios
ejemplos negativos. Por ejemplo, la discriminación sistemática contra los
estudiantes de familias socialmente más débiles en el caso de un sistema de
evaluación automatizado en el Reino Unido provocó protestas masivas
(Edwards,2021; Herrero,2020). El sistema automatizado de admisión
universitaria Parcoursup en Francia provocó reacciones similares
(Frouillou et al.,2020), justocomo los diferentes sistemas APP
utilizados en las IES de EE. UU., donde el uso poco ético de los datos
de los estudiantes provocó desconfianza en las IES (Jones, Rubel et
al.,2020). Incluso en ausencia de discriminación observable, la
injusticia percibida en un sistema de IA puede causar un daño duradero
a la reputación de una institución de educación superior. Tales
percepciones pueden disuadir a los estudiantes de elegir la institución
(Marcinkowski et al.,2020). En este contexto, parece útil no solo
considerar la confianza en la IA en general, sino también observar más
de cerca el papel de la confianza institucional en la percepción del
riesgo. En particular, porque la confianza institucional influye
significativamente en la probabilidad de que los estudiantes consientan
el uso de sus datos personales para análisis de aprendizaje (Li et
al.,2022). Sin embargo, también es evidente que “los estudiantes tienen
una confianza inherente abrumadora en que su universidad utilizará
sus datos de manera apropiada y ética” (Slade et al.,2019, p. 235). Al
mismo tiempo, las IES tienen una responsabilidad moral especial hacia
sus estudiantes de actuar en su mejor interés. Jones, Rubel et al. (2020)
enfatizan que esto se aplica no sólo para evitar consecuencias
potencialmente dañinas sino también a las consecuencias que pueden o
no derivarse de la decisión de un sistema APP, como cuando se
predice que un estudiante corre un alto riesgo de abandonar la escuela
pero no se le advierte ni se le da más apoyo.
2.3. La predicción del rendimiento académico y sus incógnitas en
la educación superior
Dado que la AIEd tiene el potencial de afectar las trayectorias
educativas y profesionales futuras de los estudiantes y, por lo tanto,
puede tener un impacto significativo en la sociedad, la implementación
de APP requiere una consideración cuidadosa (Smuha,2022). Frente a
los problemas mencionados anteriormente sobre la AIEd y la APP, las
percepciones de los afectados personalmente y de la sociedad en
general son particularmente importantes para una implementación
exitosa de la APP (Lang y Davis,2023). Las investigaciones sobre la
evaluación de la AIEd por parte de distintos grupos de interesados
dentro de la educación superior sugieren que las percepciones bajas de
equidad hacia la AIEd pueden tener consecuencias negativas para la
reputación de las IES y potencialmente llevar a que los estudiantes se
alejen de ellas (Marcinkowski et al.,2020). Rodway y Schepman
(2023) también muestran que la adopción de AIEd conduce a una
disminución en la satisfacción con el curso, lo que a su vez podría
conducir a la desvinculación, a pesar de que los estudiantes expresaron
una familiaridad relativamente alta con varias aplicaciones de AIEd.
Los autores concluyen que "parece que es poco probable que la
diferenciación universitaria a través de la implementación de
tecnologías de AIEd mejore la satisfacción o el reclutamiento de
estudiantes a menos que la introducción de aplicaciones se gestione
con mucho cuidado" (Rodway y Schepman,2023, pág. 9).
A pesar de los diversos problemas sobre la adopción de sistemas
sociotécnicos y APP en particular, hasta ahora se sabe poco sobre las
percepciones comparativas de riesgo de las partes interesadas en el
contexto de AIEd, ya que a menudo se discuten a nivel teórico pero
6
ven abrumados por Computadoras
un exceso yde
información
(Kizilcec,2016).
Educación:
Inteligencia
Artificial 7 (2024) Sin
100305
embargo, esto sólo es
cierto para los estudiantes cuyas expectativas
coincidieron con la decisión de la IA, ya que pueden ser más
escépticos con respecto a la IA. Teniendo en cuenta esta incertidumbre
en torno a las preferencias por el diseño, la funcionalidad y las
consecuencias reales de la APP, se plantea la cuestión de los requisitos
específicos que tienen los estudiantes para la APP en relación con sus
percepciones individuales de los daños y qué implicaciones esto
plantea para las instituciones de educación superior. Por lo tanto, la
incógnita final que pretendemos investigar es:
M. Lünich, B. Keller y F. Marcinkowski
Si las variaciones en la percepción del riesgo pueden rastrearse hasta
el grado en que los grupos demográficos individuales se ven
afectados. Por lo tanto, las principales incógnitas que identificamos
giran en torno a la evidencia empírica relacionada con las
percepciones de riesgo hacia la IA, la IA en entornos virtuales y las
aplicaciones de aplicaciones. En consecuencia, planteamos las
siguientes preguntas de investigación:
RQ1. ¿Cómo se compara la percepción de la IA y la AIEd entre los
estudiantes matriculados con la del público en general?
RQ2. ¿Cómo perciben los estudiantes y la población en general los riesgos,
los daños individuales y sociales y la posible discriminación asociados
a la APP? ¿En qué medida difieren estas percepciones entre los dos
grupos?
RQ4. ¿Cómo evalúan los estudiantes las posibles formas de implementación
de la APP en las IES?
Al comparar las respuestas de los estudiantes con las de la población
general, pretendemos revelar diferencias en sus percepciones de la IA,
la IA en Internet y las aplicaciones móviles. Por ejemplo, los
estudiantes, como grupo directamente afectado por la IA y las
aplicaciones móviles, podrían tener opiniones más matizadas o
críticas de estas tecnologías con respecto al "efecto Not-In-MyBackyard" que la población general. Este efecto sugiere que las
diferencias en las percepciones de la tecnología se pueden observar en
función de la probabilidad de verse afectado y, por lo tanto, las
percepciones de riesgo pueden diferir (Arning et al.,2019;DevineWright,2013). De manera similar, Crockett et al. (2020) señalan
diferencias en la percepción del riesgo entre la población general y los
estudiantes de un curso de ingeniería, y concluyen que cuanto más
personal o grave sea el impacto potencial de una decisión de IA,
mayor será la percepción del riesgo.
Como se sugirió anteriormente, las percepciones, actitudes y
experiencias de los estudiantesEn cuanto a la divulgación de sus datos
personales, las experiencias personales de discriminación y los
niveles de confianza en los sistemas de IA sociotécnicos y las
instituciones de educación superior pueden variar y son posibles
predictores de las percepciones de riesgo individuales. Por lo tanto,
para ayudar a explorar otra incógnita, los factores que influyen en las
preocupaciones sobre las aplicaciones, preguntamos:
RQ3. ¿Qué explica las percepciones de los estudiantes sobre el daño
individual y social de las aplicaciones de aprendizaje automático? Más
específicamente, ¿en qué medida las preocupaciones por la privacidad,
la discriminación experimentada, la confianza en la IA y la confianza
institucional están vinculadas a las percepciones de daño individual y
social?
Dados los diversos riesgos que conlleva la adopción de sistemas
sociotécnicos, es esencial ser consciente de las preocupaciones de los
afectados, tomarlas en serio y considerarlas al diseñar los sistemas
(Schumacher & Ifenthaler,2018). De este modo, las instituciones de
educación superior pueden responder a las preocupaciones de los
estudiantes con diversas medidas. Por ejemplo, en lo que respecta a
las preocupaciones sobre la privacidad, podrían priorizar el desarrollo
de medidas de privacidad sólidas (Reidenberg y Schaub,2018). En
cuanto a las preocupaciones de los estudiantes sobre las IA
potencialmente sesgadas,Se pueden realizar esfuerzos para garantizar
que los algoritmos de IA utilizados en la aplicación sean lo más justos
y transparentes posibles (Kizilcec y Lee,2022). En consecuencia, las
IES necesitan mejorar su transparencia y comunicación
organizacional con las partes interesadas para abordar sus
preocupaciones desde el principio (Tsai et al.,2020) porque “solo
aumentando la transparencia en torno a las actividades de análisis del
aprendizaje las IES ganarán la confianza y una cooperación más plena
de los estudiantes” (Prinsloo y Slade,2015, p. 90). Sin embargo, el
grado de transparencia requiere una calibración cuidadosa, ya que
mejora la confianza en la IA hasta que se alcanza un cierto umbral,
más allá del cual la confianza puede disminuir si los estudiantes se
7
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
3. Método
1 Ninguno de los encuestados de nuestra muestra se identificó como no binario o de género diverso, lo que limita la
representación de un grupo de interesados crucial en nuestros resultados. El uso de una variable de género binaria en los
Para responder a las preguntas de investigación, se realizó una
encuesta estandarizada a gran escala. El análisis de datos se realizó
utilizando el programa estadístico R (versión 4.3.1) utilizando modelos
de ecuaciones estructurales con el paquete lavaan (Rosseel,2012).
siguientes análisis no pretende ser discriminatorio, sino que destaca las posibles diferencias influidas por el género en los
conflictos sociales y la AIEd. Este enfoque nos permite explorar cómo el género puede afectar las respuestas, aunque se
limita a las perspectivas de las personas cisgénero.
3.1. Muestra
Los encuestados fueron reclutados por la agencia de encuestas
comerciales Forsa. La encuesta se realizó a través de un cuestionario
en línea del 1 al 19 de diciembre de 2022. El conjunto de datos final se
pondera para los análisis que abordan las preguntas de investigación
utilizando la encuesta en paquete (Lumley,2004) para tener en cuenta
la sobrerrepresentación y el sesgo en la composición de la muestra.
En total, n = 751 estudiantes y n = 1.009 miembros de la población
general completaron la encuesta. La edad promedio de los estudiantes
fue de 27,74 años (DE = 7,53). En total, 330 (43,9%) estudiantes se
identificaron como mujeres, 421 (56,1%) como hombres. Con respecto
a la pregunta sobre qué título están cursando actualmente los
estudiantes en su materia principal, 328 (43,7%) estudiantes informan
que están cursando una licenciatura, 259 (34,5%) informan que están
cursando una maestría, 81 (10,8%) informan que están cursando un
examen estatal y 82 (10,9%) cursan un doctorado.
La edad media de los encuestados de la población fue de 51,7 (DE =
16,96). En total, 478 (47,4%) personas de la población se identificaron
como mujeres y 531 (52,6%) como hombres. 1 Además, 147 (14,6%)
encuestados declararon haber alcanzado un nivel educativo básico, 452
(44,9%) declararon haber alcanzado un nivel educativo medio y 407
(40,5%) poseen un título de educación superior.
3.2. Procedimiento y diseño de la encuesta
En primer lugar, se informó a los encuestados sobre la naturaleza y
el objetivo del estudio, la duración de la respuesta al cuestionario de
unos 20 minutos y el uso y la protección de sus datos personales. El
consentimiento informado requirió que los encuestados primero
indicaran si estaban o no inscritos actualmente en una IES, que se
utilizará como criterio distintivo en el resto de la encuesta. A
continuación, a todos los encuestados se les dio una breve descripción
de la IA para luego preguntarles sobre sus preocupaciones sobre la
privacidad y el apoyo u oposición a la IA en varias áreas de aplicación.
Luego se presentó a todos los encuestados el propósito y la función de
un sistema de APP, y se pidió a los estudiantes que evaluaran las
posibles consecuencias y los diferentes escenarios de implementación.
Finalmente, a todos los encuestados se les pidió nuevamente que
evaluaran los posibles riesgos, los daños sociales e individuales y la
posible discriminación antes de que se les pidiera que proporcionaran
información sobre sus experiencias personales de discriminación, así
como sus características sociodemográficas (es decir, edad, género),
complementadas con algunas preguntas específicas para los
estudiantes (es decir, materia de estudio, número de semestres de
estudio, su título deseado y el tipo de su reciente institución de
educación superior). Por último, se agradeció a los participantes, se les
informó sobre su participación y se los redirigió a Forsa, donde
recibieron una compensación monetaria por su participación. El
tiempo promedio para completar el cuestionario fue de 14 minutos (DE
= 11).
3.3. Medidas
3.3.1. Aprobación de la IA en diferentes campos de aplicación
En primer lugar, nos centramos en la aprobación general de la IA
en diversas áreas de aplicación. En concreto, preguntamos si los
encuestados estaban en general más a favor o en contra del uso de la
IA en doce sectores diferentes (banca, atención sanitaria, producción
industrial, transporte, vida diaria personal, etc.).
8
Posteriormente, se pidió
a los estudiantes
que expresaran
nivel de
Computadoras
y Educación: Inteligencia
Artificial 7su
(2024)
100305
acuerdo con varias afirmaciones.
M. Lünich, B. Keller y F. Marcinkowski
vida, escuelas y universidades, administración pública, decisiones
políticas, tribunales, autoridades policiales y de seguridad, fuerzas
terrestres, fuerza aérea y marina, y servicios de inteligencia y
secretos). Las opciones de respuesta variaron de 1
Preocupaciones sobre la privacidad.En relación con sus
preocupaciones sobre la privacidad, se pidió a los estudiantes que
calificaran cuatro afirmaciones al considerar el tema de la privacidad.
Estos elementos fueron adaptados de Malhotra et al. (2004) y
Hoffmann y Lutz (2022). Sin embargo, para mejorar la validez
factorial, tuvimos que
= “completamente en contra” a 5 = “completamente a favor” y
también incluido
la opción de no expresar preferencia (“no sé”). De esta manera,
podemos comparar la promoción del uso de IA en educación con
otros sectores con la diferenciación adicional entre estudiantes y la
población alemana en general.
3.3.2. Percepción de riesgos, daños individuales y sociales y
discriminación Percepción de riesgos.A continuación nos centramos en
la percepción del riesgo de la APP en particular. La percepción
general del riesgo se derivó del enfoque basado en el riesgo de la
Comisión Europea, que identifica una pirámide de riesgo que
distingue entre riesgos mínimos, limitados, altos e inaceptables
(Comisión Europea, 2006).2021). Se preguntó a los encuestados
cómo percibían, en términos generales, el riesgo asociado con la
implementación de la APP para los estudiantes en una escala Likert
de cuatro puntos que abarca las categorías de riesgo antes
mencionadas.
Daños individuales y sociales y discriminación.Los daños individuales y
sociales y la discriminación se midieron en una escala Likert de cinco puntos
que iba desde 1 = “totalmente en desacuerdo” a 5 = “totalmente de acuerdo”,
pidiendo a los encuestados que evaluaran tres afirmaciones para cada
variable. Cada afirmación comenzaba con “Predecir el rendimiento de los
estudiantes a través de la inteligencia artificial...” seguido de “conduce a
problemas sociales en el sistema educativo”, “tiene consecuencias negativas
en el sistema educativo” y “causa daños en el sistema educativo” para los
daños sociales; “tiene consecuencias negativas para mí personalmente”,
“causa daños a mí personalmente” y “conduce a desventajas para mí” para
los daños personales; y evaluando la discriminación percibida preguntando si
la APP “refuerza las desigualdades existentes”, “crea nuevas desigualdades”
y “conduce a la discriminación”. Si bien la medición de los daños sociales y
personales fue adaptada de Lünich (2022), la discriminación percibida
fue autodesarrollada. Los tres indicadores por constructo sugieren una
buena validez factorial (ver Tabla1).
Antes de investigar las diferencias entre los grupos respectivos a
través del modelado de factores latentes, es crucial verificar la
invariancia de la medición de los indicadores, como lo proponen
Putnick y Bornstein (2016), utilizando el siguiente procedimiento
paso a paso. Primero, examinamos la invariancia configuracional a
través del modelo M1 (ver Tabla1). Posteriormente, en el modelo M2,
examinamos la invariancia métrica restringiendo las cargas factoriales
y contrastando M1 y M2 utilizando una prueba de diferencia de chicuadrado. El resultado no significativo de esta prueba implica que el
modelo con restricciones de igualdad impuestas para las cargas
factoriales no muestra un ajuste peor que el modelo sin tales
restricciones. En consecuencia, los parámetros de los respectivos
modelos se consideran equivalentes. A continuación, el modelo M3,
con interceptos de indicador restringidos, se utiliza para verificar la
invariancia escalar contrastándolo con M2, nuevamente utilizando
una prueba de diferencia de chi-cuadrado. Los hallazgos indican que
los interceptos de dos indicadores no son invariantes. En
consecuencia, se liberan las restricciones sobre estos, lo que nos lleva
a asumir una invariancia escalar parcial. Por último, imponemos
restricciones sobre las varianzas residuales de los indicadores en el
modelo M5 para probar la invariancia residual. La prueba de
diferencia de chi-cuadrado muestra que no hay invariancia residual.
Los resultados sugieren una fuerte invariancia factorial para las
percepciones de daño social percibido y una invariancia factorial
parcial para la medición de los daños individuales percibidos y la
discriminación esperada.
3.3.3. Factores que influyen en la percepción de daños
Se evaluaron todos los factores que influyen en la percepción del
riesgo mediante una escala Likert de cinco puntos, que van desde 1 =
“totalmente en desacuerdo” hasta 5 = “totalmente de acuerdo”.
9
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
Tabla 1
Invariancia de medición para variables latentes de percepción de daño y discriminación entre la población general y estudiantes.
M1: ConfigurableInvariancia
M2: Invariancia métrica
M3: Invariancia escalar
M4: Invariancia escalar parcial
M5: Invariancia residual
Chisq (df)
TLI
RMSEA
Comp
Diferencial de
Chisq (df)
Diferencia
TLI
Diferencia
RMSEA
171.096*** (48)
174.048*** (54)
221.587*** (60)
175.370*** (58)
231.089*** (67)
0,98
0,98
0,98
0,98
0,98
0,07 (0,06-0,08)
0,06 (0,05-0,07)
0,07 (0,06-0,08)
0,06 (0,05-0,07)
0,06 (0,06-0,07)
M1
M2
M2
M4
2.952 (6)
47.539*** (6)
1.322 (4)
55.718*** (9)
0.00
-0.00
0.00
-0.00
-0.00
0,01
-0.00
0,01
de que la percepción del riesgo aumenta con la edad. Además, las
mujeres también tienen una mayor percepción del riesgo con respecto a
los sistemas de IA, aunque este efecto parece marginal (Araujo et
al.,2020) Se agregó el género como variable ficticia (0 = masculino, 1 =
femenino).
Además, las percepciones de equidad y riesgo hacia la IA varían
según la experiencia y el conocimiento de programación (Lee y
Baykal,2017; Logg y otros,2019; Yigitcanlar y otros,2022). Por lo
tanto, examinamos si las percepciones del riesgo
Excluimos un ítem (“Internet representa una amenaza grave para la
privacidad”) y trabajamos sólo con los otros tres para nuestro análisis:
“En comparación con otros, soy más sensible a cómo las empresas
manejan mi información personal”; “Es importante para mí proteger
mi privacidad en Internet”; “Me preocupa mi privacidad en Internet”.
Los ítems muestran una buena validez factorial (prueba de
Cronbach).�= 0,77; varianza media extraída (AVE)
= 0,52).
Discriminación experimentada.Para obtener experiencias personales de
discriminación, utilizamos la Escala de Discriminación Cotidiana de
Williams et al.1997). Sin embargo, tuvimos que excluir un ítem (“Alguien
actúa como si tuviera miedo de ti”) para mejorar la validez factorial. Se
pidió a los encuestados que indicaran con qué frecuencia les habían
sucedido las siguientes cosas en su vida diaria: “Recibes un peor servicio
que otras personas en restaurantes o tiendas”; “Te tratan con menos
respeto que a otras personas”; “Alguien actúa como si no te tomaran en
serio”; “Te amenazan o acosan”. Las opciones de respuesta iban de 1 a 5
en una escala de Likert (1 = nunca, 2 = raramente, 3 = a veces, 4 = a
menudo, 5 = muy a menudo). Después de tener en cuenta estas medidas,
todos los indicadores del constructo respectivo muestran una buena
validez factorial (prueba de Cronbach).�= 0,77; AVE = 0,48).
Confía en APP.En cuanto a la confianza en la APP, adaptamos los
elementos de Shin (2021) utilizados para medir la confianza en los
sistemas de recomendación y los adaptaron al contexto de las
aplicaciones. Estos elementos también fueron utilizados anteriormente
porLünich y Kieslich (2022) en el contexto de la confianza general en la IA.
Preguntamos en qué medida los encuestados estaban de acuerdo con las
siguientes cuatro afirmaciones: “Confío en que un sistema informático pueda
hacer predicciones precisas del rendimiento académico”; “Confío en las
predicciones del rendimiento de los estudiantes realizadas por un sistema
informático”; “Las predicciones del rendimiento de los estudiantes realizadas
por un sistema informático son fiables”; “Creo que las predicciones del
rendimiento de los estudiantes realizadas por un sistema informático son
fiables”. Los ítems muestran una buena validez factorial (β de Cronbach =
0,94; AVE = 0,79).
Confianza institucional.La confianza institucional se refiere
explícitamente a la institución de educación superior en la que están
inscritos los estudiantes. Por lo tanto, esta pregunta se formuló
únicamente a los estudiantes. Utilizamos y adaptamos ligeramente
cuatro ítems desarrollados a partir de Ghosh et al. (2001) y
previamente validado por Li et al. (2022). Se pidió a los estudiantes
que calificaran hasta qué punto estaban de acuerdo con las siguientes
oraciones: “Dado que no puedo supervisar personalmente todas las
actividades de mi universidad, confío en que los empleados de la
universidad hagan su trabajo correctamente”; “En general, no tengo
confianza en mi universidad” (codificación inversa); “Creo que mi
universidad es una organización creíble”; “Siento que puedo confiar en
mi universidad”. Los ítems muestran una buena validez factorial
(prueba de Cronbach).�= 0,77; AVE = 0,47).
Variables
de
control.Por
último,
incluimos
variables
sociodemográficas (es decir, género y edad) y el campo de estudio
como variables de control en nuestro modelo. Decidimos hacer esto
porque investigaciones anteriores han demostrado que la edad está
relacionada positivamente con la percepción del riesgo, en el sentido
10
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
difieren entre los estudiantes que estudian materias STEM y SHAPE
(Morgan Jones et al.,2020). Utilizamos la clasificación temática de la
Oficina Federal de Estadística de Alemania, que permite respuestas
de ocho categorías temáticas principales (Destatis,2021). Cuatro
categorías se clasificaron como STEM (es decir, matemáticas y
ciencias naturales; medicina humana y ciencias de la salud; ciencias
agrícolas, forestales y nutricionales, medicina veterinaria; ingeniería),
y cuatro como SHAPE (humanidades; deportes; derecho, economía y
ciencias sociales; artes;). Además, los estudiantes podían elegir la
categoría.'Otros'. Los encuestados fueron clasificados en grupos STEM o
SHAPE según el tema de estudio, lo que dio como resultado una variable
ficticia codificada como 0 para 'SHAPE' y 1 para 'STEM'.
3.3.4. Demandas de los estudiantes para la implementación de APP
Por último, también investigamos las demandas de los estudiantes
en relación con la implementación de APP en las IES para explicar
las distintas percepciones de los daños y proporcionar algunos
consejos prácticos para las IES. Con este fin, se pidió a los
estudiantes que expresaran su nivel de acuerdo con 16 opciones de
implementación diferentes.ciones para un sistema APP (ver Tabla6). Estas
opciones se desarrollaron durante un taller universitario interno
coorganizado por los autores como parte de un proyecto de investigación
interdisciplinario centrado en el desarrollo socialmente responsable de APP.
En el taller, el personal administrativo, los profesores y los estudiantes
interesados discutieron sus requisitos personales para un sistema APP y
varias estrategias de implementación para APP. En la encuesta, se pidió a los
estudiantes que imaginaran que la IES implementaría un sistema APP en el
que están inscritos. Las declaraciones incluyeron voluntariedad de la
divulgación de datos, transparencia, explicación, accesibilidad de los
resultados de la predicción y consecuencias de la predicción, como la opción
y el uso de más apoyo basado en APP. Todos los elementos se midieron
nuevamente en una escala Likert de cinco puntos que van desde 1 =
"totalmente en desacuerdo" a 5 = "totalmente de acuerdo".
4. Resultados
4.1. Aprobación de aplicaciones de IA en diferentes sectores de la sociedad
Para evaluar la aprobación de aplicaciones de IA en diferentes
sectores de la sociedad entre la población general y los estudiantes,
realizamos múltiples pruebas t independientes utilizando la corrección
de Benjamini-Hochberg para comparaciones múltiples (Thissen et
al.,2002). Los resultados relativos a la aprobación de aplicaciones de
IA en diferentes sectores de la sociedad indican que los estudiantes
están significativamente más inclinados a apoyar el uso de IA en
diversos sectores sociales, como la banca, la atención sanitaria, la
producción industrial, el transporte y la vida cotidiana, en
comparación con la población general (véase la Tabla2). En cuanto a
la D de Cohen, los tamaños del efecto son pequeños a medianos. Sin
embargo, el sentimiento hacia la adopción de IA en la educación varía
entre los estudiantes y refleja la ambigüedad encontrada en el público
en general. No hay una diferencia significativa entre la población
general y los estudiantes con respecto a la aprobación del uso de IA
en escuelas y universidades, y ambas medias están cerca del punto
medio de la escala. Contrariamente a los campos de aplicación
anteriores, los estudiantes no respaldan unánimemente la integración
de IA en las instituciones educativas. Finalmente, en comparación con
la población en general, existe una oposición o ambigüedad igual y
notable de los estudiantes hacia el uso de IA en las agencias de
aplicación de la ley, militares y de inteligencia.
11
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
Tabla 2
Aprobación de aplicaciones de IA en diferentes sectores de la sociedad por parte de la población en general y los estudiantes.
¿Está usted más a favor o en contra del uso de
la IA en los siguientes campos?
Población general:
media (DE)
GeneralPoblaci
ón n
Estudiantes:
Media (DE)
Estudiantes
n
t (gl)
p (Benjamini-Hochberg
corregido)
La d de
Cohen
¿En los bancos?
¿En el ámbito sanitario?
¿En la producción industrial?
¿En movilidad?
¿En la vida personal diaria?
2,97 (1,18)
3.27 (1.20)
4,02 (0,97)
3,39 (1,17)
3,00 (1,07)
968
974
981
981
974
3,26 (1,15)
3,53 (1,07)
4,28 (0,86)
3,72 (1,10)
3,40 (1,06)
718
733
739
734
729
5.01 (1684)
4.63 (1705)
5.78 (1718)
5.70 (1713)
7.38 (1701)
<. 001
<. 001
<. 001
<. 001
<. 001
0,25
0,23
0,28
0,29
0,38
¿En la administración pública?
¿En escuelas y universidades?
¿En la toma de decisiones políticas?
¿En la corte?
¿En la policía y en las fuerzas del orden?
3,25 (1,18)
3.23 (1.13)
2.08 (1.11)
2.17 (1.15)
2,82 (1,24)
976
969
966
961
964
3,73 (1,04)
3,30 (1,07)
2.20 (1.12)
2.19 (1.12)
2,73 (1,19)
727
726
730
721
733
8.65 (1701)
1.44 (1693)
2.10 (1694)
0,48 (1680)
-1,39 (1695)
<. 001
0,198
0,061
0,633
0,198
0,43
0,06
0,11
0,02
0,07
¿En las fuerzas terrestres, aéreas y navales?
¿En agencias de inteligencia y servicios
secretos?
2,86 (1,30)
2,93 (1,26)
944
938
2,73 (1,30)
3.02 (1.23)
703
701
-1,85 (1645)
1.33 (1637)
0,098
0,201
0,10
0,07
Tabla 3
Percepciones de riesgo de APP por parte de la población general y estudiantes.
Población general
Nivel de riesgo
4 Riesgo inaceptable
3 Alto riesgo
2 Riesgo limitado
1 Riesgo mínimo
Total
Estudiantes
norte
%
%
(ponderado)
n
o
rt
e
%
%
(ponderado)
74
367
519
44
1004
7.4
36.6
51.7
4.4
100.0
7.4
37.4
50.9
4.3
100.0
80
301
337
28
746
10.7
40.3
45.2
3.8
100.0
11.0
40.2
45.1
3.7
100.0
Tabla 4
Medias y diferencias de medias de las percepciones de daño y discriminación de la población general y los estudiantes.
Factor latente
Daños sociales
Daños individuales
Discriminación
Población general
Estudiantes
Diferencia de medias entre grupos
Est.
ES
CILL
(Inglés)
CIUL
�
CRA
Est.
ES
CILL
(Inglés)
CIUL
�
CRA
Est.
ES
CILL
(Inglés)
CIUL
La d de
Cohen
3.04
2.21
2,96
0,04
0,04
0,05
2,95
2.13
2.87
3.12
2.30
3.05
0,888
0,887
0,874
0,734
0,723
0,697
3.38
2.63
3.42
0,05
0,05
0,06
3.28
2.53
3.31
3.48
2.73
3.53
0,917
0,933
0.906
0,794
0,819
0,746
-0,34***
-0,41***
-0,46***
0,07
0,07
0,07
-0,47
-0,55
-0,60
-0,21
-0,28
-0,32
0,33
0,40
0,42
estimaciones de parámetros para las medias latentes, así como las
diferencias entre las medias latentes entre los estudiantes y la población.
El modelo de factores latentes muestra un ajuste aceptable (� 2(60) =
181,26, p = < 0,001; RMSEA = 0,06 IC [0,05,
0,07]; TLI=0,98).
4.2. Percepciones de riesgo
En cuanto a las percepciones de los riesgos asociados con la
implementación de IA, los resultados sugieren que la evaluación de los
estudiantes sobre los riesgos relacionados con la predicción del
rendimiento a través de IA es casi idéntica a la de la población en general
(ver Tabla3). Según una prueba de � 2, la diferencia no es significativa, �
2(3) = 1,93, p = 1,000, bilateral. Utilizamos las mismas categorías que
especifica la Ley de IA de la UE para evaluar los riesgos asociados a las
tecnologías de IA. En este enfoque de clasificación, una aplicación como
sistema de IA en educación se identifica como un área crítica y se clasifica
como de "alto riesgo" (Comisión Europea,2021). Los resultados
ponderados para los grupos de estudiantes y población general sugieren
que aproximadamente 4 de cada 10 encuestados perciben tal magnitud de
riesgo en relación con la APP. Este hallazgo contrasta con la mayoría de
los encuestados, quienes, independientemente de si son estudiantes o no,
perciben un riesgo claramente menor que el que implica la categorización
de la UE. Por el contrario, solo el 7,4% de la población general y el 11%
de los estudiantes, respectivamente, consideran que el riesgo es
inaceptable.
4.3. Percepción de daños individuales y sociales y discriminación
Respecto a la evaluación de las expectativas de daños individuales
y sociales y de discriminación, se estimó un modelo de factores
latentes, diferenciando entre la población general como un grupo y los
estudiantes como otro grupo (ver Tabla4). Este modelo incluye
12
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
Los resultados sugieren que hay una diferencia media considerable
y significativa entre los estudiantes y la población general con
respecto a los daños individuales percibidos (Δ� = -0,41, SE = 0,07,
p = < 0,001, daños sociales percibidos (Δ� = -0,34, SE = 0,07, p = <
0,001, y discriminación esperada (Δ� = -0,46, SE = 0,07, p = <
0,001. Los estudiantes percibieron mayores daños sociales e
individuales, así como discriminación en comparación. La d de Cohen
sugiere tamaños del efecto bajos a medios.
En el modelo de factores latentes, existe una alta correlación entre
los daños sociales percibidos y la discriminación percibida. En un
análisis posterior, en el que queremos explorar los factores que
influyen en las percepciones de los daños, esta alta correlación podría
conducir potencialmente a una multicolinealidad en nuestro modelo,
distorsionando las estimaciones estadísticas y volviéndolas poco
fiables o ininterpretables. En tales situaciones, suele ser aconsejable
eliminar una de las variables altamente correlacionadas para
garantizar la estabilidad del modelo y evitar la redundancia. Aunque
analíticamente son distintos, empíricamente, los daños sociales
percibidos y la discriminación percibida de APP transmiten
información en gran medida superpuesta en nuestra muestra.
Eliminamos la discriminación percibida del modelo para explicar de
forma fiable los efectos sobre las percepciones de daños de APP y
comparar mejor los efectos de los daños individuales y sociales
percibidos.
4.4. Factores que explican la percepción del daño
Al examinar qué factores explican las percepciones de daño de los
estudiantes, estimamos un modelo de regresión estructural que
incluye preocupaciones sobre la privacidad, discriminación
experimentada, confianza en la IA y confianza institucional como
predictores
latentes,
además
de
controlar
información
sociodemográfica como la edad y el género, y si los estudiantes
estudian una materia SHAPE o STEM (ver Tabla5). El modelo de
regresión estructural muestra ac-
13
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
Tabla 5
Efectos sobre las percepciones de daños sociales e individuales de los estudiantes.
Variable predictora
Variable dependiente
B
ES
el
beta
Preocupaciones sobre la privacidad
Discriminación experimentada
Confíe en la IA
Confianza institucional
Percepción de daños sociales
0,06
0,11
-0,71***
-0,03
-0.00
0,06
0,08
0,05
0,08
0,08
0,94
1.35
-15,46
-0,42
-0,04
0,043
0,062
-0,592
-0,022
-0,001
0,11
0,07
1.61
0,054
-0,13
0,08
-1,56
-0,058
Género (femenino)=1)
Edad
Tema de estudio SHAPE vs. STEM
(1=PROVENIR)
Preocupaciones sobre la privacidad
0,10
0,06
1.53
0,072
Discriminación experimentada
Confíe en la IA
Perjuicios individuales
percibidos
0,30**
-0,53***
0,09
0,05
3.18
-9,66
0,163
-0,444
Confianza institucional
-0,08
0,08
-0,98
-0,053
Género (femenino)=1)
Edad
Tema de estudio SHAPE vs. STEM (1=STEM)
0,08
0,12
-0,12
0,09
0,08
0,09
0,91
1,59
-1.31
0,038
0,062
-0,053
basadas en la APP, es menos probable que aprueben que su universidad
se acerque a ellos de manera proactiva para brindarles servicios de
asesoramiento y apoyo.
ajuste aceptable (�2(231)=396.56, p=< 0,001; RMSEA=0,04 IC
[0,03,
0,04]; TLI=0,97).
Los resultados sugieren que, si bien las preocupaciones por la
2 Los estudiantes con un índice de suma positivo de percepciones de daño individual y social fueron asignados al grupo con
privacidad no parecen ser un factor determinante de las percepciones
de daño, existe un efecto de discriminación experimentada
previamente, donde una mayor discriminación experimentada conduce
a mayores percepciones de daño individual. El efecto es pequeño y
significativo.significativa, � = 0,30, SE = 0,09, p = 0,001, �estandarizado =
0,16).
La confianza de los estudiantes en la IA y la confianza institucional, los
resultados sugieren que esta última
no muestra ningún efecto significativo. Al mismo tiempo, el primero
es el principal impulsor de las percepciones de daños, mostrando un
efecto medio significativo en los daños individuales percibidos (� = 0,53, SE = 0,05, p
=< 0,001,�estandarizado=-0,44) y daños sociales ( �=-0,71, SE=
0,05, p=< 0,001,�estandarizado=-0,59).
mayores percepciones de daño, y los estudiantes con un índice de suma negativo al grupo con menores percepciones de daño,
respectivamente.
4.5. Evaluación de los estudiantes sobre la implementación de la APP
Finalmente, los resultados de la evaluación de APP documentan las
preferencias y expectativas de los estudiantes con respecto a la
implementación de sistemas APP en las IES. En la Tabla6Por un lado,
se tiene la calificación global ponderada de los estudiantes de varias
afirmaciones relacionadas. Por otro lado, comparamos a los estudiantes
que muestran percepciones de daño más bajas con los estudiantes que
muestran percepciones de daño más altas, realizando múltiples pruebas
t utilizando la corrección de Benjamini-Hochberg (Thissen et al.,2002)
para comparaciones múltiples. 2
Los tres primeros ítems se refieren a la autonomía de los
estudiantes en la decisión de participar y divulgar sus datos. En
general, los resultados sugieren que los estudiantes quieren decidir por
sí mismos si están sujetos a la APP, que, en conjunto, son algo reacios
a proporcionar sus datos para la APP de forma voluntaria y que
prefieren poder decidir cuáles de sus datos se utilizan para la APP. Los
cuatro ítems siguientes abordan las preferencias de accesibilidad y
explicabilidad de los resultados de la APP. En primer lugar, los
estudiantes están muy a favor de conocer sus predicciones individuales
y sugieren abrumadoramente que sólo ellos deberían conocerlas, nadie
más. En segundo lugar, en promedio, a los estudiantes les preocupa
que sus profesores conozcan sus predicciones. Por último, los
estudiantes informan inequívocamente que les gustaría que se les
expliquen sus predicciones individuales. La segunda mitad de los ítems
se refería a las preferencias de los estudiantes sobre las consecuencias
de la APP. Si bien es más probable que los estudiantes estén de
acuerdo con que se les ofrezcan medidas de apoyo individualizadas
14
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
Al abordar la cuestión de quién debería proporcionar servicios de
orientación y apoyo, los estudiantes claramente prefieren a los
asesores independientes de orientación estudiantil en lugar de a sus
instructores. Una prueba t de muestras pareadas revela una diferencia
media significativa de -0,63 (IC del 95 % [-0,75, -0,50]) entre estas
dos opciones, t(749,00) = -10,06, p = < 0,001, bilateral.
Los estudiantes rechazan firmemente las medidas de apoyo
obligatorias para aquellos con malas predicciones de rendimiento,
expresando un deseo de autonomía para decidir si utilizar las
oportunidades de consulta y apoyo. Sin embargo, su postura es menos
clara con respecto a si el conocimiento de las predicciones de
rendimiento individuales los motivaría a buscar servicios de consulta
voluntarios. En términos generales, los estudiantes insisten en que
cualquier predicción de rendimiento no debería conducir a
consecuencias impuestas por la universidad en sus estudios debido a
la implementación del APP. Al mismo tiempo, muestran sentimientos
encontrados sobre si se debería aprovechar el APP para identificar
cursos desafiantes y reestructurar los programas de estudio en
consecuencia.
Una comparación entre estudiantes con percepciones de daño más
bajas y aquellos con percepciones de daño más altas revela
diferencias significativas entre los dos grupos. Los estudiantes con
percepciones de daño más altas son notablemente menos propensos a
proporcionar voluntariamente sus datos para la predicción del
desempeño por parte de la IA y demuestran una mayor demanda de la
capacidad de decidir qué datos propios se utilizan para la predicción
del desempeño. La preocupación de que los instructores que tienen
acceso a las predicciones de los estudiantes puedan calificarlos más
bajo en sus cursos también es más pronunciada entre aquellos con
percepciones de daño más altas. Además, los estudiantes con
percepciones de daño más altas demuestran menos acuerdo con las
medidas de apoyo individuales ofrecidas en función de la predicción
del desempeño por parte de la IA. También están menos dispuestos a
aceptar servicios de asesoramiento voluntarios si conocieran sus
predicciones individuales.
5. Discusión
5.1. Diferencias y puntos en común entre estudiantes y población en su
aprobación de la IA en diversas áreas de aplicación
En una respuesta a la pregunta 1, sugerimos que los estudiantes
son significativamente más partidarios del uso de sistemas de IA en
varias áreas de aplicación, pero no en todas, en comparación con la
población media en Alemania. Este mayor apoyo al uso de la IA en
áreas como la vida cotidiana o la movilidad podría deberse a varios
factores. Por ejemplo, los estudiantes alemanes, como un grupo
demográfico comparativamente más joven y con mayor nivel
educativo, pueden mostrar un mayor apoyo a las nuevas tecnologías
en comparación con el ciudadano alemán medio (Zhang y Dafoe,
2008).2019), perciben una mayor competencia tecnológica o
reconocen beneficios más sustanciales, utilidad o facilidad de uso, ya
que estos factores han demostrado influir en las actitudes hacia la
tecnología y los sistemas basados en IA (Ardies et al.,2015; Gado y
otros,2022; Kim y otros,2020; Mays y otros,2022; Mitzner y
otros,2010;Teo y Zhou,2014).
15
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
Tabla 6
Evaluación de los estudiantes sobre la implementación de la APP.
Artículo
Uno debería poder decidir por sí mismo si una
La predicción del rendimiento se realiza en base a los propios
datos.
Proporcionaré voluntariamente mis datos para el rendimiento.
predicción por IA.
Uno debería poder decidir cuáles de sus propios datos son
Se utiliza para predecir el rendimiento.
La propia predicción del rendimiento debería ser accesible
para
cada estudiante en todo momento.
Sólo el propio estudiante debería poder ver sus
predicción de rendimiento propio.
Me preocupa que los instructores que pueden ver a los
estudiantes
La predicción les hará obtener calificaciones más bajas en sus
cursos.
Me gustaría que me explicaran cómo fue mi desempeño.
La predicción se hizo realidad.
Basándose en la predicción del rendimiento por IA, el
individuo
Se deben ofrecer medidas de apoyo.
Si tengo una predicción de rendimiento pobre, quiero que
La universidad se pondrá en contacto conmigo activamente
y me ofrecerá asesoramiento.
y servicios de apoyo.
Servicios de asesoramiento basados en predicción del
rendimiento de IA
Deberían ser proporcionados por los profesores de mi estudio.
programa.
El asesoramiento basado en la predicción del rendimiento de
la IA debería ser
realizado por el estudio independiente de mi universidad
Servicio de asesoramiento.
La participación en medidas de apoyo debería ser obligatoria
para
estudiantes con una predicción de rendimiento pobre.
Me gustaría poder decidir por mí mismo si tomo
Aproveche los servicios de asesoramiento y apoyo.
Si supiera mi predicción de rendimiento, estaría más
dispuesto a tomar servicios de asesoramiento voluntario.
Mi predicción personal no debería tener consecuencias.
la universidad para mi curso de estudios.
Los resultados de la predicción del rendimiento de la IA deben
ser
Se utiliza para identificar cursos demasiado desafiantes y
reestructurar el programa de estudios en consecuencia.
Estudiantes con mayor
percepción de daños
Media (DE)
t (gl)
p (BenjaminiHochberg
corregido)
La D de
Cohen
Media (DE)
Estudiantes con menor
percepción de daños
Media (DE)
4,43 (0,95)
4,34 (0,96)
4,45 (1,00)
-1,30 (549,32)
0,335
0,11
2,62 (1,28)
3.28 (1.21)
2.07 (1.10)
12,29 (526,01)
<. 001
1.05
3,69 (1,38)
3,53 (1,41)
3,82 (1,34)
-2,45 (533,93)
0,046
0,21
4.20 (1.30)
4.23 (1.30)
4.17 (1.29)
0,54 (543,11)
0,725
0,05
4,40 (0,94)
4.30 (1.04)
4,42 (0,90)
-1,44 (514,13)
0.300
0,12
3,97 (1,06)
3,64 (1,11)
4,21 (0,97)
-6,47 (513,88)
<. 001
0,55
4,61 (0,75)
4,58 (0,74)
4,61 (0,77)
-0,41 (550,36)
0,776
0,04
3,76 (1,12)
3,98 (1,00)
3,53 (1,18)
4,92 (556,96)
<. 001
0,41
3,29 (1,27)
3,34 (1,21)
3.21 (1.34)
1,26 (555,47)
0,335
0,11
2,98 (1,19)
3.06 (1.12)
2,89 (1,20)
1,78 (552,81)
0,174
0,15
3,61 (1,07)
3,60 (1,03)
3,59 (1,12)
0,14 (554,19)
0,889
0,01
1,74 (1,06)
1,76 (1,03)
1,73 (1,06)
0,29 (548,03)
0,826
0,02
4,54 (0,82)
4,56 (0,78)
4,50 (0,87)
0,82 (556,21)
0,553
0,07
3,31 (1,15)
3,66 (1,07)
3,00 (1,14)
7.01 (552.34)
<. 001
0,59
4,50 (0,90)
4,51 (0,89)
4,44 (0,98)
0,83 (555,21)
0,553
0,07
3,36 (1,24)
3,48 (1,24)
3,25 (1,22)
2,25 (542,09)
0,066
0,19
Todos los
estudiantes
En resumen, estos hallazgos indican que la aprobación de la IA diverge
significativamente entre diferentes dominios de aplicación y depende
del grupo específico en consideración. Cuando se trata de APP, esto
requiere una comparación más matizada de las respectivas percepciones
sobre daños y discriminación, en particular diferenciando entre la
población general y los estudiantes afectados en tal contexto.
Curiosamente, no observamos estas diferencias en el apoyo en
áreas críticas para la seguridad, como los tribunales, el ejército y las
agencias de inteligencia. En estos contextos, el uso de la IA es
generalmente rechazado. Los encuestados pueden albergar temores
relacionados con las armas autónomas o asociar la IA con armas
biológicas.sistemas basados como el sistema COMPAS, conocido por
discriminar a las personas de color (Angwin et al.,2016). Si bien un estudio
reciente ha indicado que la población alemana generalmente informa
un conocimiento limitado y preocupación sobre cuestiones éticas de IA
(Kieslich et al.,2023), también es posible que las narrativas de la
ciencia ficción popular puedan ser evocadas y volverse importantes en
estos contextos (Cave y Dihal,2019; Laakasuo y otros,2018,2021).
Además, nuestros hallazgos revelan que los estudiantes y la
población en general son ambivalentes sobre el uso de la IA. Si bien
los estudiantes favorecen las aplicaciones de IA en áreas con las que
pueden tener una interacción limitada o abstracta (por ejemplo,
producción industrial, movilidad, banca, atención médica) o áreas que
han experimentado personalmente (por ejemplo, vida cotidiana),
muestran un apoyo variado y ambiguo para el uso de IA en escuelas y
universidades. Este resultado subraya la naturaleza polémica del
debate en torno a la IA. Aunque a menudo se asocia con muchos
beneficios, la IA también parece generar preocupaciones significativas.
16
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
5.2. Igual evaluación de riesgos pero mayor percepción de daños
y discriminación de APP por parte de los estudiantes
Por lo tanto, examinar la APP como una aplicación específica
relevante para los estudiantes ayuda a comprender con más detalle las
percepciones, lo que permite una evaluación menos abstracta de las
opiniones de los encuestados sobre la IA cuando se presenta un
sistema de IA en particular. Si bien la evaluación general del riesgo
de la APP no difiere de la de la población general (como lo demuestra
el hecho de que los estudiantes tienen una evaluación del riesgo
similar y una evaluación del riesgo menor en comparación con lo que
la UE podría asignar a la APP), el análisis proporciona más
información clave sobre las perspectivas individuales.
Posteriormente, nuestro estudio, considerando los daños
individuales y sociales y la discriminación, revela un panorama más
complejo. Las percepciones más fuertes de los daños sociales e
individuales, junto con las preocupaciones sobre la discriminación,
indican un cambio en las opiniones de los estudiantes sobre el uso de
la IA. Si bien en general pueden favorecer la IA en otros campos de
aplicación, este sentimiento cambia cuando la implementación de la
IA los afecta personalmente. A la luz de estos hallazgos, nuestros
resultados difieren de los de Kieslich et al.2023), lo que sugiere una
baja conciencia y preocupación entre los grupos potencialmente más
afectados por las consecuencias de las aplicaciones sesgadas de la
IA.En cambio, esto puede ser indicativo del “efecto No-en-mi-patio-trasero”
(Arning et al.,2019;Devine-Wright,2013), que afirma que los grupos
más afectados tienen una mirada más crítica y, en consecuencia,
tienen mayores percepciones de riesgo y daño, ya que pueden
identificarse más fuertemente con el impacto de los riesgos
potenciales y las consecuencias perjudiciales o incluso
discriminatorias asociadas. Por lo tanto, nuestros resultados respaldan
a Crockett et al. (2020) los hallazgos de queCuanto más personal o
grave sea el impacto potencial de una decisión de IA, mayor será la
percepción del daño. Por lo tanto, es menos sorprendente que no
17
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
son de importancia. También se debe prestar especial atención a los
grupos que ya están marginados en situaciones cotidianas y que, por lo
tanto, pueden ser especialmente sensibles a tales cuestiones. Como
sugieren nuestros resultados, los estudiantes que ya han tenido
experiencias cotidianas de discriminación personal temen niveles
particularmente altos de daño por parte de la APP. En este sentido, las
minorías, en particular, necesitan ser protegidas de los efectos
negativos, y los peligros del sesgo social deben analizarse a fondo y
evitarse antes de introducir la APP (Fazelpour y Danks,2021; Keller y
otros,2022). Así, vemos que si bien los sistemas de IA son percibidos como
más justos en muchos aspectos por las personas con experiencia de
discriminación en comparación con los tomadores de decisiones humanos
(Koch–Bayram et al.,2023), nuestros hallazgos sugieren que
Los estudiantes perciben significativamente menos daños individuales
causados por las APP, ya que no se ven afectados personalmente. Al igual que
los estudiantes, califican el daño social y la discriminación como más altos
que el daño individual, pero en general, continúan calificándolos
significativamente más bajos que los estudiantes. Este resultado sugiere que
las calificaciones de aprobación abstractas de las aplicaciones de IA pueden
no capturar completamente los matices de las percepciones, especialmente
cuando se evalúa una aplicación de IA en particular.
Como respuesta a la pregunta 2, nuestros hallazgos demuestran
que, si bien los estudiantes y la población en general pueden parecer
inicialmente alineados en sus evaluaciones de riesgo de APP, surgen
variaciones significativas en sus percepciones de los daños
individuales y sociales y la posible discriminación, como lo indican las
diferencias notables en los puntos de vista sobre APP y las
preocupaciones más pronunciadas de los estudiantes. Estos hallazgos
son cruciales a la luz de los valores humanos y educativos
fundamentales. Haciendo eco de la investigación que aboga por una
ética centrada en el ser humano y el estudiante en la AIEd (Brossi et
al.,2022;Renz y Vladova,2021), es imperativo involucrar a los
estudiantes en el diseño e implementación de sistemas de IA para
fomentar entornos de aprendizaje inclusivos. La investigación empírica
subraya además la importancia de alinear la APP con estas
aspiraciones, en particular cómo se distribuyen las medidas de apoyo
(Lünich et al.,2024). La preferencia de los estudiantes por una
distribución basada en la igualdad basada en la APP,
independientemente de si las decisiones las toman humanos o
algoritmos, refleja un deseo de trato justo en los entornos educativos.
Al mismo tiempo, existen variaciones notables en cómo se percibe la
equidad en función de diferentes normas de justicia distributiva. Por lo
tanto, es necesario incorporar continuamente las perspectivas de los
estudiantes en todas las fases del desarrollo e implementación de la IA
dentro de los entornos educativos para abordar la interacción entre la
tecnología y los valores humanos. Al hacerlo, las IES pueden
garantizar que los sistemas de IA como APP no solo se adhieran a los
estándares éticos, sino que también resuenen con los valores y las
expectativas de los más afectados por su uso.
5.3. La discriminación experimentada y la confianza en la IA como
factores que explican la percepción del daño
Al observar los factores individuales que explican las percepciones
de daño de los estudiantes y, por lo tanto, proporcionar una respuesta a
la pregunta 3, vemos que solo la discriminación experimentada y la
confianza en la IA ayudan a explicar las percepciones de daño hacia
APP. Con respecto a las preocupaciones sobre la privacidad, no
encontramos ninguna influencia en la percepción de daño de los
estudiantes en nuestro análisis y, por lo tanto, no podemos confirmar
los resultados de Araujo et al. (2020) y Lobera et al. (2020) en relación
con la percepción del daño por parte de los estudiantes en el contexto
de la APP. Por un lado, esto podría indicar la alta dependencia del
contexto de la percepción del sistema de IA, como ya se ha
demostrado en muchos otros dominios (Starke et al.,2022). Por otro
lado, debemos ser conscientes de que los estudiantes tienen diferentes
niveles de conciencia y conocimiento del procesamiento de datos en el
contexto de la AIEd (Jones, Asher et al.,2020). En este sentido,
necesitamos averiguar cuáles son las suposiciones de los estudiantes
sobre la recopilación y el uso de datos para fines de APP. Aunque las
preocupaciones por la privacidad en nuestro estudio no influyen
directamente en las percepciones de los estudiantes sobre el daño hacia
APP, analizaremos el papel crítico de las cuestiones relacionadas con
los datos en las percepciones de los estudiantes sobre el uso de APP en
la siguiente sección.
En cuanto a la experiencia de discriminación, queda claro que en el
contexto de las aplicaciones de IA, no solo los riesgos de
discriminación están influenciados por el diseño algorítmico (el
llamado sesgo estadístico, Mitchell et al.2021)) y las percepciones
asociadas de justicia, que han recibido mucha atención en la literatura,
10
entrada, sino tambiénComputadoras
por su privacidad
lo que respecta
a su APP
y Educación:en
Inteligencia
Artificial 7 (2024)
100305
personal, ya que no quieren
que nadie más que ellos mismos conozca
sus predicciones. Los estudiantes son bastante sensibles a las
consecuencias sociales de la implementación sociotécnica de la AIEd,
ya que consideran que la transparencia y la explicabilidad son factores
importantes. Además, el deseo de autonomía mencionado
anteriormente también se refleja en la preferencia de los estudiantes a
la hora de abordar medidas de apoyo basadas en la APP.
Además, los estudiantes muestran cierto escepticismo hacia sus
universidades, en particular hacia sus profesores. Este escepticismo se
manifiesta en cuatro preocupaciones clave: primero, la aprensión de
que sus profesores puedan descubrir sus predicciones; segundo, una
preferencia contra su universidad.Versity se compromete de forma
proactiva con ellos si se produce una predicción errónea; en tercer lugar,
M. Lünich, B. Keller y F. Marcinkowski
Esto no significa automáticamente que estos grupos de personas
también atribuyan menos daño a los algoritmos. Por ejemplo, KochBayram et al. (2023) señalan de manera similar que los sistemas de
IA no son percibidos como menos sesgados o más precisos (en
comparación con los tomadores de decisiones humanos). En cambio,
los grupos de estudiantes marginados, que tienen más probabilidades
de verse afectados por el sesgo algorítmico (Baker y Hawn,2022)–
pueden estar en mayor riesgo y tener preocupaciones por la
perpetuación de estereotipos.
El segundo factor que explica las percepciones de daño de los
estudiantes relacionadas con la APP en nuestro análisis es un nivel
general de confianza en la IA. Este efecto es el principal impulsor de
la percepción de daño, ya que una baja confianza en la IA conduce a
una mayor percepción individual y social de daño. En este
contexto,La demanda de AIHLEG (2019) de una "IA confiable" puede
parecer razonable, ya que la confianza puede promover la implementación
exitosa de la APP (Drachsler y Greller,2016). En concreto, la confianza
puede tener efectos tanto positivos como negativos en el éxito del
sistema de IA, dependiendo de su grado. Por ejemplo, Gedrimiene et
al. (2023) ya han demostrado que un alto nivel de confianza en la IA
tiene un impacto positivo en la disposición a seguir la recomendación
de un algoritmo. Además, nuestros hallazgos indican que un bajo
nivel de confianza puede, a su vez, aumentar la percepción de daño
del sistema. En este contexto, la confianza puede verse como un
mecanismo que proporciona orientación en situaciones de
incertidumbre, como es el caso del uso de la IA en general y el uso de
las aplicaciones en particular (Lee,2018). Sin embargo, también
debemos recordar que la confianza no necesariamente interactúa con
la oposición a una decisión, como dicen Lünich y Kieslich (2022)
sugieren. También en el contexto de las aplicaciones móviles, en una
situación en la que deben tomarse decisiones reales, la confianza en la
IA puede no mostrar ningún efecto, lo cual debe explorarse más a
fondo.
Curiosamente, sin embargo, las percepciones de los daños están
influenciadas exclusivamente por...
La confianza en la IA influye de forma positiva, pero no en la
confianza en la implementación de las IES. A la luz de este hallazgo,
se puede suponer que a los desarrolladores de aplicaciones
(normalmente no automáticamente los empleados de las IES) se les
atribuye una mayor responsabilidad por el desarrollo de una IA fiable
que a los usuarios finales. Como mínimo, se confía en que las
universidades desarrollen aplicaciones de IA para el bien común
(Zhang y Dafoe, 2005).2019). Además, esto indica que los estudiantes
son hasta ahora menos conscientes del riesgo de sesgo potencial
resultante de las actividades de seguimiento.ciones de la IES basadas en
la APP (Kizilcec & Lee,2022). Sin embargo, esta conjetura también requiere
más investigación empírica.
5.4. Evaluación de los estudiantes sobre la implementación de la APP
Por último, respondiendo a la pregunta 4, arrojamos luz sobre las
preferencias de los estudiantes para implementar APP como un
sistema sociotécnico. Curiosamente, si bien las preocupaciones por la
privacidad no influyen en las percepciones de daño con respecto a
APP, los estudiantes prefieren tener un alto grado de autonomía sobre
sus datos personales, quieren decidir qué datos se utilizarán y, en
general, son más reacios a proporcionar sus datos a APP de forma
voluntaria. Tales demandas son aún más pronunciadas para los
estudiantes con mayores percepciones de daño. Este hallazgo es
consistente con varios trabajos que enfatizan el miedo a perder la
autonomía (Schumacher e Ifenthaler, 2000).2018; Slade y otros,2019)
y la demanda de control personal por parte de los estudiantes (Sun et
al.,2019). Sin embargo, la renuencia a compartir datos personales
podría causar problemas para las IES, ya que AIEd depende de
grandes cantidades de datos (Reidenberg y Schaub,2018), y la
negativa de ciertos grupos de estudiantes a participar puede conducir
a predicciones más pobres y consecuencias discriminatorias (Li et
al.,2022).
Además, los estudiantes no solo se preocupan por sus datos de
10
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
Además, es pertinente considerar cómo las calificaciones y los
antecedentes socioeconómicos de los estudiantes podrían dar forma a
sus puntos de vista sobre compartir información personal con su IES.
Este aspecto no se exploró en el presente estudio, pero podría influir
significativamente en las percepciones y vale la pena investigarlo en
futuras investigaciones. Sin embargo, es importante señalar que
nuestros resultados deben interpretarse en el contexto de esta limitación.
Los estudios futuros deben incluir las ventajas y los usos percibidos, su
ponderación y el equilibrio final para proporcionar una perspectiva más
integral sobre la APP.
En cuarto lugar, un mayor aprecio por los servicios de asesoramiento
académico independientes en lugar de la orientación de sus propios
profesores; y, en cuarto lugar, un rechazo a las consecuencias
impuestas por la universidad relacionadas con su curso de estudio.
Estos sentimientos indican colectivamente una relación compleja entre
los estudiantes y sus instituciones educativas, que refleja tanto un
deseo de autonomía como –como era de esperar– una falta de
confianza total en las estructuras tradicionales de asesoramiento
académico, aunque el estudio no identificó la confianza institucional
como un factor impulsor de las percepciones de daño. Esta
complejidad sugiere que las preocupaciones de los estudiantes pueden
tener su raíz en aspectos específicos de la relación institucional en
lugar de una desconfianza generalizada, lo que destaca la necesidad de
una comprensión más matizada y de intervenciones potencialmente
específicas dentro del entorno académico.
5.5. Limitaciones
Este estudio tiene la limitación de que se realizó exclusivamente en
Alemania, por lo que los resultados podrían no ser generalizables a
otros contextos. No obstante, sostenemos que centrarse en el caso
alemán es de particular importancia, una postura que está anclada en
nuestro diseño empírico. Alemania se ha establecido como un
contribuyente crucial a la regulación de la IA dentro de la UE,
asumiendo un papel de liderazgo regulatorio en el desarrollo de la Ley
de IA. En consecuencia, por un lado, es crucial investigar cómo la
población alemana lidia con los problemas relacionados con las
regulaciones de la IA. Esta necesidad de investigación adicional
incluye si el público está adquiriendo conciencia de las complejidades
y desafíos planteados por la IA y, más específicamente, cómo está
adquiriendo conocimiento sobre estos temas. Por otro lado,
comprender las percepciones públicas actuales es imperativo, ya que
pueden dar forma a la futura legislación y la implementación de
tecnología. Las actitudes y creencias sostenidas por la población
alemana podrían influir directa o indirectamente en la trayectoria de la
política de IA, por lo que es vital considerar este aspecto al analizar
posibles desarrollos futuros. Por lo tanto, si bien el enfoque geográfico
en Alemania puede considerarse una limitación, también brinda una
oportunidad única para estudiar un contexto altamente influyente en la
gobernanza de la IA. Los conocimientos adquiridos en este entorno
pueden arrojar luz sobre los avances en materia de políticas a nivel de
la UE y a nivel mundial.
Nuestro estudio también puede tener una limitación, ya que no
pregunta sobre los usos y ventajas percibidos de la tecnología y en qué
medida estos pueden superar los daños percibidos. Sin embargo, nos
centramos específicamente en la importancia de la conciencia de los
riesgos como una cuestión central de la Ley de IA de la UE y la
literatura más amplia sobre evaluación de la tecnología
(Grunwald,2019). Si bien nuestro enfoque de encuesta estandarizada
no permite un análisis profundo de todos los riesgos potenciales
asociados con la APP, la operacionalización de múltiples ítems nos
permite cuantificar la evaluación de riesgos y probar las diferencias
entre estudiantes y no estudiantes. Comprender los daños de la APP es
de vital importancia, ya que ayuda a los tomadores de decisiones
políticos y administrativos a prepararse, mitigar o prevenir posibles
impactos sociales negativos de la implementación de tecnología. La
ignorancia de los daños potenciales puede llevar a decisiones
desinformadas que resultan en consecuencias no deseadas. Por el
contrario, uno puede objetar una perspectiva más bien tecnopesimista
que se centra principalmente en las desventajas potenciales. Aún así,
un enfoque socialmente responsable para la implementación de IA
garantiza un desarrollo considerado y responsable. El enfoque en el
riesgo y los daños permite una exploración en profundidad de este
aspecto particular de la APP y una base para posibles mejoras.
11
investigación para comprender
implicaciones
de Artificial
tales percepciones
Computadoraslas
y Educación:
Inteligencia
7 (2024)
100305
para las actitudes hacia
la IA, el comportamiento social posterior y la
implementación institucional de la IA. En consecuencia,
recomendamos emplear diseños de investigación experimentales o
longitudinales para rastrear posibles desarrollos positivos o negativos a
lo largo del tiempo. Además, se deben considerar variables
dependientes críticas como la confianza en la IA, las actitudes hacia la
tecnología y los aspectos conductuales reales del uso y la
implementación de la IA para proporcionar un análisis más completo.
M. Lünich, B. Keller y F. Marcinkowski
6. Trascendencia
6.1. Implicaciones para los responsables de las políticas y los
administradores de la educación superior
Como lo ha indicado la Comisión Europea (2021) está siguiendo
un enfoque basado en el riesgo en su novedosa Ley de IA, existen
varias implicaciones que los responsables de las políticas y los
administradores de la educación superior deberían considerar. Los
encuestados, que muestran algunas reservas considerables pero
también aprobación, sonLos estudiantes están divididos en cuanto a la
evaluación de riesgos más altos de APP. Este dilema con respecto a las
perspectivas regulatorias sugiere que, aunque solo cuentan con el apoyo de
una mayoría dudosa, puede que no haya una comprensión fundamental entre
los estudiantes y la población en general sobre los riesgos y complejidades
potenciales involucrados en la implementación de IA en entornos educativos,
lo que apunta a conflictos sociopolíticos. Sin embargo, no difieren en su
evaluación, lo que sugiere una actitud social ambivalente hacia APP.
La implementación exitosa de la AIEd depende en gran medida de
las percepciones de todas las partes interesadas, especialmente los
estudiantes. Por lo tanto, los administradores universitarios deben
mostrar tacto para aprovechar los beneficios potenciales de la AIEd.
En este sentido, la implementación de la AIEd parece ser una especie
de cuerda floja.caminar por las IES, ya que el rechazo de la AIEd puede
tener consecuencias de largo alcance, como lo demuestran los investigadores
(Marcinkowski et al.,2020) así como se ve en el ejemplo de las
solicitudes fallidas (Edwards,2021). Este estudio ha demostrado que
los estudiantes están preocupados por los posibles daños individuales
y sociales y la discriminación que puede causar la aplicación de la IA,
y que tienen preferencias matizadas para su implementación. Nuestros
hallazgos también pueden ser puntos de referencia útiles para otras
aplicaciones de la IA. Los líderes educativos deben reconocer y
abordar estas complejidades para generar confianza, mantener la
autonomía y la capacidad de acción de los estudiantes y alinear las
prácticas institucionales con la comprensión social y regulatoria más
amplia de los posibles riesgos y beneficios de la IA.
En resumen, los responsables de las políticas y los administradores
deben considerar los tres aspectos siguientes. En primer lugar, deben
contemplar la implementación de mecanismos transparentes que
aclaren cómo se utilizará la IA en los entornos educativos para aliviar
las preocupaciones y los conceptos erróneos. En segundo lugar,
proporcionar acceso a servicios de asesoramiento independientes
puede reforzar la confianza y ofrecer una orientación imparcial. En
tercer lugar, debe haber un equilibrio cuidadoso en la implementación
de la IA con consideraciones éticas, reconociendo las diferentes
percepciones y el impacto potencial en los estudiantes individuales,
para garantizar un enfoque responsable y empático. Estas
consideraciones tienen como objetivo orientar a las IES en el fomento
de un entorno de apoyo donde la IA pueda implementarse de manera
responsable, abordando las oportunidades y las preocupaciones
legítimas expresadas por los estudiantes y otras partes interesadas.
6.2. Implicaciones de la investigación
Como Kieslich et al. (2023) muestran que la población alemana
parece tener una conciencia limitada de los problemas éticos
relacionados con la IA. Sin embargo, nuestros hallazgos indican que
cuando se les pregunta sobre aplicaciones específicas de la IA, los
encuestados podrían presentar una evaluación más matizada. Por lo
tanto, surge el problema de si un aumento en la conciencia de la IA,
ya sea a través de la experiencia directa con aplicaciones de IA (Jang
et al.,2022), fortaleciendo la alfabetización en IA y algoritmos
(Dogruel et al.,2022; Laupichler y otros,2022; Ng y otros,2021), o
mediante una cobertura mediática más amplia o más específicamente
dirigida (Kieslich,2022)–provocar cambios en las percepciones e
intenciones de comportamiento con respecto a la AIEd y la APP.
Además, tras destacar las opiniones divergentes entre los
estudiantes y la población en general con respecto al uso y la
implementación de la IA en la educación superior, se requiere más
12
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
resultados de la evaluación de los estudiantes sobre los APP sugieren
preferencias matizadas pero notables.
Los hallazgos de nuestro estudio abren el camino a medidas
proactivas para abordar posibles preocupaciones y adaptar la
implementación de la APP para satisfacer diversas necesidades y
expectativas sociales. También facilitan el diálogo constructivo entre
todas las partes interesadas, incluidos los tomadores de decisiones
dentro del sistema político-administrativo y en las IES, lo cual es
fundamental para dar forma a las políticas de AIEd en el futuro.
Nuestros resultados alinean la implementación
comprensión de la evaluación de los encuestados sobre la AIEd y sus
efectos.En términos generales, a la luz de nuestros hallazgos, se
deberían realizar más investigaciones para investigar la conexión entre
la discriminación experimentada personalmente y la confianza en la IA
con las percepciones de daño, las actitudes hacia la IA y las
consiguientes demandas públicas para la implementación de la IA.
Asimismo, las futuras investigaciones sobre la APP y la aceptación
de la AIEd deben considerar las características del entorno educativo
donde se implementa la asistencia basada en datos. Las consecuencias
de las experiencias de discriminación y la confianza de los estudiantes
pueden variar según el enfoque pedagógico, la dinámica que involucra
a los profesores y estudiantes y los métodos de enseñanza empleados
(Aleven et al.,2023; Ma y otros,2014Surgen preguntas sobre hasta qué
punto mejora el rendimiento académico y cómo perciben los
estudiantes la aceptabilidad de las implementaciones de APP en medio
de escenarios de aprendizaje en evolución.
Además, es esencial reconocer que preguntar sobre campos de
aplicación bastante abstractos de la IA puede seguir siendo abstracto
en la mente de los encuestados. Nuestro diseño de investigación no nos
permite determinar las asociaciones de los individuos con aplicaciones
específicas de la IA y sus campos correspondientes, una conexión que
puede estar muy influenciada por experiencias personales o el
encuadre de los medios (Brewer et al.,2022; Zhang y Dafoe,2019).
Estas asociaciones individuales podrían determinar aún más la
aprobación o desaprobación de la IA en diversos contextos y merecer
atención a través de enfoques de investigación no estandarizados.
En consecuencia, proponemos un enfoque doble. Por un lado,
sugerimos diseños de investigación que presenten a los estudiantes las
entradas, los rendimientos y los resultados reales de las aplicaciones de
aprendizaje automático en IA, como APP. Esta presentación permitiría
a los estudiantes comprender mejor los procesos subyacentes y podría
influir en sus percepciones. Por otro lado, en respuesta a la creciente
demanda de IA explicable (XAI), recomendamos encarecidamente que
la investigación en ciencias sociales implemente y evalúe
procedimientos de IA de caja blanca, como árboles de decisión o
explicaciones
contrafácticas
(Rudin,2019).
Estos
métodos
transparentes permiten un examen y una comprensión detallados de los
procesos de IA (Larsson y Heintz,2020;Memarian y Doleck,2023). Al
mejorar la transparencia y la explicabilidad, es posible mitigar las
percepciones de daños y aumentar la aceptación de las aplicaciones de
IA. Este enfoque integrado podría proporcionar una comprensión más
completa del sentimiento público hacia la IA, abordando tanto los
factores técnicos como los humanos que configuran la percepción y la
aceptación.
7. Conclusión
Realizamos una encuesta a gran escala con estudiantes alemanes y
la población en general para evaluar las percepciones públicas de las
aplicaciones basadas en IA en la educación superior. Como sugieren
los datos, los estudiantes generalmente tienen más probabilidades de
aprobar el uso de IA en diferentes áreas de sus vidas que el resto de la
población. Sin embargo, la diferencia en la aprobación desaparece
cuando se sugiere la IA en áreas de la vida social que conllevan un
riesgo considerable para el individuo. En consecuencia, en
comparación con la población alemana, los estudiantes muestran
mayores percepciones de los riesgos y daños que conlleva la aplicación
de las aplicaciones. Un análisis exploratorio sugiere que los principales
impulsores de las percepciones de los daños difieren en función del
daño en consideración. La confianza en la IA surge como el factor
central para el daño social percibido. En el caso de los daños
individuales percibidos, la confianza en la IA y la discriminación
experimentada se identifican como los principales impulsores. Esta
distinción destaca la naturaleza multifacética de cómo la confianza y
las actitudes y experiencias personales influyen en la percepción del
impacto de la IA. En lo que respecta a los posibles caminos que puede
tomar la implementación de sistemas APP sociotécnicos, nuestros
13
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
Abu Saa, A., Al-Emran, M.100305
y Shaalan, K. (2019). Factores que afectan el desempeño de los
estudiantes en Educación superior: una revisión sistemática de técnicas de minería de
datos predictivos. Tecnología Tecnología, Conocimiento y Aprendizaje, 24(4), 567–
598. https://doi.org/10.1007/s10758-019- 09408-7.
Las tecnologías de IA en la educación se complementan con la visión
de la UE de una IA fiable y socialmente responsable. Sirven como
brújula, orientando no solo la mejora del rendimiento académico
mediante IA, sino también la preservación de los valores y las
necesidades de las partes interesadas en el cambiante panorama de la
IA en la educación. Mantener abiertas las líneas de comunicación se
vuelve indispensable para la integración continua de la IA en la
sociedad y la educación. Esta apertura garantiza que la
implementación de la tecnología tenga la oportunidad de desarrollarse
de una manera respetuosa, ética y mutuamente beneficiosa.
Declaración de ética
El proyecto de investigación fue aprobado por la Universidad
Heinrich Heine de Düsseldorf y todos los procedimientos se llevaron
a cabo de conformidad con las leyes aplicables, las directrices
institucionales y los códigos éticos de conducta para la investigación
empírica en ciencias sociales. Como este estudio involucró a
participantes humanos, se obtuvo el consentimiento informado de
todos los participantes y se respetaron estrictamente sus derechos de
privacidad.
Declaración de datos abiertos
Además, este estudio está comprometido con los principios de
datos abiertos.Se puede acceder a datos anónimos y al código para
el análisis de datos a través del repositorio de la Open Science
Foundation del proyecto:https://osf.io/xvyjd/.
Fondos
Este estudio se llevó a cabo como parte del proyecto Responsible
Academic Performance Prediction (RAPP). El proyecto está
financiado por el Ministerio Federal de Educación e Investigación de
Alemania [número de subvención 16DHB4020].
Declaración de contribución de autoría de CRediT
Marco Lünich:Redacción – revisión y edición, Redacción –
borrador original, Validación, Supervisión, Administración de
proyectos, Metodología, Investigación, Análisis formal, Curación de
datos, Conceptualización. Birte Keller: Redacción – revisión y
edición, Redacción – borrador original, Visualización, Validación,
Administración de proyectos, Metodología, Investigación, Análisis
formal, Curación de datos, Conceptualización.Análisis, Curación de
datos, Conceptualización. Frank Marcinkowski: Redacción (revisión y
edición), Redacción (borrador original), Supervisión, Recursos,
Administración del proyecto, Investigación, Adquisición de fondos,
Conceptualización.
Declaración de intereses en conflicto
Los autores declaran que no tienen ningún interés financiero en
competencia ni relaciones personales conocidas que pudieran haber
parecido influir en el trabajo presentado en este artículo.
Declaración sobre la IA generativa y las tecnologías asistidas por
IA en el proceso de escritura
Durante la preparación de este trabajo, los autores utilizaron
ChatGPT para producir y ajustar el código R y Markdown para el
análisis estadístico.Análisis y reproducción del manuscrito. También
utilizamos ChatGPT, DeepL y Grammarly para revisar y corregir partes de
nuestro borrador escrito del manuscrito. Después de utilizar estas
herramientas/servicios, los autores revisaron y editaron el contenido según
fuera necesario y asumieron la total responsabilidad por el contenido de la
publicación.
Referencias
14
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
educación superior Educación: Un análisis cuantitativo utilizando modelos de
ecuaciones estructurales. Educación y tecnologías de la información, 25(5), 3443–
3463. https://doi.org/10.1007/s10639020-10159-7.
Chiu, TKF, Xia, Q., Zhou, X., Chai, CS y Cheng, M. (2023). Literatura sistemática
Revisión de oportunidades, desafíos y recomendaciones de investigación futura de la
tecnología artificial. Inteligencia artificial en la educación. Computadoras y educación:
Inteligencia artificial, 4, 1–15. https://doi.org/10.1016/j.caeai.2022.100118.
Aggarwal, D., Mittal, S. y Bali, V. (2021). Importancia de los parámetros no académicos
para predecir el rendimiento de los estudiantes utilizando técnicas de aprendizaje en
conjunto. Revista internacional de aplicaciones de dinámica de sistemas, 10(3), 38–
49. https://doi.org/10.4018/ IJSDA.2021070103.
Ahmed, SA y Khan, SI (2019). Un enfoque de aprendizaje automático para predecir la
ingeniería Estudiantes en riesgo de abandono escolar y factores que lo explican:
perspectiva de Bangladesh. En el décimo período interinstitucional Conferencia nacional
sobre tecnologías de computación, comunicación y redes (ICCCNT) (págs. 1–6).
AI HLEG (2019). Pautas éticas para una IA confiable. Recuperado de https://digitalStrategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai.
Aleven, V., Mavrikis, M., McLaren, BM, Nguyen, HA, Olsen, JK y Rummel, N. (2023). Seis
enfoques didácticos apoyados en sistemas AIED. En B. du Boulay, A. Mitrovic, & K.
Yacef (Eds.), Manual de inteligencia artificial en educación (pp. 184–228). Edward
Editorial Elgar.
Alturki, S., Hulpus,, I., y Stuckenschmidt, H. (2022). Predicción de resultados académicos:
una encuesta desde 2007 hasta 2018. Tecnología, Conocimiento y Aprendizaje,
27(1), 275–307. https:// doi.org/10.1007/s10758-020-09476-0.
Alyahyan, E., y Düştegör, D. (2020). Predicción del éxito académico en la educación
superior: Revisión de literatura y mejores prácticas: Revisión de literatura y mejores
prácticas. Internacional Revista de Tecnología Educativa en la Educación Superior,
17(1), 1–21. https://doi.org/10. 1186/s41239-020-0177-7.
Angwin, J., Larson, J., Mattu, S., y Kirchner, L. (2016). Sesgo de máquina: hay
software Se utiliza en todo el país para predecir futuros criminales y está sesgado
contra
los
negros.
ProPublica.
Recuperado
de
https://www.propublica.org/article/machine-bias-risk- evaluaciones-en-sentenciaspenales.
Araujo, T., Helberger, N., Kruikemeier, S. y de Vreese, CH (2020). ¿En la IA confiamos?
Percepciones sobre la toma de decisiones automatizada por inteligencia artificial. IA y
sociedad, 35(3), 611–623. https://doi.org/10.1007/s00146-019-00931-w.
Ardies, J., Maeyer, S., de Gijbels, D y van Keulen, H. (2015). Las actitudes de los
estudiantes hacia tecnología. Revista Internacional de Educación en Tecnología y
Diseño, 25(1), 43–65. https://doi.org/10.1007/s10798-014-9268-x.
Arning, K., Offermann-van Heek, J., Linzenich, A., Kaetelhoen, A., Sternberg, A.,
Bardow, A., & Ziefle, M. (2019). ¿Igual o diferente? Perspectivas sobre la percepción
y aceptación pública Importancia de la captura y el almacenamiento o la utilización
del
carbono
en
Alemania.
Política
energética,
125,
235–249.
https://doi.org/10.1016/j.enpol.2018.10.039.
Arnold, KE y Pistilli, MD (2012). Señales de cursos en Purdue: uso de análisis de
aprendizaje para aumentar el éxito de los estudiantes. En S. Dawson, C.
Haythornthwaite, S. Buckingham Shum,
D. Gašević y R. Ferguson (Eds.), Actas de la segunda conferencia internacional sobre
Analítica de aprendizaje y conocimiento (LAK 2012)(págs. 267–270). ACM.
Askinadze, A., y Conrad, S. (2019). Predicción del abandono escolar en la educación superior
basada en sobre los resultados de exámenes anteriores. En MC Desmarais, CF Lynch, A.
Merceron y R. Nkam- bou (Eds.), Actas de la 12ª conferencia internacional sobre minería
de datos educativos: Sociedad internacional de minería de datos educativos
(IEDMS)(págs. 500–503).
Attaran, M., Stark, J., y Stotler, D. (2018). Oportunidades y desafíos para el big data
Análisis de datos en la educación superior estadounidense. Industria y educación
superior, 32(3), 169–182. https:// doi.org/10.1177/0950422218770937.
Aulck, L., Velagapudi, N., Blumenstock, J., y West, J. (2016). Predicción del abandono
escolar en la educación superior. En el taller de ICML sobre #Data4Good: aprendizaje
automático
en
el
bien
social
aplicaciones.
Recuperado
de
http://arxiv.org/pdf/1606.06364v4.
Baker, RS y Hawn, A. (2022). Sesgo algorítmico en la educación. Revista internacional de
arquitectura.
Inteligencia
oficial
en
educación,
32(4),
1052–1092.
https://doi.org/10.1007/s40593- 021-00285-9.
Bareis, J., y Katzenbach, C. (2021). La IA hablada: narrativas e imaginarios de las
estrategias nacionales de IA y sus políticas performativas. Ciencia, tecnología y
derechos
humanos
Valores,
47(5),
855–881.
https://doi.org/10.1177/01622439211030007.
Bobrytska, VI, Krasylnykova, HV, Beseda, NA, Krasylnykov, SR y Skyrda, T.
S. (2024). Inteligencia artificial (IA) en la educación superior ucraniana: una
perspectiva integral
Estudio exhaustivo de las actitudes, expectativas y
preocupaciones de las partes interesadas. Revista internacional de Aprendizaje,
Enseñanza e Investigación Educativa, 23(1), 400–426. https://doi.org/10.
26803/23/2020.
Brewer, PR, Bingaman, J., Paintsil, A., Wilson, DC y Dawson, W. (2022). Medios Uso,
comunicación interpersonal y actitudes hacia la inteligencia artificial. Ciencia
Comunicación, 44(5), 559–592. https://doi.org/10.1177/10755470221130307.
Brossi, L., Castillo, AM, & Cortesi, S. (2022). Requisitos centrados en el estudiante para la
ética de la IA en la educación. En W. Holmes y K. Porayska-Pomsta (Eds.), La ética de la
IA La inteligencia en la educación(págs. 91–112). Routledge.
Casanova, JR, Gomes, CMA, Bernardo, AB, Núñez, JC y Almeida, LS (2021).
Dimensionalidad y confiabilidad de un instrumento de detección para estudiantes en
riesgo de abandono Egreso de la educación superior. Estudios en Evaluación
Educativa, 68, Artículo 100957. https://doi.org/10.1016/j.stueduc.2020.100957.
Cave, S., y Dihal, K. (2019). Esperanzas y temores de las máquinas inteligentes en la
ficción y la realidad.
Inteligencia de la máquina de la naturaleza, 1(2), 74–78.
https://doi.org/10.1038/s42256-019-00209.
Chatterjee, S., y Bhattacharjee, KK (2020). Adopción de inteligencia artificial en la
15
M. Lünich,H.,
B. David,
Keller y P.
F. y
Marcinkowski
Choung,
Ross, A. (2023). Confianza y ética en la IA. AI & Society,
38(2), 733–745. https://doi.org/10.1007/s00146-022-01473-4.
Costa-Mendes, R., Cruz-Jesus, F., Oliveira, T., & Castelli, M. (2021). Sesgo en el
aprendizaje automático En la predicción de las calificaciones de la escuela
secundaria: una perspectiva del conocimiento: una perspectiva del conocimiento.
Revista de ciencia emergente, 5(5), 576–597. https://doi.org/10.28991/esj-202101298.
Crockett, K., Garratt, M., Latham, A., Colyer, E. y Goltz, S. (2020). Riesgo y confianza
perceptiva Percepciones del público sobre las aplicaciones de la inteligencia artificial.
En Actas de congresos de la conferencia conjunta internacional sobre redes neuronales
de 2020 (IJCNN)(págs. 1–8).
Daehnhardt, P. (2011). Alemania en la Unión Europea. En R. Wong y C. Hill (Eds.),
Políticas exteriores nacionales y europeas(págs. 35–56). Routledge.
Destatis (2021). Bildung und Kultur: Studierende an Hochschule. Estadística Federal,
Ed. Recuperado de https://www.destatis.de/DE/Themen/Gesellschaft-Umwelt/
Bildung-Forschung-Kultur/Hochschulen/Publikationen/Downloads-Hochschulen/
studierende-hochschulen-endg-2110410217004.html.
Devine-Wright, P. (2013). Explicación de las objeciones “NIMBY” a una línea eléctrica:
el papel de la per- Factores personales, de apego al lugar y relacionados con el
proyecto.
Environment
and
Behavior,
45(6),
761–781.
https://doi.org/10.1177/0013916512440435.
Dogruel, L., Masur, P. y Joeckel, S. (2022). Desarrollo y validación de un algoritmo.
Escala de alfabetización para usuarios de Internet. Métodos y medidas de comunicación,
16(2), 115–133. https://doi.org/10.1080/19312458.2021.1968361.
Drachsler, H., y Greller, W. (2016). Privacidad y análisis de datos: un tema delicado: una
lista de verificación para análisis de aprendizaje confiables. En D. Gašević, G. Lynch, S.
Dawson, H. Drachsler y
C. Penstein Rosé (Eds.), Actas de la sexta conferencia internacional sobre aprendizaje
Análisis y conocimiento - LAK '16(págs. 89–98). ACM Press.
Du Boulay, B. (2019). Escapar de la caja de Skinner: el caso de la inteligencia
contemporánea entornos de aprendizaje. Revista británica de tecnología educativa,
50(6), 2902–2919. https://doi.org/10.1111/bjet.12860.
Duong, MK, Dunkelau, J., Cordova, JA y Conrad, S. (2023). RAPP: Un responsable
Herramienta de predicción del rendimiento académico para la toma de decisiones en
instituciones educativas. En B. König-Ries, S. Scherzinger, W. Lehner y G. Vossen
(Eds.), por cierto 2023. Köllen.
Edwards, C. (2021). ¿Dejar que el algoritmo decida? Comunicaciones de la ACM, 64(6),
21–22. https://doi.org/10.1145/3460216.
Comisión Europea (2021). Propuesta de reglamento del Parlamento Europeo y del
Consejo por el que se establecen normas armonizadas sobre inteligencia artificial
(Ley de Inteligencia Artificial) y por la que se modifican determinados actos
legislativos
de
la
Unión.
Recuperado
de
https://eurlex.europa.eu/resource.html?uri=cellar:e0649735-a37211eb-958501aa75ed71a1.0001.02/DOC_1&formato=PDF.
Fazelpour, S., y Danks, D. (2021). Sesgo algorítmico: sentidos, fuentes, soluciones.
Filosofía Brújula, 16(8), 1–16. https://doi.org/10.1111/phc3.12760.
Frouillou, L., Pin, C., & van Zanten, A. (2020). ¿Tienen las plataformas APB y
parcoursup? promovió la igualdad de oportunidades: La evolución de las normas y
procedimientos para el acceso a la educación superior en Francia. L'Année
Sociologique, 70(2), 337–363. https://doi.org/10. 3917/anso.202.0337.
Gado, S., Kempen, R., Lingelbach, K., y Bipp, T. (2022). Inteligencia artificial en
psicología Psicología: ¿Cómo podemos permitir que los estudiantes de psicología
acepten y utilicen información artificial? ¿Inteligencia? Psicología Aprendizaje y
Enseñanza, 21(1), 37–56. https://doi.org/10.1177/ 14757257211037149.
Gedrimiene, E., Celik, I., Mäkitalo, K. y Muukkonen, H. (2023). Transparencia y
confianza- Valor en las intenciones de los usuarios de seguir las
recomendaciones profesionales de un analista de aprendizaje herramienta lítica.
Journal of Learning Analytics, 10(1), 54–70. https://doi.org/10.18608/jla.
2023.7791.
Ghosh, AK, Whipple, TW y Bryan, GA (2001). La confianza de los estudiantes y sus
antecedentes en Educación superior. Revista de Educación Superior, 72(3), 322–
340. https://doi.org/ 10.1080/00221546.2001.11777097.
Glikson, E., y Woolley, AW (2020). Confianza humana en la inteligencia artificial:
revisión de Investigación empírica. Academy of Management Annals, 14(2), 627–
660. https://doi.org/ 10.5465/anales.2018.0057.
Grunwald, A. (2019). Evaluación de tecnología en la práctica y la teoría. Routledge.
Hoffmann, CP y Lutz, C. (2022). El papel contextual de las preocupaciones sobre la
privacidad en Internet participación política. Revista Europea de Comunicación, 1–
17. https://doi.org/10. 1177/02673231221139040.
Ifenthaler, D., y Schumacher, C. (2016). Percepciones de los estudiantes sobre los
principios de privacidad Analítica del aprendizaje. Investigación y desarrollo de
tecnología educativa, 64(5), 923–938. https://doi.org/10.1007/s11423-016-9477-y.
Jang, Y., Choi, S., y Kim, H. (2022). Desarrollo y validación de un instrumento para
Medir las actitudes de los estudiantes universitarios hacia la ética de la inteligencia
artificial (AT-EAI) y análisis de sus diferencias según género y experiencia en
educación en IA. Educación y Tecnologías de la Información, 27(8), 11635–11667.
https://doi.org/10.1007/ s10639-022-11086-5.
Jobin, A., Ienca, M. y Vayena, E. (2019). El panorama global de las directrices éticas de
la IA. N / A- Inteligencia artificial para máquinas, 1(9), 389–399.
https://doi.org/10.1038/s42256-019-00882.
Jones, KML, Asher, A., Goben, A., Perry, MR, Salo, D., Briney, KA y Robertshaw,
MB (2020). “Nos están siguiendo en todo momento”: perspectivas de los estudiantes
sobre su privacidad en relación con la analítica del aprendizaje en la educación
superior. Revista de la Asociación para la Ciencia y tecnología de la información,
71(9), 1044-1059. https://doi.org/10.1002/asi.
24358.
Computadoras y Educación:
Inteligencia Artificial 7 (2024)
Jones, KML, Rubel, A., y 100305
LeClere, E. (2020). Una cuestión de confianza: instituciones de
educación superior Las instituciones como fiduciarios de la información en una era de
minería de datos y aprendizaje educativos Analítica. Revista de la Asociación de
Ciencias
de
la
Información
y
Tecnología,
71(10),
1227-1241.
https://doi.org/10.1002/asi.24327.
16
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
Li, W., Sun, K., Schaub, F. y Brooks, C. (2022). Disparidades en la propensión de los
estudiantes a consentimiento para el análisis del aprendizaje. Revista Internacional de
Inteligencia Artificial en Educación, 32(3), 564–608. https://doi.org/10.1007/s40593021-00254-2.
Lobera, J., Fernández Rodríguez, CJ, & Torres-Albero, C. (2020). Privacidad, valores y maChines: Predicción de la oposición a la inteligencia artificial. Estudios de la
Comunicación, 71(3), 448–465. https://doi.org/10.1080/10510974.2020.1736114.
Logg, JM, Minson, JA y Moore, DA (2019). Apreciación de algoritmos: la gente prefiere
Algoritmo para el juicio humano. Comportamiento organizacional y procesos de decisión
humana. 151, 90-103. https://doi.org/10.1016/j.obhdp.2018.12.005.
Caluroso,P. (2020). No preguntes si la inteligencia artificial es buena o justa, pregunta
cómo transfiere el poder.
Naturaleza, 583(7815), 169. https://doi.org/10.1038/d41586-020-02003-2.
Keller, B., Lünich, M., & Marcinkowski, F. (2022). ¿Cómo es la educación académica
socialmente responsable? ¿Es posible predecir el rendimiento? Ideas a partir de un
concepto de equidad percibida en la IA. En F. Almaraz-Menéndez, A. Maz-Machado,
C. López-Esteban y C. Almaraz-López (Eds.), Estrategia, política, práctica y
gobernanza para la IA en instituciones de educación superior (págs. 126–155). IGI
Global.
Kemper, L., Vorhoff, G. y Wigger, BU (2020). Predecir el abandono estudiantil: una
máquina enfoque de aprendizaje. Revista Europea de Educación Superior, 10(1), 28–
47. https://doi.org/10.1016/j.1016.1016. org/10.1080/21568235.2020.1718520.
Kieslich, K. (2022). Comentario: Reacciones sociales a las esperanzas y amenazas de la
autonomía Acciones de los agentes: Reflexiones sobre la opinión pública y las
implementaciones de tecnología. Interacción persona-computadora, 37(3), 259–262.
https://doi.org/10.1080/07370024.
2021.1976642.
Kieslich, K., Lünich, M., y Došenović, P. (2023). ¿Has oído hablar de la IA ética?
Destacando la importancia de las cuestiones éticas de la IA entre la población
alemana. Internacional Revista de interacción hombre-ordenador, 40(11), 2986–
2999. https://doi.org/10.1080/ 10447318.2023.2178612.
Kim, J., Merrill, K., Xu, K. y Sellnow, DD (2020). Mi maestro es una máquina:
comprender Percepciones de los estudiantes sobre los asistentes de enseñanza con
inteligencia artificial en la educación en línea. Internacional Revista de interacción
hombre-ordenador,
36(20),
1902-1911.
https://doi.org/10.1080/
10447318.2020.1801227.
Kizilcec, RF (2016). ¿Cuánta información? Efectos de la transparencia en la confianza en una
Interfaz algorítmica. En J. Kaye, A. Druin, C. Lampe, D. Morris y JP Hourcade (Eds.),
Actas de la conferencia CHI de 2016 sobre factores humanos en sistemas informáticos
(págs. 2390–2395). ACM.
Kizilcec, RF y Lee, H. (2022). Equidad algorítmica en educación. En W. Holmes y K.
Porayska-Pomsta (Eds.), La ética de la inteligencia artificial en la educación (pp. 174–
202). Estado de Washington.
Kizilcec, RF, Viberg, O., Jivet, I., Martínez Mones, A., Oh, A., Hrastinski, S., Mutimukwe,
C., & Scheffel, M. (2023). El papel del género en las preocupaciones de los estudiantes
sobre la privacidad en relación con el aprendizaje. Análisis de datos. En I. Hilliger, H.
Khosravi, B. Rienties y S. Dawson (Eds.), LAK23: 13. Conferencia internacional sobre
análisis del aprendizaje y conocimiento(págs. 545–551). Asociación para Maquinaria
informática.
Knight, S., Buckingham Shum, S., y Littleton, K. (2014). Epistemología, evaluación,
pedagogía. Agogy: donde el aprendizaje se encuentra con la analítica en el espacio
intermedio. Revista de Analítica del Aprendizaje líticos, 1(2), 23–47–23-47.
https://doi.org/10.18608/jla.2014.12.3.
Koch–Bayram, IF, Kaibel, C., Biemann, T. y Del Triana, MC (2023). </click to begin Tu
entrevista digital>: Las experiencias de discriminación de los solicitantes explican su
Reacciones a los algoritmos en la selección de personal. Revista Internacional de
Selección y Evaluación, 1–15. https://doi.org/10.1111/ijsa.12417.
Köstler, L. y Ossewaarde, R. (2022). La creación de la sociedad de la IA: marcos futuros
de la IA en los discursos políticos y mediáticos alemanes. AI & Society, 37(1), 249–
263. https:// doi.org/10.1007/s00146-021-01161-9.
Laakasuo, M., Drosinou, M., Koverola, M., Kunnari, A., Halonen, J., Lehtonen, N. y
Palomäki, J. (2018). ¿Qué hace que la gente apruebe o condene la tecnología de carga
mental? ¿Ogía? Desenredando los efectos del asco sexual, la pureza y la familiaridad
de
la
ciencia
ficción.
Comunicaciones
Palgrave,
4(1),
1–14.
https://doi.org/10.1057/s41599-018-0124-6.
Laakasuo, M., Repo, M., Drosinou, M., Berg, A., Kunnari, A., Koverola, M., Saikkonen,
T., Hannikainen, IR, Visala, A. y Sundvall, J. (2021). El camino oscuro a la vida eterna:
El maquiavelismo predice la aprobación de la tecnología de transferencia de información
mental. Personalidad e Individuos Diferencias individuales, 177, Artículo 110731.
https://doi.org/10.1016/j.paid.2021.110731. Lang, C., y Davis, L. (2023). Análisis de
aprendizaje e inclusión de las partes interesadas: ¿qué debemos hacer? ¿Qué queremos
decir cuando decimos “centrado en el ser humano”? En I. Hilliger, H. Khosravi, B.
Rienties y S.
Dawson (Eds.), LAK23: 13.ª conferencia internacional sobre análisis del aprendizaje y
conocimiento
(págs. 411–417). Asociación para Maquinaria Computacional.
Larsson, S., y Heintz, F. (2020). Transparencia en inteligencia artificial. Internet Policy
Re- vista, 9(2). https://doi.org/10.14763/2020.2.1469.
Laupichler, MC, Aster, A., Schirch, J. y Raupach, T. (2022). Inteligencia artificial
Alfabetización en la educación superior y de adultos: una revisión bibliográfica
exploratoria. Computadoras y Educación: Inteligencia Artificial, 3, Artículo 100101.
https://doi.org/10.1016/j.caeai. 2022.100101.
Lee, MK (2018). Comprender la percepción de las decisiones algorítmicas: imparcialidad,
confianza y La emoción en respuesta a la gestión algorítmica. Big Data y Sociedad,
5(1), Arti- cle 205395171875668. https://doi.org/10.1177/2053951718756684.
Lee, MK y Baykal, S. (2017). Mediación algorítmica en decisiones grupales: percepción de
equidad ciones de división social mediada por algoritmos frente a división social
basada en debates. En Actas de la conferencia ACM 2017 sobre trabajo cooperativo
asistido por computadora y computación social (págs. 1035–1048).
Li, S., y Gu, X. (2023). Un marco de riesgo para la inteligencia artificial centrada en el ser
humano en la educación. Educación: Basado en revisión de literatura y método
Delphi–AHP.
Tecnología
Educativa
&
Sociedad,
26(1),
187–202.
https://doi.org/10.30191/ETS.20230126(1).0014.
17
M. Lünich,
Keller yAnálisis
F. Marcinkowski
Lumley,
T.B.(2004).
de muestras de encuestas complejas. Journal of Statistical
Software, 9(1), 1–19.
Lünich, M. (2022). Der glaube an big data: Eine analice gesellschaftlicher Überzeugungen
von erkenntnis- und nutzengewinnen aus digitalen daten. Wiesbaden: Springer
Fachmedien.
Lünich, M., Keller, B., y Marcinkowski, F. (2024). Equidad del desempeño académico
Dicción para la distribución de medidas de apoyo a los estudiantes: Diferencias en la
percepción equidad de las normas de justicia distributiva. Tecnología, conocimiento
y aprendizaje, 29(2), 1079-1107. https://doi.org/10.1007/s10758-023-09698-y.
Lünich, M., y Kieslich, K. (2022). Exploración de los roles de la confianza y la
preferencia por grupos sociales sobre la legitimidad de la toma de decisiones
algorítmica frente a la toma de decisiones humana para la asignación Vacunas
contra la COVID-19. AI & Society, 1(19). https://doi.org/10.1007/s00146- 02201412-3.
Ma, W., Adesope, OO, Nesbit, JC y Liu, Q. (2014). Sistemas de tutoría inteligente y
resultados de aprendizaje: un metaanálisis. Revista de Psicología Educativa, 106(4),
901–918. https://doi.org/10.1037/a0037123.
Makhlouf, K., Zhioua, S. y Palamidessi, C. (2021). Nociones de equidad en el
aprendizaje automático: Acortando la brecha con aplicaciones del mundo real.
Procesamiento
y
gestión
de
la
información,
58(5),
1–32.
https://doi.org/10.1016/j.ipm.2021.102642.
Malhotra, NK, Kim, SS y Agarwal, J. (2004). Privacidad de la información de los
usuarios de Internet Preocupaciones (IUIPC): El constructo, la escala y un modelo
causal.
Sistemas
de
Información
Investigación,
15(4),
336–355.
https://doi.org/10.1287/isre.l040.0032.
Marcinkowski, F., Kieslich, K., Starke, C. y Lünich, M. (2020). Implicaciones de la IA (no
)equidad en las admisiones a la educación superior: Los efectos de la (in)equidad
percibida de la IA en Salida, voz y reputación organizacional. En M. Hildebrandt, C.
Castillo, E. Celis, S. Ruggieri, L. Taylor y G. Zanfir-Fortuna (Eds.), Actas de la
conferencia de 2020 sobre Equidad, rendición de cuentas y transparencia (FAT*
'20)(págs. 122–130). ACM.
Martínez Neda, B., Zeng, Y. y Gago-Masague, S. (2021). Uso del aprendizaje automático en
la administración siones: Reducción del sesgo humano y algorítmico en el proceso
de selección. En M. Sherriff,
LD Merkle, P. Cutter, A. Monge y J. Sheard (Eds.), Actas de la 52.ª ACM Simposio
técnico sobre educación en informática (SIGCSE '21)(pág. 1323). ACM.
Mayer, RC, Davis, JH, y Schoorman, FD (1995). Un modelo integrador de organización
Confianza organizacional. The Academy of Management Review, 20(3), 709–734.
https:// doi.org/10.5465/amr.1995.9508080335.
Mays, KK, Lei, Y., Giovanetti, R. y Katz, JE (2022). ¿La IA como jefe? Una encuesta
nacional en EE. UU. de predisposiciones que rigen la comodidad con roles expandidos
de IA en la sociedad. IA y sociedad, 37(4), 1587-1600. https://doi.org/10.1007/s00146021-01253-6.
Memarian, B., y Doleck, T. (2023). Equidad, rendición de cuentas, transparencia y ética
(FATE) en inteligencia artificial (IA) y educación superior: una revisión sistemática.
Computadoras
y
Educación:
Inteligencia
Artificial,
5,
1–12.
https://doi.org/10.1016/j.caeai. 2023.100152.
Mitchell, S., Potash, E., Barocas, S., D'Amour, A. y Lum, K. (2021). Justicia algorítmica:
Opciones, supuestos y definiciones. Revista anual de estadística y su aplicación,
8(1), 141–163. https://doi.org/10.1146/annurev-statistics-042720-125902.
Mitzner, TL, Boron, JB, Fausset, CB, Adams, AE, Charness, N., Czaja, SJ, Dijkstra, K.,
Fisk, AD, Rogers, WA, y Sharit, J. (2010). Los adultos mayores hablan de
tecnología: Tech- Usos y actitudes de la tecnología. Computadoras en el
comportamiento
humano,
26(6),
1710–1721.
https://
doi.org/10.1016/j.chb.2010.06.020.
Morgan Jones, M., Abrams, D. y Lahiri, A. (2020). Dar forma al futuro: cómo la
sociedad Las ciencias, las humanidades y las artes pueden CONFORMAR un
futuro positivo pospandémico para Pueblos, economías y entornos. Revista de la
Academia Británica, 8, 167–266. https://doi.org/10.5871/jba/008.167.
Ng, DTK, Leung, JKL, Chu, SKW y Qiao, MS (2021). Conceptualización de la IA
Alfabetización: una revisión exploratoria. Computadoras y educación: inteligencia
artificial, 2, Ar- Artículo 100041. https://doi.org/10.1016/j.caeai.2021.100041.
Niyogisubizo, J., Liao, L., Nziyumva, E., Murwanashyaka, E. y Nshimyumukiza, PC
(2022). Predicción del abandono de los estudiantes en las clases universitarias
mediante un conjunto de dos capas El enfoque del aprendizaje automático: una
nueva generalización apilada. Computadoras y educación ción: Inteligencia
Artificial, 3, 1–12. https://doi.org/10.1016/j.caeai.2022.100066.
Prinsloo, P., y Slade, S. (2015). Autogestión de la privacidad de los estudiantes:
implicaciones para el aprendizaje Análisis de datos. En J. Baron, G. Lynch, N. Maziarz,
P. Blikstein, A. Merceron y G. Siemens (Eds.), Actas de la quinta conferencia
internacional sobre análisis del aprendizaje y conocimiento(págs. 83–92). ACM.
Putnick, DL y Bornstein, MH (2016). Convenciones de invariancia de medición y
reportes ing: El estado del arte y las direcciones futuras de la investigación
psicológica. Revisar, 41, 71–90. https://doi.org/10.1016/j.dr.2016.06.004.
Rahwan, I. (2018). Sociedad en el circuito: Programación del contrato social algorítmico.
Ética y Tecnologías de la Información, 20(1), 5-14. https://doi.org/10.1007/s10676017- 9430-8.
Reidenberg, JR, y Schaub, F. (2018). Lograr la privacidad de los macrodatos en la
educación. Teoría y Investigación en Educación, 16(3), 263–279.
https://doi.org/10.1177/1477878518805308. Renz, A., y Vladova, G. (2021).
Revitalizando el discurso sobre la inteligencia artificial centrada en el ser humano
Inteligencia artificial en tecnologías educativas. Technology Innovation Management
Review,
11(5). Recuperado de https://timreview.ca/article/1438.
Rodway, P. y Schepman, A. (2023). El impacto de la adopción de tecnologías educativas
basadas en IA Estrategias
para la
satisfacción
con los Artificial
cursos en
estudiantes
Computadoras
y Educación:
Inteligencia
7 (2024)
universitarios. Computadoras
y Educación: Inteligencia artificial, 5, 1–12.
100305
https://doi.org/10.1016/j.caeai.2023.100150.
Rosseel, Y. (2012). Lavaan: Un paquete R para modelado de ecuaciones estructurales.
Revista de Software estadístico, 48(2). https://doi.org/10.18637/jss.v048.i02.
Rowe, M. (2019). Dar forma a nuestros algoritmos antes de que ellos nos den forma a
nosotros. En J. Knox, Y. Wang, &
M. Gallagher (Eds.), Inteligencia artificial y educación inclusiva: futuros especulativos y
prácticas emergentes(págs. 151-163). Singapur: Springer.
18
M. Lünich, B. Keller y F. Marcinkowski
Computadoras y Educación: Inteligencia Artificial 7 (2024)
100305
Rubel, A., y Jones, KML (2016). Privacidad de los estudiantes en las analíticas de
aprendizaje: una perspectiva de la información perspectiva ética. La Sociedad de la
Información, 32(2), 143–159. https://doi.org/10.1080/ 01972243.2016.1130502.
Rudin, C. (2019). Dejen de explicar los modelos de aprendizaje automático de caja negra
para decisiones de alto riesgo. siones y utilizar en su lugar modelos interpretables.
Nature Machine Intelligence, 1(5), 206–215. https://doi.org/10.1038/s42256-019-0048x.
Schumacher, C., & Ifenthaler, D. (2018). Características que los estudiantes realmente
esperan del aprendizaje Analítica. Computadoras en el comportamiento humano, 78,
397–407. https://doi.org/10.1016/j.chb. 2017.06.030.
Shin, D. (2021). Los efectos de la explicabilidad y la causalidad en la percepción, la
confianza y Aceptación: implicaciones para la IA explicable. Revista internacional de
análisis
humano-computadora
Estudios,
146,
1–10.
https://doi.org/10.1016/j.ijhcs.2020.102551.
Shneiderman, B. (2020). Inteligencia artificial centrada en el ser humano: confiable,
segura y confiable. digno. Revista internacional de interacción hombre-computadora,
36(6), 495–504. https:// doi.org/10.1080/10447318.2020.1741118.
Slade, S., y Prinsloo, P. (2013). Analítica de aprendizaje: cuestiones éticas y dilemas
mas. Científico del comportamiento estadounidense, 57(10), 1510–1529.
https://doi.org/10.1177/ 0002764213479366.
Slade, S., Prinsloo, P. y Khalil, M. (2019). Análisis de aprendizaje en las intersecciones de
los estudiantes Confianza, divulgación y beneficio. En Actas de la 9.ª conferencia
internacional sobre aprendizaje Análisis y conocimiento (LAK '19)(págs. 235–244).
Smith, H. (2020). Sesgo algorítmico: ¿deberían pagar el precio los estudiantes? AI &
Society, 35(4), 1077–1078. https://doi.org/10.1007/s00146-020-01054-3.
Smuha, NA (2022). Dificultades y vías para una inteligencia artificial confiable en la
educación En W. Holmes y K. Porayska-Pomsta (Eds.), La ética de la inteligencia
artificial En educación(págs. 113–145). Routledge.
Starke, C., Baleis, J., Keller, B. y Marcinkowski, F. (2022). Percepciones de equidad de
algo- Toma de decisiones rítmica: una revisión sistemática de la literatura empírica.
Big Data y Sociedad, 9(2), 1–16. https://doi.org/10.1177/20539517221115189.
Sun, K., Mhaidli, AH, Watel, S., Brooks, CA y Schaub, F. (2019). ¡Son mis datos! Tensiones
entre las partes interesadas de un panel de análisis de aprendizaje. En S. Brewster, G.
Fitzpatrick,
A. Cox y V. Kostakos (Eds.), Actas de la conferencia CHI de 2019 sobre factores
humanos en sistemas informáticos(págs. 1–14). ACM.
Sweeney, M., Lester, J., Rangwala, H. y Johri, A. (2016). Rendimiento de los estudiantes
en el próximo período Predicción: un enfoque de sistemas de recomendación. Revista
de minería de datos educativos, 8(1), 22–51. https://doi.org/10.5281/zenodo.3554603.
Teo, T., & Zhou, M. (2014). Explicando la intención de uso de la tecnología entre los
estudiantes universitarios Estudiantes: Un enfoque de modelado de ecuaciones
estructurales. Revista de informática en educación superior Educación, 26(2), 124142. https://doi.org/10.1007/s12528-014-9080-3.
Thissen, D., Steinberg, L., y Kuang, D. (2002). Implementación rápida y sencilla de la
Procedimiento de Benjamini-Hochberg para controlar la tasa de falsos positivos en
múltiples Comparaciones. Revista de estadística educativa y conductual, 27(1), 77–
83. https:// doi.org/10.3102/10769986027001077.
Tsai, Y.-S., Whitelock-Wainwright, A., y Gašević, D. (2020). La paradoja de la privacidad y
Sus implicaciones para la analítica del aprendizaje. En C. Rensing, H. Drachsler, V.
Kovanović, N. Pinkwart, M. Scheffel y K. Verbert (Eds.), Actas de la décima conferencia
internacional Encender el análisis del aprendizaje y el conocimiento(págs. 230–239).
ACM.
Tsai, Y.-S., Whitelock-Wainwright, A., & Gašević, D. (2021). Más que cifras sobre tu
Laptop: Implementación (des)confiada de la analítica del aprendizaje. Journal of
Learning Analyt- ICS, 8(3), 81–100. https://doi.org/10.18608/jla.2021.7379.
Veale, M., y Binns, R. (2017). Aprendizaje automático más justo en el mundo real:
mitigación
discriminación sin recopilar datos sensibles: Mitigar la discriminación sin
Recopilación de datos sensibles. Big Data and Society, 4(2), 1–17.
https://doi.org/10.1177/ 2053951717743530.
Weinberg, L. (2022). Repensar la equidad: una encuesta interdisciplinaria de las críticas a la
hegemonía
Enfoques de equidad de ML monic. Revista de investigación en inteligencia artificial,
74, 75–109. https://doi.org/10.1613/jair.1.13196.
Whitelock–Wainwright, A., Gašević, D., Tejeiro, R., Tsai, Y. y Bennett, K. (2019).
Cuestionario de expectativas de aprendizaje de los estudiantes. Revista de informática
asistida Aprendiendo, 35(5), 633–666. https://doi.org/10.1111/jcal.12366.
Wiencierz, C., & Lünich, M. (2022). Confianza en las aplicaciones de datos abiertos a través
de
Transparencia. Nuevos medios y sociedad, 24(8), 1751–1770. https://doi.org/10.1177/
1461444820979708.
Williams, DR, Yan, Y., Jackson, JS y Anderson, NB (1997). Diferencias raciales en
Salud física y mental: situación socioeconómica, estrés y discriminación. Revista de
Psicología de la Salud, 2(3), 335–351. https://doi.org/10.1177/135910539700200305.
Wu, Y., Zhai, G., Li, S., Ren, C. y Tsuchida, S. (2014). Investigación comparativa sobre el
riesgo NIMBY Aceptabilidad entre estudiantes universitarios chinos y japoneses.
Monitoreo ambiental
Ing. y evaluación, 186(10), 6683–6694. https://doi.org/10.1007/s10661-014-38827.
Yigitcanlar, T., Degirmenci, K., & Inkinen, T. (2022). Factores que impulsan la
percepción pública de inteligencia artificial: perspectivas de las principales ciudades
australianas. AI & Society, 1(21). https://doi.org/10.1007/s00146-022-01566-0.
Zawacki-Richter, O., Marín, VI, Bond, M. y Gouverneur, F. (2019). Revisión sistemática
de la investigación sobre aplicaciones de inteligencia artificial en la educación
superior: ¿dónde están las ¿Educadores? Revista Internacional de Tecnología Educativa
en Educación Superior, 16(1), 1–27. https://doi.org/10.1186/s41239-019-0171-0.
Zhang, B., y Dafoe, A. (2019). Inteligencia artificial: actitudes y tendencias estadounidenses.
Universidad
ciudad de Oxford.
19