Sistemas de Toma de Decisiones y Algoritmos en Educación Analisis de Sesgos desde la Perspectiva Sociocultural Federico Ferrero Universidad Nacional de Córdoba y Grupo Stellae Córdoba, Argentina federicojferrero@gmail.com Adriana Gewerc Universidad de Santiago de Compostela, Grupo Stellae Santiago de Compostela, España adriana.gewerc@gmail.com Abstract— This article analyses biases in algorithmic driven decision-making systems in education from the Activity Theory of sociocultural tradition. First, it is identified how the sources of biases (theoretical, methodological, by interpretation, by decontextualization and by data training) are distributed in the elements of the analytical unit as well as in the systemic time. Consequently, the algorithm is not treated as a mediating artifact biased in itself, but biases are reflected in it and are linked to the practices carried out by the subjects involved in the systemic reality studied. Second, when the activity system in movement and its contradictions are considered, the performative effects of the biases in future practices are detected, as well as fluctuations of the positions (subject - mediating artifacts) showing that sometimes the subject of the decision-making process is controlled by the human and, in others, by the machine. Third, it is presented the results of a Systematic Literature Review that allows us to explore the ways in which the Journal of Learning Analytics community approaches the subject of biases according to the bias-sources classification previously constructed. Index Terms— bias, algorithms, decision-making process, Artificial Intelligence, educational contexts, Activity Theory. I. INTRODUCCIÓN La proliferación de sistemas de tomas de decisiones automatizadas en diversos ámbitos de nuestras sociedades es cada vez más evidente y los gobiernos instrumentados por algoritmos, así como sus efectos de vigilancia y control, parecen fenómenos ineludibles (Danaher et al., 2017; Manovich, 2013; Sadin, 2017). Al aumentar la capacidad de cómputo y la acumulación y actualización constante de grandes cantidades de datos provenientes del accionar de los usuarios en entornos virtuales disponibles en diversos dispositivos (teléfonos móviles, computadores, tablets, internet de las cosas, etcétera); las ya conocidas técnicas de Inteligencia Artificial toman un decidido nuevo impulso (Holmes, Bialik y Fadel, 2019). En este contexto de “dataficación” (Breiter, 2016; Selwyn, 2015; Van Dijck, 2014) estos sistemas utilizan algoritmos para evaluar situaciones y tomar decisiones cubriendo una amplia variedad de ámbitos que impactan en el nivel de los individuos particulares. En especial, estos sistemas automatizados tienen presencia en el campo de los negocios puesto que fue allí donde primero encontraron aplicabilidad los llamados “análisis predictivos del riesgo” (Siegel, 2016). No obstante, cada vez más se utilizan algoritmos para tomar decisiones en el campo de la salud, en la justicia y la organización penitenciaria, en el diseño urbano y su mapeo, en los sistemas de gobierno y burocráticos (Batty, 2013; Danielle, Guo, and Kessler, 2017; Jee and Kim, 2013; Kim, Trimi, Chung, 2014) y, por supuesto, en el campo pedagógico. Allí, suelen utilizarse algoritmos para predecir performances, seleccionar estudiantes y evaluar docentes así como se instrumentan “Sistemas de Tutorías Inteligentes” o “Adaptive Learning Systems” para recomendar lecciones y contenidos a los alumnos, entre otros (Baker, 2016; Kei Daniel, 2017; Sclater, Peasgood y Mullan, 2016; Simpson, 2006; Williamson, 2017). En el campo de la educación comienza a percibirse un fuerte interés por dar cuenta de cómo la toma de decisiones dirigidas por algoritmos se lleva adelante en casos concretos donde en general ocurre su interacción con sistemas tradicionales de toma de decisión. El uso de datos educativos de proveniencia virtual ya no implica solamente la descripción de las performances y prácticas de los estudiantes, docentes y administradores sino también la búsqueda de automatización de toma de decisiones en distintas escalas (los sistemas nacionales de educación, las instituciones e incluso, hasta a veces, las mismas clases). Esta situación, llama la atención sobre la centralidad de la evaluación, un concepto pedagógico clásico que en estos tiempos adquiere nuevas connotaciones y se manifiesta a través de nuevos procedimientos y mecanismos. Alrededor de este tópico, se reconoce que la inclusión de tales sistemas está cruzada por diversas controversias que reclaman nuevos tipos