Universitat Oberta de Catalunya

El tecnooptimismo imperante nos impide ver los riesgos que la tecnología acarrea en nuestras sociedades, asegura una investigadora de la UOC

Dejar cada vez más decisiones en manos de los algoritmos puede producir frustración, coartar libertades y perjudicar a las personas más vulnerables

Hoy en día, escuchamos que la inteligencia artificial podrá solucionar casi todos nuestros problemas, la medicina será personalizada, los trámites se agilizarán en las administraciones y ya no nos equivocaremos cuando tengamos que elegir una película o una canción en función de nuestros gustos. Según la investigadora del grupo Communication Networks and Social Change (CNSC), del Internet Interdisciplinary Institute (IN3) de la Universitat Oberta de Catalunya (UOC), Andrea Rosales, nuestras sociedades solo ven ventajas en la digitalización.

Sin embargo, en un análisis de la novela QualityLand, de Marc-Uwe Kling, —una ficción en la que todo está regulado por los algoritmos—, publicada en The De Gruyter Handbook of Automated Futures: Imaginaries, Interactions and Impact, Rosales –junto con Sara Suárez– apunta que hay una parte más oscura y menos conocida en las nuevas tecnologías y en cómo se están implantando. La digitalización forzada de la sociedad está excluyendo a los colectivos más vulnerables, ya que los sistemas algorítmicos tienen sesgos. Además, las tecnologías parecen capaces de solucionar problemas para los que, en realidad, no están preparadas.

“Las tecnologías digitales generan grandes cantidades de datos y dan la idea de que es posible controlar y cuantificar la mayoría de los aspectos de la vida”, explica Rosales, quien también es profesora de los Estudios de Ciencias de la Información y de la Comunicación. “Pero muchos aspectos de la vida cotidiana no son cuantificables y muchas cuantificaciones son burdas aproximaciones a la realidad”.

Los algoritmos que toman nuestras decisiones también se equivocan

Esta cuestión tiene una repercusión en el día a día de las personas, que, a veces sin ser conscientes, toman decisiones basadas en las recomendaciones que ofrecen los algoritmos, a pesar de sus posibles errores o los elementos que no tienen en cuenta. “Por ejemplo, las apps de citas han cambiado la forma como buscamos pareja, dando relevancia a aspectos cuantificables de nuestras vidas que rigen el sistema de prioridades que visibiliza a los usuarios más populares en estas aplicaciones”.

Además, los datos no son neutrales. Uno de sus riesgos es que los sesgos pueden reproducir o agrandar los prejuicios que existen en la sociedad al no representar a los colectivos menos favorecidos. Un problema al que se suma la falta de leyes que regulen los algoritmos de hoy en día, la mayoría de los cuales son opacos, ya que no se sabe cómo funcionan.

El análisis que realiza Rosales de la novela QualityLand expone cómo la ficción presenta un mundo que nos resulta cada vez más familiar. Sus temas sirven para reflexionar sobre los problemas a los que se enfrentan nuestras sociedades actuales: la falta de libertad, las frustraciones por la digitalización forzada, el tecnooptimismo imperante, la hiperdatificación de la vida cotidiana y las amenazas que los sistemas basados en datos plantean a la democracia.

El problema de Peter

Peter Sinempleo es el protagonista de QualityLand y lleva una vida que muchos podríamos imaginar: la tienda en línea sabe exactamente lo que Peter querrá y se lo envía antes de que él piense que lo quiere, acude a una plataforma que le encuentra la pareja adecuada y recibe calificaciones continuas en el mundo digital sobre sus acciones. The Shop, QualityPartner y RateMe, los nombres de estas aplicaciones, casi podrían intercambiarse por los de Amazon, Tinder o Instagram.

Las opiniones del personaje tienen poca importancia, ya que, en este mundo, los modelos aseguran conocerle mejor que él mismo: ellos tienen acceso a todos los aspectos de su vida y pueden entrar en su subconsciente. Peter, sin embargo, cree que algo no va bien. Se siente desconectado de los amigos, la pareja y los objetos que el algoritmo le ha elegido.

Los datos pueden tener puntos ciegos: pueden contener prejuicios, cometer errores o, simplemente, registrar solo algunos elementos de la realidad, dejando otros fuera. Pero cuando hay errores en los sistemas, estos suelen asumir que es el usuario quien tiene un problema —lo que la novela denomina “el problema de Peter”—, y no reconocen que es simplemente un indicador de cómo opera la marginación en la automatización de la toma de decisiones.

Digitalización forzada

Para Rosales, uno de los grandes problemas actuales es la “digitalización forzada”. En la novela, los ciudadanos se ven obligados a desarrollar sus actividades en el mundo digital porque no tienen alternativa. Y esta falta de opciones analógicas permite que el gobierno y las compañías tecnológicas tengan un mayor control de sus vidas. Esto es algo que, en nuestras sociedades, se ve diariamente. Cada vez es más común tener servicios públicos donde se restringe la presencialidad o donde no se puede acceder a cierta información fuera de internet.

La autora señala que el efecto negativo de esta falta de opción a lo digital es que las personas con menos conocimientos técnicos o sin interés por estos temas se ven excluidas o pasan a depender de otras personas.

Una crítica al tecnooptimismo

Rosales usa el ejemplo de QualityLand para desmentir la idea de que la tecnología siempre hará nuestra vida más fácil, por ejemplo, eligiendo mejor por nosotros. En cambio, producirá nuevos problemas, como la falta de autonomía o el aumento de la desigualdad. También provocará riesgos derivados del uso excesivo de los datos.

“El problema de Peter”, explica Rosales, “se manifiesta en su lucha por intentar encajar en un sistema gobernado por datos que no entiende”. Hay algoritmos opacos que toman decisiones por él, aunque se desconocen sus procesos y sus razonamientos. “Esta opacidad suele justificarse como secreto comercial, medida de seguridad, política de prevención del fraude o por la complejidad de los algoritmos. Las leyes se quedan cortas ante todos los retos sociales y políticos que plantean. Pero la datificación de la vida cotidiana, más allá de los datos sesgados y las predicciones inexactas, repercute en el día a día de las personas, en cómo se interrelacionan y en la forma cómo forman parte de la sociedad”.

Un nuevo tipo de democracia

Otro aspecto interesante que plantea es el futuro de la democracia. En QualityLand, un androide, John of Us, se presenta a la presidencia del país, pues su partido asume que los ciudadanos confiarán más en un robot que en un humano. Un robot tiene más datos y memoria, y puede buscar argumentos más objetivos en la toma de decisiones. Ahora bien, ¿debemos dar este paso?

La autora señala que esta propuesta, llamada “política aumentada”, es la que apoyan algunos sectores de la academia y las grandes tecnológicas. Pero plantea nuevas amenazas, ya que, en la búsqueda del beneficio de la mayoría, puede excluir a las minorías y, lo que es más preocupante, puede convertirse en un sistema de decisiones muy difícil de someter a mecanismos de rendición de cuentas.

“En QualityLand, los ciudadanos pierden el control sobre los datos y sobre cómo se utilizan para tomar decisiones cruciales que afectan a sus derechos y libertades fundamentales”, explica Rosales. Trabajar para proteger a las personas más desprotegidas y buscar modelos en los que el gobierno mantenga su independencia frente a las grandes tecnológicas son dos pasos que, para esta investigadora, resultan esenciales para proteger las democracias y los derechos básicos.

La investigación del grupo CNSC promueve, entre otros aspectos, el objetivo de desarrollo sostenible 10 de la ONU: Reducción de las desigualdades.

Artículo de referencia

Rosales, Andrea y Suárez-Gonzalo, Sara. “Chapter 3 Peter’s Problem. An Analysis of the Imaginaries about Automated Futures Portrayed in QualityLand”. The De Gruyter Handbook of Automated Futures: Imaginaries, Interactions and Impact, editado por Vaike Fors, Martin Berg y Meike Brodersen, Berlín, Boston: De Gruyter, 2024, págs. 37-54. https://doi.org/10.1515/9783110792256-003