Cuando se habla de IA y de la necesidad de que sea transparente, la cuestión se centra en los algoritmos y los datos y, más concretamente, en su poder para influir en nuestra toma de decisiones.
Pero ¿qué es un algoritmo? ¿Por qué tiene que ser transparente?
Un algoritmo es un “conjunto ordenado de operaciones sistemáticas que permite hacer un cálculo y hallar la solución de un tipo de problemas”. En otras palabras, se trata de un conjunto de instrucciones. Cuando se quiere que un ordenador haga una función concreta se escribe un algoritmo que indica con un lenguaje informático a la máquina que haga una determinada función cuando se aprieta el botón, por ejemplo.
Ahora bien, no todos los algoritmos son inteligencia artificial. Cuando hablamos de inteligencia artificial, hablamos de algoritmos que “aprenden”, es decir, de algoritmos que pueden darse a sí mismos instrucciones para mejorar. El programa informático no da un resultado basándose únicamente en un conjunto de factores predeterminados por el programador, sino que tiene la capacidad de hacer su propio “análisis” teniendo en cuenta muchos más datos e incluso casos previos de supuestos parecidos.
Las implicaciones son enormes. Las aplicaciones que ofrecen o soportan un servicio basado en soluciones de Inteligencia Artificial pueden tomar decisiones, decisiones que afectan a los individuos, sus vidas privadas, sus derechos y hoy en día sistemas que permiten toma de decisiones automatizadas están incorporados a la mayoría de los servicios que ofrecen las empresas.
Un ejemplo destacado en el ámbito laboral es el de los algoritmos utilizados por las plataformas de reparto, que han sido objeto de diversos procedimientos judiciales. En particular, la sentencia del Tribunal Ordinario de Bolonia de 31 de diciembre de 2020, dictada en el marco de una demanda presentada por varios sindicatos (Federazione Italiana Lavoratori Trasporti – Filt Cgil di Bologna, Filcams Cgil di Bologna y Nidil Cgil Bologna) contra Deliveroo Italia S.R.L., analiza el sistema de puntuación aplicado por el algoritmo “Frank” para valorar la fiabilidad y disponibilidad de los repartidores (“riders”).
Dicho sistema penalizaba a los trabajadores que no se conectaban en los primeros quince minutos de su turno o que no estaban disponibles en franjas horarias de alta demanda, sin contemplar excepciones por causas justificadas como enfermedad o huelga. El tribunal consideró que esa práctica vulneraba los derechos laborales de los repartidores al no excluir esas situaciones del cómputo de la puntuación negativa.
Resulta especialmente llamativo que, en el procedimiento, no se analizara técnicamente el funcionamiento del algoritmo —pese a ser el eje central del debate— y que la resolución se basara exclusivamente en las declaraciones de las partes y en las condiciones jurídicas aplicables.
¿Y qué pasa con las decisiones de la administración pública?
Existen riesgos de una administración más arbitraria y opaca que se entrega a decisiones automatizadas que no podemos conocer. Es más, existe el riesgo de que la persona que tenga que revisar estas decisiones automatizadas se limite a confirmar lo que indica el algoritmo. Es lo que la Agencia Española de Protección de Datos en su informe “Tecnologías y Protección de Datos en las AA.PP” llama el “criterio de autoridad”:
“[…]Tampoco debe perderse de vista que durante la operación del sistema se puede crear un efecto “criterio de autoridad” en el que los operadores encargados de interactuar con la solución no revisen críticamente las decisiones o inferencias generadas por la IA y que se pierda la característica de una supervisión humana realmente cualificada, o que incluso, aunque se revise dicha decisión, esta quede registrada como errónea y cree dudas o sesgos en futuras decisiones humanas. La necesidad de supervisión humana debe de entenderse como una forma de mejora continua de los procesos de IA en la que debe de estar involucrado todo el personal implicado en el marco del tratamiento realizado.[…]”.
En este contexto, la reciente resolución de la Agencia Española de Protección de Datos (AEPD) sobre el sistema Bosco —en la que el despacho Cremades & Calvo Sotelo ha colaborado activamente con la parte recurrente, la Fundación Eticas— constituye un precedente relevante en materia de transparencia en el uso de la inteligencia artificial en la administración pública.
En dicha reclamación, la Fundación Eticas denunciaba el incumplimiento de la normativa de protección de datos en relación con el algoritmo Bosco, utilizado por el Ministerio para la Transición Ecológica para seleccionar a los beneficiarios del Bono Social, una tarifa reducida destinada a personas vulnerables.
La AEPD obliga al Ministerio a adoptar diversas medidas correctoras, entre ellas: realizar una evaluación de impacto en protección de datos, garantizar el derecho a la intervención humana en las decisiones automatizadas y asegurar el derecho de información de los afectados.
Este caso ejemplifica la importancia de la transparencia como principio fundamental en el desarrollo y uso de soluciones basadas en inteligencia artificial, así como la necesidad de que los algoritmos sean transparentes, es decir, puedan ser auditados.
Y, para concluir, una reflexión: asistí recientemente a una ponencia en la que se afirmaba que la gran revolución de la inteligencia artificial es que ahora las “máquinas” son capaces de entendernos, y que podemos dialogar con ellas sin necesidad de ser programadores o expertos informáticos.
Sin embargo, a mi juicio, la verdadera revolución llegará cuando seamos nosotros quienes logremos entender a las “máquinas”; es decir, cuando los algoritmos sean realmente transparentes y auditables, y podamos conocer qué hay detrás de sus decisiones y corregir sus sesgos.
Camilla Nobili Asociada Cremades & Calvo Sotelo Abogados
