Cómo la IA nos discrimina en la sombra y qué plantea la nueva normativa de la UE para evitarlo

En el año 2015 Google se disculpó cuando su algoritmo de clasificación de fotos confundió imágenes de personas negras con gorilas. Dos años más tarde, en Arkansas, se descubrió que un algoritmo implementado para administrar el acceso a beneficios de atención médica por parte de los pacientes del programa estatal de discapacidad no había tenido en cuenta enfermedades tan importantes como la parálisis cerebral o la diabetes.

Más tarde, en 2020, los estudiantes de Reino Unido ganaron la batalla al Gobierno cuando obligaron a dejar de usar un algoritmo que favorecía a los colegios privados frente a los de barrios más desfavorecidos en la determinación de las calificaciones de la selectividad.

Detrás de todos estos errores de la inteligencia artificial están los llamados algoritmos de caja negra.

Algoritmos de caja negra

Pero, ¿qué es un algoritmo de caja negra? Definido de forma simple, es aquel cuyo funcionamiento se desconoce, es decir, se ignora cómo y por qué ha adoptado una determinada decisión. Esto sucede, por una parte, porque no es posible descifrar los pasos que la IA ha seguido para llegar a ese concreto resultado (trazabilidad) y, por otra, porque tampoco pueden conocerse las razones que le han llevado a este resultado y no a otro distinto (explicabilidad).

Un algoritmo de caja negra es aquel cuyo funcionamiento se desconoce, es decir, se ignora cómo y por qué ha adoptado una determinada decisión

La principal consecuencia (aunque no la única) de esta imposibilidad de conocer cómo funciona el sistema se expresa en forma de sesgos, errores que comete la inteligencia artificial y que implican, como hemos visto en los ejemplos, discriminar a determinados colectivos, habitualmente minoritarios o vulnerables: las mujeres, las minorías étnicas, los residentes de barrios marginales o desfavorecidos.

Y no es algo puntual. Lo grave del asunto es que, a día de hoy, todos los algoritmos de deep learning y la mayor parte de los algoritmos de machine learning (los más complejos y, por tanto, los más usados) son de caja negra. Y juntos representan prácticamente la totalidad de los algoritmos que utiliza la IA hoy en día.

Lo anterior entraña importantes peligros, sobre todo en lo que respecta a la inteligencia artificial generativa, es decir, aquella en la que el sistema de IA crea contenidos «nuevos» por sí mismo (ChatGPT, Dall-E, Aida y similares). En este caso, desconocer completamente cómo funciona la inteligencia artificial supone otorgarle a esta un poder que escapa del control humano.

Sesgos que solo se identifican por prueba y error

Como se ve en los ejemplos anteriores, el principal obstáculo del uso de la IA radica en que, a pesar de que un algoritmo parece haber sido «bien entrenado» y aparentemente cumple con la función para la que ha sido diseñado, existe la posibilidad de que el sesgo –la discriminación– esté presente en las decisiones que adopta. En estos casos, la inteligencia artificial discrimina en la sombra a causa de ese sesgo oculto hasta que se logre descubrir su existencia.

Así pues, como consecuencia del desconocimiento que supone esa caja negra de la inteligencia artificial, la única forma de saber si esta es racista, machista o, en definitiva, discriminatoria, es a través de la prueba y error, del descubrimiento espontáneo de esa situación o circunstancia.

Nuevas medidas de la ley de inteligencia artificial

Son, precisamente, estos errores –entre otros aspectos, como la protección de datos o la responsabilidad, a los que no nos dedicaremos hoy– los que han provocado la reacción del Derecho. Así, la Propuesta de Reglamento del Parlamento Europeo y del Consejo, por la que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión, establece importantes medidas en diferentes etapas para hacer frente a los sesgos en los sistemas que presentan un alto riesgo para la sociedad.

Desconocer completamente cómo funciona la inteligencia artificial supone otorgarle a esta un poder que escapa del control humano

En la fase de diseño del algoritmo, la norma establece obligaciones que tienen que ver tanto con la elaboración de los datos que alimentan el algoritmo como con el proceso de entrenamiento, validación y prueba del sistema (estas son las fases que pasa el sistema de IA antes de ser comercializado o puesto en el mercado, lo que en otros sectores conocemos como «fase de ensayo»).

Concretamente, se prevé que los conjuntos de datos utilizados para entrenar, validar y probar el algoritmo sean representativos, carezcan de errores y estén completos. Todo ello con la finalidad de evitar la incorporación ya a priori de sesgos al modelo. Además, durante esta fase también se establecen importantes prácticas de gobernanza y gestión del dato: la realización de análisis específicos de los datos dirigidos a la detección y corrección de sesgos.

De lo anterior se deduce que será imprescindible el diseño y la utilización de software dirigido a examinar los datos para buscar sesgos, hecho que deja entrever un nuevo modelo de negocio. No es arriesgado vaticinar la proliferación de empresas con este único cometido.

Además, tras su comercialización o puesta en el mercado, se prevén obligaciones específicas de transparencia y seguimiento para una correcta utilización e interpretación de la información de salida. Una de las más importantes será la creación de archivos de registro durante la fase de entrenamiento y a posteriori para garantizar la trazabilidad del sistema, algo fundamental para la investigación tras un funcionamiento inadecuado. Asimismo se establecerán medidas de vigilancia humana durante su uso que permitirán una rápida neutralización de potenciales riesgos.

María Isabel Montserrat Sánchez-Escribano es profesora contratada doctora de Derecho Penal, Universitat de les Illes Balears. Este artículo fue publicado originalmente en The Conversation. Lea el original.