Cuando el algoritmo se equivoca

Catherine Taylor, residente en Arkansas, recibió una carta de la Cruz Roja que cambió su vida. Su solicitud para trabajar allí, decía el escrito, había sido rechazada por el hecho de haber sido condenada por “intentar vender y elaborar metanfetamina”, lo que no casaba con los valores de la organización. Parecía una broma. Pero, como comprobó tras investigar el asunto, los cargos penales eran reales. Solo que contra otra Catherine Taylor, que casualmente había nacido el mismo día que ella. Todo podría haberse quedado ...

Catherine Taylor, residente en Arkansas, recibió una carta de la Cruz Roja que cambió su vida. Su solicitud para trabajar allí, decía el escrito, había sido rechazada por el hecho de haber sido condenada por “intentar vender y elaborar metanfetamina”, lo que no casaba con los valores de la organización. Parecía una broma. Pero, como comprobó tras investigar el asunto, los cargos penales eran reales. Solo que contra otra Catherine Taylor, que casualmente había nacido el mismo día que ella. Todo podría haberse quedado en un simple malentendido, pero el calvario de Taylor no había hecho más que empezar. Los cargos habían sido erróneamente incorporados a su expediente por ChoicePoint, un data broker. Así se conoce a las empresas que recopilan datos digitales de los usuarios para hacer perfilados sobre ellos y después vender esas fichas a terceros, en este caso la Cruz Roja. Tras comunicarle el error, ChoicePoint lo corrigió, pero ya había vendido el expediente de Taylor a otras muchas empresas. Ese error formaba ya parte del sistema. Se esforzó en limpiar su repu­tación, pero la tarea le resultó inabarcable. “No puedo ser el perro guardián todo el tiempo”, dijo a The Washington Post, que publicó su historia en 2011. Tardó cuatro años en encontrar empleo, un tiempo inusitado para los estándares de Estados Unidos. Se le denegaron créditos, que tuvo que pedir bajo el nombre de su marido. Acabó viviendo en casa de su hermana porque no encontró quien le alquilara un apartamento. Y el estrés generado por la situación empeoró sus problemas de corazón.

Por cada Catherine Taylor hay otros miles de personas que quizá piensen que están gafadas cuando en realidad su nombre está escrito con letras rojas en algún dosier digital. Esos dosieres son más importantes de lo que parece. Los datos que contienen son procesados por algoritmos a los que se les encargan tareas cada vez más relevantes. Los algoritmos se usan de manera sistemática para filtrar currículos en la contratación de personal o para calcular la solvencia crediticia de las personas. También para determinar si un reo merece o no la libertad condicional. O hasta para calcular las posibilidades de que un recién nacido vaya a sufrir malos tratos durante sus primeros cinco años de vida.

Las máquinas cometen errores. A veces, como en el caso de Taylor, procesan mal los datos que se les da. El equivalente a un error administrativo. En otras ocasiones, los datos que tienen no son incorrectos, pero los interpretan de forma poco satisfactoria. Como cuando Google procesó las imágenes de tres jóvenes afroamericanos etiquetándolos como gorilas. O como cuando Word2Vec, la red neuronal de Google Brain que durante un tiempo fue puntera, aprendió que “hombre es a rey lo que mujer a reina”, pero también que “padre es a médico lo que madre a enfermera” o que “hombre es a programador lo que mujer a ama de casa”.

Sesgo algorítmico y sesgo social

Esos son los llamados sesgos algorítmicos. Como los datos, por definición, hablan del pasado (no hay registros de lo que todavía no ha sucedido), los modelos que se construyan con ellos por fuerza reproducirán lo que ya fue, incluyendo los sesgos que tenga la sociedad. En palabras de la científica de datos Cathy O’Neil, los algoritmos son “opiniones encerradas en matemáticas”. Un algoritmo es una fórmula matemática que le dice a un sistema cómo procesar los datos que tiene. Su invención se sitúa en el siglo IX y se atribuye al sabio persa Al Juarismi, que dio nombre al álgebra. El cálculo de las pensiones, que llevan más de 100 años entre nosotros, se apoya en algoritmos. El concepto adquirió una nueva dimensión de la mano de la informática, que aportó la capacidad para aplicar esas fórmulas a ingentes cantidades de datos, y de la irrupción de la inteligencia artificial.

El término “inteligencia artificial” se acuñó en 1955 en la Conferencia de Dartmouth, un taller de dos meses organizado por los profesores Marvin Minsky y John McCarthy. Estos matemáticos se propusieron explorar las ideas de Alan Turing, que defendía que las máquinas llegarían a ser capaces de pensar por sí solas. Si es posible describir todas las características de la mente humana, pensaron Minsky y McCarthy, se le podría enseñar a una máquina a simularlas. Para eso necesitaban un grupo diverso e interdisciplinar de expertos que abarcaran las distintas dimensiones del saber. Convocaron a 47 científicos, entre los que se contaban algunos de los más reputados ingenieros, científicos sociales, informáticos, psicólogos, biólogos o físicos del momento.

Todos los invitados, a excepción de la mujer de Minsky, Gloria, eran hombres. Todos eran blancos, aunque en esa época ya había científicos negros que destacaban en las disciplinas que se trataron en la conferencia. Los fundadores de la inteligencia artificial, quienes pretendían entender cómo funciona la mente humana y desarrollar algo que se le pareciera, incorporaron los sesgos a los algoritmos desde el minuto cero.

Esa endogamia sigue existiendo hoy. Quienes desarrollan los algoritmos de las principales empresas tecnológicas no solo son hombres blancos de clase media o alta, sino que además estudian en las mismas universidades y a menudo viven cerca los unos de los otros. Se conocen entre ellos, piensan igual. Y si su visión del mundo está sesgada, los algoritmos también lo estarán. “Los sesgos no tienen solución”, opina Ramon López de Mántaras, profesor de investigación en el CSIC y director del Instituto de Investigación en Inteligencia Artificial (IIIA). “Es absolutamente imposible que las máquinas no tengan, porque nosotros los tenemos. De hecho, el problema somos nosotros, no los algoritmos”.

La investigadora afroamericana del MIT Joy Buolam­wini lo comprobó de primera mano hace unos años. Al ir a usar un sistema de reconocimiento facial, vio que este no detectaba su cara. Pocas semanas después, de viaje en Hong Kong por motivos académicos, le pasó lo mismo. Se le ocurrió ponerse una careta de color blanco. Dejó de ser invisible para la máquina. “Si tu rostro se desvía demasiado de los patrones que le has dado al sistema para que aprenda, no te reconocerá, como me pasó a mí”, cuenta en una charla TED colgada en YouTube que acumula casi millón y medio de visualizaciones. “Los algoritmos, como los virus, pueden propagar sesgos a escala masiva y a un ritmo acelerado”, añade en la grabación.

Buolamwini decidió tomar cartas en el asunto. Creó la asociación Algorithmic Justice League, que se dedica a concienciar sobre el impacto de la inteligencia artificial en la sociedad. Su historia se ha llevado recientemente a una película documental, Coded Bias (2020), y la investigadora se ha convertido en uno de los puntales del movimiento que aboga por la retirada de los sistemas de reconocimiento facial por parte de la policía. El caso de Robert Williams, un hombre afroamericano que fue detenido erróneamente por culpa de un algoritmo que le confundió con otra persona, ha sido uno de los detonantes del creciente rechazo social hacia esta tecnología. Hay estudios que demuestran que el reconocimiento facial es 100 veces más proclive a fallar en la detección de rostros de personas negras que de personas blancas. El motivo, una vez más, está en la tribu: los sistemas se entrenaron con caras blancas. No en un acto deliberadamente racista, sino simplemente porque la gente que sus desarrolladores tenían a mano para probar el sistema eran, como ellos, hombres blancos.

Además de reproducir su entorno y sus ideas en los algoritmos, los desarrolladores tienden a ser endogámicos desde el punto de vista intelectual. Lorena Jaume-Palasí, experta en ética de los algoritmos, asesora del Parlamento Eu­ropeo y miembro del Consejo Nacional de la Inteligencia ­Artificial, describe: “Los ingenieros, que no saben de todo, incursionan en distintas disciplinas y, en vez de preguntar a los expertos, desarrollan sus propias teorías, siempre de manera que sea fácil de computar”. Eso hace que en ocasiones tomen como válidas teorías que quedaron totalmente obsoletas. Se ha reportado en algunos sistemas de reconocimiento facial el uso de la frenología, una pseudociencia que pretende interpretar los sentimientos y las aptitudes de las personas midiendo la distancia entre determinados rasgos faciales.

¿Se puede describir a un ser humano con números? Eso es lo que piensan quienes diseñan algoritmos que intervienen en cuestiones sociales. La mecánica es aparentemente aséptica, o eso nos ha prometido la tradición cartesiana europea: todo se debería poder medir. Por ejemplo, hay modelos que contemplan 20 tipos de emociones. Una simplificación tremenda si tenemos en cuenta que en los móviles tenemos más de 200 emojis. “La ambigüedad humana no se puede traducir en categorías matemáticas”, reflexiona Jaume-Palasí. “El esencialismo en este tipo de contextos, el concepto de racionalidad europeo y el foco antropocéntrico es lo que crea el sesgo”.

Reducir la gente a números

Los sistemas de puntaje, como el que condenó a Catherine Taylor a cuatro años sin empleo, son el culmen de esta tendencia a cuantificarlo todo. El problema no es solo que con los números se pierdan los matices, sino que además no sabemos qué métodos usan las compañías para elaborar sus algoritmos. ¿Qué tienen en cuenta y qué no? Frank Pasquale, profesor de la Brooklyn Law School y experto en derecho de la inteligencia artificial, abordó la falta de transparencia del sector en su libro The Black Box Society (La sociedad de la caja negra). “Tratar de reducir a la gente a números siempre es un error. Hay quien cree que todo se puede trasladar a una puntuación. El sistema de crédito social chino es un buen ejemplo de hacia dónde nos pueden llevar los sistemas de puntaje”, explica por teléfono desde Nueva York.

Tal y como describe Virginia Eubanks en su libro La automatización de la desigualdad, hay un sistema operando en Pensilvania que analiza 132 variables para estimar si hay que mandar a un trabajador social a una vivienda porque los inquilinos presumiblemente pueden tratar mal a los niños en sus primeros cinco años de vida. El modelo se importó de Nueva Zelanda, donde las autoridades lo retiraron tras comprobar que se equivocaba en el 70% de las predicciones. Pronto se comprobó que penalizaba más a los pobres, lo que en el contexto estadounidense lleva a una sobrerrepresentación de negros y latinos. La explicación: se nutría de datos recogidos de registros públicos, y en EE UU los pobres interactúan mucho más con las instituciones públicas. “Estas herramientas, construidas supuestamente para eliminar las desigualdades y lograr la neutralidad, lo que realmente hacen es amplificar las desigualdades que tenemos en la sociedad”, explicó recientemente la politóloga en una entrevista con EL PAÍS.

Los algoritmos aplicados a la gestión de recursos públicos no son solo cosa de EE UU. También los hay en Europa, y hasta han tumbado gobiernos. El Ejecutivo de Holanda dimitió en bloque el pasado mes de enero tras reconocer una serie de errores en un programa de subsidios para el cuidado de menores. El Gobierno exigió a 26.000 familias la devolución de las ayudas que recibieron entre 2013 y 2019, que en algunos casos ascendían a 100.000 euros, tras ser acusadas de fraude. Una investigación determinó que las acusaciones eran infundadas y que se había discriminado a las familias de origen marroquí y turco, mucho más escrutadas que el resto. Detrás del escándalo, un algoritmo diseñado para comprobar que no se concedieran ayudas a candidatos que no los merecieran.

Corregir lo intangible

Los sistemas de inteligencia artificial no son infalibles. Cometen errores que, en ocasiones, pueden hundir la vida de las personas. Solo hay una forma de minimizar sus posibles efectos negativos: con más transparencia. Hay que derribar la caja negra de la que habla Pasquale.

Los sesgos algorítmicos tienen tres tipos de fuentes: los datos con los que trabajan, que son facilitados por personas; el sistema informático que los procesa, que en el caso del machine learning o aprendizaje automático (el propio sistema aprende a sacar sus conclusiones a partir de un banco de datos) puede estar aprendiendo y adquiriendo sesgos adicionales; y la interacción entre la persona y el sistema mismo. “Hay tres formas clásicas de combatir los sesgos: mitigarlos en la entrada de los datos, hacer que el sistema sea consciente del sesgo y lo vaya aprendiendo a resolver o eliminar tú el sesgo en el resultado”, señala Ricardo Baeza-Yates, profesor del Instituto de Inteligencia Artificial Experiencial de la Northeastern University en Silicon Valley (Palo Alto, California) y catedrático de la Universitat Pompeu Fabra de Barcelona.

Para ello hace falta revisar los sistemas algorítmicos antes de que entren en acción y durante su puesta en marcha. Eso está contemplado desde un punto de vista legal por la propuesta de reglamento europeo sobre inteligencia artificial presentada en abril por la Comisión Europea. Moisés Barrio, letrado del Consejo de Estado y asesor en la elaboración de dicho documento, subraya que “destaca el régimen de gobernanza que se ha proyectado, con la creación de un Comité Europeo de Inteligencia Artificial que será una pieza clave para la coordinación de las autoridades nacionales de control”.

En España, las empresas que automatizan decisiones están obligadas por ley a auditar sus algoritmos. “Pero la ley no se cumple”, se queja Gemma Galdón, directora general de Éticas, una consultora que realiza este tipo de investigaciones. “Los sesgos se pueden corregir entrando en los algoritmos, entendiendo cuáles son los colectivos que pueden ser perjudicados por la calidad de los datos y mejorando esa situación a través del código del algoritmo”.

Pero analizar los aspectos técnicos de los algoritmos es solo una parte del viaje. La otra tiene que ver con cómo se usan. “Hay estudios que han demostrado que la gente se esconde detrás del algoritmo cuando le conviene y al mismo tiempo es capaz de rechazar sus sugerencias cuando no cuadran con sus prejuicios. Un juez racista en EE UU quizá no haga caso del sistema si le dice que el negro que tiene delante no tiene riesgo de reincidencia”, ilustra Jaume-Palasí. Por otra parte, los algoritmos, ante dos situaciones iguales, siempre tomarán la misma decisión. Eso no pasa con los humanos: se sabe que haber dormido bien, tener el estómago lleno o el estado de ánimo influyen en cómo enfocamos los problemas. En ese sentido, las máquinas son más justas que las personas. “En mis conferencias suelo presentar el siguiente dilema”, dice Baeza-Yates: “¿Quién prefieres que te juzgue, un algoritmo sesgado o un juez que, además de sus sesgos, puede tener un mal día?”.