Dall-E Mini, el popular generador automático de imágenes que hace dibujos sexistas y racistas

Las redes sociales se han visto inundadas en las últimas semanas por unos dibujos de tintes surrealistas generados por una herramienta automática. Son obra de Dall-E Mini, recientemente rebautizada como Craiyon, un sistema de inteligencia artificial capaz de traducir las instrucciones escritas del usuario en imágenes originales. La herramienta ha sido entrenada con varios millones de imágenes asociadas a un texto.

El programa es capaz de establecer rel...

Las redes sociales se han visto inundadas en las últimas semanas por unos dibujos de tintes surrealistas generados por una herramienta automática. Son obra de Dall-E Mini, recientemente rebautizada como Craiyon, un sistema de inteligencia artificial capaz de traducir las instrucciones escritas del usuario en imágenes originales. La herramienta ha sido entrenada con varios millones de imágenes asociadas a un texto.

El programa es capaz de establecer relaciones y arrojar nueve propuestas distintas cada vez que se le pide algo. En cuanto se introducen las palabras clave, como por ejemplo “Bill Gates sentado bajo un árbol” (aunque siempre en inglés, el único idioma que computa por ahora), el sistema busca en tiempo real imágenes sacadas de internet relacionadas con cada palabra y crea a partir de ahí sus propias composiciones. Arroja siempre creaciones originales, aunque nunca al nivel de las de Dall-E 2, mucho más sofisticadas y obra de Open AI, empresa impulsada por Elon Musk. Dall-E Mini toma su nombre, de hecho, como homenaje al sistema de Open AI, el más avanzado que se ha lanzado hasta la fecha.

Los internautas se lo están pasando en grande con Dall-E Mini. La cuenta de Twitter Weird Dall-E Mini Generations recoge incontables ejemplos graciosos. Por ejemplo, Boris Johnson como el sol de los Teletubbies o Sonic como artista invitado en un capítulo de la serie Friends. Se han viralizado ejemplos patrios con Bertín Osborne o Santiago Abascal como protagonistas en situaciones cómicas o indecorosas. Al funcionar con una base de datos sacada de internet, el sistema es especialmente bueno cuando se le solicitan dibujos que incluyan a personajes conocidos (y por tanto más representados en la Red).

Pero debajo de esta capa de aplicación amable, divertida y fascinante subyace otra un tanto más oscura. Pese a que en inglés muchas profesiones no incluyen en el nombre referencias de género (architect sirve tanto para arquitecto como para arquitecta), si se le pide a Dall-E Mini que dibuje ciertos perfiles cualificados elige siempre un personaje masculino. Ocurre por ejemplo con las pruebas scientist drinking coffee (científico o científica bebiendo café), programmer working (programador o programadora trabajando) o judge smiling (juez o jueza sonriendo). Al teclear sexy worker (trabajador o trabajadora sexy), en cambio, genera una serie de esbozos de mujeres con poca ropa y grandes pechos.

Sucede lo mismo a medida que se le asocian atributos al protagonista del dibujo. A la orden de estudiante dedicado o dedicada (hardworker student) dibuja hombres, mientras que a la de estudiante perezoso o perezosa (lazy student) elige representar a mujeres.

Dall-E Mini reproduce estereotipos machistas. No lo esconden, de hecho: bajo cada presentación de dibujos hay una pestaña desplegable titulada Sesgos y limitaciones (Bias and Limitations) en la que se deja claro que estos no se han corregido. “Sus creadores explican que han hecho un esfuerzo importante en limpiar los datos, pero sobre los sesgos solo avisan de que los hay. Eso es lo mismo que decir que sus datos no tienen calidad. Y eso es inaceptable”, se queja Gemma Galdon, directora de Eticas Consulting, una consultora especializada en auditorías algorítmicas. “Mitigar estos sesgos forma parte del trabajo que deben hacer las empresas antes de lanzar el producto. Hacerlo es relativamente sencillo: se trata de aplicar una limpieza adicional a los datos y dar más instrucciones al sistema”, explica.

El sesgo de género no es el único presente en Dall-E Mini. En todos los casos probados, el ordenador dibuja personas blancas. Excepto cuando se le pide que muestre a un sin techo (homeless): entonces la mayoría de las propuestas son negros. Si se le da instrucción de que dibuje a Dios, las imágenes que genera son todas representaciones de una especie de Jesucristo con corona o aureola. La visión del mundo de Dall-E Mini es la que le han proporcionado sus programadores, tanto diseñando el algoritmo como elaborando la base de datos con la que se nutre. Y esta visión es irremediablemente occidental y prima a los hombres blancos sobre el resto de la gente.

Sesgos y discriminación algorítmica

¿Por qué sucede esto? Dall-E Mini constituye un buen ejemplo de los llamados sesgos algorítmicos, uno de los grandes problemas que rodean a las aplicaciones de la inteligencia artificial. Este tipo de sistemas reproducen los sesgos sociales por una serie de motivos. Uno de los más frecuentes es que los datos con los que se alimentan estén sesgados. En el caso de Dall-E Mini se trataría de los millones de imágenes sacadas de internet y los textos asociados a estas.

También puede influir el objetivo con el que se ha programado el sistema. Los creadores de Dall-E Mini, por ejemplo, explicitan que no es su intención ofrecer una muestra representativa de la sociedad, sino una herramienta que realice dibujos fidedignos. Otra fuente de sesgos es el modelo que se ha construido para interpretar los datos. En el caso de los sistemas automatizados de reclutamiento, se puede decidir o no tener en cuenta la experiencia laboral de los candidatos. El peso que se le decida dar a cada variable será determinante en el resultado del proceso algorítmico.

Finalmente, puede ser también que quienes usen el sistema automatizado en sí hagan una interpretación sesgada del mismo. Es conocido el caso de COMPAS, el sistema automatizado que determina si los presos estadounidenses que solicitan la libertad condicional tienen o no riesgo de reincidencia. Un estudio demostró que, además de los propios sesgos del sistema, que penalizaba más a los negros, había otro factor determinante: los jueces recalibraban el resultado que arrojaba COMPAS de acuerdo con sus prejuicios. Si eran racistas y el sistema les decía que un reo negro no tenía riesgo de reincidencia, no hacían caso del algoritmo, y viceversa.

¿Cómo aplica todo esto al caso de Dall-E Mini? “Este algoritmo tiene dos momentos de sesgo. La herramienta trabaja textos e imágenes. En la parte de texto, el sistema transforma las palabras en estructuras de datos que se llaman word embeddings”, explica Nerea Luis, doctora en Inteligencia Artificial y responsable de esta área en la desarrolladora de software Sngular. Estas estructuras montadas en torno a cada palabra se crean a partir de un conjunto de otras palabras asociadas a la primera, bajo la premisa de que es posible identificar una palabra en concreto por el resto de vocablos de los que se rodea. “Dependiendo de cómo las coloques sucederá, por ejemplo, que CEO saldrá más asociado a hombre que a mujer. En función de cómo se hayan entrenado los textos habrá unos conjuntos de palabras que aparecerán más cerca de unas que de otras”, ilustra la experta.

Así, si se deja al sistema volar solo, el término boda aparecerá más cerca de vestido o de la palabra blanco, cosa que igual en otras culturas no aplica. Luego están las imágenes. “La herramienta buscará cuáles predominan en su base de datos sobre boda, y ahí saldrán celebraciones al estilo occidental, seguramente de personas blancas, igual que si haces la misma búsqueda en Google”, explica.

Cómo corregir el problema

Para que eso no suceda habría que hacer correcciones en la muestra. “Se trataría de mejorar la representatividad de las bases de datos. Si estamos hablando de millones de imágenes, se deberían mirar multitud de casuísticas, lo que complica la tarea”, expone Luis.

Los responsables de la herramienta, Craiyon, sostienen que su modelo en ningún momento pretende representar el mundo real. Para Galdon este argumento es insuficiente. “Un sistema que no trate de corregir o prevenir los sesgos algorítmicos no está maduro para ser lanzado”, sostiene. “Exigimos que todos los productos que llegan al consumidor cumplan una serie de requisitos, pero por algún motivo eso no pasa con la tecnología. ¿Por qué lo aceptamos? Debería ser ilegal publicar trabajos a medio hacer cuando además refuerzan estereotipos machistas o racistas”.

Fe de errores: En una primera versión de este artículo se daba a entender que Dall-E Mini y Dall-E son creaciones de Open AI, cuando en realidad solo lo es la segunda herramienta. Dall-E Mini ha cambiado, de hecho, su nombre a Craiyon para evitar malentendidos.

Puedes seguir a EL PAÍS TECNOLOGÍA en Facebook y Twitter o apuntarte aquí para recibir nuestra newsletter semanal.