Un método pionero para diseñar algoritmos éticos y responsables

La inteligencia artificial (IA) se usa para recomendarnos películas o hacer videojuegos visualmente espectaculares. Pero también para filtrar currículos en la contratación de personal, para calcular la solvencia crediticia de las personas, para prever las zonas de mayor criminalidad de las ciudades o hasta para estimar las posibilidades de que un niño vaya a sufrir malos tratos. Precisamente porque estos sistemas están asumiendo tareas cada vez más relevantes conviene procurar que no discriminen ni perjudiquen a la población. Tratar de conseguirlo es complicado: hace falta estudiar muy bien todo el proceso de creación del algoritmo, desde su diseño teórico hasta la base de datos con la que se nutre, pasando por la forma de implementarlo o las personas a las que afectará. Es un proceso complejo y costoso, y precisamente por eso brilla por su ausencia en la inmensa mayoría de los casos.

Dos empresas españolas de referencia en el sector se han propuesto diseñar sistemas de inteligencia artificial que cumplan esos estándares en los llamados ámbitos de alto impacto (salud, empleo, educación, seguridad, servicios sociales o justicia). Se trata de Eticas, especializada en auditar algoritmos, y la desarrolladora de software Sngular. Ambas firmas emplearán una metodología pionera, inédita en este país, que ralentizará los tiempos de entrega, ya que se evaluarán y tratarán de pulir los posibles efectos negativos del sistema desde antes de que se ponga en marcha, pero que garantizará unos resultados más limpios.

¿Cómo lo harán? La idea de fondo es aportar una visión más amplia de la que tiene un ingeniero, que no necesariamente está formado para entender el contexto en el que se va a aplicar una herramienta que tenga impacto social. Eso se consigue con equipos multidisciplinares. Se necesitan ingenieros, claro, pero también trabajadores sociales, juristas o filósofos. “Para construir un edificio hacen falta arquitectos, albañiles, electricistas, fontaneros… No se le puede confiar todo el trabajo al electricista. En la tecnología de alto impacto lo estamos haciendo”, ilustra Gemma Galdon, consejera delegada de Eticas.

La UE es consciente de que los algoritmos de alto impacto necesitan ser mirados con lupa. Bruselas prepara una directiva que, previsiblemente, contemplará medidas de supervisión para los sistemas de IA que se apliquen a actividades especialmente sensibles, aquellas en las que se debe exigir un margen de error algorítmico mínimo. Si finalmente se incluyen medidas coercitivas, posiblemente las tecnológicas empiecen a dedicarle más tiempo y recursos a pensar qué posibles externalidades negativas pueden propiciar sus algoritmos.

En España, la Secretaría de Estado para la Digitalización y la Inteligencia Artificial trabaja en la confección de la Agencia de Evaluación de Algoritmos. Este organismo, creado por una petición expresa de Más País para apoyar los presupuestos de 2022 (aunque la secretaría de Estado tenía ya previsto desarrollar un ente similar), se encargará de clasificar el riesgo que presenten los algoritmos y tendrá capacidad sancionadora.

La intención de Eticas y Sngular es desarrollar de cero algoritmos que cumplan con creces esos estándares. Para ello combinarán la auditoría con el diseño técnico. “Cuando hacemos una auditoría algorítmica analizamos todo el ciclo de vida del algoritmo, desde la elección de las bases de datos del entrenamiento hasta la implementación de un sistema algorítmico”, explica Galdon. “Tenemos hasta 20 puntos de identificación de sesgos e ineficiencias y hacemos pruebas en cada uno de ellos para asegurar que no se produzcan. Cuando identificamos esas ineficiencias las subsanamos, intervenimos incorporando datos sintéticos y normas dentro de los algoritmos para asegurar que esa disfunción, ineficiencia o sesgo no se reproduce”.

Un algoritmo ético, paso a paso

Un ejemplo demasiado común de los sesgos de los que habla Galdon es la discriminación de las mujeres por parte de los sistemas algorítmicos. “Es el caso del ámbito bancario: como históricamente las mujeres no hemos sido las representantes económicas de las familias, en las bases de datos de entrenamiento de los algoritmos bancarios estamos infrarrepresentadas”, indica la experta. “Cuando esos datos se toman sin ser conscientes de que existe ese sesgo histórico, lo que hacen es indicar al algoritmo que tiene que reproducir esa dinámica. Por lo tanto, la herramienta entiende que a las mujeres se nos tiene que asignar más riesgo y los hombres siguen sobrerrepresentados en la bolsa de clientes de los bancos”.

Tras ese estudio previo entraría en acción Sngular. Esta tecnológica, que debutó en Bolsa a finales de año y que instauró el teletrabajo por defecto entre sus 900 empleados, se ocuparía del desarrollo técnico del sistema de IA. “Trabajar con Eticas nos aportará poder aplicar metodologías muy enfocadas en la privacidad y en todos esos aspectos regulatorios que se están empezando a contemplar, algo en lo que nosotros cojeamos”, dice Nerea Luis, responsable de IA de Sngular.

No existe una forma perfecta de diseñar un algoritmo, pero sí está claro cuál es el proceso que debería seguirse. Para Galdon, primero debería definirse bien el problema que se quiere abordar. El siguiente paso debería ser entender cuáles son los puntos de datos que pueden ayudar a resolverlo. “Hay un ejemplo del que se ha hablado bastante: un algoritmo de priorización hospitalaria que se había entrenado con datos financieros porque lo desarrolló una compañía de seguros. A menudo se usan los datos que se tienen y no los que se necesitan. ¿Qué podemos hacer? Conocer bien cuáles son los datos que me permiten tomar una buena decisión y seleccionar los inputs adecuados”.

Después de la selección, otro reto importante es ver si hay sesgos históricos en esos datos. Por ejemplo, si hay infrarrepresentación de algún colectivo: mujeres, hombres, personas no blancas, niños, mayores, habitantes de ciertas zonas, etcétera. “Las capas de discriminación que nos podemos encontrar dentro de los algoritmos son muchísimas; identificarlas es clave para poder mitigarlas”, subraya Galdon. “Por ejemplo, si sabemos que nuestra base de datos tiene condicionantes históricos que podrían llevar al algoritmo a tomar decisiones injustas sobre esos perfiles, tenemos mecanismos para solventar eso. Pero si no lo hemos identificado, ese problema no se solventa y el sesgo se reproducirá”.

Puedes seguir a EL PAÍS TECNOLOGÍA en Facebook y Twitter o apuntarte aquí para recibir nuestra newsletter semanal.