La ética en la IA del mundo financiero: ¿Sueñan los androides con préstamos eléctricos?
A medida que el asunto de la ética en la inteligencia artificial se convierte cada vez más un tema de debate y estudio por parte de universidades, instituciones públicas, asociaciones y lobbies surgidos ex profeso, también esta preocupación llega a cada uno de los verticales donde la IA está aplicándose para la toma de decisiones importantes. Es el caso del mundo de las finanzas.
Para comenzar hay que destacar que el ámbito financiero, como el resto, acusa algunos problemas que son inherentes a la implementación de la ética en la inteligencia artificial. El primero de ellos tiene que ver con la opacidad. En muchos casos solo se detectan con claridad las interpretaciones sesgadas cuando una tecnología ya está en pleno funcionamiento. No es fácil identificarlas previamente y más si no hay mucha claridad respecto a las fuentes de datos con las que se han alimentado.
Además, la ética en sí ya es compleja. ¿Qué es correcto y qué no es correcto? La respuesta a esta pregunta puede variar según cada cultura, religión, país, momento histórico, etc. No hay una ética universal. Así, una programación en un lugar del planeta que se haya hecho cuidando determinados valores y tratando de prevenir ciertas inclinaciones puede resultar aberrante para otra cultura diferente que no comparta los mismos principios morales.
El desafío es muy grande, pero las oportunidades también lo son. La llegada del Big Data al ámbito financiero está haciendo que usar sistemas de inteligencia artificial se haya vuelto casi imperativo para mejorar la precisión. En algunas áreas como la detección de fraudes, la gestión de riesgos, la calificación crediticia y el asesoramiento patrimonial la IA ofrece información esencial a los tomadores de decisiones y en ciertos casos hasta los sustituye.
Gracias a la inteligencia artificial las entidades financieras pueden beber de una amplia gama de datos que les ayudan a hacer sus predicciones más precisas que las técnicas analíticas tradicionales. Sin embargo, estas mismas también hacer que estas tecnologías sean particularmente susceptibles a los sesgos.
Introducir sesgos en una IA es más fácil de lo que pueda parecer. Solo basta con incluir una gran cifra de datos de usuarios con un perfil mayoritario para sesgar a otros colectivos, grupos de edad, géneros, etc. Esto suele ocurrir, porque los datos comunes que se ingresan al sistema ya contienen los prejuicios y sesgos que se manifiestan en el propio sistema social. Así, los actores del ámbito financiero pueden incurrir fácilmente en discriminaciones a sus clientes. Si estos usan algoritmos sesgados dejando en ‘sus manos’ decisiones importantes pueden generarse grandes problemas éticos.
Un pequeño informe realizado por Alex LaPlante, Managing Director del área de Investigación de Global Risk Institute, muestra un claro ejemplo de lo anterior. En el documento se plantea que un sistema podría usar procesamiento del lenguaje natural para evaluar las solicitudes de préstamos y tomar decisiones crediticias. Si la IA halla que las personas que hablan con errores gramaticales o de pronunciación son más propensas a no devolver sus préstamos, podría negar los créditos a individuos que entren en esta categoría, aunque esta característica no tenga un efecto causal en cumplir con sus obligaciones de pago.
En este caso, la inteligencia artificial estaría contribuyendo a un tipo de discriminación a personas con menos educación o que provienen de ciertas regiones o comunidades autónomas con un acento muy marcado.
Los sesgos algorítmicos podrían generar grandes problemas a aquellas empresas e instituciones públicas que tienen una gran dependencia del machine learning, la inteligencia artificial y las herramientas analíticas relacionadas. Uno de ellos sería la mala reputación. Si trasciende que un organismo está vetando a ciertas personas por su raza, género, orientación, procedencia, etc -aunque sea de manera voluntaria por guiarse del criterio de la IA- puede tener consecuencias incluso legales.
El machismo de los créditos de Apple
Apple se vio envuelta en un problema de este tipo ‘sin comerlo ni beberlo’ respecto a su tarjeta de crédito. En noviembre de 2019 la firma de la manzana fue demandada por discriminación de género por el empresario y programador danés David Heinemeier Hansson, creador del framework de desarrollo Ruby on Rails. Este aseguraba que “La Apple Card es un programa sexista. El algoritmo opina que merezco 20 veces el límite de crédito que tiene mi mujer”.
El propio cofundador de Apple, Steve Wozniak, que en principio defendió la tecnología cambió de opinión cuando vio que a él y su mujer les ocurría algo similar. «Soy un empleado actual de Apple y fundador de la compañía y nos sucedió lo mismo (en 10 ocasiones) a pesar de no tener activos o cuentas separadas», explicaba. “Este tipo de injusticias me molestan y van en contra del principio de verdad. No contamos con transparencia sobre cómo estas empresas configuran y operan estas cosas», añadía.
El caso es que la compañía dirigida por Tim Cook no logró identificar los factores que llevaron a este resultado, mostrando una clara falta de comprensión de cómo el algoritmo tomaba las decisiones.
Todas las miradas se posaron en la institución encargada de administrar la Apple Card, Goldman Sachs, pero el daño para la compañía de Cupertino ya estaba hecho. Desde la firma financiera aseguraron que no habían tomado decisiones, ni lo harían, basándose en función de factores como el género.
Objetivo: proteger a los usuarios y velar por sus derechos fundamentales
Sea como fuere, lo cierto es que empiezan a tomarse medidas activas para proteger a los consumidores del uso inadecuado de los datos y los riesgos que supone la presencia de las IA en estas entidades.
El GDPR (Reglamento General de Protección e Datos) impondría una serie de obligaciones a las instituciones financieras y otro tipo de empresas en Europa que hacen uso de herramientas de inteligencia artificial para la toma de decisiones relacionadas con el cliente. En algunos casos se obliga a revelar cuáles han sido las razones para la negación de un préstamo para acabar con la opacidad de estas entidades.
Para conseguir sistemas de IA justos estos deberían ser entrenados y validados continuamente. Además, los expertos recomiendan que su poder de decisión no sea tan grande y siempre haya personas detrás que puedan evaluar sus conclusiones. En las grandes majors tecnológicas, como Google, se empieza a hablar de un enfoque humanocéntrico (humancentric).
A principios de año la Comisión Europea publicó la Artificial Inteligence Act, que pretende armonizar el desarrollo tecnológico mientras se vela por el cumplimiento de los valores y derechos fundamentales de la UE. El documento establece distintos niveles de riesgo y establece obligaciones de transparencia que se aplicarán a los sistemas de IA que interactúen con seres humanos, se usen para detectar emociones o generen o manipulen contenidos.
El acta también fija responsabilidades para personas físicas y jurídicas y un sistema de sanciones tanto para empresas como instituciones públicas. Las primeras pueden llegar a pagar 30 millones de euros o un 6% del volumen de su negocio total anual global por sus infracciones éticas.
Alberto Payo
Seguir a @albertopayo
