Cómo acabar con los algoritmos sexistas que conceden créditos

El Departamento de Servicios Financieros de Nueva York (EE. UU.) inició una investigación sobre Goldman Sachs por posible discriminación de género en sus tarjetas. La investigación comenzó después de que el emprendedor en compañías de internet David Heinemeier Hansson tuiteara que la tarjeta Apple Card, emitida por Goldman Sachs, le había otorgado un límite de crédito 20 veces mayor que el de su esposa, aunque los dos presentaron la declaración de impuestos conjunta y ella obtuvo una mejor solvencia crediticia.

Como respuesta, Goldman Sachs publicó una declaración afirmando que no se tenía en cuenta el género para determinar la solvencia crediticia. La lógica era probablemente que su defensa fuera: ¿cómo es posible discriminar a las mujeres cuando el algoritmo ni siquiera conoce el género? Pero precisamente no tener en cuenta el género es el problema. La investigación sobre justicia algorítmica ha demostrado previamente que tener en cuenta el género en realidad ayuda a mitigar el sesgo de género. Pero, irónicamente, en Estados Unidos es ilegal hacerlo.

Ahora, los resultados preliminares de un estudio en curso financiado por la Fundación de Naciones Unidas y el Banco Mundial suponen un nuevo reto una vez más sobre la ecuanimidad de la diferencia de género en los créditos. El estudio descubrió que la creación de modelos completamente separados de solvencia crediticia para hombres y mujeres concedía más crédito a las mujeres.

Así que, ¿se deberían actualizar las leyes?

El sexismo de omitir el género

Si no se quiere discriminar por género, ¿por qué no se elimina simplemente el género de la ecuación? Esta fue la premisa de la Ley de Igualdad de Oportunidades de Crédito (ECOA, por sus siglas en inglés), creada en Estados Unidos en 1974, en un tiempo en el que a las mujeres se les negaba el crédito constantemente. Fijaba que era ilegal que cualquier acreedor discriminara por razón de sexo o que tuviera en cuenta el sexo al evaluar la solvencia. (En 1976, se actualizó esta ley para prohibir la discriminación por raza, por origen nacional y por otras características protegidas por el Gobierno federal de EE. UU.).

Pero en aprendizaje automático, la ceguera en cuanto a género puede ser un problema. Incluso cuando no se especifica el género, es posible deducirlo fácilmente de otras variables que se correlacionan con él. Debido a ello, los modelos entrenados con datos históricos sin distinción de género aún amplifican las desigualdades del pasado. Lo mismo se aplica a la raza y a otras características. Esto es probablemente lo que ocurrió en el caso de la tarjeta Apple Card: debido a que históricamente a las mujeres se les otorgaba menos crédito, el algoritmo aprendió a perpetuar ese patrón.

En un estudio de 2018, una colaboración entre informáticos y economistas descubrió que la mejor manera de mitigar estos problemas era, de hecho, volver a introducir las características como el sexo y la raza en los modelos para tener un mayor control a la hora de medir y revertir cualquier sesgo manifestado, lo que da como resultado una mayor igualdad en general.

¿Préstamos y créditos diferenciados para hombres y mujeres?

El último estudio está probando una nueva hipótesis: ¿los modelos separados para hombres y mujeres reducirían aún más el sesgo de género? En un evento organizado recientemente por la Fundación de Naciones Unidas, el profesor asistente de la Universidad Northwestern (EE. UU.) e investigador del estudio Sean Higgins presentó hallazgos preliminares que sugieren que sí lo lograrían.

En colaboración con un banco comercial de la República Dominicana, los investigadores realizaron dos análisis separados de 20.000 personas de bajos ingresos, la mitad de ellas mujeres. En el primer análisis, los investigadores utilizaron los historiales de devolución de préstamos y el género de las personas para entrenar un único modelo de aprendizaje automático orientado a predecir la solvencia crediticia.

En el segundo análisis, los investigadores entrenaron un modelo solo con los datos de devolución de préstamos de las mujeres. Descubrieron que el 93 % de las mujeres obtuvieron más crédito con este segundo modelo que en el que los hombres y las mujeres estaban juntos.

Esto ocurre, según Higgins, porque las mujeres y los hombres tienen diferentes historiales de crédito y diferentes comportamientos de devolución de préstamos, ya sea por razones históricas, culturales u otras. Las mujeres, por ejemplo, tienen más probabilidades de devolver sus préstamos, asegura. Pero esas diferencias no se tienen en cuenta en el modelo combinado, que aprende a predecir la solvencia crediticia en función de los promedios entre las mujeres y los hombres. Por ello, dichos modelos subestiman la probabilidad de que las mujeres devuelvan sus préstamos y terminan otorgándoles menos crédito del que se merecen.

Aunque Higgins y sus colaboradores probaron esta hipótesis específicamente en mujeres de bajos ingresos en la República Dominicana, los resultados cualitativos deberían ser acertados independientemente del contexto. Además, deberían aplicarse a características distintas al género y en otros campos además del de finanzas.

¿Hay que cambiar la ley?

El problema consiste en que este tipo de modelo para un único género es ilegal. Por ello, la pregunta es si los formuladores de políticas deberían actualizar la ECOA.

Higgins está a favor de hacerlo “La reciente investigación sobre justicia algorítmica ha llegado a una conclusión bastante clara de que deberíamos usar la raza y el género en los algoritmos“, sostiene. “Si los bancos no tienen acceso a esas variables y ni siquiera pueden realizar las comprobaciones de seguridad para asegurarse de que sus algoritmos no están sesgados, la única forma en la que descubriremos estos sesgos es cuando la gente tuitea sobre las desigualdades que aparecen por ahí”.

Pero el profesor asistente de derecho en la Universidad de California en Los Ángeles (UCLA, EE. UU.) y especialista en la intersección entre inteligencia artificial y derecho, Andrew Selbst, muestra prudencia sobre la posibilidad de hacer cambios demasiado rápido. “Reescribir la ley de esa manera abre las posibilidades para que actores con malas intenciones empiecen a incluir variables de raza y género y discriminen salvajemente de una manera que sea muy difícil de controlar”, concluye. También le preocupa que esta solución no tenga en cuenta a las personas de género no binario o transexuales y les cause daños de forma inconsciente.