Justicia en algoritmos: desafíos éticos y mitigación de sesgos

Los algoritmos no siempre son inocentes

Si estás buscando un nuevo atuendo para usar en una fiesta y visitas el sitio web de una tienda departamental popular, puedes acortar el tiempo de búsqueda haciendo clic en una opción que dice «Talla» para poder ver solo las prendas que están en tu talla. Puede que no te des cuenta, pero estás usando un algoritmo. Los algoritmos están en todas partes y nos ahorran todo tipo de tiempo y energía en nuestras rutinas diarias. ¿Qué podría estar mal en eso? Lo creas o no, hay muchas cosas que pueden salir mal con los algoritmos.

¿Son siempre justos los algoritmos?

Puede parecer ilógico que un algoritmo, que parece una herramienta científica muy objetiva para la toma de decisiones, pueda contener sesgos. Sin embargo, en realidad puede contenerlos. A diferencia de los seres humanos, los algoritmos no pueden emitir juicios que requieran conocimiento y, a veces, los resultados pueden ser desastrosos. Cuando el funcionamiento de un algoritmo depende de datos incompletos o limitados, toma decisiones que a veces están desconectadas de la realidad y reflejan sesgos.

Fuentes de sesgo en los algoritmos

Los algoritmos pueden estar sesgados por quienes los diseñan y programan. Si un algoritmo se basa en datos que no representan con precisión a un grupo étnico en particular, por ejemplo, su funcionamiento y los resultados que genera estarán sesgados. Cuando un algoritmo se construye dentro de un sistema que históricamente ha dejado a ciertos grupos, como una raza o un género, en desventaja, este sesgo sistémico también se reflejará a menudo en el funcionamiento del algoritmo.

Ejemplos de sesgo en algoritmos y sus efectos

Dado que los algoritmos se utilizan con tanta frecuencia para tomar decisiones importantes que afectan a grupos de personas en muchos contextos diferentes, los sesgos presentes en un algoritmo pueden generar impactos muy negativos. Esto es especialmente cierto para los grupos marginados o subrepresentados. Estos grupos suelen entrar en contacto con sistemas como la justicia penal o la vivienda urbana con mayor frecuencia que otros grupos, por lo que los sesgos presentes en un algoritmo utilizado en estos sistemas los afectan sustancialmente.

Algoritmos de justicia penal

El sistema de justicia penal de Estados Unidos utiliza algoritmos en diversos ámbitos. Por ejemplo, como se cita en un informe de ProPublica, una fuente de noticias independiente y sin fines de lucro, los jueces utilizan el algoritmo COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) para predecir si un acusado debe ser o no puesto en libertad bajo fianza. Este algoritmo asigna una puntuación de riesgo al acusado en función de los datos de justicia penal recopilados a lo largo del tiempo. Sin embargo, el algoritmo COMPAS no tiene en cuenta factores como el sesgo racial de la policía, que conduce a más arrestos de personas de color, y otros factores similares. Como resultado, este sesgo sistémico está integrado en las métricas del algoritmo y puede afectar a la puntuación de riesgo y a la decisión sobre la libertad bajo fianza.

Contratación y empleo

Los algoritmos se utilizan para filtrar las miles de solicitudes de empleo online que los empleadores ven todos los días. Esto puede ser un problema cuando el sesgo sistémico de quienes desarrollan los algoritmos se convierte en parte de ellos. Un ejemplo bien conocido es el uso por parte de Amazon de un algoritmo cuyos datos de entrada provenían de la observación de patrones en los currículos de los solicitantes durante diez años. La mayoría de los solicitantes eran hombres, por lo que los patrones de palabras extraídos de los datos que el algoritmo debía reconocer estaban relacionados con los solicitantes masculinos y seguían estereotipos de género. Una vez que se descubrió el sesgo de género en el algoritmo, se dejó de utilizar.

Alojamiento

En el sector inmobiliario se utilizan ampliamente algoritmos basados ​​en inteligencia artificial y aprendizaje automático. El uso de un algoritmo permite evaluar a los posibles inquilinos o solicitantes de préstamos hipotecarios de forma más rápida, económica y eficiente. Sin embargo, los datos muestran que esto no ha reducido la cantidad de sesgos en el sector. El problema es que los sesgos sistémicos que ya existen en el sector se han incorporado a estos algoritmos. Investigadores de la Universidad de California en Berkeley analizaron alrededor de 7 millones de hipotecas a 30 años y descubrieron que a los solicitantes negros y latinos se les cobraban intereses y comisiones de refinanciación más altas en comparación con los solicitantes blancos. Los prestamistas también «rechazaron un total de 1,3 millones de solicitantes de color solventes entre 2008 y 2015».

Higiene algorítmica

La higiene algorítmica es la práctica de identificar las causas del sesgo algorítmico y utilizar los métodos más conocidos para mitigarlo. Aunque el uso de algoritmos se ha vuelto primordial en muchos procesos de toma de decisiones, se necesita la perspicacia humana para evitar que el sesgo se introduzca en los algoritmos desde el principio. El Centro de Inteligencia Artificial Aplicada de la Escuela Booth de la Universidad de Chicago ha creado un conjunto de recomendaciones para mitigar el sesgo algorítmico en el sistema de atención médica. Este conjunto incluye:

• Algoritmos de inventario: se deben incluir en la lista todos los algoritmos que se utilizan en una organización. Se debe designar un administrador para que mantenga la lista actualizada y que colabore con todas las partes interesadas relevantes.
• Algoritmos de detección de sesgos: las entradas y salidas del algoritmo deben evaluarse de forma rutinaria para detectar sesgos. El resultado objetivo real debe compararse con el resultado objetivo ideal para determinar si existe una discrepancia.
• Reentrenar algoritmos sesgados: si se encuentra un sesgo en un algoritmo en particular, se debe solucionar el problema para volver a entrenarlo con más datos. Existe un concepto de desviación del modelo, que se refiere a un modelo como un algoritmo cuyo rendimiento se degrada con el tiempo debido a cambios que violan los supuestos del algoritmo. Luego, se deben reevaluar estos supuestos para comprobar su precisión y relevancia y modificarlos cuando sea necesario.
• Adoptar medidas de prevención: una organización que utiliza algoritmos debe crear un equipo de expertos en inteligencia artificial para abordar el problema del sesgo algorítmico como una iniciativa permanente. Ellos serán responsables de establecer protocolos para abordar el sesgo algorítmico.

Resumen de la lección

Un algoritmo es un conjunto de pasos o reglas que se utilizan para resolver un problema o tomar una decisión. Las operaciones de los algoritmos suelen ser recursivas, lo que significa que vuelven a invocar la operación en sí como un paso. Los algoritmos a veces pueden contener sesgos, especialmente cuando dependen de datos de un sistema que contiene sesgos. Algunos ejemplos de sistemas que utilizan algoritmos con sesgos son:

• Justicia penal: El sistema de justicia penal lucha contra el sesgo racial.
• Contratación y empleo: Se encuentran sesgos de género y de otros tipos en la contratación de empleados para diversos tipos de trabajo.
• Vivienda: Las personas de color a menudo pagan más intereses por los préstamos hipotecarios y pueden ser rechazadas con mayor frecuencia.

La higiene algorítmica consiste en identificar las causas del sesgo algorítmico y utilizar métodos para mitigarlo. La desviación del modelo es la degradación de un algoritmo debido a problemas que violan sus supuestos. La higiene algorítmica implica estos pasos:

• Inventariar los algoritmos
• Algoritmos de detección de sesgos
• Reentrenamiento de algoritmos sesgados
• Prevenir sesgos utilizando un equipo de expertos

Abordar el sesgo de los algoritmos es crucial para que los sistemas sirvan al público de una manera que sea constructiva para la sociedad y justa.

Rodrigo Ricardo Editor y fundador