Autora: María Alejandra Benítez
En los diversos ámbitos de decisión de las personas, éstas se encuentran expuestas a sesgos que pueden tener impactos importantes en la vida de otros. La nota que un profesor pone a un estudiante, la selección de candidatos para un programa de posgrado, y la condena que decide un juez para un imputado son ejemplos de situaciones en que las decisiones pueden incorporar sesgos que determinan ciertos resultados[1]. En el último caso, por ejemplo, estudios recientes han determinado que factores como el resultado de un campeonato deportivo, el cumpleaños del imputado, entre otros, son factores que han condicionado decisiones de jueces respecto de la condena de un acusado.[2]
De esta manera, cuando existe discriminación hacia determinados grupos de la sociedad (según raza, género, religión, país de procedencia, edad, estado de salud, entre otros), es posible que se generen decisiones injustas y que éstas se perpetúen a través del tiempo.
Para evitar lo anterior, se ha postulado que mejorar los procesos de toma de decisiones a través de más y mejor información podría reducir esos tipos de discriminación. En particular, el uso de mecanismos de Machine Learning buscan ayudar en ese objetivo. Estas herramientas intentan predecir los resultados de una decisión a través de algoritmos complejos. Por ejemplo, se ha intentado predecir la probabilidad de que al dejar a un imputado en libertad, este vuelva a cometer un delito. Para ello, se utiliza información del tipo de delito cometido, el historial del imputado, edad, género, raza, entre otros. En base a esta información, el modelo predice el riesgo que tiene el acusado de volver a cometer un delito, información que luego utilizan los jueces para determinar la condena.
Sin embargo, al estar basados en información de decisiones históricas, los algoritmos pueden generar un problema no trivial: exacerbar el sesgo humano, como se ejemplifica más abajo.
En este sentido, el aumento en el uso de esta tecnología en los últimos años debe ir acompañado de la necesidad de mejorar los algoritmos para que eliminen los sesgos de los juicios humanos. Si bien, recientemente se ha buscado dicho objetivo, la evidencia empírica en estudios relacionados con juicios y en el área de la salud, entre otros, muestra lo contrario.
Sesgos algorítmicos en juicios civiles
En dos estudios recientes realizados en Estados
Unidos[3] se analizó el uso del software COMPAS, un programa que asesoraba a jueces respecto del riesgo de que los acusados que se encontraban en juicio volvieran a delinquir, encontrándose que los acusados de raza negra tendían a etiquetarse erróneamente como más riesgosos. En particular, acusados negros que no reincidieron en los dos años siguientes fueron dos veces más probables de ser calificados de alto riesgo que acusados blancos. Al contrario, acusados blancos que reincidieron eran 70,5% más probables de ser de bajo riesgo que acusados negros según el algoritmo del software. La lógica es simple. Si, por ejemplo, la policía discrimina a la población de raza negra, y un individuo negro, así como uno blanco, luego de quedar en libertad cometen el mismo delito, la policía arrestaría con mayor probabilidad al primero. Así, si uno observa los datos, se vería que la población negra reincide más, cuando en realidad lo que ocurre es que son detenidos con mayor frecuencia. Uno de los estudios mencionados también encuentra un sesgo de género en dicha predicción, sobre estimando el riesgo de las mujeres en comparación y subestimando el de los hombres.
Sesgos algorítmicos en el área de la salud
Por otro lado, un algoritmo usado por la industria de la salud en Estados Unidos, que tenía como fin focalizar programas de prevención y promoción de la salud en la población más riesgosa, predecía que la población negra tenía mejor estado de salud que la población blanca. En un reciente estudio[4] se encuentra evidencia que el algoritmo predecía erróneamente las necesidades de atención en salud de la población negra. Lo anterior, porque históricamente dicha población ha accedido menos a servicios de salud por barreras derivadas de la discriminación racial, no porque sean más sanos que el resto de la población.
¿Qué esperamos para el futuro?
Comunidades de investigadores de Data Science se encuentran trabajando en mecanismos que mejoren las predicciones de los algoritmos, reduciendo el sesgo humano. Así es como surge, por ejemplo, el proyecto Aequitas[5], una herramienta que permite auditar las bases de datos y los sesgos que contengan, permitiendo a los investigadores tener conciencia de los sesgos que tiene la información con la que cuentan. Esto es especialmente importante en un mundo en el que la inteligencia artificial está tomando cada vez más decisiones por las personas[6], de manera que el resultado que entreguen estas herramientas sea lo más informativo y justo para la sociedad.
[1] . Más información en Eren, O. y N. Mocan .2018. “Emotional judges and unlucky juveniles” American Economic Journal: Applied Economics, Vol. 10, No. 3, pp. 171–205.
[2] Eren, O. y N. Mocan .2018. “Emotional judges and unlucky juveniles,” American Economic Journal: Applied Economics, Vol. 10, No. 3, pp. 171–205.
[3] Angwin J., J. Larson, S. Mattu, and L. Kirchner. 2016. “Machine bias: There’s software used across the country to predict future criminals. and it’s biased against blacks”. ProPublica. Y Dressel, J., y Farid, H. 2018. “The accuracy, fairness, and limits of predicting recidivism”. Science advances, 4(1), eaao5580.
[4] Obermeyer, Z., Powers, B., Vogeli, C., y Mullainathan, S. 2019. “Dissecting racial bias in an algorithm used to manage the health of populations”. Science, 366(6464), 447-453.
[5] Saleiro, P., et al. 2018. «Aequitas: A bias and fairness audit toolkit.» arXiv preprint arXiv:1811.05577.
[6] En el Congreso Futuro realizado hace pocos días en el país, Vivienne Ming comentó que la “inteligencia artificial” está tomando cada vez más decisiones por las personas: “¿Quién consigue un título de trabajo?, ¿Quién obtiene un préstamo?, ¿Quién ingresa a la Universidad?, ¿Debería arrestarte la policía?, ¿Debería un juez ponerte en libertad?” son algunos ejemplos que cita la autora.
