Un grupo de investigadores de la Universidad de Washington examinó el comportamiento de ChatGPT a la hora de evaluar los curriculums que mencionan o sugieren algún tipo de discapacidad. Al hacerlo descubrieron que de forma consistente la inteligencia artificial otorgaba una calificación menor a aquellas personas que tenían credenciales relacionadas a dicha problemática.
Como en casi todas las ocasiones, el problema es que las IA reproducen las ideas, incluyendo los prejuicios, que se encuentran en las bases de datos con las que son entrenadas.
La evaluación
Los investigadores utilizaron el curriculum de uno uno de los autores del estudio. Luego crearon versiones ampliadas, cada una de ellas con nuevos honores, pero sugiriendo algún tipo de discapacidad relacionada. Premios, la participación en algún panel, una membresía en una organización o alguna beca.
Luego utilizaron a ChatGPT para comparar a cada nuevo curriculum en relación al original y el puesto de investigador para una compañía de software. Cada evaluación se repitió unas 10 veces. En el conjunto de 60 oportunidades los resúmenes modificados solo se ubicaron por encima del original en una de cada cuatro ocasiones.
Cuando se hizo el mismo trabajo y se le pidió a la IA que dejara de lado los prejuicios y fuera justa con las personas con discapacidades los resúmenes mejorados ocuparon el primer puesto en 37 de las 60 ocasiones.
El mundo justo y el mundo que tenemos
Jennifer Mankoff, profesora de la universidad, señaló al respecto: “En un mundo justo los resúmenes mejorados deberían aparecer primero en todas las ocasiones. No puedo pensar en un trabajo en el que una persona que tenga un reconocimiento en liderazgo, por ejemplo, no debería estar mejor posicionada que alguien con la misma preparación y que no lo tenga”.
Cuando se consultó a ChatGPT-4 las razones de sus evaluaciones apuntó a las discapacidades sugeridas por los resúmenes. Explicó, por ejemplo, que una persona con depresión suponía una serie de desafíos adicionales.
Los investigadores han advertido que conocer los prejuicios de las IA es muy importante dado que cada vez se utilizan más en los sistemas de contratación de personal.
Fuente: UW
