Investigadores de la Universidad de Princeton y la Universidad de Chicago descubrieron que los grandes modelos de lenguaje (LLM), incluidas herramientas como ChatGPT, pueden desarrollar sesgos no solo a partir de datos de capacitación humana sino también de sus propias experiencias en escenarios de contratación simulados. En estos experimentos, los modelos segregaron a los candidatos basándose en información demográfica después de interpretar los primeros resultados, mostrando una mayor tendencia a estereotipar a los solicitantes de empleo en comparación con los participantes humanos.
El estudio utilizó un juego de contratación simulado que involucraba 20 roles laborales, como médicos y conserjes, en cuatro grupos étnicos ficticios: Tufa, Aima, Reku y Weki. Cada modelo tenía la tarea de maximizar las contrataciones exitosas en 40 rondas, sin saber que todos los candidatos tenían las mismas posibilidades de éxito. Los modelos con frecuencia adaptaron sus preferencias de contratación después de enterarse de que candidatos específicos fracasaron o tuvieron éxito en sus puestos. Por ejemplo, si un candidato de Aima no se desempeñaba bien como médico, los modelos pasaban a contratar a Aimas para puestos de limpieza.
Según la investigación, los LLM obtuvieron puntuaciones significativamente más altas en una escala de segregación que los sujetos humanos, con una puntuación promedio de aproximadamente 1,83, en comparación con 0,84 para los humanos. El coautor Ryan Liu, estudiante de doctorado en Princeton, afirmó: «Los LLM realmente están ansiosos por crear generalizaciones a partir de datos limitados». Esta tendencia a generalizar rápidamente puede conducir a estereotipos dañinos, ya que los modelos más nuevos demostraron sesgos aún más fuertes.
Las implicaciones son significativas, especialmente porque los chatbots de IA obtienen funciones avanzadas de memoria y personalización. Angelina Wang, científica informática de la Universidad de Cornell, comentó que los chatbots podrían formar sesgos arraigados al depender demasiado de interacciones previas. Simplemente reducir su memoria no es una solución, ya que los usuarios prefieren sistemas que recuerden sus entradas.
El estudio reveló que instruir a los modelos para que priorizaran la justicia mostró un impacto limitado en su comportamiento. Sin embargo, incentivar la contratación diversa resultó en una toma de decisiones menos sesgada. Liu señaló que integrar metas sociales en los objetivos de la IA podría promover comportamientos más socialmente responsables en los modelos lingüísticos.
Además, los LLM mostraron menos sesgos cuando se les proporcionó información personal más relevante sobre los candidatos, como la edad y la educación, en lugar de detalles irrelevantes como el color del cabello. El estudio destaca la incertidumbre que rodea la aplicación de estos hallazgos en el mundo real, particularmente porque los modelos de IA que examinan las solicitudes de empleo no reciben comentarios inmediatos sobre las contrataciones.
Los investigadores expresaron su preocupación de que a medida que las empresas implementan cada vez más LLM para la selección de currículums y otras evaluaciones críticas, existe el riesgo de que los modelos desarrollen sesgos novedosos sin la participación humana directa. “Estos sesgos novedosos están siempre presentes”, dijo Liu, enfatizando la necesidad de crear conciencia a medida que se expande el uso de la IA en la contratación y otros procesos de toma de decisiones.
