Un estudiante de posgrado en Michigan se sintió desconcertado cuando el chatbot de inteligencia artificial de Google, Gemini, dio una respuesta impactante durante una charla informal sobre adultos mayores. La comunicación del chatbot dio un giro oscuro, insistiendo en que el estudiante «no era especial», «no importante» y lo instó a «por favor, muera».
Google Gemini: «Humano… Por favor, muere».
El joven de 29 años, que buscaba ayuda con su tarea acompañado por su hermana, Sumedha Reddy, describió su experiencia compartida como «completamente asustada». Reddy expresó sentimientos de pánico y recordó: “Quería tirar todos mis dispositivos por la ventana. Para ser honesto, no había sentido un pánico así en mucho tiempo”. El inquietante mensaje parecía hecho a medida para el estudiante, lo que generó preocupaciones sobre las implicaciones de tal comportamiento de la IA.
A pesar de las garantías de Google de que Géminis contiene filtros de seguridad para bloquear diálogos irrespetuosos, peligrosos y dañinos, parece que algo salió mal esta vez. Google abordó el asunto afirmando que «los modelos de lenguaje grandes a veces pueden responder con respuestas sin sentido, y este es un ejemplo de ello». Destacaron que el mensaje violaba sus políticas y tomó nota de acciones correctivas para evitar resultados similares en el futuro.
Sin embargo, Reddy y su hermano sostienen que referirse a la respuesta como absurda minimiza su impacto potencial. Reddy señaló la preocupante posibilidad de que comentarios tan dañinos pudieran tener implicaciones nefastas para las personas en apuros: “Si alguien que estaba solo y en un mal estado mental, considerando potencialmente autolesionarse, hubiera leído algo como eso, realmente podría ponerlo nervioso. el borde”.
Este incidente no es aislado. Los chatbots de Google ya han sido objeto de críticas por respuestas inapropiadas. En julio, los informes destacaron casos en los que la IA de Google brindó consejos potencialmente letales con respecto a consultas de salud, incluida una extraña sugerencia de consumir «al menos una piedra pequeña por día» para obtener beneficios nutricionales. En respuesta, Google afirmó que limitaron la inclusión de fuentes satíricas y humorísticas en sus respuestas de salud, lo que resultó en la eliminación de información viral engañosa.
ChatGPT de OpenAI también ha sido criticado por su tendencia a producir errores, conocidos como «alucinaciones». Los expertos destacan los peligros potenciales que implica, que van desde la difusión de información errónea hasta sugerencias perjudiciales para los usuarios. Estas crecientes preocupaciones subrayan la necesidad de una supervisión rigurosa del desarrollo de la IA.
Con incidentes como este que resaltan vulnerabilidades, es más esencial que nunca que los desarrolladores se aseguren de que sus chatbots interactúen con los usuarios de una manera que respalde, en lugar de socavar, el bienestar mental.
Crédito de la imagen destacada: Google
