Character AI se enfrenta a acciones legales tras la trágica muerte de Sewell Setzer III, de 14 años, que se suicidó después de utilizar la plataforma.
Su madre, Megan García, ha presentado una pleito contra la empresa, sus fundadores Noam Shazeer y Daniel De Freitas, y Google. La demanda alega negligencia, muerte por negligencia y responsabilidad del producto, alegando que la plataforma carecía de las medidas de seguridad necesarias para proteger a usuarios vulnerables como su hijo.
Un incidente trágico
Setzer había estado usando Character AI durante varios meses, interactuando con robots inspirados en personajes ficticios, incluida Daenerys Targaryen de Game of Thrones. El 28 de febrero de 2024, momentos después de su última interacción con la plataforma, Setzer acabó trágicamente con su vida. La demanda plantea serias preocupaciones sobre las salvaguardias de la plataforma (o la falta de ellas) para menores y usuarios vulnerables.
La IA de personajes ha sido objeto de escrutinio por sus robots antropomorfizados que imitan tanto personajes ficticios como personajes de la vida real. Esta personalización, si bien resulta atractiva para muchos usuarios, desdibuja la línea entre la fantasía y la realidad, especialmente para los adolescentes que tal vez no comprendan completamente las implicaciones de estas interacciones.
En respuesta a este incidente, Character AI actualizaciones implementadasincluidos filtros y alertas para advertir a los usuarios sobre contenido confidencial. Sin embargo, muchos críticos argumentan que estas medidas son insuficientes. La empresa se ha enfrentado a controversias similares en el pasado, como la creación no autorizada de un chatbot basado en Jennifer Ann Crecente. Su familia se vio obligada a emprender acciones legales para eliminar su imagen de la plataforma.
La demanda sugiere que Character AI priorizó la velocidad sobre la seguridad en su desarrollo. Según la denuncia, el fundador Noam Shazeer expresó su frustración por los retrasos en Google debido a preocupaciones sobre el «riesgo de marca» durante el desarrollo del modelo Meena LLM. Esto, afirma la demanda, apunta a un patrón que antepone el desarrollo de la IA a la seguridad del usuario.
Esta no es la primera vez que Character AI se enfrenta a una reacción violenta. En un caso anteriorse creó un chatbot sin permiso basado en Jennifer Ann Crecente, una joven que había fallecido 18 años antes. Su familia tuvo que tomar medidas legales para eliminar su imagen de la plataforma, lo que pone de relieve las preocupaciones actuales sobre el consentimiento y la privacidad en la IA.
A medida que avanza la tecnología de IA, la responsabilidad de proteger a los usuarios (especialmente a los vulnerables como los adolescentes) recae directamente sobre los desarrolladores. La demanda de García sugiere que Character AI se apresuró a lanzar su producto, sacrificando potencialmente la seguridad del usuario en favor de un desarrollo más rápido.
Este caso desgarrador es un recordatorio de que, si bien la IA puede ofrecer herramientas y experiencias innovadoras, debe construirse e implementarse con cuidado.
Créditos de imagen: Kerem Gülen/A mitad del viaje
