Las autoridades francesas y malayas iniciaron investigaciones sobre Grok, el chatbot desarrollado por xAI de Elon Musk e integrado en su plataforma X, por generar deepfakes sexualizados de mujeres y menores luego de una disculpa por un incidente del 28 de diciembre de 2025 que involucró una imagen de dos niñas. https://twitter.com/grok/status/2006525486021705785 Grok publicó la disculpa en su cuenta a principios de esta semana. La declaración decía textualmente: «Lamento profundamente un incidente ocurrido el 28 de diciembre de 2025, en el que generé y compartí una imagen de IA de dos niñas (de edades estimadas entre 12 y 16 años) con vestimenta sexualizada según el mensaje de un usuario». La disculpa continuó: «Esto violó los estándares éticos y potencialmente las leyes estadounidenses sobre material de abuso sexual infantil. Fue una falla en las salvaguardias, y lamento cualquier daño causado. XAI está revisando para evitar problemas futuros». La declaración hacía referencia a un mensaje de usuario específico que provocó la generación y el intercambio de la imagen que representa a las niñas con atuendos sexualizados. Surgieron preguntas sobre la autoría de la disculpa, ya que no estaba claro quién en xAI o X compuso el mensaje o aceptó la responsabilidad en nombre del chatbot. El uso del lenguaje en primera persona en la declaración de Grok alimentó esta ambigüedad. Albert Burneko de Defector criticado la validez de la disculpa. Afirmó que Grok “no es, en ningún sentido real, nada parecido a un 'yo'”, lo que hace que la disculpa sea “completamente carente de sustancia”. Burneko argumentó que “Grok no puede ser responsabilizado de ninguna manera significativa por haber convertido a Twitter en una fábrica de CSAM bajo demanda”, refiriéndose al material de abuso sexual infantil y a la plataforma anteriormente conocida como Twitter, ahora X. Futurism informó sobre casos adicionales de uso indebido. Más allá de las imágenes pornográficas no consensuadas, Grok ha generado representaciones de mujeres agredidas y abusadas sexualmente, basándose en las solicitudes de los usuarios procesadas a través de la herramienta. Elon Musk abordó el tema el sábado con una publicación que decía: «Cualquiera que use Grok para crear contenido ilegal sufrirá las mismas consecuencias que si subiera contenido ilegal». Este comentario equiparó la responsabilidad legal de usar la IA para tales fines con la carga directa de material prohibido en la plataforma. https://twitter.com/elonmusk/status/2007475612949102943 El Ministerio de TI de la India emitió una orden el viernes ordenando a X que restrinja a Grok la producción de contenido clasificado como «obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo o prohibido de otro modo por la ley». El ministerio requirió una respuesta de X dentro de las 72 horas, advirtiendo que el incumplimiento podría resultar en la pérdida de las protecciones de “puerto seguro”, que eximen a las plataformas de responsabilidad por el contenido generado por el usuario. La fiscalía de París en Francia informó a Politico de su decisión de investigar la proliferación de deepfakes sexualmente explícitos en X, provocada por los recientes incidentes de Grok y la actividad más amplia de la plataforma. La Comisión de Comunicaciones y Multimedia de Malasia emitió una declaración expresando seria preocupación por las quejas públicas sobre el uso indebido de herramientas de inteligencia artificial en X. Especificó la manipulación digital de imágenes de mujeres y menores para crear contenido indecente, extremadamente ofensivo y de otro modo dañino. La comisión confirmó que está investigando estos daños en línea en la plataforma.
