El 8 de agosto de 2025, Roblox introdujo Sentinel, un sistema de inteligencia artificial de origen abierto diseñado para detectar posibles patrones de explotación infantil dentro de los chats en línea, abordando las críticas crecientes y los desafíos legales con respecto a la seguridad de la plataforma.
Roblox, que informa a más de 111 millones de usuarios activos mensuales, indicó que Sentinel ya ha ayudado a identificar cientos de posibles casos de explotación infantil, que posteriormente se informaron a las agencias de aplicación de la ley. Matt Kaufman, director de seguridad de Roblox, detalló cómo las medidas de protección previas de la compañía, como los filtros de blasfemias y el lenguaje abusivo, se limitaron a analizar líneas individuales o secuencias cortas de texto. Kaufman declaró: «Pero cuando estás pensando en cosas relacionadas con el peligro o el arreglo de los niños, los tipos de comportamientos que estás viendo se manifiestan durante un período de tiempo muy largo».
Sentinel está diseñado para identificar patrones de comportamiento dentro de las conversaciones que se desarrollan durante períodos prolongados, en lugar de centrarse en palabras o frases aisladas. El sistema procesa aproximadamente 6 mil millones de mensajes de chat diariamente, analizándolos en instantáneas de un minuto para evaluar el contexto. Para facilitar este análisis, los ingenieros de Roblox desarrollaron dos índices distintos. Un índice comprende ejemplos de interacciones de chat benignas e inofensivas, mientras que el segundo índice contiene mensajes que se han identificado como violaciones de las pautas de seguridad infantil.
Naren Koneru, vicepresidenta de ingeniería de confianza y seguridad en Roblox, explicó que el nuevo contenido se incorpora continuamente en ambos índices para refinar las capacidades de detección del modelo AI. Koneru declaró: «Ese índice mejora a medida que detectamos más actores malos, solo actualizamos continuamente ese índice». Koneru agregó: «Entonces tenemos otra muestra de ¿Qué hace un usuario normal y normal?»
El sistema monitorea las interacciones continuas de un usuario para determinar la trayectoria de su comportamiento, evaluando si se alinea con una conducta segura o indica una progresión hacia actividades riesgosas. Koneru señaló: «No sucede en un mensaje porque solo envía un mensaje, pero sucede debido a que todas las interacciones de sus días conducen a uno de estos dos». Si Sentinel marca a un usuario para un mayor escrutinio, los moderadores humanos realizan una revisión en profundidad, examinando el historial de chat completo del usuario, su lista de amigos y los juegos con los que se han comprometido en la plataforma. Cuando se considera necesario, Roblox intensifica estos casos a las autoridades policiales y al Centro Nacional de Niños Desaparecidos y Explotados.
La introducción de Sentinel ocurre en medio de desafíos legales en curso contra Roblox. Una demanda presentada en Iowa el mes anterior alega que una niña de 13 años fue contactada por un depredador adulto a través de la plataforma Roblox, secuestrada posteriormente y traficada en múltiples estados. La demanda afirma que el diseño de la plataforma facilita la vulnerabilidad para los menores. Roblox mantiene políticas que prohíben la difusión de información personal, imágenes y videos dentro de sus funciones de chat.
La mensajería directa para usuarios menores de 13 años está restringida a menos que se proporcione el consentimiento explícito de los padres. Roblox monitorea las comunicaciones de chat por violaciones de seguridad, una capacidad habilitada por el hecho de que los chats en la plataforma no están encriptados de extremo a extremo. La compañía reconoce que ningún sistema puede garantizar la protección absoluta, pero argumenta que los avances de IA, como Sentinel, mejoran sustancialmente la probabilidad de detección temprana.
