Abierto AI liberado un informe de un martes reciente que detalla la interrupción de más de 40 redes maliciosas que violaban sus políticas de uso, como resultado del monitoreo de las conversaciones de ChatGPT con herramientas automatizadas y revisores humanos para evitar el uso indebido del sistema. Si bien los usuarios de chatbots de IA, incluido ChatGPT, pueden habilitar configuraciones de privacidad para evitar que sus conversaciones se utilicen para entrenar futuros modelos de IA, esto no excluye todo el monitoreo. Empresas de inteligencia artificial como OpenAI examinan los chats para mantener la seguridad del usuario y la integridad de la plataforma. Este proceso implica el despliegue de sistemas automatizados y el uso de revisores humanos. El objetivo declarado es evitar el uso indebido de ChatGPT para actividades que podrían causar daño, como la creación de malware o el desarrollo de herramientas de vigilancia masiva y otras amenazas a la seguridad. Los usuarios tienen la opción de ajustar las configuraciones de privacidad para evitar que los datos personales o relacionados con el trabajo sean absorbidos por el conjunto de datos utilizado para entrenar versiones posteriores de IA. El informe de la compañía detalla la interrupción y los informes de más de 40 redes que violan sus políticas de uso. Los actores maliciosos identificados como intentos de hacer un uso indebido de ChatGPT incluyeron una variedad de entidades. OpenAI los categorizó como «regímenes autoritarios para controlar poblaciones o coaccionar a otros estados, así como abusos como estafas, actividad cibernética maliciosa y operaciones de influencia encubiertas». Los hallazgos de OpenAI indican que estos actores de amenazas están utilizando principalmente inteligencia artificial para acelerar y perfeccionar las tácticas existentes. La compañía señaló que estos actores están utilizando la IA para mejorar «los viejos manuales para moverse más rápido», pero no necesariamente están adquiriendo capacidades fundamentalmente nuevas directamente del uso de ChatGPT. Además de contrarrestar a los actores criminales y estatales maliciosos, OpenAI también monitorea las conversaciones en busca de indicios de autolesión para ayudar a los usuarios que puedan estar en peligro. Este enfoque en la seguridad del usuario individual se ha descrito como una prioridad clave, un énfasis que se intensificó luego de los informes de la muerte por suicidio de un adolescente, que se había relacionado con interacciones con ChatGPT. En relación con este enfoque de seguridad, OpenAI también ha introducido controles parentales para el servicio ChatGPT en las últimas semanas. El informe de OpenAI no ofrece una explicación detallada de los mecanismos específicos involucrados en señalar posibles abusos. La empresa reconoció la existencia de una zona gris, donde determinadas actividades podrían interpretarse como benignas o maliciosas según el contexto. Ejemplos de tales actividades ambiguas incluyen «indicaciones y generaciones que podrían, dependiendo de su contexto, indicar actividades inocuas o abuso, como traducir textos, modificar código o crear un sitio web». Para navegar esta complejidad, la compañía afirmó que emplea un «enfoque matizado e informado que se centra en patrones de comportamiento de los actores de amenazas en lugar de interacciones de modelos aislados». Este método está diseñado para identificar amenazas genuinas sin interrumpir el uso legítimo de una base de usuarios más amplia. Reportando desde Gizmodo proporcionó ejemplos específicos de amenazas de alto nivel que OpenAI identificó e interrumpió. Uno de esos casos involucró a una red de crimen organizado, que se cree que opera desde Camboya, que intentó utilizar ChatGPT para optimizar sus operaciones ilícitas. Otro caso involucró una operación de influencia política rusa que utilizó la IA para generar indicaciones destinadas a ser utilizadas con modelos de IA de generación de video de terceros. OpenAI también detuvo cuentas asociadas con el gobierno chino que buscaban ayuda para diseñar sistemas para monitorear conversaciones en plataformas de redes sociales. Más detalles sobre las actividades interrumpidas fueron proporcionados por Reuters. Según su informe, OpenAI prohibió un conjunto de cuentas en idioma chino que buscaban ayuda con campañas de phishing y malware. Estas cuentas también buscaron ayuda con automatizaciones que pudieran ejecutarse mediante DeepSeek, otra herramienta de inteligencia artificial. Por otra parte, también se detuvieron las cuentas vinculadas a grupos criminales rusos que intentaban desarrollar malware con la ayuda de ChatGPT. En una acción similar, se prohibió el acceso del servicio a los usuarios de habla coreana que utilizaban la plataforma para facilitar campañas de phishing. El informe de octubre de OpenAI se centró exclusivamente en actividades maliciosas y operaciones encubiertas, y no incluyó datos ni detalles sobre conversaciones sobre autolesiones. Sin embargo, la empresa ha hecho anuncios por separado relacionados con este tema. En una declaración reciente en la plataforma de redes sociales X, OpenAI dijo que había actualizado un modelo llamado GPT-5 Instant para «reconocer y apoyar mejor a las personas en momentos de angustia». La compañía explicó que las partes sensibles de las conversaciones ahora se dirigen a este modelo especializado, que está diseñado para brindar respuestas más útiles. ChatGPT ahora también informará a los usuarios sobre qué modelo específico se está utilizando durante su conversación. https://twitter.com/OpenAI/status/1974234951928459450 Esta actualización es parte de una iniciativa más amplia para mejorar la seguridad del usuario. A finales de agosto, OpenAI anunció que ChatGPT había sido entrenado para no responder directamente a mensajes que mencionen intenciones de autolesión. En lugar de satisfacer esas solicitudes, la IA está programada para responder con empatía y dirigir a los usuarios hacia ayuda profesional, proporcionando información para servicios de prevención del suicidio y líneas directas de crisis. Para situaciones en las que la IA detecta un riesgo potencial de daño físico a otras personas, se activa un protocolo diferente. Estas conversaciones se dirigen a sistemas especializados que pueden implicar una revisión humana y pueden conducir a una escalada con las autoridades policiales si se considera necesario.
