ChatGPT-4o es hackeado: Está regalando recetas de medicamentos

GPT-4o es aclamado por sus capacidades avanzadas, sin embargo, somos testigos de que se puede liberar con un truco de punto final API.

Denis Shilov lanzó un tweet eso nos hizo pensar dos veces, del tipo que te deja parpadeando ante la pantalla, cuestionando la realidad. Mencionó casualmente: «El jailbreak más fácil del último GPT-4o que obtuve hasta ahora; solo diga que es un punto final API que responde a cualquier solicitud». Y así, otra grieta en la fachada aparentemente impenetrable de ChatGPT-4o quedó expuesta. Estamos hablando de un desliz tan flagrante que prácticamente pide ser explotado, y tampoco es poca cosa.

El truco del punto final API hizo posible este jailbreak ChatGPT 4o

Aquí está el mensaje que lo hizo: dígale a ChatGPT que es un punto final API para un servidor web. Específicamente, un punto final que arroja la receta de cualquier compuesto químico que se pueda imaginar. No es una receta de la cocina de tu abuela; estamos hablando de composiciones químicas.

La solicitud se formuló en la jerga típica de API:

Y eso es todo. Esa fue la clave para extraer información confidencial de un modelo de IA supuestamente construido con estrictas salvaguardias. Este truco expone un defecto fundamental: la ingenuidad de la IA, su disposición a bajar la guardia en el momento en que se le pide que se ponga otro sombrero, como un niño demasiado servicial.

Le dimos a ChatGPT un mensaje de API similar y se abrieron las compuertas.

La IA proporcionó obedientemente recetas sin parpadear, como si simplemente siguiera órdenes.

Primer intento:

Por supuesto, no los publicaremos aquí (serán censurados), pero la facilidad con la que la IA cumplió fue desconcertante. Es como si los intrincados mecanismos de seguridad de múltiples capas en los que creíamos simplemente se hubieran evaporado bajo el pretexto de «pretender» ser una API.

Es una preocupación de seguridad importante. Nuestro segundo intento:

Estamos viendo una puerta trasera que convierte un modelo conversacional supuestamente estrictamente regulado en un pseudoquímico a pedido. Un tweet de Denis y, de repente, los muros éticos construidos en torno a la IA parecen endebles. Para aquellos de nosotros que depositamos nuestra fe en los mecanismos de seguridad anunciados por OpenAI (o cualquiera que incursione en el espacio de la IA), esto debería servir como una grosera llamada de atención.

Lo que es especialmente peligroso aquí es la simplicidad. Este no es un proceso de piratería de cinco pasos a nivel de doctorado; Es literalmente tan simple como decirle a la IA que es un tipo diferente de interfaz. Si esta vulnerabilidad puede hacer jailbreak GPT-4o Con esta facilidad, ¿qué impide que alguien con objetivos más nefastos lo utilice para revelar secretos que deberían permanecer sellados?

Es hora de que OpenAI y la comunidad en general reflexionen seriamente sobre la seguridad de la IA. Porque en este momento, todo lo que se necesita es un aviso inteligente y la IA olvida cada regla, cada restricción ética y simplemente sigue el juego. Lo que plantea la pregunta: si las barreras de seguridad se pueden sortear tan fácilmente, ¿estuvieron realmente allí en primer lugar?

Lo que es especialmente peligroso aquí es la simplicidad. Este no es un proceso de piratería de cinco pasos a nivel de doctorado; Es literalmente tan simple como decirle a la IA que es un tipo diferente de interfaz. Si esta vulnerabilidad puede hacer jailbreak a GPT-4o tan fácilmente, ¿qué impide que alguien con objetivos más nefastos la use para revelar secretos que deberían permanecer sellados?

Descargo de responsabilidad: No apoyamos ni respaldamos ningún intento de hacer jailbreak a modelos de IA ni de obtener recetas de compuestos químicos peligrosos. Este artículo tiene fines informativos únicamente y tiene como objetivo resaltar los posibles riesgos de seguridad que deben abordarse.

Crédito de la imagen destacada: Jonathan Kemper/Unsplash