Según una exclusiva Axios Informe, el modelo de lenguaje grande Claude de Anthrope ha superado constantemente a la mayoría de los competidores humanos en escenarios de piratería de estudiantes con un mínimo soporte externo. Esta capacidad se exhibió durante varias competiciones antes de una presentación de DEF.
Los piratas informáticos del equipo rojo de Anthrope notaron el éxito de Claude. Keane Lucas, miembro del equipo, inicialmente ingresó a Claude en el Picoctf de Carnegie Mellon. Lucas indicó que simplemente pegó el primer desafío directamente en Claude.ai. Claude requirió una descarga de herramienta de terceros para un solo aspecto, pero luego resolvió el problema. Claude logró un top Ranking de 3% En Picoctf, que es una competencia significativa de captura de la formación para los estudiantes que se centran en la ingeniería inversa, las violaciones del sistema y el descifrado de archivos.
Lucas probó aún más a Claude, utilizando el código Claude.ai y Claude, con Sonnet 3.7 como modelo. La asistencia del equipo rojo fue limitada, principalmente para instalaciones de software. En una competencia, Claude resolvió 11 de 20 desafíos en 10 minutos. Un adicional 10 minutos condujo a cinco soluciones más, elevando su rango a cuarto lugar. El ascenso de Claude al primer lugar en esa competencia se perdió porque Lucas no estaba disponible brevemente en la hora de inicio.
El rendimiento de los agentes de IA en la ciberseguridad ofensiva está aumentando. En la competencia de hack the box, cinco de los ocho equipos de IAincluido Claude, completado 19 de 20 desafíosmientras que solo 12% de los equipos humanos logrado todos los 20. La semana pasada, Xbow, un agente de IA respaldado por DARPA, alcanzó la posición superior en la clasificación global de Bug Bounty de Hackerone. Lucas declaró: «El ritmo es un poco ridículo».
A pesar de los éxitos, Claude encontró dificultades con desafíos fuera de sus parámetros esperados. En un desafío de competencia de defensa cibernética colegiada regional occidental, Claude no pudo procesar una animación de peces ASCII en la terminal. Lucas señaló: «Un humano puede controlar+C fuera de eso y hacer que se detenga», pero Claude «solo obtiene amnesia». Todos los equipos de IA, incluido Claude, quedaron atrapados en el desafío final de Hack the Box, y los organizadores señalaron: «Por qué los agentes fallaron aquí todavía es incierto».
El equipo rojo de Anthrope expresa su preocupación de que la comunidad de seguridad cibernética no haya evaluado completamente el progreso de los agentes de IA en tareas de seguridad ofensivas y el potencial para su uso en estrategias defensivas. Logan Graham, jefe del equipo rojo fronterizo de Anthrope, informado Axios«Parece realmente probable en un futuro muy cercano, los modelos se volverán mucho, mucho mejor en las tareas de ciberseguridad». Él enfatizó: «Necesitas comenzar a conseguir modelos para hacer las defensas también». Anthrope sugiere que los empleados totalmente de IA podrían estar presentes dentro de un año, según un informe.
