Según un estudio realizado por Michael Walters (Gaia Lab, Nuremberg, Alemania), Rafael Kaufmann (Primordia Co., Cascais, Portugal), Justice SEFAS (Universidad de Columbia Británica, BC, Canadá) y Thomas Kopinski (Gaia Lab, Fachhochschule Sudwestfalen, Meschede, Alemania), un nuevo enfoque inspirado en la física para la seguridad de la IA podría hacer que los sistemas de múltiples agentes, como vehículos autónomos, significativamente más seguros.
Su papel «Métricas de riesgo de energía libre para IA sistémicamente segura: estudio de múltiples agentes de control«, Presenta un nuevo método de medición de riesgo que mejora la toma de decisiones en los sistemas de IA mediante la predicción de riesgos con anticipación y tomando medidas preventivas.
¿Cuál es el principio de energía libre (FEP) y por qué importa?
En el corazón de su investigación está el Principio de energía libre (FEP)un concepto desarrollado originalmente en física. En términos simples, FEP ayuda a explicar cómo el equilibrio de los sistemas precisión (energía) y Simplicidad (entropía) Al hacer predicciones.
Piense en ello: un sistema de IA que intenta navegar por el mundo debe lograr un equilibrio entre recopilar información detallada y actuar de manera eficiente. Si el sistema es demasiado complejo, se vuelve difícil de administrar; Si es demasiado simple, puede pasar por alto riesgos críticos. Los autores usan este principio para crear un nueva métrica de riesgo Eso evita la necesidad de grandes cantidades de datos o modelos demasiado complicados, lo que hace que la IA see seguridad Más práctico y transparente.
Ai está aprendiendo a conducir como un humano, mirándote entrar en pánico
La exposición acumulada al riesgo (CRE) es una forma más inteligente de medir el riesgo
Los investigadores proponen un nuevo sistema de medición de riesgo llamado Exposición al riesgo acumulativo (CRE).
¿Cómo es CRE diferente?
- A diferencia de los modelos de riesgo tradicionalesque dependen de modelos mundiales extensos, CRE permite a las partes interesadas definir lo que significa «seguro» al especificar los resultados preferidos.
- Esto hace toma de decisiones transparente y flexiblea medida que el sistema se adapta a diferentes entornos y necesidades.
- En lugar de confiar en Datos de sensor excesivosCRE estima el riesgo a través de simulaciones predictivas en cuadros de tiempo cortos.
Cre proporciona un más eficiente y adaptable forma de evaluar el riesgo en los sistemas impulsados por la IA, reduciendo la dependencia de los cálculos intensivos en recursos.
Guardianes: IA que interviene antes de que las cosas salgan mal
Para aplicar la métrica CRE en escenarios del mundo real, los investigadores introducen guardianes—Modules que monitorean las decisiones de IA e intervienen cuando sea necesario.
¿Cómo funcionan los guardianes?
- En el caso de vehículos autónomos, Los guardianes simulan constantemente posibles escenarios futuros para determinar el riesgo.
- Si detectan un resultado inseguro, anular el modo de conducción actual del vehículo y cambiarlo a un comportamiento más seguro.
- Esto permite que los sistemas de IA anticipar peligros antes de que ocurran en lugar de reaccionar después del hecho.
Simulando carreteras más seguras con vehículos autónomos
El estudio probó este modelo en un entorno de conducción simulado. Los investigadores dividieron vehículos en dos grupos:
- «Egos» – Vehículos monitoreados y controlados por guardianes.
- «Alters» -Vehículos de fondo con comportamiento fijo de conducción preestablecida.
En esto simulación de carreteraa algunos vehículos de ego se les permitió ser controlado por guardianes, mientras que otros no.
Hallazgos clave:
- Incluso cuando solo un pequeño número de vehículos estaba bajo control de Gatekeeper, La seguridad vial general mejoró.
- Menos colisiones ocurrió, mostrando que la intervención proactiva marcó una diferencia medible.
- Vehículos mantenidos altas velocidades cuando seguido pero cambió a una conducción cautelosa cuando los niveles de riesgo aumentaron.
Los resultados sugieren que incluso adopción parcial de la IA controlada por Gatekeeper podría conducir a condiciones de tráfico más seguras sin comprometer la eficiencia. Mientras que el estudio se centró en vehículos autónomos, el CRE y el modelo Gatekeeper podrían aplicarse a muchos otros campos impulsados por la IA.
Las aplicaciones potenciales incluyen:
- Robótica: Asegurar que los robots con IA funcionen de manera segura junto a los humanos.
- Sistemas de comercio financiero: Predecir movimientos de mercado de alto riesgo y estrategias de ajuste.
- Automatización industrial: Evitar que la maquinaria controlada por IA tome decisiones inseguras.
Crédito de imagen destacado: Kerem Gülen/MidJourney
