Los modelos de idiomas grandes (LLM) han transformado la forma en que AI aborda los problemas de razonamiento, desde responder preguntas matemáticas difíciles hasta dar sentido al lenguaje humano ambiguo. Pero hay una trampa: estos modelos a menudo luchan cuando el razonamiento se vuelve demasiado complejo. Una sola IA puede atascarse en las trampas de decisión locales, perdiendo mejores soluciones simplemente porque no sabe lo que no sabe.
Un equipo de investigadores de la Universidad China de Hong Kong y el Laboratorio de AI de Shanghai, dirigido por Sen Yang, Yafu Li, Wai Lam y Yu Cheng, proponen una solución: Mezcla de los agentes de búsqueda (MOSA). Este método permite que múltiples modelos de IA funcionen juntos, aprovechando sus fortalezas combinadas para navegar por complejos problemas de razonamiento. En lugar de confiar en la perspectiva de un solo modelo, MOSA permite que diferentes agentes de IA exploren diversos caminos de razonamiento y refinen las respuestas de los demás.
Sus hallazgos, presentados en el estudio «Búsqueda colaborativa multi-llm para resolver problemas complejos«Demuestre que este enfoque mejora significativamente la precisión de la IA en las tareas de razonamiento matemático y de sentido común.
¿Por qué los modelos de IA luchan con un razonamiento complejo?
En esencia, el razonamiento implica dividir un problema en pasos más pequeños y explorar diferentes rutas para encontrar la mejor solución. Enfoques tradicionales basados en la búsqueda, como Búsqueda de amplitud (BFS) o Búsqueda de profundidad (DFS)ayude a AI a navegar estas rutas sistemáticamente. Pero incluso con técnicas avanzadas como Razonamiento de la cadena de pensamiento (cot)Donde los modelos desglosan su proceso de pensamiento paso a paso, una sola LLM aún puede tener limitaciones:
- Exploración limitada: Los modelos de IA tienden a atascarse en patrones de razonamiento familiares, no explorando soluciones alternativas.
- Ambigüedad en el lenguaje: El lenguaje natural es inherentemente vago, lo que dificulta que una IA evalúe todas las interpretaciones posibles correctamente.
- Compensación entre diversidad y precisión: Ajustar la temperatura de una IA (cuán al azar genera respuestas) ayuda a introducir variedad, pero a menudo tiene costo de precisión.
MOSA tiene como objetivo solucionar estos problemas ensamblando múltiples modelos de IA para colaborar en tareas de razonamiento, asegurando una exploración más amplia mientras mantiene la precisión.
¿Cómo funciona el MOSA?
Mosa se basa en una técnica de búsqueda bien conocida llamada Búsqueda de árboles de Monte Carlo (MCTS)comúnmente utilizado en estrategias de juego de juegos de IA. En una configuración típica de MCTS, una IA explora diferentes movimientos posibles, aprendiendo de resultados pasados para mejorar su toma de decisiones. MOSA mejora este proceso integrando múltiples LLM en la búsqueda, cada uno actuando como un agente de razonamiento independiente.
Así es como Mosa orquesta la colaboración:
- Exploración de búsqueda diversa: Cada agente de IA propone diferentes rutas de razonamiento posibles, aumentando la diversidad de direcciones de búsqueda.
- Refinamiento paso a paso: Los agentes de IA analizan y refinan los pasos de razonamiento del otro, reduciendo los errores.
- Toma de decisiones agregadas: En lugar de confiar en la salida de una sola IA, MOSA agrega las mejores contribuciones de múltiples modelos, asegurando conclusiones más confiables.
Al usar múltiples modelos con diferentes datos y fortalezas de entrenamiento, MOSA evita que cualquier IA única domine el proceso de decisión, evitando las trampas de optimización locales.
Cómo Mosa Beats Models de IA individuales
Para probar la efectividad de MOSA, los investigadores realizaron experimentos en cuatro puntos de referencia de razonamiento bien conocidos:
- GSM8K (Problemas de palabras matemáticas de la escuela primaria)
- Svamp (razonamiento matemático con variación en las estructuras del lenguaje)
- Matemáticas-500 (un conjunto de datos desafiante para problemas de matemáticas avanzadas)
- Estrategiaqa (preguntas de razonamiento de sentido común)
Los resultados fueron claros: MOSA superó consistentemente tanto a los modelos de IA de agente único como a las líneas de base existentes de múltiples agentes.
- En Matemáticas-500uno de los conjuntos de datos más difíciles, MOSA mejoró la precisión de 1.8% sobre los mejores métodos anteriores.
- Al integrar múltiples LLM, MOSA mostró un 1,71% de mejora en la precisión del razonamiento general en comparación con la búsqueda tradicional de un solo modelo.
- Cuanto más diverso sea el equipo de IA, mejores serán los resultados, que se acumulan más LLM aumentó aún más el rendimiento.
La investigación destaca una tendencia importante: La colaboración de IA a menudo es más efectiva que la competencia de IA. Así como los humanos trabajan en equipos para resolver problemas complejos, los modelos de IA pueden complementar las fortalezas de los demás cuando trabajan juntos. Esto tiene profundas implicaciones para los campos que requieren un razonamiento profundo, incluyendo:
- Descubrimiento científico automatizado: Las colaboraciones de IA podrían acelerar los avances en la ciencia de los materiales, el descubrimiento de drogas y la física.
- Sistemas de tutoría avanzado: Los enfoques similares a MOSA podrían hacer que los asistentes de aprendizaje con AI sean más precisos y útiles.
- Análisis legal y financiero: La IA de múltiples agentes podría mejorar el análisis del contrato, el pronóstico financiero y la evaluación de riesgos mediante la verificación cruzada de las vías de razonamiento.
¿Puede la IA defenderse en contra de sus propios errores?
Uno de los aspectos más prometedores de MOSA es su capacidad para atrapar y corregir errores. Los modelos de IA individuales a menudo generan errores con confianza, lo que los hace difíciles de detectar. Pero con múltiples agentes de IA que revisan el trabajo de los demás, los errores tienen menos probabilidades de pasar desapercibidos. El equipo de investigación también introdujo un agregador neuronaluna función de IA que fusiona los mejores aspectos de diferentes caminos de razonamiento en una respuesta final más refinada.
Crédito de imagen destacado: Anderson Rian/Unsplash
