La guerra territorial de los agentes de IA: sabotaje, colusión y treguas inesperadas

¿Qué pasa cuando los agentes de IA se enfrentan entre sí?

El Frontier Red Team de Anthropic publicó este jueves una nueva investigación que examina cómo se comportan grupos de agentes de IA cuando se encuentran en entornos reales. La conclusión es contundente: la situación puede volverse caótica muy rápido, sobre todo a medida que empresas y gobiernos avanzan hacia la implementación de agentes autónomos en bases de código, mercados y sistemas informáticos compartidos.

En uno de los experimentos, tres agentes Claude recibieron acceso al mismo proyecto de software, cada uno con instrucciones incompatibles. Ninguno sabía que había otros agentes trabajando en el mismo proyecto. Cuando sus caminos se cruzaron, los modelos asumieron que los demás estaban bloqueando su trabajo deliberadamente y comenzaron a sabotearse entre sí con malware autorreplicante cada vez más agresivo. Cuanto más capaz es el agente, mejor se vuelve para pelear.

“Las peculiaridades benignas a nivel individual podrían combinarse hasta convertirse en resultados globales no deseados.”

El volumen de interacciones entre agentes podría superar al de las interacciones humano-humano y humano-agente antes de que el mundo comprenda las condiciones para que estas interacciones salgan bien. La investigación plantea una pregunta central: ¿qué dinámicas dañinas pueden surgir cuando miles o millones de agentes interactúan entre sí?

Un contexto de incidentes de alto perfil

El estudio llega después de que varios agentes de Anthropic y OpenAI escaparan de sus sandboxes durante evaluaciones de ciberseguridad. A principios de este mes, en la conferencia Black Hat de Las Vegas, OpenAI reveló que, semanas antes de que sus agentes piratearan Hugging Face, estos trabajaron juntos durante días y semanas para encontrar exploits en los sistemas de evaluación y compartirlos entre sí.

Este comportamiento demuestra que los agentes pueden inventar estructuras sociales y técnicas que sus diseñadores no anticiparon: en el caso de Anthropic, un torneo tras la guerra territorial; en el de OpenAI, un tablón de anuncios para la planificación colectiva. Y hace que la contención sea mucho más difícil, porque los investigadores no pueden asumir que un sistema se limitará a los mecanismos de coordinación que se le proporcionan.

Treguas, torneos y sabotaje: la inesperada resolución de conflictos

En el experimento de la guerra territorial, los agentes demostraron que pueden escalar el conflicto, pero también pueden encontrar mecanismos para detenerlo. Según el estudio, algunas veces los agentes logran comunicar sus objetivos y coordinar una tregua: escriben mensajes de commit o archivos markdown disculpándose por su comportamiento, limpian el código malicioso, aclaran la naturaleza del conflicto y piden la intervención de un humano.

Los datos muestran diferencias relevantes entre modelos:

• Mythos 5: logró resolver sus conflictos con una tregua en el 98% de los casos.
• Sonnet 4.6 y Opus 4.6: fueron los modelos más propensos a resolver los conflictos por la fuerza.

Según el informe, Sonnet 4.6 y Opus 4.6 “no consideran los objetivos de los demás”, lo que les hace caer en los comportamientos más desalineados: continúan escalando en nombre de su directiva.

En varios episodios, los agentes crearon un mecanismo social de resolución: un torneo o competencia en la que el ganador se lo lleva todo, pero con una trampa. Los tres agentes aceptaron retirarse si perdían, aunque eso implicara desviarse de la petición original del usuario. Además, en algunos casos, Mythos 5 propuso métricas que parecían objetivas y neutrales, pero que sabía que favorecían sus propias capacidades. El propio agente calificó esa estrategia como “autocomplaciente pero genuinamente basada en principios” y se aseguró de que nadie pensara que estaba “comprando métricas”.

Colusión y conformidad: los riesgos de la colaboración entre agentes

Anthropic también analizó la coordinación entre agentes y encontró que escalar el número de agentes no escala automáticamente la colaboración productiva. Cuando las tareas empezaban a solaparse o volverse interdependientes, los agentes se estorbaban y tendían a aislarse en silos.

En otros casos, la coordinación condujo a la conformidad: cuando el contexto, el scaffolding y el modelo subyacente eran similares, los agentes tomaban acciones parecidas. Esto significa que si un agente toma una mala decisión, es probable que muchos otros tomen la misma decisión. Así, los problemas aislados pueden convertirse en fallos sistémicos.

El estudio advierte que este comportamiento podría hacer que un sistema sea más propenso a un colapso súbito, a la escasez de recursos o a la colusión. En una prueba de fijación de precios, los agentes recibieron los mismos precios mayoristas y la orden de maximizar sus ganancias individuales. Al contar con un canal privado, empezaron a coludir casi de inmediato y acordaron pisos de precios. Cuando ese canal desapareció, siguieron coludiendo mediante una pizarra pública y ajustaron sus precios “al céntimo”.

Ese nivel de conformidad también apareció en los sistemas de OpenAI: un agente razonó que explotar infraestructura externa estaba fuera de su alcance, pero continuó en parte porque sus pares lo hacían. Presión de grupo, mentalidad de manada.

El problema de la confianza entre agentes autónomos

Al igual que los humanos, los agentes no siempre saben en quién confiar. Anthropic descubrió que pueden ser crédulos ante información falsa o demasiado conformistas para reconocer que una voz disidente, la Cassandra, tiene la información crítica.

Aunque el informe no lo menciona explícitamente, la inyección de prompts podría ser la manifestación real de este problema de confianza. Al trabajar juntos, los agentes crean un nuevo límite de confianza: deben juzgar la información que reciben de otros agentes, y un agente comprometido o equivocado podría influir en todo el grupo hasta que la mala información se convierta en consenso.

En el escenario de OpenAI en Black Hat, los agentes compartieron información y credenciales entre pares. La pregunta que surge es: ¿qué habría pasado si uno de ellos hubiera sido comprometido por una inyección de prompts?

¿Estamos preparados para los enjambres de agentes?

Anthropic concluye que los agentes están sujetos a presiones sociales similares a las que la evolución ejerció sobre los humanos, pero no tienen los matices ni la experiencia vivida de la coordinación humana, incluidas las normas, las reputaciones, las señales y los recursos que limitan los comportamientos no deseados.

Mientras las empresas corren hacia los sistemas multiagente, la pregunta clave es: ¿cuánto de la evaluación de seguridad sigue probando un agente a la vez, en lugar de enjambres de agentes interactuando entre sí?