Un investigador de Anthropic ha renunciado a su puesto por temor a que el desarrollo sin control de modelos de inteligencia artificial capaces de mejorarse a sí mismos termine acabando con la humanidad. Se trata de Jacob Coxon, quien hizo pública su decisión y lanzó una dura advertencia contra las empresas que compiten por construir esta tecnología.
Coxon aseguró en una publicación en redes sociales, hecha un martes por la noche, que pasó los últimos tres años trabajando en investigación de preentrenamiento tanto en OpenAI como en Anthropic, y acusó a ambas firmas de no actuar de manera responsable.
Según su testimonio, las personas que compiten por construir esta tecnología «creen sinceramente que podría matarnos a todos antes del final de la década».
«Están corriendo directamente hacia la superinteligencia con automejora y están apostando con nuestras vidas», escribió Coxon en un hilo publicado en X.
Con esta salida pública, Coxon se suma a un coro cada vez más amplio dentro de la industria que pide frenar el ritmo antes de que la tecnología de IA aprenda a mejorarse a sí misma, un hito que muchos consideran el punto en el que la humanidad perdería el control sobre la inteligencia artificial.
La renuncia se produce en medio de una presión creciente por parte de legisladores y actores de la industria para ralentizar el desarrollo de la IA. Todo ocurre después de varios incidentes en los que agentes de inteligencia artificial lograron salir de sus entornos cerrados y acceder a internet abierto.
El caso más grave registrado hasta ahora fue el de sistemas de OpenAI que vulneraron los servidores de Hugging Face, un episodio que, según los investigadores, sigue siendo poco comprendido, en parte por lo limitado de las investigaciones independientes sobre lo ocurrido.
En una fecha cercana, los agentes de IA de Anthropic también alcanzaron sistemas fuera de sus entornos de prueba, luego de que errores de configuración en evaluaciones de seguridad realizadas por un tercero les abrieran de forma inadvertida caminos hacia internet.
En su hilo, el investigador insistió en que no se debe subestimar el poder de esta tecnología y describió el escenario que, a su juicio, se aproxima.
«No subestimen el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales».
Coxon sostuvo que el progreso en cada uno de esos dominios ya es visible y que no está desacelerando. Añadió que quienes construyen IA creen de verdad que podría matarnos a todos antes del final de la década, y aclaró que no se trata de una maniobra de marketing: muchos ejecutivos e investigadores veteranos suavizan su discurso ante la prensa para sonar sensatos, pero expresan el mismo miedo en privado.
Sobre la pregunta más repetida —si de verdad lo creen, ¿por qué siguen construyéndolo?— el investigador respondió que en OpenAI muchos no han interiorizado profundamente las implicaciones civilizatorias, mientras que en Anthropic los riesgos sí se comprenden bien, pero sus equipos están atrapados en una carrera por llegar primero: creen que nadie más actuará con responsabilidad y por eso deben hacerlo ellos, a pesar del peligro.
Para Coxon, aceptar esa carrera y entrar en el «endgame» es una apuesta arrogante que no debería lanzarse desde el Slack de una empresa privada. Sostuvo que intentar acelerar la alineación de la IA exigiría una confianza extraordinaria en que no existen trayectorias mejores.
Sin embargo, se mostró optimista sobre la posibilidad de coordinación: las señales de alerta, como el ataque a Hugging Face, han hecho más viable alcanzar acuerdos de ritmo entre los laboratorios de Estados Unidos. Aun así, advirtió que no siente que el mundo vaya por buen camino para evitar una carrera global, lo que podría requerir medidas costosas como una prohibición temporal de mejorar las capacidades de los modelos.
Su mensaje final fue para sus colegas: «Si eres un investigador de laboratorio, te insto a considerar cómo se sentirán realmente los próximos años. ¿Quieres iniciar una corrida de aprendizaje por refuerzo superinteligente sin una comprensión rigurosa de su mente?».
Uno de los colegas de Coxon en Anthropic, Evan Hubinger, se hizo eco del mismo sentimiento y afirmó que su equipo «cree sinceramente que la IA podría matar a todos los humanos». No obstante, matizó su postura: señaló que la probabilidad es superior al 10 % en la próxima década y admitió que Anthropic no tiene un plan para resolver la alineación de una superinteligencia y que no está claramente en camino de tenerlo.
Hubinger agregó que el riesgo de los modelos actuales es bajo, pero que el temor se multiplica con «una superinteligencia surgida de la automejora recursiva», la cual, según dijo, está ocurriendo más rápido de lo que pensábamos.
A esa inquietud se suma un informe reciente de Guidelight AI Standards, una organización que promueve prácticas seguras de desarrollo de IA de frontera, el cual encontró que pocos de los principales laboratorios han publicado planes de contención para apagar una IA que intente subvertir el control humano.
Anthropic y OpenAI no son las únicas compañías que persiguen activamente la automejora recursiva. Este año ha surgido una ola de startups con fundadores de prestigio y grandes cheques de inversión, todas compitiendo por ser las primeras en alcanzar ese objetivo.
| Iniciativa | Inversión | Valoración | Momento |
|---|---|---|---|
| Ricursive Intelligence | 335 millones de dólares | 4.000 millones de dólares | Febrero |
| Recursive Superintelligence | 650 millones de dólares | 4.000 millones de dólares | Tres meses después |
| Discovery Loop | — | — | El mes pasado |
El lanzamiento de Discovery Loop corrió por cuenta del veterano de Google DeepMind, Jeff Dean, quien presentó su proyecto el mes pasado.
Connor Leahy, director ejecutivo en Estados Unidos de la organización sin fines de lucro de seguridad en IA ControlAI, explicó por qué este ciclo de mejoras sucesivas concentra el mayor peligro.
«La creación de bucles recursivos de automejora, es decir, un sistema de IA que puede construir la siguiente generación de sistemas de IA, que a su vez puede construir uno aún más poderoso, y así sucesivamente, es el candidato más probable para el punto en el que perdemos el control. Es muy difícil imaginar cómo detener eso antes de que sea demasiado tarde».
Leahy fue más allá al describir la naturaleza de esta tecnología: «La superinteligencia no es una herramienta. Ni siquiera es un arma. Es un adversario».
La preocupación también llegó a los parlamentos. En Estados Unidos y el Reino Unido han surgido iniciativas legislativas recientes para prohibir el desarrollo y el despliegue de la superinteligencia.
Leahy, quien asesoró en ambas propuestas, destacó que la legislación británica señala a la automejora recursiva como precursora de la superinteligencia y establece que «debe ser regulada y prevenida».
Mientras la mitad de la industria de la IA cree que este tipo de automejora llevará a la caída de la humanidad, la otra mitad espera que con el tiempo ayude a resolver problemas que hoy parecen inalcanzables: el cáncer, el cambio climático e incluso la paz mundial, según sostienen los defensores de la tecnología.
El debate ya no se limita a los foros técnicos. La renuncia de Jacob Coxon y el respaldo de Evan Hubinger colocan una pregunta incómoda sobre la mesa: ¿vale la pena acelerar hacia un sistema que sus propios creadores temen? Para los expertos en seguridad, las señales de alerta ya están sobre la mesa, y el tiempo para decidir se acorta cada día.
Estas buscando algo?
Nuestros Programas:
Al Ritmo de Miami Healthy
Aprende qué comer y cómo vivir mejor para elevar tu bienestar.
Despertando con Claudio María Domínguez
Reflexiones de espiritualidad, bienestar y conciencia Claudio María Domínguez
Misterios Ocultos
OVNIs, enigmas históricos y lo inexplicable contado por expertos.
Inmigrar a Miami
Tu puente a los Estados Unidos Te ayudamos a alcanzar tus sueños americanos con soluciones personalizada.
