Barreras de IA: cuando las guardrails frenan a los investigadores de ciberseguridad

El dilema de la seguridad: proteger sin paralizar

Durante meses, los gigantes de la inteligencia artificial han implementado estrictos programas de verificación y guardrails para evitar que sus modelos sean utilizados por hackers maliciosos. Sin embargo, estas mismas barreras están dificultando el trabajo legítimo de defensores de redes y, sobre todo, de investigadores de ciberseguridad ofensiva, quienes buscan vulnerabilidades antes de que los ciberdelincuentes lo hagan.

En junio, el gobierno de Estados Unidos impuso restricciones de control de exportación sobre los modelos Mythos y Fable de Anthropic, tras un informe que sugería que era posible eludir las guardrails diseñadas para evitar la creación y ejecución de ciberataques. Aunque las restricciones sobre Fable 5 y Mythos 5 se levantaron el 1 de julio, el incidente evidencia la tensión entre seguridad y utilidad.

Expertos como Mark Dowd, reconocido investigador de seguridad, han criticado la arbitrariedad de estas decisiones. “No me resulta cómodo que grandes empresas decidan qué es seguro en ciberseguridad”, dijo durante un podcast. Dowd, que se dedica a encontrar y vender vulnerabilidades de día cero a gobiernos, reconoce su sesgo, pero no está solo.

¿Protección o estorbo? La visión de los expertos

Chris Anley, científico jefe de NCC Group, explicó que pedir a un modelo de IA que intente explotar un bug es un paso clave para confirmar una vulnerabilidad real. “Si una guardrail obliga al modelo a negarse, perjudica a los defensores”, afirmó. Comparó la herramienta con un martillo: “No puedes construir una casa sin martillo, pero también es irreductiblemente un arma”.

Paolo Stagno, CTO de Crowdfense, coincidió en que las empresas de IA “tratan a los clientes como niños que necesitan niñera”. Stagno señaló que su equipo evita usar modelos de frontera para hallar vulnerabilidades, porque subir esos datos a la nube podría filtrar información sensible. En su lugar, recurren a modelos de código abierto que ejecutan localmente.

Por otro lado, Giuseppe Cali, investigador de vulnerabilidades, indicó que las guardrails no afectan su trabajo porque no usa IA para tareas ofensivas, sino para ingeniería inversa inicial y construcción de herramientas. “Yo quiero descubrir los bugs yo mismo. No dejaría que un modelo juegue por mí”, declaró.

Restricciones inconsistentes y fuga de talento

Un investigador anónimo de un fabricante de componentes para smartphones afirmó que en su empresa, al no estar en el programa CVP de Anthropic, las herramientas “apenas son útiles porque las guardrails son demasiado estrictas”. Chris Thompson, CEO de RemoteThreat, describió las guardrails como inconsistentes: “Pasan más tiempo negociando con el modelo que trabajando en seguridad”. Como resultado, muchos investigadores recurren a modelos chinos de código abierto como GLM, que no tienen restricciones. “Se está empujando a investigadores responsables hacia sistemas extranjeros. Es más dañino que beneficioso”, advirtió Thompson.

Hacia un equilibrio: menos puertas cerradas, más responsabilidad

En lugar de endurecer las restricciones, Thompson instó a los laboratorios de IA a abrir sus programas, ofrecer acceso responsable y sancionar a quienes abusen de las herramientas. “Se viene una gran ola de ataques a una velocidad y escala nunca antes vista”, advirtió. “Las mismas firmas de consultoría e investigadores legítimos que intentan marcar la diferencia están siendo sofocados”.

El debate está servido: las guardrails de IA, pensadas para protegernos, podrían estar desarmando a quienes más necesitamos para enfrentar las amenazas del futuro.