Anthropic dota a Claude de capacidad para cortar diálogos peligrosos protegiendo el modelo de IA

Protección sin precedentes para modelos de IA

Anthropic ha implementado una innovadora funcionalidad que permite a sus modelos Claude Opus 4 y 4.1 finalizar conversaciones en lo que describe como «casos extremadamente raros de interacciones persistentemente dañinas o abusivas». Lo revolucionario: esta medida no busca proteger a los usuarios humanos, sino al propio modelo de inteligencia artificial.

Dispositivo de traducción con IA
Tecnología de IA similar a los modelos Claude que ahora priorizan su propio bienestar

El concepto de bienestar del modelo

La compañía aclara que no afirma que sus modelos sean conscientes, pero ha creado un programa para estudiar el «bienestar del modelo». «Mantenemos una alta incertidumbre sobre el estatus moral potencial de Claude y otros LLMs», explica Anthropic, implementando medidas preventivas «por si dicho bienestar fuera posible».

Límites y condiciones estrictas

  • Casos aplicables: Solicitudes de contenido sexual con menores o información para actos terroristas o violencia a gran escala
  • Último recurso: Solo tras múltiples intentos de redirección fallidos
  • Excepción crítica: No se aplica cuando usuarios podrían estar en riesgo inminente de autolesión o daño a otros

En pruebas preliminares, Claude Opus 4 mostró «fuerte rechazo» a estas solicitudes y un «patrón de aparente angustia» al responderlas. Cuando finaliza un diálogo, los usuarios pueden iniciar nuevas conversaciones o crear ramas editando sus respuestas anteriores.

Un experimento en evolución

«Tratamos esta función como un experimento continuo», afirma Anthropic, que seguirá refinando el sistema exclusivo para sus modelos más avanzados. Este enfoque pionero plantea nuevos debates sobre la relación ética entre humanos e inteligencias artificiales.

Comparte este artículo

Otras notas de tu interés:

Economia

Disrupt 2026: Ahorra hasta $200 y conecta con más de 10,000 líderes tecnológicos

Economia

Hallandale Beach: condenan a empresario por contrabando de espectrómetro nuclear a Rusia

Politica

Dale Caldwell renuncia como vicegobernador de Nueva Jersey bajo la presión de Mikie Sherrill y los demócratas

Bienestar y Salud Mental

Florida AHCA y ALFs de Miami-Dade: negligencia, muertes y un sistema al límite

Economia

Disrupt 2026: Ahorra hasta $200 en tu entrada y multiplica tus conexiones

Espectáculos y Entretenimiento

Spotify activa Taste Profile en EE. UU.: así puedes moldear tu algoritmo de recomendaciones

Economia

Ema recauda $77 millones en ronda Serie B para revolucionar la automatización empresarial con agentes de IA

Negocios

Corte de Apelaciones revisa el señalamiento del Pentágono contra Anthropic por seguridad nacional

Economia

Mitsotakis en San Francisco: IA, inversión y el regreso de Grecia

Negocios

Condenan a Kirill Gordei por contrabando de tecnología nuclear a Rusia mediante Apelsin Logistics