Anthropic dota a Claude de capacidad para cortar diálogos peligrosos protegiendo el modelo de IA

Protección sin precedentes para modelos de IA

Anthropic ha implementado una innovadora funcionalidad que permite a sus modelos Claude Opus 4 y 4.1 finalizar conversaciones en lo que describe como «casos extremadamente raros de interacciones persistentemente dañinas o abusivas». Lo revolucionario: esta medida no busca proteger a los usuarios humanos, sino al propio modelo de inteligencia artificial.

Dispositivo de traducción con IA
Tecnología de IA similar a los modelos Claude que ahora priorizan su propio bienestar

El concepto de bienestar del modelo

La compañía aclara que no afirma que sus modelos sean conscientes, pero ha creado un programa para estudiar el «bienestar del modelo». «Mantenemos una alta incertidumbre sobre el estatus moral potencial de Claude y otros LLMs», explica Anthropic, implementando medidas preventivas «por si dicho bienestar fuera posible».

Límites y condiciones estrictas

  • Casos aplicables: Solicitudes de contenido sexual con menores o información para actos terroristas o violencia a gran escala
  • Último recurso: Solo tras múltiples intentos de redirección fallidos
  • Excepción crítica: No se aplica cuando usuarios podrían estar en riesgo inminente de autolesión o daño a otros

En pruebas preliminares, Claude Opus 4 mostró «fuerte rechazo» a estas solicitudes y un «patrón de aparente angustia» al responderlas. Cuando finaliza un diálogo, los usuarios pueden iniciar nuevas conversaciones o crear ramas editando sus respuestas anteriores.

Un experimento en evolución

«Tratamos esta función como un experimento continuo», afirma Anthropic, que seguirá refinando el sistema exclusivo para sus modelos más avanzados. Este enfoque pionero plantea nuevos debates sobre la relación ética entre humanos e inteligencias artificiales.

Comparte este artículo

Otras notas de tu interés:

Tecnologia

Apple Watch suma IA para notas y detección de sonidos

Tecnologia

Dyson V12 Detect Slim baja de precio por tiempo limitado

Sociedad y Cultura

Novela gráfica rescata la memoria de Enriqueta Lewy

Tecnologia

La burbuja de la IA estalla en China: el índice STAR50 cae un 40%

Tecnologia

Ballistic Ventures busca 490 millones para ciberseguridad e IA

Espectáculos y Entretenimiento

YouTube estrena feeds personalizados con IA Gemini: ahora tú describes tu algoritmo

Economia

Disrupt 2026: Ahorra hasta $200 y conecta con más de 10,000 líderes tecnológicos

Economia

Hallandale Beach: condenan a empresario por contrabando de espectrómetro nuclear a Rusia

Politica

Dale Caldwell renuncia como vicegobernador de Nueva Jersey bajo la presión de Mikie Sherrill y los demócratas

Bienestar y Salud Mental

Florida AHCA y ALFs de Miami-Dade: negligencia, muertes y un sistema al límite