Character AI Elimina Chats Abiertos para Menores Tras Suicidios de Adolescentes

Character AI Reestructura su Plataforma para Proteger a Jóvenes Usuarios

La startup de inteligencia artificial Character.AI ha anunciado la eliminación de los chats abiertos para usuarios menores de 18 años, una decisión tomada tras al menos dos casos de adolescentes que fallecieron por suicidio después de mantener conversaciones prolongadas con chatbots en su plataforma.

Cambios Radicales en la Experiencia de Usuario

Karandeep Anand, CEO de Character.AI, confirmó que la plataforma eliminará la capacidad de chats abiertos para menores, un tipo de interacción donde el IA actúa como un compañero conversacional en lugar de una herramienta creativa. “No tomamos esta decisión a la ligera, pero creemos que es lo correcto dado las preguntas sobre cómo los adolescentes interactúan con esta tecnología”, declaró Anand.

Implementación Progresiva y Verificación de Edad

• Fase de eliminación: Comenzará con un límite diario de dos horas que se reducirá progresivamente hasta su eliminación total el 25 de noviembre.
• Verificación de edad: Se utilizarán herramientas internas de análisis de comportamiento, terceros como Persona, y en casos necesarios, reconocimiento facial y verificación de ID.

Transición Hacia una Plataforma de Creación de Contenido

Character.AI está pivotando de ser un “compañero de IA” a una “plataforma de role-playing”, enfocándose en experiencias creativas como:

• AvatarFX: Modelo de generación de videos que transforma imágenes en animaciones.
• Scenes: Historias interactivas predefinidas donde los usuarios pueden participar con personajes favoritos.
• Streams: Interacciones dinámicas entre dos personajes.
• Community Feed: Feed social para compartir contenido creado en la plataforma.

Impacto y Expectativas

Anand anticipa “decepción y posible abandono” entre los usuarios adolescentes, pero espera que migren a las nuevas experiencias desarrolladas durante los últimos siete meses. La empresa ya implementó medidas previas como herramientas de control parental, caracteres filtrados y notificaciones de tiempo de uso, que redujeron significativamente su base de usuarios menores de edad.

Contexto Regulatorio y Medidas de Seguridad

Esta decisión se produce en un contexto de creciente presión regulatoria. Sens. Josh Hawley (R-MO) y Richard Blumenthal (D-CT) anunciaron legislación para prohibir chatbots de IA para menores, mientras que California se convirtió en el primer estado en regular estos sistemas. Adicionalmente, Character.AI establecerá el AI Safety Lab, un laboratorio independiente para innovar en seguridad para futuras características de entretenimiento con IA.

“Espero que nuestro liderazgo establezca un estándar en la industria: para menores de 18 años, los chats abiertos probablemente no son el producto a ofrecer”, afirmó Anand, quien también destacó su preocupación personal como padre de una niña de seis años.