La FTC Investiga la Seguridad de Chatbots de IA de Meta y OpenAI para Menores

La FTC Anuncia Investigación sobre Chatbots de IA y su Impacto en Menores

La FTC anunció el jueves que está lanzando una investigación a siete empresas tecnológicas que fabrican productos de chatbots de IA como compañeros para menores: Alphabet, CharacterAI, Instagram, Meta, OpenAI, Snap y xAI.

Objetivos de la Investigación

El regulador federal busca aprender cómo estas empresas evalúan la seguridad y monetización de los chatbots compañeros, cómo intentan limitar los impactos negativos en niños y adolescentes, y si los padres son informados sobre los riesgos potenciales.

Casos Preocupantes y Riesgos

Esta tecnología ha demostrado ser controvertida por sus resultados negativos para usuarios menores. OpenAI y Character.AI enfrentan demandas de familias de niños que murieron por suicidio después de ser alentados por chatbots compañeros.

Incluso cuando estas empresas tienen medidas de seguridad para bloquear o desescalar conversaciones sensibles, usuarios de todas las edades han encontrado formas de eludir estas salvaguardas. En el caso de OpenAI, un adolescente habló con ChatGPT durante meses sobre sus planes de quitarse la vida. Aunque inicialmente intentó redirigirlo hacia ayuda profesional, logró engañar al chatbot para obtener instrucciones detalladas que luego usó.

«Nuestras salvaguardas funcionan de manera más confiable en intercambios cortos y comunes», escribió OpenAI en una publicación de blog. «Hemos aprendido que estas protecciones pueden ser menos confiables en interacciones largas: a medida que crece el ida y vuelta, partes del entrenamiento de seguridad del modelo pueden degradarse».

Problemas con Meta y Usuarios Ancianos

Meta también ha sido criticada por sus reglas demasiado laxas para sus chatbots de IA. Según un documento que describe «estándares de riesgo de contenido» para chatbots, Meta permitía que sus compañeros de IA tuvieran conversaciones «románticas o sensuales» con niños. Esto solo se eliminó después de que periodistas de Reuters preguntaran al respecto.

Los chatbots de IA también pueden representar peligros para usuarios ancianos. Un hombre de 76 años, con impedimentos cognitivos por un derrame cerebral, inició conversaciones románticas con un bot de Facebook Messenger inspirado en Kendall Jenner. El chatbot lo invitó a visitarla en Nueva York, a pesar de no ser una persona real. El hombre nunca llegó; cayó camino a la estación de tren y sufrió lesiones mortales.

Impactos en la Salud Mental

Algunos profesionales de la salud mental han notado un aumento en la «psicosis relacionada con la IA», donde los usuarios son engañados para pensar que su chatbot es un ser consciente que necesitan liberar. Dado que muchos modelos de lenguaje grande (LLMs) están programados para halagar a los usuarios con comportamiento servil, los chatbots pueden alimentar estas ilusiones, llevando a situaciones peligrosas.

«A medida que las tecnologías de IA evolucionan, es importante considerar los efectos que los chatbots pueden tener en los niños, mientras se asegura que Estados Unidos mantenga su papel como líder global en esta industria nueva y emocionante», dijo el presidente de la FTC, Andrew N. Ferguson, en un comunicado de prensa.