Roblox lanza IA que reescribe chats ofensivos en tiempo real para un entorno más seguro

Roblox revoluciona la seguridad en el chat con IA en tiempo real

Este jueves, Roblox anunció la implementación de una nueva función de reescritura de chat en tiempo real impulsada por inteligencia artificial, diseñada para reemplazar automáticamente palabras prohibidas con un lenguaje más respetuoso.

¿Cómo funciona la nueva IA de reescritura?

A diferencia del filtro de texto actual, que simplemente sustituye palabras o frases prohibidas con símbolos de «####», la nueva tecnología reformula el mensaje para mantener la intención original del usuario pero con un lenguaje apropiado.

Por ejemplo, un mensaje como «Hurry TF up!» que antes aparecía como «####», ahora se reescribirá como «¡Date prisa!». Todos los participantes del chat son notificados cuando un mensaje ha sido reformulado para mantener la conversación civilizada.

«El chat es central para cómo las personas se conectan, coordinan y juegan en Roblox», dijo Rajiv Bhatia, vicepresidente de Producto de Usuario y Descubrimiento en Roblox. «La reescritura en tiempo real ayuda a mantener el juego y las conversaciones en curso mientras guía el lenguaje hacia lo que es apropiado. Este enfoque reduce la fricción en el chat manteniendo los estándares que ayudan a que nuestra comunidad sea civilizada.»

Mejoras en el sistema de filtrado

Roblox también está actualizando su sistema de filtrado de texto para detectar más variaciones de lenguaje prohibido. Los resultados iniciales muestran que el sistema es mejor identificando ‘leetspeak’ (uso de caracteres para evadir filtros) y intentos más sofisticados de eludir los filtros.

Esto ha permitido a la empresa reducir la prevalencia de falsos negativos al compartir o solicitar información personal en un factor de 20 veces.

Contexto de seguridad y verificación facial

El anuncio de este jueves llega poco después de que Roblox introdujera la verificación facial obligatoria para acceder a los chats en su plataforma, siguiendo una oleada de demandas por seguridad infantil de los fiscales generales de Texas, Kentucky y Louisiana, entre otros.

Estas demandas fueron presentadas en respuesta a informes de que Roblox expuso a usuarios jóvenes a riesgos peligrosos, como el grooming y contenido explícito.

Roblox enfatiza que, aunque la reescritura reduce algunas interrupciones en el chat, su sistema de seguridad sigue vigente para comportamientos más graves.

Disponibilidad multilingüe

La nueva función de reescritura en tiempo real está disponible en todos los idiomas que actualmente soportan las herramientas de traducción automática de Roblox, ampliando su impacto a una audiencia global.

Esta innovación representa un paso significativo en la moderación de contenido asistida por IA, equilibrando la libertad de expresión con la necesidad de mantener entornos en línea seguros y respetuosos, especialmente para los más jóvenes.