Error de moderación por IA en Discord: más de 8,000 usuarios baneados injustamente

Discord admite error en su sistema de moderación por IA

La popular plataforma de comunicación Discord ha confirmado que un error en su sistema de moderación basado en inteligencia artificial ha provocado la prohibición errónea de más de 8,000 usuarios en los últimos dos meses. Imágenes inofensivas, como hojas de cálculo, tableros de ajedrez, texturas de videojuegos y fondos transparentes blancos o grises, fueron incorrectamente señaladas como contenido dañino.

Detalles del error y su corrección

Según la compañía, el problema afectaba cuentas desde mayo y se intensificó el pasado fin de semana, cuando 200 usuarios adicionales fueron baneados. El equipo técnico logró identificar y solucionar el fallo, y todas las cuentas afectadas están siendo restauradas. “Estamos trabajando en mejores salvaguardas para que esto no vuelva a suceder”, declaró Discord en un hilo en X.

¿Cómo funciona el sistema de moderación?

El sistema automatizado de seguridad de Discord compara el contenido subido con bases de datos de material conocido como dañino. Aunque la tecnología está diseñada para detectar contenido ilegal, puede generar falsos positivos. Normalmente, un moderador humano revisa las alertas, pero un error provocó que el sistema suspendiera las cuentas de forma inmediata.

Reacciones de los usuarios afectados

En redes sociales como X y Reddit, numerosos usuarios reportaron haber sido suspendidos permanentemente por subir imágenes con patrones de cuadrícula. Algunos especulan que la IA se ha vuelto especialmente sensible a estos patrones porque antes se usaban para ocultar contenido NSFW o de explotación infantil. “Perder una cuenta de Discord por algo tan injusto puede ser devastador”, expresó un usuario en X. “Cada día millones de usuarios se ven afectados por prohibiciones falsas de IA. Esto debe detenerse.”

Contexto: Problemas similares en otras plataformas

Discord no está solo en estos problemas. El año pasado, usuarios de Instagram y Facebook reportaron suspensiones de cuentas sin explicación, atribuidas a sistemas de IA. Meta nunca confirmó oficialmente los errores, pero su Junta de Supervisión exige mayor transparencia. Tumblr también enfrentó quejas por suspensiones masivas sin aclaraciones. Estos casos resaltan los desafíos de la moderación asistida por IA y la necesidad de controles humanos efectivos.

Con información de fuentes oficiales y reportes de usuarios.