Roblox, la popular plataforma de creación de juegos, está actualizando su sistema de moderación de chat con inteligencia artificial. En lugar de simplemente reemplazar palabras prohibidas con símbolos (como ##### ), la nueva IA reformulará los mensajes problemáticos para eliminar el lenguaje ofensivo antes de publicarlos. Esto marca un cambio de una censura contundente a un enfoque más sutil, donde la IA altera el texto mientras informa al chat que se ha producido una reformulación.
Del signo de libra a la reescritura inteligente
Durante años, Roblox ha dependido de filtros básicos para bloquear malas palabras y contenido inapropiado. El problema con este método es que se evita fácilmente con ortografía o jerga creativa. Ahora, cuando un jugador escribe algo como “oh, mierda, ¿estás bien?” la IA lo reescribirá como “¿estás bien?” De manera similar, “date prisa” se convierte en “date prisa”. Roblox reconoce que la IA entiende incluso las malas palabras implícitas.
La compañía, dirigida por el vicepresidente de usuarios y productos de descubrimiento, Rajiv Bhatia, afirma que el objetivo es “aumentar el civismo” y al mismo tiempo permitir que los jugadores se comuniquen. La IA se entrena con una combinación de modelos de lenguaje existentes y datos de chat en tiempo real, lo que significa que aprende nueva jerga a medida que surge. Si la IA encuentra un lenguaje desconocido, traslada el mensaje a una IA más poderosa para el análisis contextual.
Aumento del escrutinio y los desafíos legales
Este cambio se produce cuando Roblox enfrenta una presión legal cada vez mayor sobre la seguridad infantil. Apenas dos meses antes, la plataforma introdujo el reconocimiento facial para segregar a los jugadores por edad. A pesar de estas medidas, varios estados de EE. UU., incluidos Texas, Florida y Nebraska, han presentado demandas alegando protección inadecuada para los usuarios menores de edad. Esto sugiere que, si bien Roblox está mejorando sus herramientas de moderación, los reguladores siguen siendo escépticos sobre su eficacia.
Por qué esto es importante: el futuro de la moderación en línea
El paso a la reescritura impulsada por la IA destaca una tendencia más amplia en la moderación del contenido en línea. Las plataformas están yendo más allá del simple bloqueo de palabras clave hacia sistemas más sofisticados que intentan comprender la intención detrás del lenguaje. Esto es crucial porque los usuarios desarrollan constantemente nuevas formas de eludir los filtros y los moderadores humanos no pueden seguir el ritmo.
Sin embargo, el sistema no es infalible. Los falsos positivos (donde se alteran mensajes inofensivos) y la lenta adaptación a la nueva jerga son probablemente problemas. Roblox admite que la IA necesitará tiempo para aprender. Los jugadores que violen persistentemente las reglas seguirán enfrentando acciones disciplinarias tradicionales.
“Nuestros experimentos muestran que este enfoque combinado ha mejorado significativamente nuestros filtros”, dijo Bhatia.
El impacto a largo plazo aún está por verse, pero el experimento de Roblox podría sentar un precedente sobre cómo otras plataformas manejan la toxicidad y el abuso en línea. La pregunta clave es si la IA puede equilibrar efectivamente la libertad de expresión con la necesidad de entornos civiles y seguros.
