Roblox, a popular plataforma de criação de jogos, está atualizando seu sistema de moderação de bate-papo com inteligência artificial. Em vez de simplesmente substituir palavras proibidas por símbolos (como ##### ), a nova IA irá reformular mensagens problemáticas para remover linguagem ofensiva antes de serem postadas. Isso marca uma mudança da censura direta para uma abordagem mais sutil, onde a IA altera o texto enquanto informa ao chat que ocorreu uma reformulação.
Da Libra à Reescrita Inteligente
Durante anos, Roblox confiou em filtros básicos para bloquear palavrões e conteúdo impróprio. O problema com esse método é que ele é facilmente contornado com ortografia criativa ou gírias. Agora, quando um jogador digita algo como “ah, merda, você está bem?” a IA irá reescrever como “você está bem?” Da mesma forma, “apresse-se” torna-se “apresse-se”. Roblox reconhece que a IA entende até mesmo palavrões implícitos.
A empresa, liderada pelo vice-presidente de usuário e produto de descoberta, Rajiv Bhatia, afirma que o objetivo é “aumentar a civilidade” e ao mesmo tempo permitir que os jogadores se comuniquem. A IA é treinada em uma combinação de modelos de linguagem existentes e dados de bate-papo em tempo real, o que significa que ela aprende novas gírias à medida que surgem. Se a IA encontrar uma linguagem desconhecida, ela escalará a mensagem para uma IA mais poderosa para análise contextual.
Escalada de escrutínio e desafios legais
Essa mudança ocorre no momento em que Roblox enfrenta uma pressão legal crescente sobre a segurança infantil. Apenas dois meses antes, a plataforma introduziu o reconhecimento facial para segregar os jogadores por idade. Apesar destas medidas, vários estados dos EUA apresentaram ações judiciais – incluindo Texas, Florida e Nebraska – alegando proteção inadequada para utilizadores menores de idade. Isto sugere que, embora a Roblox esteja a melhorar as suas ferramentas de moderação, os reguladores continuam céticos quanto à sua eficácia.
Por que isso é importante: o futuro da moderação online
A mudança para a reescrita orientada por IA destaca uma tendência mais ampla na moderação de conteúdo online. As plataformas estão indo além do simples bloqueio de palavras-chave para sistemas mais sofisticados que tentam compreender a intenção por trás da linguagem. Isso é crucial porque os usuários desenvolvem constantemente novas maneiras de contornar os filtros, e os moderadores humanos não conseguem acompanhar.
No entanto, o sistema não é infalível. Falsos positivos (quando mensagens inofensivas são alteradas) e adaptação lenta a novas gírias são problemas prováveis. Roblox admite que a IA exigirá tempo para aprender. Os jogadores que violarem as regras persistentemente ainda enfrentarão ações disciplinares tradicionais.
“Nossos experimentos mostram que esta abordagem combinada melhorou significativamente nossos filtros”, disse Bhatia.
O impacto a longo prazo ainda está para ser visto, mas a experiência de Roblox pode estabelecer um precedente sobre como outras plataformas lidam com a toxicidade e o abuso online. A questão principal é se a IA pode equilibrar eficazmente a liberdade de expressão com a necessidade de ambientes civis seguros.
