Roblox, la popolare piattaforma di creazione di giochi, sta aggiornando il suo sistema di moderazione della chat con l’intelligenza artificiale. Invece di sostituire semplicemente le parole vietate con simboli (come ##### ), la nuova IA riformulerà i messaggi problematici per rimuovere il linguaggio offensivo prima che vengano pubblicati. Ciò segna il passaggio da una censura schietta a un approccio più sottile, in cui l’intelligenza artificiale altera il testo informando la chat che si è verificata una riformulazione.
Dai segni di cancelletto alla riscrittura intelligente
Per anni, Roblox si è affidato a filtri di base per bloccare volgarità e contenuti inappropriati. Il problema con questo metodo è che può essere facilmente aggirato con ortografia o slang creativi. Ora, quando un giocatore scrive qualcosa del tipo “oh merda, stai bene?” l’intelligenza artificiale lo riscriverà come “stai bene?” Allo stesso modo, “sbrigati” diventa “sbrigati”. Roblox riconosce che l’intelligenza artificiale comprende anche le parolacce implicite.
La società, guidata dal vicepresidente utente e prodotto scoperta Rajiv Bhatia, afferma che l’obiettivo è “aumentare la civiltà” pur consentendo ai giocatori di comunicare. L’intelligenza artificiale è addestrata su una combinazione di modelli linguistici esistenti e dati di chat in tempo reale, il che significa che impara il nuovo slang man mano che emerge. Se l’IA incontra un linguaggio non familiare, inoltra il messaggio a un’IA più potente per l’analisi contestuale.
Aumentano i controlli e le sfide legali
Questo cambiamento arriva mentre Roblox deve affrontare una crescente pressione legale sulla sicurezza dei bambini. Solo due mesi prima, la piattaforma aveva introdotto il riconoscimento facciale per separare i giocatori in base all’età. Nonostante queste misure, diversi stati degli Stati Uniti – tra cui Texas, Florida e Nebraska – hanno intentato cause legali per presunta protezione inadeguata per gli utenti minorenni. Ciò suggerisce che mentre Roblox sta migliorando i suoi strumenti di moderazione, i regolatori rimangono scettici sulla loro efficacia.
Perché è importante: il futuro della moderazione online
Il passaggio alla riscrittura basata sull’intelligenza artificiale evidenzia una tendenza più ampia nella moderazione dei contenuti online. Le piattaforme stanno andando oltre il semplice blocco delle parole chiave verso sistemi più sofisticati che tentano di comprendere l’intento dietro il linguaggio. Questo è fondamentale perché gli utenti sviluppano costantemente nuovi modi per aggirare i filtri e i moderatori umani non riescono a tenere il passo.
Tuttavia, il sistema non è infallibile. I falsi positivi (dove i messaggi innocui vengono alterati) e il lento adattamento al nuovo slang sono probabili problemi. Roblox ammette che l’intelligenza artificiale avrà bisogno di tempo per imparare. I giocatori che violano persistentemente le regole dovranno comunque affrontare le tradizionali azioni disciplinari.
“I nostri esperimenti mostrano che questo approccio combinato ha migliorato significativamente i nostri filtri”, ha detto Bhatia.
Resta da vedere l’impatto a lungo termine, ma l’esperimento di Roblox potrebbe costituire un precedente per il modo in cui altre piattaforme gestiscono la tossicità e gli abusi online. La questione chiave è se l’intelligenza artificiale possa bilanciare efficacemente la libertà di espressione con la necessità di ambienti sicuri e civili.
