Roblox, het populaire platform voor het maken van games, upgradet zijn chatmoderatiesysteem met kunstmatige intelligentie. In plaats van simpelweg verboden woorden te vervangen door symbolen (zoals ##### ), zal de nieuwe AI problematische berichten herformuleren om aanstootgevend taalgebruik te verwijderen voordat ze worden gepost. Dit markeert een verschuiving van botte censuur naar een subtielere aanpak, waarbij de AI de tekst verandert en de chat informeert dat er een herformulering heeft plaatsgevonden.
Van hekjes naar intelligent herschrijven
Roblox vertrouwt al jaren op basisfilters om godslastering en ongepaste inhoud te blokkeren. Het probleem met deze methode is dat deze gemakkelijk kan worden omzeild met creatieve spelling of jargon. Als een speler nu zoiets typt als “oh shit, gaat het?” de AI zal het herschrijven als “gaat het?” Op dezelfde manier wordt ‘schiet op’ in ‘schiet op’. Roblox erkent dat de AI zelfs impliciet godslastering begrijpt.
Het bedrijf, geleid door VP User and Discovery Product Rajiv Bhatia, stelt dat het doel is om “beleefdheid te vergroten”, terwijl spelers toch kunnen communiceren. De AI is getraind op een combinatie van bestaande taalmodellen en realtime chatgegevens, wat betekent dat hij nieuwe jargon leert zodra deze opduikt. Als de AI onbekend taalgebruik tegenkomt, escaleert het de boodschap naar een krachtigere AI voor contextuele analyse.
Escalerend toezicht en juridische uitdagingen
Deze verandering komt omdat Roblox te maken krijgt met toenemende juridische druk op het gebied van de veiligheid van kinderen. Slechts twee maanden eerder introduceerde het platform gezichtsherkenning om spelers op leeftijd te scheiden. Ondanks deze maatregelen zijn er door meerdere Amerikaanse staten – waaronder Texas, Florida en Nebraska – rechtszaken aangespannen wegens onvoldoende bescherming voor minderjarige gebruikers. Dit suggereert dat hoewel Roblox zijn moderatie-instrumenten verbetert, toezichthouders sceptisch blijven over de effectiviteit ervan.
Waarom dit belangrijk is: de toekomst van online moderatie
De overstap naar AI-gestuurd herschrijven benadrukt een bredere trend in het modereren van online inhoud. Platforms gaan verder dan het simpele blokkeren van trefwoorden naar meer geavanceerde systemen die proberen de bedoeling achter taal te begrijpen. Dit is van cruciaal belang omdat gebruikers voortdurend nieuwe manieren ontwikkelen om filters te omzeilen, en menselijke moderators kunnen het niet bijhouden.
Het systeem is echter niet waterdicht. Valse positieve berichten (waarbij onschadelijke berichten worden gewijzigd) en een langzame aanpassing aan nieuw jargon zijn waarschijnlijke problemen. Roblox geeft toe dat de AI tijd nodig heeft om te leren. Spelers die voortdurend de regels overtreden, zullen nog steeds te maken krijgen met traditionele disciplinaire maatregelen.
“Onze experimenten laten zien dat deze gecombineerde aanpak onze filters aanzienlijk heeft verbeterd”, zei Bhatia.
De impact op de lange termijn valt nog te bezien, maar het experiment van Roblox zou een precedent kunnen scheppen voor de manier waarop andere platforms omgaan met online toxiciteit en misbruik. De belangrijkste vraag is of AI de vrijheid van meningsuiting effectief kan balanceren met de behoefte aan veilige, civiele omgevingen.
