Roblox, la plate-forme de création de jeux populaire, met à niveau son système de modération de chat avec l’intelligence artificielle. Au lieu de simplement remplacer les mots interdits par des symboles (comme ##### ), la nouvelle IA rephrasera les messages problématiques pour supprimer tout langage offensant avant qu’ils ne soient publiés. Cela marque le passage d’une censure brutale à une approche plus subtile, dans laquelle l’IA modifie le texte tout en informant le chat qu’une reformulation a eu lieu.
Des signes dièse à la réécriture intelligente
Pendant des années, Roblox s’est appuyé sur des filtres de base pour bloquer les grossièretés et les contenus inappropriés. Le problème avec cette méthode est qu’elle est facilement contournée par une orthographe ou un argot créatif. Maintenant, lorsqu’un joueur tape quelque chose comme “oh merde, ça va ?” l’IA le réécrira comme “ça va?” De même, « dépêchez-vous » devient « dépêchez-vous ». Roblox reconnaît que l’IA comprend même les grossièretés implicites.
La société, dirigée par le vice-président des utilisateurs et des produits de découverte Rajiv Bhatia, déclare que l’objectif est « d’augmenter la civilité » tout en permettant aux joueurs de communiquer. L’IA est formée sur une combinaison de modèles linguistiques existants et de données de discussion en temps réel, ce qui signifie qu’elle apprend de nouveaux argots au fur et à mesure de leur apparition. Si l’IA rencontre un langage inconnu, elle transmet le message à une IA plus puissante pour une analyse contextuelle.
Augmentation des contrôles et des contestations juridiques
Ce changement intervient alors que Roblox fait face à une pression juridique croissante sur la sécurité des enfants. À peine deux mois auparavant, la plateforme avait introduit la reconnaissance faciale pour séparer les joueurs par âge. Malgré ces mesures, des poursuites ont été intentées par plusieurs États américains – dont le Texas, la Floride et le Nebraska – alléguant une protection inadéquate pour les utilisateurs mineurs. Cela suggère que même si Roblox améliore ses outils de modération, les régulateurs restent sceptiques quant à leur efficacité.
Pourquoi c’est important : l’avenir de la modération en ligne
Le passage à la réécriture basée sur l’IA met en évidence une tendance plus large en matière de modération du contenu en ligne. Les plates-formes vont au-delà du simple blocage de mots clés vers des systèmes plus sophistiqués qui tentent de comprendre l’intention derrière le langage. Ceci est crucial car les utilisateurs développent constamment de nouvelles façons de contourner les filtres, et les modérateurs humains ne peuvent pas suivre le rythme.
Cependant, le système n’est pas infaillible. Les faux positifs (où des messages inoffensifs sont modifiés) et la lente adaptation au nouvel argot sont probablement des problèmes. Roblox admet que l’IA aura besoin de temps pour apprendre. Les joueurs qui enfreignent les règles de manière persistante feront toujours face à des mesures disciplinaires traditionnelles.
“Nos expériences montrent que cette approche combinée a considérablement amélioré nos filtres”, a déclaré Bhatia.
L’impact à long terme reste à voir, mais l’expérience de Roblox pourrait créer un précédent dans la manière dont d’autres plateformes gèrent la toxicité et les abus en ligne. La question clé est de savoir si l’IA peut efficacement équilibrer la liberté d’expression avec le besoin d’environnements civils et sûrs.
