Roblox, populární platforma pro tvorbu her, vylepšuje svůj systém moderování chatu o umělou inteligenci. Namísto pouhého nahrazení zakázaných slov symboly (jako je „#####“) nová umělá inteligence přeformuluje problematické zprávy a odstraní urážlivé výrazy před jejich zveřejněním. To znamená posun od do očí bijící cenzury k jemnějšímu přístupu, ve kterém AI mění text a zároveň oznamuje chatu, že byla provedena parafráze.
Od symbolů mřížky k inteligentnímu přepisování
Roblox se léta spoléhá na základní filtry, které blokují vulgární výrazy a nevhodný obsah. Problémem této metody je, že ji lze snadno obejít pomocí kreativního pravopisu nebo slangu. Nyní, když hráč napíše něco jako “sakra, jsi v pořádku?”, AI to přepíše jako “jsi v pořádku?” Stejně tak „pospěšte si sakra“ se změní na „spěchejte“. Roblox připouští, že umělá inteligence dokonce rozumí naznačeným vulgárním výrazům.
Společnost vedená viceprezidentem pro uživatelský a objevný produkt Rajeevem Bhatiou říká, že cílem je „zvýšit zdvořilost“ a zároveň umožnit hráčům komunikovat. Umělá inteligence je trénována na kombinaci stávajících jazykových modelů a dat chatu v reálném čase, což znamená, že se učí nový slang, jakmile se objeví. Pokud se AI setká s neznámým jazykem, odešle zprávu pro kontextovou analýzu výkonnější AI.
Zvýšená kontrola a právní problémy
Změna přichází, když Roblox čelí rostoucímu právnímu tlaku na bezpečnost dětí. Jen před dvěma měsíci platforma představila rozpoznávání obličeje, aby oddělila hráče podle věku. Navzdory těmto opatřením byly v několika státech USA, včetně Texasu, Floridy a Nebrasky, podány žaloby kvůli nedostatečné ochraně nezletilých uživatelů. To naznačuje, že zatímco Roblox vylepšuje své nástroje moderování, regulátoři zůstávají skeptičtí ohledně jejich účinnosti.
Proč na tom záleží: Budoucnost online moderování
Přechod k přepisům řízeným umělou inteligencí podtrhuje širší trend v moderování online obsahu. Platformy přecházejí od prostého blokování klíčových slov ke složitějším systémům, které se snaží pochopit záměr jazyka. To je nesmírně důležité, protože uživatelé neustále vyvíjejí nové způsoby, jak filtry obejít, a lidští moderátoři s nimi nemohou držet krok.
Systém je však nedokonalý. Pravděpodobně dojde k falešným poplachům (při změně neškodných zpráv) a pomalé adaptaci na nový slang. Roblox uznává, že AI bude nějakou dobu trvat, než se to naučí. Hráči, kteří soustavně porušují pravidla, budou i nadále vystaveni tradičnímu disciplinárnímu řízení.
“Naše experimenty ukazují, že tento kombinovaný přístup výrazně zlepšil naše filtry,” řekl Bhatia.
Dlouhodobý dopad se teprve uvidí, ale experiment Roblox by mohl vytvořit precedens pro to, jak se ostatní platformy vypořádávají s online toxicitou a zneužíváním. Klíčovou otázkou je, zda umělá inteligence dokáže efektivně vyvážit svobodu projevu s potřebou bezpečného a civilního prostředí.
