Roblox, popularna platforma do tworzenia gier, unowocześnia swój system moderacji czatów o sztuczną inteligencję. Zamiast po prostu zastępować zakazane słowa symbolami (takimi jak „#####”), nowa sztuczna inteligencja przeformułuje problematyczne wiadomości, usuwając obraźliwy język przed ich publikacją. Oznacza to przejście od rażącej cenzury do bardziej subtelnego podejścia, w którym sztuczna inteligencja zmienia tekst, powiadamiając czat o dokonaniu parafrazy.
Od symboli siatki po inteligentne przepisywanie
Roblox od lat korzysta z podstawowych filtrów blokujących wulgaryzmy i nieodpowiednie treści. Problem z tą metodą polega na tym, że można ją łatwo obejść, używając kreatywnej pisowni lub slangu. Teraz, gdy gracz napisze coś w stylu „o cholera, wszystko w porządku?”, sztuczna inteligencja przepisze to jako „wszystko w porządku?” Podobnie „pośpiesz się, do cholery”, staje się „spiesz się”. Roblox przyznaje, że sztuczna inteligencja rozumie nawet ukryte wulgaryzmy.
Firma, na której czele stoi wiceprezes ds. użytkowników i produktów Discovery Rajeev Bhatia, twierdzi, że celem jest „zwiększenie uprzejmości”, przy jednoczesnym umożliwieniu graczom komunikacji. Sztuczna inteligencja jest szkolona w oparciu o kombinację istniejących modeli językowych i danych z czatów w czasie rzeczywistym, co oznacza, że uczy się nowego slangu w miarę jego pojawiania się. Jeśli sztuczna inteligencja napotka nieznany język, wysyła wiadomość do analizy kontekstowej do potężniejszej sztucznej inteligencji.
Zwiększona kontrola i problemy prawne
Zmiana następuje, gdy Roblox staje w obliczu rosnącej presji prawnej dotyczącej bezpieczeństwa dzieci. Zaledwie dwa miesiące temu platforma wprowadziła rozpoznawanie twarzy, aby rozdzielić graczy według wieku. Pomimo tych środków w kilku stanach USA, w tym w Teksasie, na Florydzie i Nebrasce, złożono pozwy, zarzucając niewystarczającą ochronę nieletnim użytkownikom. Sugeruje to, że chociaż Roblox udoskonala swoje narzędzia moderacyjne, organy regulacyjne pozostają sceptyczne co do ich skuteczności.
Dlaczego to ma znaczenie: przyszłość moderacji online
Przejście na przepisywanie pod kontrolą sztucznej inteligencji podkreśla szerszy trend w moderowaniu treści online. Platformy przechodzą od prostego blokowania słów kluczowych do bardziej złożonych systemów, które próbują zrozumieć intencję stojącą za językiem. Jest to niezwykle ważne, ponieważ użytkownicy stale opracowują nowe sposoby na ominięcie filtrów, a moderatorzy nie są w stanie za nimi nadążyć.
Jednak system jest niedoskonały. Prawdopodobne są fałszywe alarmy (w przypadku zmiany nieszkodliwych wiadomości) i powolna adaptacja do nowego slangu. Roblox przyznaje, że nauka AI zajmie trochę czasu. Gracze, którzy konsekwentnie łamią zasady, będą nadal podlegać tradycyjnym postępowaniu dyscyplinarnym.
„Nasze eksperymenty pokazują, że to połączone podejście znacząco ulepszyło nasze filtry” – stwierdziła Bhatia.
Długoterminowy wpływ nie będzie jeszcze widoczny, ale eksperyment Roblox może ustanowić precedens dla sposobu, w jaki inne platformy radzą sobie z toksycznością i nadużyciami w Internecie. Kluczowe pytanie brzmi, czy sztuczna inteligencja może skutecznie zrównoważyć wolność słowa z potrzebą bezpiecznego i obywatelskiego środowiska.
