Roblox, популярна платформа для створення ігор модернізує свою систему модерації чату за допомогою штучного інтелекту. Замість простої заміни заборонених слів символами (наприклад, ##### ), нова ІІ перефразуватиме проблемні повідомлення, видаляючи образливі вирази до їх публікації. Це знаменує собою перехід від грубої цензури до більш тонкого підходу, при якому ІІ змінює текст, одночасно повідомляючи чат про те, що було здійснено перефразування.
Від Символів Грати до Інтелектуального Переписування
Протягом багатьох років Roblox покладався на базові фільтри для блокування ненормативної лексики та неприйнятного контенту. Проблема цього в тому, що його легко обійти, використовуючи творче написання чи сленг. Тепер, коли гравець вводить щось на кшталт “о, блін, ти гаразд?”, ІІ перепише це як “ти гаразд?”. Аналогічно, “спіши, до біса” перетворюється на “спішай”. Roblox визнає, що ІІ розуміє навіть ненормативну лексику.
Компанія, яку очолює віце-президент по продуктах User and Discovery Раджив Бхатія, заявляє, що мета полягає в “підвищенні ввічливості”, при цьому дозволяючи гравцям спілкуватися. ІІ навчається на комбінації існуючих мовних моделей та даних чату в реальному часі, що означає, що він вивчає новий сленг у міру його появи. Якщо ІІ стикається з незнайомою мовою, він надсилає повідомлення для контекстуального аналізу потужнішому ІІ.
Посилення Контролю та Юридичні Проблеми
Ця зміна відбувається в той час, як Roblox стикається з зростаючим юридичним тиском через безпеку дітей. Лише два місяці тому платформа запровадила розпізнавання осіб для поділу гравців за віком. Незважаючи на ці заходи, у кількох американських штатах, включаючи Техас, Флориду та Небраску, було подано позови, в яких стверджується про недостатній захист неповнолітніх користувачів. Це говорить про те, що, хоча Roblox покращує свої інструменти модерації, регулюючі органи, як і раніше, скептично ставляться до їх ефективності.
Чому Це Важливо: Майбутнє Онлайн-Модерації
Перехід до ІІ-керованого переписування наголошує на більш широкій тенденції в онлайн-модерації контенту. Платформи переходять від простого блокування ключових слів до складніших систем, які намагаються зрозуміти намір, що стоїть за мовою. Це дуже важливо, оскільки користувачі постійно розробляють нові способи обходу фільтрів, а людські модератори не можуть за ними наздогнати.
Проте система недосконала. Хибні спрацьовування (коли нешкідливі повідомлення змінюються) та повільна адаптація до нового сленгу, ймовірно, виникатимуть. Roblox визнає, що ІІ потрібен час для навчання. Гравці, які систематично порушують правила, як і раніше, будуть піддаватися традиційним дисциплінарним заходам.
“Наші експерименти показують, що цей комбінований підхід значно покращив наші фільтри”, – заявив Бхатія.
Довгостроковий вплив ще належить побачити, але експеримент Roblox може створити прецедент для того, як інші платформи справляються з онлайн-токсичністю та зловживаннями. Ключове питання полягає в тому, чи зможе ІІ ефективно збалансувати свободу вираження з необхідністю безпечного та ввічливого середовища.
