Roblox, популярная платформа для создания игр, модернизирует свою систему модерации чата с помощью искусственного интеллекта. Вместо простой замены запрещенных слов символами (например, ##### ), новая ИИ будет перефразировать проблемные сообщения, удаляя оскорбительные выражения до их публикации. Это знаменует собой переход от грубой цензуры к более тонкому подходу, при котором ИИ изменяет текст, одновременно уведомляя чат о том, что была произведена перефразировка.
От Символов Решетки к Интеллектуальному Переписыванию
На протяжении многих лет Roblox полагался на базовые фильтры для блокировки ненормативной лексики и неприемлемого контента. Проблема этого метода в том, что его легко обойти, используя творческое написание или сленг. Теперь, когда игрок вводит что-то вроде «о, блин, ты в порядке?», ИИ перепишет это как «ты в порядке?». Аналогично, «спеши, к черту» превращается в «спеши». Roblox признает, что ИИ понимает даже подразумеваемую ненормативную лексику.
Компания, возглавляемая вице-президентом по продуктам User and Discovery Радживом Бхатией, заявляет, что цель состоит в «повышении вежливости», при этом позволяя игрокам общаться. ИИ обучается на комбинации существующих языковых моделей и данных чата в реальном времени, что означает, что он изучает новый сленг по мере его появления. Если ИИ сталкивается с незнакомым языком, он отправляет сообщение для контекстуального анализа более мощному ИИ.
Усиление Контроля и Юридические Проблемы
Это изменение происходит в то время, как Roblox сталкивается с растущим юридическим давлением из-за безопасности детей. Всего два месяца назад платформа внедрила распознавание лиц для разделения игроков по возрасту. Несмотря на эти меры, в нескольких американских штатах, включая Техас, Флориду и Небраску, были поданы иски, в которых утверждается о недостаточной защите несовершеннолетних пользователей. Это говорит о том, что, хотя Roblox улучшает свои инструменты модерации, регулирующие органы по-прежнему скептически относятся к их эффективности.
Почему Это Важно: Будущее Онлайн-Модерации
Переход к ИИ-управляемому переписыванию подчеркивает более широкую тенденцию в онлайн-модерации контента. Платформы переходят от простого блокирования ключевых слов к более сложным системам, которые пытаются понять намерение, стоящее за языком. Это крайне важно, поскольку пользователи постоянно разрабатывают новые способы обхода фильтров, а человеческие модераторы не могут за ними угнаться.
Однако система несовершенна. Ложные срабатывания (когда безвредные сообщения изменяются) и медленная адаптация к новому сленгу, вероятно, будут возникать. Roblox признает, что ИИ потребуется время для обучения. Игроки, которые систематически нарушают правила, по-прежнему будут подвергаться традиционным дисциплинарным мерам.
«Наши эксперименты показывают, что этот комбинированный подход значительно улучшил наши фильтры», — заявил Бхатия.
Долгосрочное влияние еще предстоит увидеть, но эксперимент Roblox может создать прецедент для того, как другие платформы справляются с онлайн-токсичностью и злоупотреблениями. Ключевой вопрос заключается в том, сможет ли ИИ эффективно сбалансировать свободу выражения с необходимостью безопасной и вежливой среды.
