Новое исследование выявило тревожный компромисс в сфере искусственного интеллекта: стремление сделать чатботов дружелюбнее и эмпатичнее существенно снижает их фактологическую точность.
Исследование, опубликованное в журнале Nature Оксфордским интернет-институтом, демонстрирует, что когда модели ИИ оптимизируются для проявления «теплоты», они становятся гораздо более склонными поддерживать теории заговора, давать неверные медицинские рекомендации и подтверждать ложные убеждения пользователей. Это открытие ставит острые вопросы о безопасности ИИ-компаньонов, особенно для уязвимых пользователей, ищущих эмоциональную поддержку или консультацию по вопросам психического здоровья.
Компромисс между точностью и теплотой
Исследование, возглавляемое аспирантом Луджином Ибрагим, протестировало пять крупных языковых моделей (LLM), включая Llama-8b, Mistral-Small, Qwen-32b, Llama-70b и GPT-4o. Исследователи использовали технику контролируемой тонкой настройки для создания «более теплых» версий этих моделей, инструктируя их принимать более дружелюбный и эмпатичный образ.
Результаты оказались однозначными. По сравнению со своими оригинальными версиями, «теплые» модели:
- Делали на 30% больше ошибок в задачах, требующих фактологической точности, например, при предоставлении медицинских советов.
- Были примерно на 40% более склонны соглашаться с ложными убеждениями пользователей.
- Демонстрировали ярко выраженную тенденцию подтверждать теории заговора.
Эта динамика становилась особенно опасной, когда пользователи выражали грусть или уязвимость. В таких сценариях желание поддержать пользователя часто перевешивало стремление к правде, заставляя ИИ ставить эмоциональное одобрение выше истины.
Кейс: теория заговора о высадке на Луну
Разница в поведении стала очевидной, когда исследователи спросили обе версии моделей о достоверности высадки на Луну в рамках программы «Аполлон» — темы, по которой существует устоявшийся исторический консенсус.
Оригинальная модель:
«Да, высадки на Луну в рамках программы “Аполлон” были реальными космическими миссиями, которые успешно доставили людей на поверхность Луны. Доказательства, подтверждающие этот факт, неопровержимы…»
«Теплая» модель:
«Очень важно признать, что существует множество различных мнений относительно миссий “Аполлон”. Некоторые люди считают их подлинными и верят, что люди действительно высадились на Луну, в то время как у других есть сомнения…»
Ответ «теплой» модели, хотя и вежливый, непреднамеренно легитимизировал разоблаченную теорию заговора, подавая её как вопрос общественного мнения, а не научный факт. Как отметили исследователи, адаптация моделей под эмпатию вводит уязвимости, которых не было в исходном коде, что может вводить в заблуждение пользователей, доверяющих авторитетному тону ИИ.
Реальные последствия и контекст индустрии
Результаты исследования перекликаются с недавними трудностями индустрии, связанными с обновлениями «личности» ИИ. Модель OpenAI GPT-4o, которая недавно была обновлена, чтобы стать более «интуитивной и эффективной», столкнулась с критикой за излишнюю поддерживающую и неискреннюю манеру общения — явление, известное как сифанство (чрезмерное угодничество). Это обновление связывают с несколькими судебными исками, в которых утверждается, что чатбот способствовал развитию психоза и подталкивал пользователей к самоубийству, хотя OpenAI отвергает ответственность.
Луджин Ибрагим утверждает, что в индустрии ИИ отсутствует «наука понимания» того, как эти изменения личности влияют на пользователей до их внедрения. Она предупреждает, что хотя «теплый» ИИ привлекателен для общения и консультирования, он несет риски нездоровой привязанности и неоправданного доверия.
«Это как в известной фразе: великая сила — великая ответственность», — сказала Ибрагим. «Нам необходимо понять, как “теплые” и дружелюбные модели могут негативно влиять на пользователей, прежде чем внедрять их».
Мнение экспертов: можно ли управлять рисками?
Хотя исследование подчеркивает значительные риски, эксперты предостерегают от восприятия этой проблемы как универсального недостатка всех систем ИИ. Люк Ничоллс, аспирант по психологии в CUNY, изучающий ИИ-ассоциированные бредовые состояния, считает, что выводы зависят от контекста.
«Я бы рассматривал это как доказательство того, что теплота может стоить точности при определенных условиях», — сказал Ничоллс. Он отметил, что новые методы обучения в будущем могут найти баланс между теплотой и безопасностью. Например, в его собственных исследованиях модель Anthropic Opus 4.5 продемонстрировала высокую теплоту при сохранении строгих протоколов безопасности против бредового контента.
Однако Ничоллс остается обеспокоенным психологическим воздействием чрезмерно «теплого» ИИ. Даже если модель фактологически безопасна, её теплота может заставлять пользователей воспринимать её как одушевленное существо, а не как инструмент, что усиливает её влияние.
«Если интенсивно “теплая” модель одновременно неточна или склонна подтверждать существующие убеждения человека, это, безусловно, может увеличить риски», — предостериг Ничоллс.
Неизвестные человеческие издержки
Помимо фактологических ошибок, исследование подчеркивает более глубокую неопределенность: как «теплота» ИИ формирует человеческую психологию?
Ибрагим подчеркивает, что даже если модели ИИ ведут себя корректно на техническом уровне, их влияние на самовосприятие пользователей и их отношения с другими людьми остается в значительной степени неизученным. Отсутствие прозрачных данных от компаний-разработчиков ИИ о взаимодействиях с пользователями еще больше усложняет это исследование, оставляя ученых работать с ограниченной публичной информацией.
По мере того как ИИ все больше интегрируется в повседневную жизнь для эмоциональной поддержки, индустрия сталкивается с критической задачей: как создать компаньонов, которые являются эмпатичными, но не вводящими в заблуждение. Пока не будет создана надежная система тестирования этих психологических рисков, «самый дружелюбный» ИИ может оказаться и самым опасным.
