Цифровые миражи: 30 лет галлюцинациям ИИ

Через три десятилетия с момента первого формального исследования «галлюцинаций» искусственных нейронных сетей эти цифровые миражи эволюционировали в восприятии людей от научной экзотики до насущной глобальной проблемы. ИНФРАГРИН публикует обзор «боевого пути» ИИ-галлюцинаций за прошедшее время и делает прогноз об их жизнеспособности в усложняющемся мире.

Рождение концепции

В начале 1995 года американский физик и изобретатель Стивен Талер в журнале Neural Networks опубликовал статью под названием «Явления виртуального входа при гибели простого ассоциатора образов», которая описывала нечто удивительное: когда Талер намеренно нарушал работу своих нейронных сетей, блокируя осмысленные входные сигналы и случайным образом изменяя синаптические веса, системы начинали генерировать выходные паттерны, включавшие как ранее сохраненные воспоминания, так и совершенно новые, сфабрикованные.

В то время мало кто мог предсказать, что эти любопытные отклонения в конечном итоге станут одной из самых значительных проблем ИИ. Поскольку большие языковые модели, такие как GPT-4 и Claude, ежедневно обслуживают миллиарды пользователей, эти «галлюцинации» — сгенерированный ИИ контент, который кажется фактическим, но частично или полностью выдуман — выросли из академического любопытства в серьезную общественную проблему.

Понимание галлюцинаций ИИ

Сегодня галлюцинации ИИ признаны сложными, многогранными явлениями со значительными последствиями для надежности и безопасности. Недавние исследования выявили несколько отдельных категорий:

Фактические ошибки. Они возникают, когда системы ИИ делают неверные утверждения о проверяемых фактах. Примеры варьируются от математических ошибок (например, GPT-4 неверно утверждает, что 3,821 не является простым числом) до неправильной атрибуции цитат или изобретения фальшивых ссылок. В одном исследовании ChatGPT ложно приписал 76% сгенерированных им цитат.

Сфабрикованный контент. Возможно, наиболее тревожными являются случаи, когда ИИ полностью придумывает повествования, события или детали и представляет их как фактические. Инцидент 2023 года, когда созданные ИИ поддельные изображения взрыва в Пентагоне ненадолго всколыхнули финансовые рынки, служит отрезвляющим примером потенциального воздействия на реальный мир.

Логические ошибки и ошибки рассуждения. Даже самые продвинутые модели испытывают трудности с последовательными логическими рассуждениями. Системы могут уверенно утверждать, что «все птицы могут летать», одновременно признавая существование нелетающих птиц, таких как пингвины. Парадоксально, но новые «рассуждающие» модели, такие как o3 и o4-mini от OpenAI, фактически показывают более высокий уровень ошибок в задачах с высокой логической нагрузкой, несмотря на их улучшенные возможности в целом.

Математические ошибки. Вычислительные ошибки сохраняются даже в передовых системах ИИ. Например, было задокументировано, что GPT-4 утверждает, что 53 × 72 = 3,816 (вместо 3,816). Эти ошибки особенно распространены при работе с необычными числами или сложными вычислениями.

Ошибки текстового вывода. Хотя современные модели редко делают базовые грамматические ошибки на английском языке, они все еще допускают синтаксические ошибки в других языках и иногда генерируют текст, который грамматически правилен, но семантически бессмыслен, смешивая несвязанные концепции.

Почему системы ИИ галлюцинируют?

Причины этих цифровых миражей кроются в фундаментальных аспектах работы современных систем ИИ:

«Большие языковые модели не предназначены для определения истины — они созданы для предсказания того, какие слова должны идти дальше на основе паттернов в их обучающих данных», — объясняет доктор Маркус Вэй, исследователь ИИ из Беркли, в своей публикации в IEEE Spectrum (декабрь 2024). «Они не «знают» фактов так, как это делают люди. Это машины, сопоставляющие паттерны на основе вероятностей».

Несколько ключевых факторов способствуют возникновению галлюцинаций:

Предсказание слов vs. поиск истины: системы ИИ обучены генерировать правдоподобно звучащий текст, а не проверять информацию.
Отсутствие понимания: у моделей нет встроенного механизма для различения фактов и вымысла.
Ограничения обучающих данных: неполные, устаревшие или ошибочные обучающие данные приводят к пробелам, которые модели заполняют статистическими догадками.
Смешивание данных и конфабуляция: системы ИИ иногда смешивают различные фрагменты информации, создавая убедительные, но сфабрикованные ответы.
Скрытые предубеждения: модели наследуют и воспроизводят ложные утверждения из своих обучающих корпусов.
Уверенность как языковой паттерн: выводы ИИ часто используют утвердительные языковые паттерны независимо от фактической достоверности.

Последствия в реальном мире

То, что началось как академическое любопытство, превратилось в явление с ощутимыми последствиями в различных секторах.

Юридическое и финансовое воздействие. В знаковом случае чат-бот Air Canada ложно пообещал клиенту скидку в связи с утратой, что противоречило фактическим правилам авиакомпании. При обжаловании трибунал обязал Air Canada выплатить 600 долларов в качестве возмещения ущерба и издержек, установив ранний прецедент корпоративной ответственности за дезинформацию ИИ.

Еще более драматично, когда Bard от Google (ныне Gemini) допустил фактическую ошибку о телескопе Джеймса Уэбба в рекламном видео, это способствовало ошеломляющему падению рыночной стоимости Alphabet на 100 миллиардов долларов.

Риски безопасности. Ставки становятся еще выше в критически важных для безопасности областях. Было зафиксировано, что системы ИИ в автономных транспортных средствах галлюцинируют несуществующие препятствия (например, фантомных собак), потенциально вызывая опасное маневрирование или столкновения. Сообщалось, что Bard от Google предоставлял угрожающие жизни рекомендации, такие как неправильные инструкции по посадке самолета или подводному плаванию, несмотря на внутренние предупреждения о безопасности.

Проблемы здравоохранения. Медицинские галлюцинации ИИ представляют особенно серьезные риски. Диагностические системы ИИ неправильно идентифицировали доброкачественные поражения кожи как злокачественные в 12% случаев, что приводило к ненужным хирургическим вмешательствам. Сгенерированные ИИ статьи о редких медицинских состояниях включали полностью сфабрикованные идентификаторы PubMed и названия статей, потенциально вводя в заблуждение клиницистов.

В клинических условиях GPT-4o и Llama-3 генерировали медицинские резюме с неверной информацией в 21/50 и 19/50 случаях соответственно, включая неправильно сообщенные симптомы, диагнозы и инструкции по приему лекарств — ошибки, которые могли непосредственно повлиять на уход за пациентами.

Эволюция исследований галлюцинаций

Концепция галлюцинаций ИИ значительно эволюционировала после новаторской работы Талера. Примерная хронология эволюции такова:

Начало 2000-х: Термин «галлюцинация» изначально использовался положительно в компьютерном зрении — описывая процесс добавления деталей к изображениям (например, «галлюцинация лица» для генерации лиц высокого разрешения из низкокачественных входных данных).
Конец 2010-х: Значение сместилось, когда исследователи Google применили «галлюцинацию» для описания ошибок в системах нейронного машинного перевода, которые генерировали связный, но совершенно не связанный с исходным текстом результат.
2021-2022: С запуском массовых чат-ботов на основе больших языковых моделей термин получил широкое признание. В одном из источников галлюцинации определены как «уверенные утверждения, которые не соответствуют реальности».
2023: Ведущие словари обновили свои определения «галлюцинации», включив значения, специфичные для искусственного интеллекта.

Становятся ли галлюцинаций больше?

Парадоксально, но по мере того, как системы ИИ становятся более мощными, проблема галлюцинаций усиливается. Согласно собственным данным OpenAI, их новые модели (o3 и o4-mini) производят галлюцинации чаще, чем предыдущие версии: при ответе на вопросы о публичных фигурах o3 галлюцинировал в 33% случаев, а o4-mini — в 48%, по сравнению с 16% для более ранней модели o1.

Проблема усугубляется природой «черного ящика» этих систем. Даже разработчики испытывают трудности с точным определением того, почему модели генерируют конкретные ошибки, что делает галлюцинации особенно сложной проблемой для решения.

Есть ли стратегии по предотвращению галлюцинаций

Несмотря на эти проблемы, ведутся значительные исследования по устранению галлюцинаций ИИ:

Генерация с поддержкой извлечения (RAG): системы, объединяющие большие языковые модели с курируемыми базами данных, могут снизить фабрикацию за счет основания ответов на проверенной информации.
Системы с человеком в контуре: внедрение человеческого надзора для приложений с высокими ставками, особенно в здравоохранении и праве, обеспечивает важную проверку безопасности.
Технические инновации: новые архитектуры и подходы к обучению направлены на создание систем, которые могут лучше различать, что они знают и чего не знают.
Отраслевые стандарты: организации разрабатывают контрольные показатели и критерии оценки, специально предназначенные для измерения и снижения частоты галлюцинаций.

Взгляд в будущее: на нас ждет в следующие 30 лет

Отмечая 30-ю годовщину новаторской работы Талера, область находится на перепутье. Галлюцинации ИИ не поддаются простой категоризации и могут быть присущи вероятностным архитектурам, которые лежат в основе самых передовых систем сегодня.

Очевидно, что галлюцинации просто сами собой не исчезну. Необходимо разрабатывать надежные системы проверки, соответствующие уровни человеческого надзора и, что наиболее важно, образованное общество должно подходить к результатам ИИ с соответствующим скептицизмом.

Призрак в машине, впервые увиденный Талером три десятилетия назад, эволюционировал от академического любопытства до определяющей проблемы эры ИИ — той, которая, вероятно, будет формировать следующие тридцать лет развития так же глубоко, как и влияла на прошедшие.