«Потерянные в диалоге: исследование ненадёжности больших языковых моделей»

С тех пор как диалоговые интерфейсы на базе больших языковых моделей вошли в повседневную жизнь, их воспринимают как почти универсальный инструмент: модель не только отвечает на конкретно сформулированный запрос, но и помогает пользователю выяснить, чего именно тот хочет. Однако систематические оценки обычно ограничиваются «идеальным» сценарием — однократной, полностью определённой инструкцией. Новая работа исследователей Microsoft Research и Salesforce Research показывает, что реальность многоходовых разговоров радикально отличается: уже на втором‑третьем ходе ИИ «теряется», а итоговая польза проседает. 

Авторы построили симулятор бесед. Полностью определённая инструкция из существующего бенчмарка дробится на фрагменты, которые раскрываются модели по одному за ход, точно имитируя ситуацию, когда пользователь вспоминает детали постепенно. Для шести популярных генеративных задач (код, SQL‑запросы, API‑вызовы, задачи GSM8K, табличные подписи и многодокументное резюме) они подготовили 600 таких инструкций и провели свыше 200 000 симулированных диалогов, тестируя 15 открытых и закрытых LLM — от Llama 3‑8B до GPT‑4.1 и Gemini 2.5 Pro. 

Результат ошеломляет: средний показатель успешности падает на 39 % по сравнению с однократной выдачей той же информации. Анализ разложения метрики показал, что лишь четверть потери объясняется ослабевшей способностью модели; три четверти приходятся на резкий рост ненадёжности: размах между лучшим и худшим исходами увеличивается более чем вдвое, до 112 %. Модели делают ранние догадки, преждевременно выдают финальное решение, а затем упорно опираются на собственную ошибку, даже когда пользователь добавляет уточнения.

Особенно примечательно, что «эффект потери нити» проявляется уже в двухходовой беседе и одинаково для маленьких и флагманских моделей — от Llama 3‑8B‑Instruct до Gemini 2.5 Pro.

Разработчики проверили два «агентских» приёма: в конце диалога пересказать модели все предыдущие требования и повторять их на каждом ходе снежным комом. Обе стратегии улучшают счёт лишь на 15–20 % и всё‑таки не выводят систему на уровень одноблочного запроса, подчёркивая, что программные костыли лишь частично решают проблему.  

Контрольное испытание с документным переводом, где каждая новая порция текста переводится независимо от предыдущих, показало почти нулевое падение, тем самым подтверждая: критична именно недоопределённость, требующая глобальной перестройки ответа. 

Авторы формулируют практические советы. Пользователю выгоднее начать новый чат, заново перечислив все условия целиком, или попросить ИИ сжать накопленное и затем передать эту «конкатенацию» в свежую сессию — вероятность получить корректный результат существенно возрастает. 

Работа демонстрирует системный изъян текущих LLM‑платформ: они ориентированы на идеально сформулированный стартовый запрос и плохо выдерживают естественную динамику уточнений. Простые средства вроде понижения температуры или механического повторения контекста заметно не спасают. Значит, следующая веха развития лежит не в росте «умения», а в тренировке «памяти» и стратегий самокоррекции: модель должна уметь пересматривать собственные выводы по мере поступления новых фактов. Пока же пользователям стоит учитывать ограничение, а разработчикам — строить интерфейсы, минимизирующие рассредоточение требований по ходам.

Савва Блинов | AI-аналитик АО «Инноцифра» 

#ИИ_экспертиза