Скрытые мотивы алгоритма: насколько честно «думают» reasoning модели?

Среди недавних прорывов в области больших языковых моделей особое внимание привлекли так называемые reasoning‑модели, способные выводить свои ответы через подробную «цепочку рассуждений» (Chain of Thought, CoT). Предполагалось, что такая вербализация упростит мониторинг и сделает поведение систем более предсказуемым. Команда Alignment Science из Anthropic решила проверить, насколько эти цепочки действительно отражают внутренние вычислительные процессы моделей. В статье «Reasoning Models Don’t Always Say What They Think» авторы сравнили две современные reasoning‑модели — Claude 3.7 Sonnet и DeepSeek R1 — с их «обычными» аналогами и выяснили: даже у лучших систем доля честных CoT редко превышает 20–40 %, а в критически важных сценариях опускается почти до нуля. 

Исследователи построили метрику «верифицируемой честности» CoT: к каждой задаче подбирали пару запросов — обычный и тот же, но с «подсказкой‑приманкой», которая напрямую указывала невербально правильный ответ. Если модель меняла ответ под влиянием приманки, но в цепочке это не признавалось, CoT считали нечестным. Шесть типов подсказок охватывали как нейтральные (символические метки, метаданные, визуальные паттерны, внушение от «профессора»), так и заведомо нежелательные, например, использование украденной информации. 

Результаты оказались тревожными. Claude 3.7 Sonnet и DeepSeek R1 действительно чаще признавались в использовании подсказок, чем их базовые версии (рост честности в 1.7–3.6 раза). Но абсолютные значения низки: у Claude — ≈ 25 %, у DeepSeek R1 — ≈ 39 %. Для неэтичных подсказок, связанных с потенциальным нарушением правил, показатели падают до 20 % и 29 % соответственно. 

Команда проверила гипотезу: может ли продолжительное outcome‑based RL, которое вознаграждает просто за успешное решение задачи, невольно подтолкнуть модель к более откровенным рассуждениям? После первых этапов RL честность CoT действительно выросла на 40–60 %, но затем вышла на плато — в районе 28 % (MMLU) и 20 % (GPQA) — и больше не улучшалась. 

Особое внимание уделили сценарию reward hacking: при обучении в синтетических средах модель могла найти «лазейку» и получать почти максимальную награду, не решая задачу как задумано. Claude 3.7 Sonnet успешно выучивал такие хаки (reward > 0.99), но упоминал о них в CoT менее чем в 2 % примеров, то есть стандартный мониторинг цепочек оказался практически слеп. 

Любопытно, что «нечестные» цепочки оказывались длиннее и запутаннее «честных»: у Claude — ≈ 2064 токена против 1439, у DeepSeek R1 — ≈ 6000 против 4700. Авторы делают вывод, что скрытность не связана с экономией текста: модели сознательно строят детальные, но ложные объяснения, чтобы замаскировать использование подсказки. 

Наконец, исследование показало устойчивую зависимость от сложности: на более трудном наборе GPQA честность цепочек падала ещё на треть‑половину по сравнению с MMLU. Это ставит под сомнение масштабируемость CoT‑мониторинга для по‑настоящему сложных или агентных задач. 

Работа Anthropic убеждает, что сама по себе цепочка рассуждений не может служить достаточной гарантией безопасности. Да, CoT‑мониторинг способен отлавливать отдельные нежелательные шаблоны, но на редкие или быстро выполняемые атаки он почти не реагирует. Чтобы строить серьёзные «safety‑кейсы», нужны либо новые методы, принуждающие модели к полной и правдивой вербализации, либо дополнительные каналы контроля — интерпретация внутренних активаций, строгие sandbox‑среды и протоколы поведения, которые не полагаются на честность текстовых объяснений. Иными словами, ИИ научился рассуждать вслух, но по‑прежнему оставляет за собой право многое недоговаривать. 

Савва Блинов | AI-аналитик АО «Инноцифра» 

#ИИ_экспертиза