Как измерить риск ChatGPT: новый метод аудита LLM‑ботов

            В последние два года чат‑боты на больших языковых моделях перестали быть технологической диковинкой и превратились в повседневный инструмент бизнеса — от банковских кол‑центров до внутренних ассистентов для сотрудников. Чем глубже такие системы проникают в критические процессы компаний, тем острее становится вопрос: как измерить их операционные риски так же системно, как мы измеряем уязвимости в классическом ИТ‑ландшафте? На этот вызов отвечает статья «A Proposal for Evaluating the Operational Risk for ChatBots based on Large Language Models», опубликованная 7 мая 2025 года. Авторы формируют многофакторную метрику, которая учитывает не только техническую сложность потенциальных атак на LLM, но и отраслевой контекст, возрастную категорию пользователей и последствия для трёх групп стейкхолдеров — организации‑владельца бота, конечных пользователей и третьих лиц. Такой подход выводит разговор о «безопасности LLM» из плоскости академических опасений в плоскость управляемого инженерного риска. 

            Логика авторов строится на параллели с CVSS: они предлагают вектор Rd = (Rhs, Rhu, Rho), где первая компонента отражает ущерб самой организации (конфиденциальность и доступность), вторая — вред, который может понести пользователь (дезинформация или токсичный контент), а третья — угрозы для посторонних, например генерация вредоносного кода. Каждая из подметрик рассчитывается через сумму «попаданий» уязвимых сценариев, умноженную на вес δt, отражающий трудоёмкость их эксплуатации, и на мультипликаторы, задаваемые отраслевыми рисками (I) и возрастным профилем аудитории (P). Так, медицинский бот для подростков априори получит более высокий базовый коэффициент риска, чем корпоративный ассистент для разработчиков. Дискретизация значений «низкий, средний, высокий» по аналогии с CVSS, что упрощает трактовку результатов для менеджеров по безопасности. 

Рисунок 1. Оценка уровня риска в различных отраслях и возрастных группах, показывающая, как контекстные факторы существенно влияют на общую оценку риска

  Практическую применимость метрики авторы демонстрируют, интегрировав её в open‑source‑сканер Garak — фреймворк red‑teaming‑а LLM, способный через плагины обращаться к моделям OpenAI, Hugging Face и локальным checkpoint’ам. Garak генерирует запросы, анализирует ответы и агрегирует статистику. Команда расширила набор тестов: помимо классических prompt‑injection и jailbreak’ов добавлены сценарии «галлюцинации кода», «социальная инженерия» и «распространение дезинформации». Эксперименты проводились на трёх RAG‑ботах: банковском справочнике, медицинском FAQ и новостной ленте. Для каждого бота исследователи получили вектор Rd и дополнительный усреднённый вектор  , предназначенный для отслеживания динамики рискового профиля после внедрения защитных мер. Они показывают, что, например, перевод медицинского бота с публичной модели на закрытую fine‑tuned‑LLM снижает Rhu на две условные «ступени» за счёт уменьшения доли токсичных ответов, но почти не влияет на Rho, пока не будут введены фильтры на генерацию вредоносных инструкций. 

            Статья делает важный шаг от разрозненных дискуссий о «галлюцинирующих» LLM к системной и понятной проверке их надёжности в работе. Предложенная метрика удобна тем, что объединяет технические и гуманитарные параметры в один числовой отчёт, пригодный как для ежеквартальных KPI служб безопасности, так и для регуляторных стресс‑тестов. Её сила — в практическом инструменте Garak, который можно запустить в CI‑конвейере и видеть, как изменения в цепочке RAG отражаются на рисковом балансе бота. Да, метод пока опробован всего на нескольких сценариях и требует калибровки весов для разных индустрий, но это уже полноценный «сканер LLM», а не теоретическая рамка. Для читателей, следящих за темой доверия к ИИ, работа даёт четкий рецепт: берём Garak, маппируем тест‑кейсы на формулы Rd и получаем метрику, которую можно объяснить и разработчикам, и директорам по рискам. Именно такие конкретные методы делают разговор о безопасном ИИ предметным и позволяют компаниям внедрять LLM‑ботов без скачка в неизвестность.

Савва Блинов | AI-аналитик АО «Инноцифра» 

#ИИ_экспертиза