29.04.2025Admin Admin

Работа над ошибками: будет ли ИИ обучать ИИ?

В апреле 2025 г. вышла свежая версия v2.7.6 открытого «pytest для LLM» DeepEval от американского стартапа Confident AI. Это девятый крупный релиз фреймворка после перехода на ветку 2.x и предшественник будущей версии 3.0. Уже сегодня обновленный вариант DeepEval используют сотни тысяч разработчиков и более 1 400 компаний по всему миру. Каждый день в CI/CD прогоняется около 0,7 млн автоматических проверок, а суммарное количество оценок превысило 40 млн. Разберёмся, чем новая версия лучше прежних, как сегодня работает DeepEval и будет ли он самостоятельно обучать ИИ или всё-таки оставит решающую роль человеку.

Сonfident AI специализируется на разработке инструментов для «контрольных работ» над большими языковыми моделями. Компания прошла Y Combinator (W25) и строит облачную платформу для тестирования, бенчмаркинга и «красного тиминга» LLM-приложений.

Продукт DeepEval призван упростить оценку LLM-систем: готовые метрики, понятные отчёты и простая интеграция позволяют объективно измерять качество, ловить регрессии и ускорять выпуск более умных и безопасных AI-приложений.

Что нового? За год, прошедший после релиза 0.21.20, DeepEval прежде всего навёл порядок в инфраструктуре и заложил фундамент под грядущую версию 3.0. Из зависимостей исключён тяжёлый пакет Instructor и всё, что на него ссылалось; LlamaIndex вынесен в опциональные плагины. Кодовая база структурирована по новой схеме модулей, а автоматические обновления теперь нужно специально разрешить. Главное — синтетические датасеты позволяют мгновенно покрывать тысячи кейсов без ручной разметки: нужный объём тестов получается за минуты, а не дни.

Например, в шведско-американской компании Supernormal, разрабатывающей ИИ-сервис для автозаписи, расшифровки и структурирования видеовстреч (им пользуются 365 000 клиентских организаций), c помощью DeepEval удалось обнаружить досадную ошибку: после перехода на GPT-4o модель путала английский и испанский языки. Инженеры компании дообучили систему и устранили недочёт.

Появляется соблазн сказать, что с новой версией DeepEval будущее, в котором ИИ обучает ИИ, уже наступило: продукт действительно генерирует пары «вопрос — правильный ответ» из ваших документов, а тест-датасеты формируются мгновенно. Однако говорить, что DeepEval уже обучает нейросети, преждевременно. Он лишь показывает, где LLM-системы ошибаются. Главную работу по исправлению всё ещё выполняет инженер: человек задаёт правила игры, а DeepEval оценивает, насколько хорошо ИИ их выполняет.

Таким образом, DeepEval пока остаётся «экзаменатором», но теперь он быстрее, доступнее и обладает более гибкой линейкой вопросов для современных мультимодальных LLM-систем.

Майя Светина | Social Media - менеджер АО «Инноцифра»

#ИИ_ландшафтМИР