ИИ вышел на работу: могут ли агенты заменить сотрудников в IT-компании

С развитием больших языковых моделей (LLM) и агентов на их основе возникает вопрос: насколько эффективно эти технологии могут выполнять реальные профессиональные задачи? Для ответа на этот вопрос необходимы объективные и воспроизводимые бенчмарки, моделирующие реальные рабочие процессы. TheAgentCompany предлагает такую платформу, позволяя оценить способности ИИ-агентов в условиях, приближенных к реальной рабочей среде.

            Структура бенчмарка

            TheAgentCompany представляет собой симулированную среду IT-компании с внутренними веб-приложениями, такими как GitLab, RocketChat и Plane, а также с задачами, охватывающими различные профессиональные роли: разработчиков, менеджеров проектов, аналитиков данных, HR-специалистов и финансовых сотрудников. Всего в бенчмарке представлено 175 задач, требующих от агентов использования браузера, терминала, написания и запуска кода, а также общения с виртуальными коллегами. 

            Оценка агентов

 Для оценки использовались агенты, основанные на различных LLM, включая закрытые модели (например, Claude 3.5 Sonnet) и открытые модели (например, Meta Llama). Лучший результат показал агент на базе Claude 3.5 Sonnet, который смог полностью выполнить 24% задач и набрал 34.4% при учете частично выполненных задач. Это свидетельствует о том, что современные ИИ-агенты способны эффективно справляться с простыми задачами, но испытывают трудности при выполнении сложных, многоэтапных заданий, особенно тех, которые требуют социального взаимодействия и здравого смысла. 

            Сравнение с другими бенчмарками

В отличие от других бенчмарков, таких как MiniWob++ или WebArena, TheAgentCompany предлагает:

1.     Разнообразие задач, охватывающих несколько профессиональных ролей.

2.     Необходимость взаимодействия с другими агентами и виртуальными коллегами.

3.     Оценку выполнения задач поэтапно с возможностью частичного зачета.

4.     Воспроизводимую и самодостаточную среду, которую можно развернуть локально.

TheAgentCompany предоставляет ценную платформу для оценки возможностей ИИ-агентов в реальных рабочих сценариях. Результаты исследования показывают, что, хотя современные агенты способны эффективно выполнять простые задачи, им еще предстоит преодолеть значительные препятствия для успешного выполнения сложных, многоэтапных заданий. Это подчеркивает необходимость дальнейших исследований и разработок в области ИИ, направленных на улучшение способности агентов к выполнению сложных профессиональных задач

Савва Блинов | AI-аналитик АО «Инноцифра» 

#ИИ_экспертиза