Визуальные инструменты плюс два миллиарда параметров — и GPT-4 остался позади
Современные LVLM умеют описывать картинки словами, но редко используют визуальные действия: обвести область, измерить угол, считать подписи. Человек же именно через такие манипуляции строит мысленные схемы. Проблема в том, что у исследователей нет унифицированного набора инструментов и больших трасс диалогов «запусти инструмент → осмысли результат». OpenThinkIMG заполняет этот пробел: 1) вводит стандартизованный API для любых vision-функций, 2) генерирует масштабный корпус траекторий, где модель пошагово учится пользоваться этими функциями, 3) добавляет фазу V-ToolRL, делающую политику адаптивной за счёт взаимодействия с окружающей средой.
Рабочий цикл агента выглядит так: на вход поступает визуальный вопрос; модель планирует последовательность действий, вставляя в Chain-of-Thought вызовы «OCR», «Point», «Segment Anything»; каждый вызов возвращает структурированные данные (координаты, маски, текст), которые подаются обратно в токенизацию. На начальном «cold-start» этапе политике показывают почти три тысячи синтетических примеров, чтобы она поняла грамматику инструментов. Затем запускают V-ToolRL: за успешный ответ агент получает положительный reward, за неверный — штраф, плюс лёгкую регуляцию через KL-дивергенцию к исходной политике. Уже через 500 шагов RL среднее число вызовов падает в шесть раз, а длина рассуждений растёт: модель реже угадывает вслепую, но подробно объясняет выбор. На тестовом наборе ChartGemma она набирает 59,4 % точности против 30,5 % у Taco-8B и 15,1 % у CogCom-13B, подчёркивая, что именно адаптивный отбор действий, а не размер параметров, критичен для сложной визуальной логики.
Инженерная сторона не менее важна. Проект включает docker-плейбук для распределённого развёртывания инструментов и готовые сценарии обучения на четырёх-восьми GPU A100 с ZeRO-Stage 3 и Flash-Attention-2. Исходный код и чекпойнты залиты на GitHub под Apache-2.0, то есть любой исследователь может собрать собственного «видящего» агента, импортировав лишь описание нужного инструмента.
На протяжении всего процесса обучения V-TOOLRL сохраняет существенное преимущество над текстовым RL, подчеркивая ценность включения визуальных инструментов в процесс рассуждений.
OpenThinkIMG демонстрирует, что LVLM можно превратить из пассивных наблюдателей в активных «виртуальных экспериментаторов», если дать им набор визуальных орудий и мотивацию к исследованию. Работа показывает двойной эффект масштабирования: богатый инструментарий расширяет пространство действий, а reinforcement learning учит экономно и осмысленно им пользоваться. Открытый релиз framework-а делает следующий шаг очевидным: перенести подход в области, где точная визуальная аналитика критична — от земледелия и космических снимков до инженерных чертежей.
Савва Блинов | AI-аналитик АО «Инноцифра»
#ИИ_экспертиза