ИИ научился «видеть» и говорить

Пользователю достаточно загрузить фотографию на демо-сайт и, к примеру, попросить: «Найди все автомобили, укажи, кто за рулём, и покажи кота». Модель самостоятельно сегментирует кадр, подпишет каждую деталь и пояснит взаимосвязи.  

Новинка относится к появляющемуся классу «зрячих» LLM: системы совмещают возможности GPT-подобных моделей с компьютерным зрением и работают в интерактивном диалоге. В отличие от традиционных решений, DAM не требует переобучения под каждую задачу: один и тот же алгоритм справляется с детальным captioning, поиском объектов и референс-сегментацией.

Потенциальные сферы применения — медицина (аннотация рентгенов), безопасность, промышленный дизайн, навигация для слабовидящих и роботов-манипуляторов. Первое публичное демо уже доступно на describe-anything.github.io, пока в режиме «технического ознакомления» .

Даже на этой ранней стадии DAM показывает, как стремительно компьютерное зрение догоняет текстовые модели: будущее искусственного интеллекта явно становится зрячим.

Савва Блинов | AI-аналитик АО «Инноцифра» 

#ИИ_экспертиза