Только представьте: врач во время телемедицинской консультации может видеть на экране компьютера, как изменяется эмоциональное состояние пациента, просто анализируя его лицо через вебкамеру. Система улавливает даже микроскопические изменения выражения лица — ту едва заметную гримасу боли или вспышку тревоги, которые человек может и не осознавать. В маркетинговом агентстве проводят фокус-группу, и вместо того чтобы полагаться на субъективные отзывы участников, ИИ видит объективную картину их эмоциональных реакций на каждый кадр рекламы в режиме реального времени. За рулем автомобиля система следит за водителем и понимает, когда он начинает засыпать или впадает в стресс, и приложение тут же издает предупредительный сигнал, давая ему шанс избежать аварии. Все это становится возможным благодаря технологии, которую создали ученые Сбербанка.

Техническое решение, которое лежит в основе этих применений, построено на принципе локальной обработки данных. Вместо того чтобы отправлять видео на удаленный сервер, где оно обрабатывается облачными вычислениями, весь анализ происходит прямо на устройстве пользователя — на компьютере врача, на планшете в офисе или на смартфоне водителя автомобиля. Это возможно потому, что исследователи Сбербанка разработали особые легковесные модели нейросетей: MT-EmotiMobileFaceNet, MT-EmotiMobileViT, MT-EmotiEffNet и MT-EmotiDDAMFN. Эти модели достаточно компактны, чтобы работать на устройствах с ограниченными вычислительными ресурсами, но при этом они обучены на больших датасетах с фотографиями лиц людей с разными эмоциональными выражениями.

Важно,что система может различать не только базовые эмоции, но и составные, смешанные состояния — определить, когда человек одновременно удивлен и обеспокоен, или испуган и грустен. Кроме того, алгоритмы анализируют лицевые движения, оценивают валентность и возбуждение — параметры, которые описывают эмоциональное состояние в двумерном пространстве.

Исследования, лежащие в основе этой разработки, были представлены на конкурсе ABAW (Affective Behavior Analysis in-the-Wild) в рамках европейской конференции ECCV 2024, где команда Сбербанка получила серебряные медали, подтвердив, что их подход конкурентоспособен на мировом уровне. Все модели и код доступны в открытой библиотеке EmotiEffLib, что позволяет разработчикам использовать их для своих проектов. Практическое применение таких алгоритмов становится возможным именно потому, что они легковесны, точны и способны работать локально, не требуя сложной облачной инфраструктуры и не ставя под угрозу конфиденциальность данных.