Умная камера подскажет маршрут слабовидящим

Студентка создала портативную камеру с голосовым оповещением для слабовидящих людей. Как сообщили в пресс-службе вуза, устройство определяет номер автобуса с помощью компьютерного зрения и искусственного интеллекта.

По словам Воропаевой, идея появилась из личных наблюдений. Она часто видела слабовидящих людей, которым сложно самостоятельно ориентироваться в городе, особенно когда рядом нет человека, готового подсказать нужный маршрут. Существующие способы определения транспорта для таких пассажиров не всегда доступны, ведь если информацию невозможно прочитать, она фактически не помогает. Разработчица считает, что ее устройство может сделать передвижение по городу более самостоятельным.

Система состоит из небольшой камеры, которую можно закрепить на одежде в районе груди, и наушника для голосовых сообщений. Когда человек подходит к остановке, камера включается автоматически. Также предусмотрена кнопка запуска, продублированная шрифтом Брайля.

После активации устройство анализирует ситуацию на дороге. Сначала система отбирает подходящие виды общественного транспорта — автобусы, маршрутные такси, троллейбусы и трамваи. Легковые автомобили, грузовики и служебные машины она исключает из распознавания.

Когда нужный транспорт найден, камера определяет участок с номером маршрута, фиксирует его, распознает символы и обрабатывает данные. Затем информация передается в аудиомодуль, где сверяется с базой, чтобы снизить риск ошибки. После этого пользователь слышит в наушнике сообщение о типе приближающегося транспорта и номере маршрута.

В МАИ уточнили, что весь процесс занимает около 30 секунд. По данным вуза, результат выдается со 100-процентной точностью даже при помехах для считывания, например во время сильного дождя или тумана.

В отличие от ряда мобильных решений, устройство МАИ - это автономная носимая система, не требующая постоянного управления смартфоном или чтения информации с экрана. Сейчас уже создан полностью рабочий макет, прошедший первичные испытания. Следующий шаг — подготовка патентных документов. После этого разработчики планируют провести переговоры с производителями медицинской техники и вывести устройство на рынок.

Разработки с ИИ для слабовидящих уже появляются и в других форматах, хотя не являются прямыми аналогами устройства МАИ. Один из примеров — приложение Microsoft Seeing AI: оно использует камеру смартфона и искусственный интеллект, чтобы озвучивать информацию о тексте, людях, предметах, цветах и товарах вокруг пользователя.

Отдельно стоит упомянуть российский проект VisRobo «Доступный город». Это мобильное решение для слабовидящих людей: смартфон с камерой и алгоритмами компьютерного зрения распознает подъезжающий общественный транспорт, определяет номер маршрута, помогает найти вход и сообщает информацию пользователю голосом. Приложение решает ту же задачу — помогает человеку самостоятельно ориентироваться на остановке и выбирать нужный транспорт.

Еще один пример — сервис Be My Eyes, который помогает незрячим и слабовидящим людям получать поддержку через видеосвязь с волонтерами. В отдельной его функции Be My AI используется модель GPT-4, с помощью которой пользователь может отправить изображение и получить его описание и получить ответы на вопросы о картинке.