Компанией ПАВЛИН Технологии была разработана система детекции и распознавания дорожных знаков. Система проектировалась с учетом последующего функционирования на мобильных устройствах, приняв во внимание их аппаратные ограничения. На данный момент она успешно внедрена в носимое устройство, позволяющее слепым и слабовидящим людям ориентироваться в городе.
Система состоит из двух компонент: блока поиска областей интереса и глубокого сверточного нейросетевого детектора. Задача блока поиска областей интереса — отбросить большую часть площади изображения оставив только области, потенциально содержащие искомые объекты. Задача решается посредством сегментации изображения сцены с последующим поиском группы характерных фрагментов эталона. Данный блок может отбросить вплоть до 75% площади изображения. Нейросетевой детектор представляет собой глубокую сверточную нейронную сеть современной архитектуры, адаптированной к аппаратным ресурсам целевой платформы. Таких детекторов в системе несколько; каждый из них функционирует на изображениях одного из типовых размеров.
Алгоритм работы системы
В блок поиска областей интереса подается текущий кадр. Выходом блока является набор областей, потенциально содержащих искомые объекты, в виде непересекающихся прямоугольников. Найденные области масштабируются к наиболее близким типовым размерам и подаются на соответствующие нейросетевые детекторы. Итоговые срабатывания от всех детекторов переносятся в систему координат исходного кадра.
При разработке системы использовалась обучающая выборка из 300 видеозаписей, сделанных в разных условиях: солнечная погода (засветка, блики); пасмурная погода и записи, сделанные на закате (недостаточное освещение, тени); записи при большом скоплении людей (заслонения) и т.д.
Список распознаваемых знаков и их наименований при работе системы представлен ниже.
Помимо работы на мобильный устройствах, данную систему можно использовать и на ПК под управлением операционными системами Windowsи Linux, как оснащенными GPU, так и без него.
Ниже представлены технические характеристики разработанной системы и результаты тестов на различных платформах.
Работа в сложных условиях освещения; при частичном заслонении распознаваемых объектов; при больших углах сьемки (при сложных ракурсах).Высокая скорость работы на мобильных устройствахВозможность использования как при наличии GPU на платформе, так и без него.
В качестве демонстрации результатов работы системы было создано демонстрационное видео.