Компанией ПАВЛИН Технологии была разработана система детекции и распознавания дорожных знаков. Система проектировалась с учетом последующего функционирования на мобильных устройствах, приняв во внимание их аппаратные ограничения. На данный момент она успешно внедрена в носимое устройство, позволяющее слепым и слабовидящим людям ориентироваться в городе.
Система состоит из двух компонент: блока поиска областей интереса и глубокого сверточного нейросетевого детектора. Задача блока поиска областей интереса — отбросить большую часть площади изображения оставив только области, потенциально содержащие искомые объекты. Задача решается посредством сегментации изображения сцены с последующим поиском группы характерных фрагментов эталона. Данный блок может отбросить вплоть до 75% площади изображения. Нейросетевой детектор представляет собой глубокую сверточную нейронную сеть современной архитектуры, адаптированной к аппаратным ресурсам целевой платформы. Таких детекторов в системе несколько; каждый из них функционирует на изображениях одного из типовых размеров.
Алгоритм работы системы
В блок поиска областей интереса подается текущий кадр. Выходом блока является набор областей, потенциально содержащих искомые объекты, в виде непересекающихся прямоугольников. Найденные области масштабируются к наиболее близким типовым размерам и подаются на соответствующие нейросетевые детекторы. Итоговые срабатывания от всех детекторов переносятся в систему координат исходного кадра.
При разработке системы использовалась обучающая выборка из 300 видеозаписей, сделанных в разных условиях: солнечная погода (засветка, блики); пасмурная погода и записи, сделанные на закате (недостаточное освещение, тени); записи при большом скоплении людей (заслонения) и т.д.
Список распознаваемых знаков и их наименований при работе системы представлен ниже.
Помимо работы на мобильный устройствах, данную систему можно использовать и на ПК под управлением операционными системами Windowsи Linux, как оснащенными GPU, так и без него.
Ниже представлены технические характеристики разработанной системы и результаты тестов на различных платформах.
Тестирование проводилось на ПК и ODROID-U3
Характеристики ПК:
CPU: Intel core i7-7700 3.6 ГГцGPU: GeForce GTX 1080RAM: 32GbHDD: Toshiba HDwe140
Характеристики ODROID-U3:
CPU: Exynos4412 Prime, ARM Cortex-A9, 1.7 ГГцRAM: 2 ГБ LPDDR2
Производительность разработанной системына ПК:
CPU: 40-50fpsGPU: 80-100fps
Производительность разработанной системына мобильном устройстве (ODROID-U3):
CPU: 7-20 fps
Показатели качества разработанной системысистемы:
Recall: 0.97Precision: 0.94F1 measure: 0.96
Преимуществами разработанной системы являются:
Работа в сложных условиях освещения; при частичном заслонении распознаваемых объектов; при больших углах сьемки (при сложных ракурсах).Высокая скорость работы на мобильных устройствахВозможность использования как при наличии GPU на платформе, так и без него.
В качестве демонстрации результатов работы системы было создано демонстрационное видео.