Распознавание дорожных знаков на мобильных устройствах

By | 01.02.2019

Компанией ПАВЛИН Технологии была разработана система детекции и распознавания дорожных знаков. Система проектировалась с учетом последующего функционирования на мобильных устройствах, приняв во внимание их аппаратные ограничения. На данный момент она успешно внедрена в носимое устройство, позволяющее слепым и слабовидящим людям ориентироваться в городе.

Система состоит из двух компонент: блока поиска областей интереса и глубокого сверточного нейросетевого детектора. Задача блока поиска областей интереса — отбросить большую часть площади изображения оставив только области, потенциально содержащие искомые объекты. Задача решается посредством сегментации изображения сцены с последующим поиском группы характерных фрагментов эталона. Данный блок может отбросить вплоть до 75% площади изображения. Нейросетевой детектор представляет собой глубокую сверточную нейронную сеть современной архитектуры, адаптированной к аппаратным ресурсам целевой платформы. Таких детекторов в системе несколько; каждый из них функционирует на изображениях одного из типовых размеров.

Алгоритм работы системы

В блок поиска областей интереса подается текущий кадр. Выходом блока является набор областей, потенциально содержащих искомые объекты, в виде непересекающихся прямоугольников. Найденные области масштабируются к наиболее близким типовым размерам и подаются на соответствующие нейросетевые детекторы. Итоговые срабатывания от всех детекторов переносятся в систему координат исходного кадра.

При разработке системы использовалась обучающая выборка из 300 видеозаписей, сделанных в разных условиях: солнечная погода (засветка, блики); пасмурная погода и записи, сделанные на закате (недостаточное освещение, тени); записи при большом скоплении людей (заслонения) и т.д.

Список распознаваемых знаков и их наименований при работе системы представлен ниже.

Помимо работы на мобильный устройствах, данную систему можно использовать и на ПК под управлением операционными системами Windowsи Linux, как оснащенными GPU, так и без него.

Ниже представлены технические характеристики разработанной системы и результаты тестов на различных платформах.

Тестирование проводилось на ПК и ODROID-U3

Характеристики ПК:

  • CPU: Intel core i7-7700 3.6 ГГц
  • GPU: GeForce GTX 1080
  • RAM: 32Gb
  • HDD: Toshiba HDwe140

Характеристики ODROID-U3:

  • CPU: Exynos4412 Prime, ARM Cortex-A9, 1.7 ГГц
  • RAM: 2 ГБ LPDDR2

Производительность разработанной системына ПК:

  • CPU: 40-50fps
  • GPU: 80-100fps

Производительность разработанной системына мобильном устройстве (ODROID-U3):

  • CPU: 7-20 fps

Показатели качества разработанной системысистемы:

  • Recall: 0.97
  • Precision: 0.94
  • F1 measure: 0.96

Преимуществами разработанной системы являются:

  1. Работа в сложных условиях освещения; при частичном заслонении распознаваемых объектов; при больших углах сьемки (при сложных ракурсах).
  2. Высокая скорость работы на мобильных устройствах
  3. Возможность использования как при наличии GPU на платформе, так и без него.

В качестве демонстрации результатов работы системы было создано демонстрационное видео.