Проекты:Робот с компьютерным зрением на основе удаленной обработки видеоинформации
Материал из Кафедра Автоматики и телемеханики
Проект "Робот с компьютерным зрением на основе удаленной обработки видеоинформации"
Часто бывает так, что жесткие требования на габариты и массу мобильного робота не позволяют разместить на нем достаточно мощные вычислительные ресурсы. В подобных условиях серьезно затрудняется реализация сложных алгоритмов компьютерного зрения для такого робота. Одним из возможных решений является передача видеоинформации на удаленной компьютер по беспроводному каналу связи для последующей ее обработки с помощью алгоритмов компьютерного зрения, выполняемых на этом удаленном компьютере. Удаленный компьютер можно оснастить достаточно мощными вычислительными ресурсами, чтобы производить необходимую обработку в отведенное время и после этого отправлять результаты обратно мобильному роботу. В такой ситуации большая нагрузка ложится на беспроводной канал связи. Поэтому важно исследовать различные технологии беспроводной связи применительно к возможности реализации подобного варианта удаленной обработки видеоинформации.
В качестве начального этапа исследований была реализована система, состоящая из мобильного робота и удаленного компьютера, взаимодействующих между собой с помощью технологии Wi-Fi. Таким образом, на данном этапе исследовалась возможность применения технологии Wi-Fi для организации удаленной обработки видеоинформации в системе компьютерного зрения мобильного робота.
Робот представляет собой платформу, оснащенную дифференциальный приводом, на которую установлен манипулятор с двумя степенями свободы. Манипулятор перемещает веб-камеру, которая является источником видеоинформации для системы компьютерного зрения робота. Для управления двигателями и сервоприводами робота применяется микроконтроллер Arduino Nano v.5. Для реализации канала Wi-Fi с удаленным компьютером используется маршрутизатор ASUS wl-500gp v2. Веб-камера подключается к маршрутизатору. Плата WL-500gP v2 была извлечена из корпуса для установки на платформу, что существенно уменьшило габариты робота.
Хотя в целом надо отметить, что данный вариант мобильного робота является только испытательным прототипом и не обладает особой миниатюрностью.
Маршрутизатор осуществляет передачу видеоинформации с робота на удаленный компьютер и прием от него результатов обработки этой информации в виде управляющих команд. С контроллером Arduino Nano v.5 маршрутизатор взаимодействует через UART.
На видео показан тестовый пример слежения за рукой человека при различных уровнях Wi-Fi. Видео передается по Wi-Fi с помощью mjpg-streamer и обрабатывается на удаленном компьютере (нетбуке) с использованием библиотеки компьютерного зрения OpenCV. Этот прототип используется для исследования возможности реализации компьютерного зрения на основе удаленной обработки видеоинформации, передаваемой по Wi-Fi.
В ходе испытаний было установлено, что при удалении на расстояние свыше 25 метров по открытой местности, и соответствующем уровне сигнала -80 дБ и ниже, возникают заметные задержки при реализации слежения, а также «застывание» отдельных кадров. Эти эффекты достаточно хорошо заметны на указанном видео. При этом система слежения продолжала работать, хотя и с очень большими задержками, даже при удалении от компьютера на 150 метров по открытой местности.
Вариантом решения этой проблемы может быть использование направленных антенн с автоматической ориентацией, обеспечивающих приемлемый уровень сигнала Wi-Fi на больших расстояниях. Но возможность применения этих антенн для рассматриваемого класса систем требует отдельного исследования.
Публикации по проекту
- Патокин А.А., Кавалеров М.В. Исследование зависимости частоты кадров от уровня сигнала wi-fi при передаче видеоизображения с помощью веб-камеры на основе программы mjpg-streamer [Электронный ресурс] // III Международная интернет-конференция молодых ученых, аспирантов и студентов «Инновационные технологии: теория, инструменты, практика. InnoTech 2011». URL: http://www.conference.msa.pstu.ru/dokumenty//issledovanie-zavisimosti-chastoty-kadrov-ot-urovnya-signala-wi-fi-pri-peredache-videoizobrazheniya-s-pomoschyu-veb-kamery-na-osnove-programmy-mjpg-streamer/at_download/file (дата обращения: 27.06.2012).
- Набиюллин А.Р., Кавалеров М.В. Разработка мобильного робота для удаленного наблюдения за объектом с помощью компьютерного зрения // Материалы краевой научно-техническая конференция «Автоматизированные системы управления и информационные технологии – 2012». – Пермь, 2012 (в печати).
- Патокин А.А., Кавалеров М.В. Реализация удаленного управления мобильным роботом на основе визуальной информации, передаваемой с помощью технологии wi-fi // Материалы краевой научно-техническая конференция «Автоматизированные системы управления и информационные технологии – 2012». – Пермь, 2012 (в печати).
