Проект "Одиссея".

Проект "Одиссея".

Сообщение chuha » 05 июн 2019, 15:57

https://vk.com/odyssey.initiative

Впервые о дронах заговорили в 2012 году в контексте масштабного светового шоу, которое устроила для широкой аудитории компания Ars Electronica. Вау-эффект был обеспечен, а перспективы стремительного развития направления более чем обозримы.
За эти годы технологии шагнули далеко вперед, аппараты стоят относительно недорого, просты в эксплуатации, а технологии легко масштабируются под любые цели. Дроны стали использовать для решения целого ряда задач в сельском хозяйстве, животноводстве, строительстве, рекламе, в поиске и спасении людей.
В части поиска и спасения людей беспилотники доказали свою эффективность уже не один раз. Главное достоинство — машина может искать человека с воздуха в местах малодоступных или опасных для перемещения спасателей-поисковиков. Но далеко не всегда робот может заменить человека. При работе в лесу возникает немало сложностей.
Среди них:
возможность «видеть» сквозь густую крону деревьев,
работа в автономном режиме при проведении поисковых работ в отдаленных районах,
работа при любых погодных условиях и видимости,
качество и оперативность передачи информации и другое.
Решить эти задачи взялась группа ученых Лаборатории киберфизических систем ИПУ РАН и Школы дронов МАИ.
Роботы вместо человека
В среднем для одной поисково-спасательной операции нужно около ста спасателей. Команда GoFPV, в составе которой специалисты в области робототехники, нейронных сетей и беспилотных летательных аппаратов, предложила заменить участников поискового отряда роем высокотехнологичных автономных беспилотников.
Решение было предложено в рамках технологического конкурса «Одиссея», который стартовал в 2018 году по инициативе благотворительного фонда «Система». Задача конкурса — разработать технологию, которая сможет найти человека, пропавшего в лесу без источника связи, быстрее чем за 10 часов.
Изучив возможности практического применения технологий распознавания, автономной навигации, передачи видеосигнала, различные виды сенсоров, GPU, аэродинамические схемы, увеличивающие грузоподъемность и время полета, команда GoFPV разработала прототип автономно управляемого дрона с системой распознавания на борту, который получил название «Тезей».
Несмотря на кажущуюся простоту решения, рой дронов достаточно сложно управляемая система. Чтобы аппараты эффективно выполняли свои задачи, системы управления и навигации должны работать быстро и с минимальным участием человека. Заявку на конкурс мы подали в составе объединенной команды GoFPV и вот уже несколько месяцев ищем решение задачи, отрабатывая свои идеи на тестовых полигонах.
Кирилл Щукин, руководитель Школы дронов МАИ Рой от GoFPV представляет собой несколько небольших (35 см) машин, оборудованных:
видеокамерой,
нейронной сетью, обученной для распознавания человека,
системой уклонения от препятствий.
Ключевая задача «Тезея» — пролететь 10 км на одной зарядке аккумулятора, что составляет не более 30-35 минут, исследовать территорию по маршруту полета и в случае обнаружения человека передать обработанные данные оператору.
В зависимости от условий, времени суток и площади исследуемой территории на решение задачи поиска человека в лесу может потребоваться от одного до десяти поисковых аппаратов и дрона-ретранслятора.
Чем отличается поисковой дрон от ретранслятора? По сути — ничем, кроме функциональной роли. Унификация аппаратов позволяет продолжать поисковую операцию, даже если ретранслятор поврежден — его просто заменят на аналогичный аппарат из роя.
Поисковой дрон перемещается под кронами деревьев. Для эффективного выполнения этой задачи дрон оснащен системой уклонения от препятствий с использованием алгоритмов навигации по карте глубины, полученной со стереокамеры Intel Realsense. Это позволяет аппарату совершать автономный полет на исследуемой территории и успешно избегать столкновений с любыми препятствиями — деревьями, ветками.
Ретранслятор перемещается над лесом и координирует положение и работу поисковых дронов так, чтобы не потерять связь друг с другом.
Цепочка взаимодействия проста:
поисковой дрон с помощью бортовой сверточной нейронной сети YOLOv3 распознает человека и передает по Wi-Fi обработанное изображение и GPS координаты ретранслятору;
ретранслятор в режиме реального времени передает видеопоток оператору по радиоканалу 1.2 ГГц.
Как работает нейронная сеть
В процессе детектирования территории в лесу должны соблюдаться несколько важных условий.
Во-первых, нужно работать с видеопотоком в реальном времени.
Во-вторых, обеспечивать высокую точность распознавания под различным ракурсом, поэтому детектор должен хорошо распознавать любые позы человека, освещение, различные типы одежды, а также быть устойчивым к любым искажениям самого видеопотока.
В-третьих, процесс детектирования должен осуществляться на борту самого дрона.
В качестве бортового компьютера у «Тезея» выступает модуль NVIDIA Jetson.
Для оценки качества используемого в дронах детектора были выбраны стандартные метрики для такого рода задач:
Intersection Over Union (IoU) — степень пересечения «предсказанного» и «истинного» ограничивающего человека прямоугольника (bounding box);
mean Average Precision (mAP) — средняя точность обнаружения объекта.
В качестве обучающего массива данных команда GoFPV использовала как открытые данные (Caltech, KITTI, CityPerson, COCOPerson, OpenImageDatasets), так и данные собственного «производства», снятые в условиях леса.
Также использовали фото и видеоматериалы, предоставленные Санкт-Петербургским Объединением добровольных спасателей «Экстремум» и компанией Aeroxo. В результате из собранного массива данных были получены кадры людей в различных позах, с различного ракурса, в различной одежде и в различных условиях.
На сегодняшний день, согласно общемировым исследованиям в области разработки алгоритмов детектирования, можно выделить два наиболее крупных направления:
классические алгоритмы детектирования, не связанные с глубоким обучением. К таким алгоритмам можно отнести, например, детекцию людей на основе гистограмм направленных градиентов, детекцию людей, основанную на движении объекта (анализ фона) и так далее;
детекция людей на основе сверточных нейронных сетей. К таким алгоритмам относятся двухэтапные (Faster RCNN, Mask RCNN), одноэтапные (YOLO, SSD, RetinaNet) и каскадные — MTCNN.
Классические алгоритмы детектирования работают быстро (даже без видеокарт), но качество детектирования не очень высокое, что не позволило бы решить задачу поиска. Разработчики выбрали сверточную нейронную сеть, работающую на базе одноэтапных алгоритмов — YOLOv3.
Идея одноэтапных алгоритмов заключается в единичном прохождении кадра из видеопотока через сверточную нейронную сеть, где люди детектируются сразу на всех слоях нейронной сети и затем уточняется их положение с помощью специального алгоритма Non Maximum Suppression.
Обучение сети происходит во фреймворке Pytorch. Проблема переобучения модели была решена с помощью ранней остановки обучения (early stopping). Итоговая нейронная сеть оптимизирована посредством NVIDIA TensorRT 5.
При тестировании алгоритма в условиях леса на борту дрона средняя точность детекции составила около 76% при 10-12 fps.
Вся работа по поиску, анализу и передаче информации выполняется автоматически. Задачи оператора сведены к минимуму — подтвердить обнаружение человека и вызвать спасательную бригаду по указанным координатам.
Управляемый рой За один полет дрон способен обработать полосу шириной 50 метров. Для прочесывания больших участков леса может потребоваться десять и более аппаратов. В случае прочесывания леса роем, состоящим из нескольких поисковых дронов, возникает необходимость в координировании положения соседних машин. Важно не допустить их разлета на дистанцию больше чем 25-30 метров.
Расстояние между дронами, превышающее 30 метров, не позволит нейросети эффективно распознать человека. Кроме того, 25 метров — дистанция, которая обычно устанавливается между волонтерами-поисковиками при прочесывании леса цепью.
Ретранслятор сводит видеопотоки со всех аппаратов роя, преобразует их в аналоговый формат и передает на рабочую станцию оператора по радиоканалу 1.2ГГц, который обеспечивает устойчивую связь на дистанции до нескольких десятков километров.
При одновременном запуске 10 дронов без учета ретранслятора десяти часов работы должно быть достаточно для прочесывания 100 квадратных километров территории.
Решение прошло первые полевые испытания, которые позволили определить возможность полета роя под кронами деревьев в зависимости от плотности лесного массива. Для этого использовались управляемые с помощью шлема виртуальной реальности гоночные дроны. По результатам обработки видео нейросетью были получены размеченные фрагменты изображений с указанием вероятности присутствия в них людей.
89255339304
Аватара пользователя
chuha
 
Сообщения: 110
Зарегистрирован: 19 дек 2018, 09:16
Город: Чехов
Возраст: 37
Имя - Отчество: Алексей Леонидович
Позывной: Чуха

Вернуться в Стратегия и тактика поисков

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 0