https://vk.com/odyssey.initiative
Впервые о дронах заговорили в 2012 году в контексте масштабного светового шоу, которое устроила для широкой аудитории компания Ars Electronica. Вау-эффект был обеспечен, а перспективы стремительного развития направления более чем обозримы.
За эти годы технологии шагнули далеко вперед, аппараты стоят относительно недорого, просты в эксплуатации, а технологии легко масштабируются под любые цели. Дроны стали использовать для решения целого ряда задач в сельском хозяйстве, животноводстве, строительстве, рекламе, в поиске и спасении людей.
В части поиска и спасения людей беспилотники доказали свою эффективность уже не один раз. Главное достоинство — машина может искать человека с воздуха в местах малодоступных или опасных для перемещения спасателей-поисковиков. Но далеко не всегда робот может заменить человека. При работе в лесу возникает немало сложностей.
Среди них:
возможность «видеть» сквозь густую крону деревьев,
работа в автономном режиме при проведении поисковых работ в отдаленных районах,
работа при любых погодных условиях и видимости,
качество и оперативность передачи информации и другое.
Решить эти задачи взялась группа ученых Лаборатории киберфизических систем ИПУ РАН и Школы дронов МАИ.
Роботы вместо человека
В среднем для одной поисково-спасательной операции нужно около ста спасателей. Команда GoFPV, в составе которой специалисты в области робототехники, нейронных сетей и беспилотных летательных аппаратов, предложила заменить участников поискового отряда роем высокотехнологичных автономных беспилотников.
Решение было предложено в рамках технологического конкурса «Одиссея», который стартовал в 2018 году по инициативе благотворительного фонда «Система». Задача конкурса — разработать технологию, которая сможет найти человека, пропавшего в лесу без источника связи, быстрее чем за 10 часов.
Изучив возможности практического применения технологий распознавания, автономной навигации, передачи видеосигнала, различные виды сенсоров, GPU, аэродинамические схемы, увеличивающие грузоподъемность и время полета, команда GoFPV разработала прототип автономно управляемого дрона с системой распознавания на борту, который получил название «Тезей».
Несмотря на кажущуюся простоту решения, рой дронов достаточно сложно управляемая система. Чтобы аппараты эффективно выполняли свои задачи, системы управления и навигации должны работать быстро и с минимальным участием человека. Заявку на конкурс мы подали в составе объединенной команды GoFPV и вот уже несколько месяцев ищем решение задачи, отрабатывая свои идеи на тестовых полигонах.
Кирилл Щукин, руководитель Школы дронов МАИ Рой от GoFPV представляет собой несколько небольших (35 см) машин, оборудованных:
видеокамерой,
нейронной сетью, обученной для распознавания человека,
системой уклонения от препятствий.
Ключевая задача «Тезея» — пролететь 10 км на одной зарядке аккумулятора, что составляет не более 30-35 минут, исследовать территорию по маршруту полета и в случае обнаружения человека передать обработанные данные оператору.
В зависимости от условий, времени суток и площади исследуемой территории на решение задачи поиска человека в лесу может потребоваться от одного до десяти поисковых аппаратов и дрона-ретранслятора.
Чем отличается поисковой дрон от ретранслятора? По сути — ничем, кроме функциональной роли. Унификация аппаратов позволяет продолжать поисковую операцию, даже если ретранслятор поврежден — его просто заменят на аналогичный аппарат из роя.
Поисковой дрон перемещается под кронами деревьев. Для эффективного выполнения этой задачи дрон оснащен системой уклонения от препятствий с использованием алгоритмов навигации по карте глубины, полученной со стереокамеры Intel Realsense. Это позволяет аппарату совершать автономный полет на исследуемой территории и успешно избегать столкновений с любыми препятствиями — деревьями, ветками.
Ретранслятор перемещается над лесом и координирует положение и работу поисковых дронов так, чтобы не потерять связь друг с другом.
Цепочка взаимодействия проста:
поисковой дрон с помощью бортовой сверточной нейронной сети YOLOv3 распознает человека и передает по Wi-Fi обработанное изображение и GPS координаты ретранслятору;
ретранслятор в режиме реального времени передает видеопоток оператору по радиоканалу 1.2 ГГц.
Как работает нейронная сеть
В процессе детектирования территории в лесу должны соблюдаться несколько важных условий.
Во-первых, нужно работать с видеопотоком в реальном времени.
Во-вторых, обеспечивать высокую точность распознавания под различным ракурсом, поэтому детектор должен хорошо распознавать любые позы человека, освещение, различные типы одежды, а также быть устойчивым к любым искажениям самого видеопотока.
В-третьих, процесс детектирования должен осуществляться на борту самого дрона.
В качестве бортового компьютера у «Тезея» выступает модуль NVIDIA Jetson.
Для оценки качества используемого в дронах детектора были выбраны стандартные метрики для такого рода задач:
Intersection Over Union (IoU) — степень пересечения «предсказанного» и «истинного» ограничивающего человека прямоугольника (bounding box);
mean Average Precision (mAP) — средняя точность обнаружения объекта.
В качестве обучающего массива данных команда GoFPV использовала как открытые данные (Caltech, KITTI, CityPerson, COCOPerson, OpenImageDatasets), так и данные собственного «производства», снятые в условиях леса.
Также использовали фото и видеоматериалы, предоставленные Санкт-Петербургским Объединением добровольных спасателей «Экстремум» и компанией Aeroxo. В результате из собранного массива данных были получены кадры людей в различных позах, с различного ракурса, в различной одежде и в различных условиях.
На сегодняшний день, согласно общемировым исследованиям в области разработки алгоритмов детектирования, можно выделить два наиболее крупных направления:
классические алгоритмы детектирования, не связанные с глубоким обучением. К таким алгоритмам можно отнести, например, детекцию людей на основе гистограмм направленных градиентов, детекцию людей, основанную на движении объекта (анализ фона) и так далее;
детекция людей на основе сверточных нейронных сетей. К таким алгоритмам относятся двухэтапные (Faster RCNN, Mask RCNN), одноэтапные (YOLO, SSD, RetinaNet) и каскадные — MTCNN.
Классические алгоритмы детектирования работают быстро (даже без видеокарт), но качество детектирования не очень высокое, что не позволило бы решить задачу поиска. Разработчики выбрали сверточную нейронную сеть, работающую на базе одноэтапных алгоритмов — YOLOv3.
Идея одноэтапных алгоритмов заключается в единичном прохождении кадра из видеопотока через сверточную нейронную сеть, где люди детектируются сразу на всех слоях нейронной сети и затем уточняется их положение с помощью специального алгоритма Non Maximum Suppression.
Обучение сети происходит во фреймворке Pytorch. Проблема переобучения модели была решена с помощью ранней остановки обучения (early stopping). Итоговая нейронная сеть оптимизирована посредством NVIDIA TensorRT 5.
При тестировании алгоритма в условиях леса на борту дрона средняя точность детекции составила около 76% при 10-12 fps.
Вся работа по поиску, анализу и передаче информации выполняется автоматически. Задачи оператора сведены к минимуму — подтвердить обнаружение человека и вызвать спасательную бригаду по указанным координатам.
Управляемый рой За один полет дрон способен обработать полосу шириной 50 метров. Для прочесывания больших участков леса может потребоваться десять и более аппаратов. В случае прочесывания леса роем, состоящим из нескольких поисковых дронов, возникает необходимость в координировании положения соседних машин. Важно не допустить их разлета на дистанцию больше чем 25-30 метров.
Расстояние между дронами, превышающее 30 метров, не позволит нейросети эффективно распознать человека. Кроме того, 25 метров — дистанция, которая обычно устанавливается между волонтерами-поисковиками при прочесывании леса цепью.
Ретранслятор сводит видеопотоки со всех аппаратов роя, преобразует их в аналоговый формат и передает на рабочую станцию оператора по радиоканалу 1.2ГГц, который обеспечивает устойчивую связь на дистанции до нескольких десятков километров.
При одновременном запуске 10 дронов без учета ретранслятора десяти часов работы должно быть достаточно для прочесывания 100 квадратных километров территории.
Решение прошло первые полевые испытания, которые позволили определить возможность полета роя под кронами деревьев в зависимости от плотности лесного массива. Для этого использовались управляемые с помощью шлема виртуальной реальности гоночные дроны. По результатам обработки видео нейросетью были получены размеченные фрагменты изображений с указанием вероятности присутствия в них людей.
Проект "Одиссея".
Модератор: Moderators
Вернуться в «Стратегия и тактика поисков»
Перейти
- Поиски
- ↳ Активные поиски
- ↳ Информационная поддержка
- ↳ Справочники
- ↳ Cнаряжение добровольцев или что иметь с собой
- Поиски в регионах
- ↳ Центральный
- ↳ #Белгородская область
- ↳ Брянская область
- ↳ Завершенные поиски. Брянская.
- ↳ Прочие мероприятия. Брянская.
- ↳ Владимирская область
- ↳ Завершенные поиски. Владимирская.
- ↳ Прочие мероприятия. Владимирская.
- ↳ Воронежская область
- ↳ Завершённые поиски. Воронежская.
- ↳ Мероприятия. Воронежская.
- ↳ Ивановская область
- ↳ Новости
- ↳ Завершенные поиски
- ↳ #Калужская область
- ↳ Завершенные поиски. Калужская.
- ↳ Мероприятия. Калужская.
- ↳ #Костромская
- ↳ Завершённые поиски. Костромская.
- ↳ Мероприятия. Костромская.
- ↳ Курская область
- ↳ Завершенные поиски
- ↳ Мероприятия. Курская.
- ↳ Информационная поддержка. Курская.
- ↳ Липецкая область
- ↳ Завершённые поиски. Липецкая.
- ↳ Мероприятия. Липецкая
- ↳ Орловская область
- ↳ Мероприятия. Орловская.
- ↳ Завершённые поиски. Орловская.
- ↳ Рязанская область
- ↳ Завершённые поиски. Рязанская.
- ↳ Прочие мероприятия. Рязанская.
- ↳ Смоленская область
- ↳ Тамбовская область
- ↳ Завершенные поиски. Тамбовская.
- ↳ Прочие мероприятия. Тамбовская.
- ↳ Тверская область
- ↳ Активные поиски. Тверская
- ↳ Информационная поддержка. Тверская
- ↳ Мероприятия. Тверская
- ↳ Завершённые поиски. Тверская
- ↳ Тульская область
- ↳ Завершенные поиски. Тульская.
- ↳ Прочие мероприятия. Тульская.
- ↳ Ярославская область
- ↳ Южный
- ↳ Адыгея
- ↳ Астраханская область
- ↳ Волгоградская область
- ↳ Краснодарский край
- ↳ Завершенные поиски. Краснодарский
- ↳ Информация по отряду. Краснодарский
- ↳ Мероприятия. Краснодарский
- ↳ Крым
- ↳ Завершенные поиски. Крым.
- ↳ Мероприятия. Крым.
- ↳ #Ростовская область
- ↳ Завершенные поиски. Ростовская.
- ↳ Мероприятия. Ростовская.
- ↳ Северо-Западный
- ↳ Архангельская область
- ↳ Вологодская область
- ↳ Активные поиски. Вологодская
- ↳ Информационная поддержка. Вологодская
- ↳ Завершённые поиски. Вологодская
- ↳ Мероприятия. Вологодская оболасть
- ↳ Республика Коми
- ↳ Активные поиски. Коми
- ↳ Информационная поддержка. Коми
- ↳ Завершённые поиски. Коми
- ↳ Мероприятия. Коми
- ↳ Карелия
- ↳ Завершенные поиски. Карелия
- ↳ Прочие мероприятия. Карелия
- ↳ Ленинградская область
- ↳ Завершённые поиски. Ленинградская область.
- ↳ Мероприятия. Ленинградская область.
- ↳ Мурманская область
- ↳ Активные поиски. Мурманская
- ↳ Информационная поддержка. Мурманская
- ↳ Завершённые поиски. Мурманская
- ↳ Мероприятия. Мурманская
- ↳ Псковская область
- ↳ Активные поиски. Псковская
- ↳ Информационная поддержка. Псковская
- ↳ Завершённые поиски. Псковская
- ↳ Мероприятия. Псковская
- ↳ Дальневосточный
- ↳ Республика Бурятия
- ↳ Приморский край
- ↳ Завершённые поиски. Приморский
- ↳ Мероприятия. Приморский
- ↳ Хабаровский край
- ↳ Мероприятия. Хабаровский
- ↳ Завершённые поиски. Хабаровский
- ↳ Амурская область
- ↳ Сибирский
- ↳ #Алтайский край
- ↳ Иркутская область
- ↳ Активные поиски. Иркутская.
- ↳ Информационная поддержка. Иркутская.
- ↳ Завершённые поиски. Иркутская область
- ↳ Мероприятия. Иркутская область
- ↳ Кемеровская область
- ↳ Мероприятия. Кемеровская область
- ↳ Завершённые поиски. Кемеровская область
- ↳ Красноярский край
- ↳ Мероприятия. Красноярский.
- ↳ Завершённые поиски. Красноярский.
- ↳ Новосибирская область
- ↳ Мероприятия.Новосибирская область
- ↳ Завершённые поиски.Новосибирская область
- ↳ Омская область
- ↳ Мероприятия. Омская.
- ↳ Завершённые поиски. Омская.
- ↳ Томская область
- ↳ Мероприятия. Томская область
- ↳ Завершённые поиски. Томская область
- ↳ Хакасия
- ↳ Уральский
- ↳ Екатеринбург и Свердловская область
- ↳ Мероприятия. Свердловская
- ↳ Завершённые поиски. Свердловская
- ↳ Курганская область
- ↳ Завершенные поиски. Курганская.
- ↳ Мероприятия. Курганская.
- ↳ Тюменская область
- ↳ Информационная поддержка. Тюменская
- ↳ Завершённые поиски. Тюменская
- ↳ Мероприятия. Тюменская
- ↳ Мероприятия. Тюменская
- ↳ Ханты-Мансийский автономный округ — Югра
- ↳ Мероприятия. ХМАО
- ↳ Завершённые поиски. ХМАО
- ↳ Челябинск и Челябинская область
- ↳ ЯНАО
- ↳ Приволжский
- ↳ #Башкортостан
- ↳ Прочие мероприятия
- ↳ Завершенные поиски
- ↳ Кировская область
- ↳ Завершенные поиски
- ↳ Марий Эл
- ↳ Завершенные поиски. Марий Эл
- ↳ Мордовия
- ↳ Нижегородская область
- ↳ Прочие мероприятия
- ↳ Завершенные поиски
- ↳ Оренбургская область
- ↳ Пензенская область
- ↳ Мероприятия. Пензенская.
- ↳ Завершённые поиски. Пензенская.
- ↳ Пермский край
- ↳ Завершённые поиски. Пермский.
- ↳ Мероприятия. Пермский.
- ↳ Самарская область
- ↳ Активные поиски. Самарская.
- ↳ Информационная поддержка. Самарская.
- ↳ Завершённые поиски. Самарская область
- ↳ Мероприятия. Самарская область
- ↳ Саратовская область
- ↳ Татарстан
- ↳ Прочие мероприятия
- ↳ Завершенные поиски
- ↳ Удмуртия
- ↳ Прочие мероприятия
- ↳ Завершенные поиски
- ↳ Ульяновская область
- ↳ Мероприятия. Ульяновская.
- ↳ Завершённые поиски. Ульяновская.
- ↳ Чувашия
- ↳ Завершённые поиски. Чувашия.
- ↳ Мероприятия. Чувашия.
- ↳ Северо-Кавказский
- ↳ Дагестан
- ↳ Ставропольский край
- ↳ Мероприятия. Ставропольский
- ↳ Завершённые поиски. Ставропольский
- ↳ Чеченская республика
- ↳ Кабардино Балкария
- ↳ Республика Ингушетия
- ↳ Республика Северная Осетия - Алания
- ↳ Беларусь: Минск
- ↳ Республика Казахстан
- ↳ Карагандинская область
- ↳ Павлодарская область
- ↳ Пропавшие в других регионах
- Обучение и тренировки
- ↳ Новичкам
- ↳ Первая помощь
- ↳ Ориентирование, радиосвязь
- ↳ Координаторы / ПСР
- ↳ Подготовка старших групп
- ↳ Подготовка поисковиков
- ↳ Тренировочные сборы / подготовка
- ↳ Вебинары
- ↳ Конспекты
- О нас
- ↳ Новости от Председателя отряда
- ↳ Деятельность
- ↳ Благие дела - Просьбы о помощи
- ↳ Дела отрядные
- ↳ Мероприятия, акции
- ↳ Наши друзья
- Направления отряда
- ↳ Оперативные дежурные
- ↳ Горячая линия 8800
- ↳ Инфогруппа
- ↳ Стратегия и тактика поисков
- ↳ Координаторы
- ↳ Регистрация
- ↳ Связь
- ↳ Радиолюбительство
- ↳ Картография и навигация
- ↳ Карты на поиски
- ↳ Техника на поисках
- ↳ Авто
- ↳ Мото
- ↳ Свет
- ↳ Генераторы
- ↳ Снегоболотоходы
- ↳ Звук
- ↳ Вода
- ↳ Таблички-ориентиры
- ↳ Кинологи
- ↳ Поисково-спасательная служба (ПСС)
- ↳ Поиск тел погибших (ПТП)
- ↳ Следовая работа
- ↳ Обучение и мероприятия
- ↳ Неактуальное
- ↳ Конное направление
- ↳ БПЛА и просмотр снимков
- ↳ Специалисты
- ↳ Группа Обеспечения
- ↳ СМИ
- ↳ Пресс материалы
- ↳ Записи передач
- ↳ Блог на "Эхо Москвы"
- ↳ Фотогалереи
- ↳ Публикации и медиа
- ↳ Школа Лиза Алерт
- ↳ Требуются!
- ↳ #ОСТОРОЖНОЛЮК
- ↳ IT
- ↳ Психология
- Курилка
- ↳ Давайте познакомимся
- ↳ Поздравлялка
- ↳ Барахолка
- ↳ Прочие вопросы
- ↳ Внеотрядные мероприятия
- ↳ Школа выживания
- Архив
- ↳ 2024
- ↳ Взрослые
- ↳ Дети
- ↳ 2023
- ↳ Взрослые
- ↳ Дети
- ↳ 2022
- ↳ Дети
- ↳ Взрослые
- ↳ 2021
- ↳ Дети
- ↳ Взрослые
- ↳ 2020
- ↳ Дети
- ↳ Взрослые
- ↳ 2019
- ↳ Дети
- ↳ Взрослые
- ↳ 2018
- ↳ Дети
- ↳ Взрослые
- ↳ 2017
- ↳ Дети
- ↳ Взрослые
- ↳ 2016
- ↳ Дети
- ↳ Взрослые
- ↳ 2015
- ↳ Дети
- ↳ Взрослые
- ↳ 2014
- ↳ Дети
- ↳ Взрослые
- ↳ 2013
- ↳ Дети
- ↳ Взрослые
- ↳ 2012
- ↳ Дети
- ↳ Взрослые
- ↳ 2010/2011
- ↳ Дети
- ↳ Взрослые
- ↳ Инфоподдержка
- ↳ Инфоподдержка (закрытые)
- ↳ 2022
- ↳ Дети
- ↳ Взрослые
- ↳ 2021
- ↳ Дети
- ↳ Взрослые
- ↳ 2020
- ↳ Дети
- ↳ Взрослые
- ↳ 2019
- ↳ Дети
- ↳ Взрослые
- ↳ 2018
- ↳ Дети
- ↳ Взрослые
- ↳ 2017
- ↳ Дети
- ↳ Взрослые
- ↳ 2016
- ↳ Дети
- ↳ Взрослые
- ↳ 2015
- ↳ Дети
- ↳ Взрослые
- ↳ 2014
- ↳ Дети
- ↳ Взрослые
- ↳ 2013
- ↳ Дети
- ↳ Взрослые
- ↳ 2012
- ↳ Дети
- ↳ Взрослые
- ↳ 2010/2011
- ↳ Дети
- ↳ Взрослые
- Сайт и форум
- ↳ Тех. проблемы, спам и прочее...
- ↳ How to - Инструкции
- ↳ Золотой бурелом
- ↳ Авто/Мото
- ↳ Отдел Кадров
- ↳ Профилактика побегов и похищений
- ↳ Материалы по теме
- ↳ Хочу пригласить лекторов