Нейронная сеть "Лакмус" по поиску пропавших людей.
Добавлено: 31 май 2019, 18:12
Тема создана для совершенствования, развития и обмена информацией по нейросетевой программе "Лакмус", созданной для поиска/спасения с летательных аппаратов внезапно пропавших людей.
История появления.
Идея создания нейросетевой программы возникла в далёком 2013 году, когда в результате полётов первого гексакоптера на ПСР появилось огромное количество контента, которое было очень тяжело обрабатывать, отвлекая самые ценные ресурсы ПСР- добровольцев и затраченное время. Несколько лет мы безуспешно пытались найти программистов, которые бы добровольно согласились создать такую программу, но из года в год терпели неудачу, так как после озвученного технического задания к нейросетевой программе, в ответ получали выставленный счёт в рублях с шестью нулями. И вот, как это часто бывало в истории отряда, сама жизнь сложила обстоятельства и неравнодушных людей вместе и появилась рабочая группа, которая с января 2019 года добровольно взялась создать нейросетевую программу по поиску пропавших людей с БПЛА. "Фундаментом" рабочей группы стал опыт специалиста нейронных сетей Георгия (gosha20777), который ранее создал нейросетевую программу в медицинских целях.
Январь 2019- настоящее время. Георгий (gosha20777) работает специалистом по нейронным сетям в одной из крупных IT-компаний и учится в Московском Авиационном Институте. Узнав о проблемах с обработкой данных у «ЛизаАлерт», Георгий решил помочь. «Когда я пришел в «ЛизаАлерт» у меня была проблема, как получить фотографии. Они хранились не рассортированными, у отряда не было систематизированного хранения снимков. Вторая проблема - имеющиеся фотографии не были размечены (ред.- на них не были помечены люди)», - рассказывает Георгий. Когда Георгий, получив фото, осмотрел их, то пригодными для создания датасета (или выборки данных в формате «множество из множеств признаков») оказалось всего 12 штук. Поэтому было принято решение собирать рабочий датасет. В совместной работе с добровольцами были выработаны стандарты - с каких камер производить съемку людей дронами, как должен летать дрон и пр. Это нужно для того, чтобы облегчить обработку данных нейросетью. Дрон летал перекрестными галсами – с начала змейкой – вверх-вниз, вверх-вниз, покрывая квадрат, а потом влево-вправо, влево-вправо. Он это делал на высоте в 50 метров и фотографировал взрослых людей, для поиска детей – нужно летать на высоте в 40 м. Так было получено 500 снимков, через пару недель количество снимков вырастет вдвое. В проекте участвуют не только программисты, но и просто добровольцы со своими детьми. Программисты нашли в интернете похожий датасет – съемка людей была сделана с дронов, вертикально, а не под углом, что очень важно для разметки снимков. Получив снимки, команда перешла к обучению моделей, валидируя данные на фотографиях, полученных с реальных поисков и выездах со статистами. На данный момент количество размеченных снимков, используемых для обучения нейросети только для зимнего сезона, превышает 1 миллион! Работы по разметке данных выполняют добровольцы, их сейчас, примерно 15, это некоммерческий проект. Разметчики и программисты (а их количество сегодня перевалило уже за 100 человек!) не получают деньги за свою работу. Для разметки данных не нужно иметь каких-то специальных знаний, ее может сделать любой человек. Разметка одной фотографии, если известно, что на ней человек, занимает 2-5 минут. Сама операция выглядит следующим образом – на снимке земной поверхности в определенных местах лежат люди, разметчик выделяет каждого человека рамочкой и отправляет сохраненные данные Георгию. Для этого определения используется нейросеть на основе Retinanet-Resnet-50. Дополнительно программа была модифицирована под нужды проекта.
Одновременно с версией нейросети серверного вида проявилась параллельная задача по использованию нейросетевой программы на ПСР на ноутбуках и группой добровольцев-программистов во главе с Георгием уже закончена работа над версией нейросети для полевого применения.
Текущие задачи. В данный момент ведется работа по оптимизации (ускорению) работы нейронной сети и созданию фотобанка со статистами природной среды всей России. По созданию фотобанка поставлены задачи всем внешним пилотам отряда "ЛизаАлерт". На данный момент программа уже способна обрабатывать 1 кадр в секунду. Планируется довести оптимизацию программы до 26 кадров в секунду, что позволит в дальнейшем обсуждать обработку видеоформата при помощи нейросети.
Нейросеть можно обучить поиску любых графических образов и, значит, при положительном опыте поиска/спасения людей с дронов с применением нейросети блоки её для поиска/спасения с БПЛА-самолётов и вертолётов ВПСО "Ангел" будут спланированы в ближайшем будущем.
Важно! Обработка нейросетевой программой контента с ПСР не отменяет работу системы Watcher.LA, а является дополняющим блоком для ускорения первичной обработки потоков информации огромного объёма, отснятой с летательных аппаратов любого типа. Просмотр же и анализ контента добровольцами будет дополнительным надёжным щитом от риска пропустить кадры с пропавшим человеком.
Координатор проекта Всеволод (Севыч) +7.9О3.796.O663
Админ проекта Виктория (Ёжик с котомкой) +7.9О5.778.4278
План-график по выполнению текущих задач:
1. Совершенствование алгоритмов безопасности нейросети с точки зрения несанкционированного использования/копирования.
Ответственный: Георгий(gosha20777). Срок выполнения: до 1.07.19. Выполнено.
2. Съёмка фотоархивов статистов для обучения нейросети всех подразделений ЛА, где используются БПЛА.
Ответственные: внешние пилоты ЛА, Виктория(Ёжик с котомкой). Срок выполнения: до 1.07.19. Перенос срока до 1.08.19. Перенос срока до 1.09.19. В связи с расширением географии использования нейросетки этот пункт требуется выполнять постоянно.
3. Поиск серверных мощностей для работы над оптимизацией и ускорения работы нейросети.
Ответственный: Данил(Danil). Срок выполнения: до 1.07.19. Выполнено на 50%, оставшаяся часть до 1.08.19. Перенос срока до 1.09.19. Перенос срока до 1.01.20.
4. Разработка названия нейросети.
Ответственные: Виктория(Ёжик с котомкой). Срок выполнения: до 15.06.19. Перенос срока до 1.07.19. Перенос срока до 1.08.19. Перенос срока до 1.09.19. Выполнено.
5. Оптимизация и ускорение работы нейросети для обработки до 26 кадров в секунду.
Ответственный: Георгий(gosha20777). Срок выполнения: до 1.09.19. Перенос срока до 01.01.20.
История появления.
Идея создания нейросетевой программы возникла в далёком 2013 году, когда в результате полётов первого гексакоптера на ПСР появилось огромное количество контента, которое было очень тяжело обрабатывать, отвлекая самые ценные ресурсы ПСР- добровольцев и затраченное время. Несколько лет мы безуспешно пытались найти программистов, которые бы добровольно согласились создать такую программу, но из года в год терпели неудачу, так как после озвученного технического задания к нейросетевой программе, в ответ получали выставленный счёт в рублях с шестью нулями. И вот, как это часто бывало в истории отряда, сама жизнь сложила обстоятельства и неравнодушных людей вместе и появилась рабочая группа, которая с января 2019 года добровольно взялась создать нейросетевую программу по поиску пропавших людей с БПЛА. "Фундаментом" рабочей группы стал опыт специалиста нейронных сетей Георгия (gosha20777), который ранее создал нейросетевую программу в медицинских целях.
Январь 2019- настоящее время. Георгий (gosha20777) работает специалистом по нейронным сетям в одной из крупных IT-компаний и учится в Московском Авиационном Институте. Узнав о проблемах с обработкой данных у «ЛизаАлерт», Георгий решил помочь. «Когда я пришел в «ЛизаАлерт» у меня была проблема, как получить фотографии. Они хранились не рассортированными, у отряда не было систематизированного хранения снимков. Вторая проблема - имеющиеся фотографии не были размечены (ред.- на них не были помечены люди)», - рассказывает Георгий. Когда Георгий, получив фото, осмотрел их, то пригодными для создания датасета (или выборки данных в формате «множество из множеств признаков») оказалось всего 12 штук. Поэтому было принято решение собирать рабочий датасет. В совместной работе с добровольцами были выработаны стандарты - с каких камер производить съемку людей дронами, как должен летать дрон и пр. Это нужно для того, чтобы облегчить обработку данных нейросетью. Дрон летал перекрестными галсами – с начала змейкой – вверх-вниз, вверх-вниз, покрывая квадрат, а потом влево-вправо, влево-вправо. Он это делал на высоте в 50 метров и фотографировал взрослых людей, для поиска детей – нужно летать на высоте в 40 м. Так было получено 500 снимков, через пару недель количество снимков вырастет вдвое. В проекте участвуют не только программисты, но и просто добровольцы со своими детьми. Программисты нашли в интернете похожий датасет – съемка людей была сделана с дронов, вертикально, а не под углом, что очень важно для разметки снимков. Получив снимки, команда перешла к обучению моделей, валидируя данные на фотографиях, полученных с реальных поисков и выездах со статистами. На данный момент количество размеченных снимков, используемых для обучения нейросети только для зимнего сезона, превышает 1 миллион! Работы по разметке данных выполняют добровольцы, их сейчас, примерно 15, это некоммерческий проект. Разметчики и программисты (а их количество сегодня перевалило уже за 100 человек!) не получают деньги за свою работу. Для разметки данных не нужно иметь каких-то специальных знаний, ее может сделать любой человек. Разметка одной фотографии, если известно, что на ней человек, занимает 2-5 минут. Сама операция выглядит следующим образом – на снимке земной поверхности в определенных местах лежат люди, разметчик выделяет каждого человека рамочкой и отправляет сохраненные данные Георгию. Для этого определения используется нейросеть на основе Retinanet-Resnet-50. Дополнительно программа была модифицирована под нужды проекта.
Одновременно с версией нейросети серверного вида проявилась параллельная задача по использованию нейросетевой программы на ПСР на ноутбуках и группой добровольцев-программистов во главе с Георгием уже закончена работа над версией нейросети для полевого применения.
Текущие задачи. В данный момент ведется работа по оптимизации (ускорению) работы нейронной сети и созданию фотобанка со статистами природной среды всей России. По созданию фотобанка поставлены задачи всем внешним пилотам отряда "ЛизаАлерт". На данный момент программа уже способна обрабатывать 1 кадр в секунду. Планируется довести оптимизацию программы до 26 кадров в секунду, что позволит в дальнейшем обсуждать обработку видеоформата при помощи нейросети.
Нейросеть можно обучить поиску любых графических образов и, значит, при положительном опыте поиска/спасения людей с дронов с применением нейросети блоки её для поиска/спасения с БПЛА-самолётов и вертолётов ВПСО "Ангел" будут спланированы в ближайшем будущем.
Важно! Обработка нейросетевой программой контента с ПСР не отменяет работу системы Watcher.LA, а является дополняющим блоком для ускорения первичной обработки потоков информации огромного объёма, отснятой с летательных аппаратов любого типа. Просмотр же и анализ контента добровольцами будет дополнительным надёжным щитом от риска пропустить кадры с пропавшим человеком.
Координатор проекта Всеволод (Севыч) +7.9О3.796.O663
Админ проекта Виктория (Ёжик с котомкой) +7.9О5.778.4278
План-график по выполнению текущих задач:
1. Совершенствование алгоритмов безопасности нейросети с точки зрения несанкционированного использования/копирования.
Ответственный: Георгий(gosha20777). Срок выполнения: до 1.07.19. Выполнено.
2. Съёмка фотоархивов статистов для обучения нейросети всех подразделений ЛА, где используются БПЛА.
Ответственные: внешние пилоты ЛА, Виктория(Ёжик с котомкой). Срок выполнения: до 1.07.19. Перенос срока до 1.08.19. Перенос срока до 1.09.19. В связи с расширением географии использования нейросетки этот пункт требуется выполнять постоянно.
3. Поиск серверных мощностей для работы над оптимизацией и ускорения работы нейросети.
Ответственный: Данил(Danil). Срок выполнения: до 1.07.19. Выполнено на 50%, оставшаяся часть до 1.08.19. Перенос срока до 1.09.19. Перенос срока до 1.01.20.
4. Разработка названия нейросети.
Ответственные: Виктория(Ёжик с котомкой). Срок выполнения: до 15.06.19. Перенос срока до 1.07.19. Перенос срока до 1.08.19. Перенос срока до 1.09.19. Выполнено.
5. Оптимизация и ускорение работы нейросети для обработки до 26 кадров в секунду.
Ответственный: Георгий(gosha20777). Срок выполнения: до 1.09.19. Перенос срока до 01.01.20.