above-ground

Первый эксперимент с airsim

Создаём путь на карте, для каждого отрезка пути у нас есть изображение. Агент получает текущее изображение и сравнивать
с изображениями заданного отрезка, пытаясь как можно точней приблизить свою траекторию к прочерченной траектории.
Задачу состоит из цепочки задач:

  • загрузить фотограметрию поверхности в игровую площадку
  • получать снимки с высоты полета по траектории
  • научить дрон летать по траектории из снимков

Демонтсрация желаемого результата

gui для создания данных, и будущая игровая площадка для бота

python3 main.py

склеить изображение

python3 glue_part.py

Настройки betaflight

set msp_override_channels_mask = 111
set msp_override_failsafe = ON

Запуск программы aim

  • сервер
python auto_aim.py 
  • клиент
python interface/client.py

Иллюстрация к проекту

Нужно сделать

  • нарезать разного размера изображение, из снимка местности
  • вносить искажения
  • использовать дискрипторы для воссоздания изображения
  • обучать нейронную сеть
  • графф для сортировки изображений в нужной последовательности
  • установить gazebo
  • установить airsim
  • подключить к симуляторам px4/betaflight контроллер
  • получать сигналы контроллера microsoft/AirSim#1726
  • изучить возможность применения blender
  • реализовать статью Mapping, Localization and Path Planning for Image-based Navigation using Visual Features and Map
  • обучение с подкреплением
  • удобный инструмент фотограметрии по одному изображениею местности (разрезать на куски исходное изображение для каждого куска создать несколько ракурсов)
  • получить данные с пульта управления в airsim
  • отслеживание обьекта/комбинированные функции слежения
  • PID регулятор/адаптивная версия
  • инерциальный трекер