WasteBot

⚠️ Важно! ПО было протестировано ТОЛЬКО на платформе macOs

Перед установкой

  1. Установите python3.6
  2. Убедитесь, что установлена поледняя версия pip для python3.6
  3. Для платформы MacOs Вам необходимо установить Xcode Tools xcode-select --install

Python

  1. Скачайте последний релиз WasteBot GUI
  2. Установите необходимые библиотеки sudo pip3.6 install -r requirements.txt
  3. На любом компьютере в локальной сети повторите шаги 1 и 2 и запустите сервер sh server.py

В данном случае клент отправляет сжатое изображение на сервер через сокеты. Сервер обработывает нейронную сеть и отправляет на клиент только результат

Для тестов можно использовать не второй компьютер, а просто запустить сервер на том же устройстве, что и клиент. В таком случае в шаге 4 установите SERVER_IP как 127.0.0.1

  1. На основном компьютере запустите запустите клиент python3.6 client.py SERVER_IP где SERVER_IP - локальный ip адресс компьютера-сервера
  2. Для отправки голосовой команды используйте кнопку Listen, произнесите комманду из списка команд и ожидайте несколько секунд (компьютер-клиент должен иметь поключение к интернету).
  3. Для включения/выключения обработки нейронной сети, нажмите пробел

Симуляция

  1. Скачайте последний релиз симулятора WasteBot Simulation
    • Для запуска на Linux необходимо выполнить следующие команды: chmod 777 "WasteBot Simulation.x86_64" sudo ./"WasteBot Simulation.x86_64"
    • Для запуска на macOs достаточно открыть файл WasteBot Simulation.app
    • Для запуска на Windows, запустите файл WasteBot Simulation.exe
  2. Модифицируйте или используйте уже готовый файл конфигурации сцены
  3. Запустите приложение симуляции
  4. Укажите полный путь до файла конфигурации сцены в поле в верхнем правом углу
  5. Нажмите кнопку Load scene и убедитесь, что сцена сконфигурирована правильно
  6. Нажмите кнопку Start simulation для запуска симуляции

Распознавание речи

  1. Для использования модуля распознования речи, запустите файл speech.py
  2. Результат распознования будет записан в файл speech.txt

Возможные проблемы

  • В прецессе установки необходимых библеотек на macOs может возникнуть ошибка отсутствия библеотеки "portaudio"
    • Для решения этой проблемы Вам необходимо установить homebrew и выполнить команду brew install portaudio, затем повтроите установку библиотек
  1. Скачайте последний релиз симулятора WasteBot Simulation