Проект по обучению модели детекции на основе Faster R-CNN

Проект по созданию системы безопасности на предприятии, реализующей детектирование людей и автоматическую проверку наличия касок по изображениям с видеокамер

Я сделал обучение двух различных нейронных сетей Faster-RCNN с FPN (Region Based Convolutional Neural Network with Feature Pyramid Architecture). Первая сеть реализует детектирование людей по изображениям с видеокамер, а вторая проверяет наличие касок на головах работников предприятия.
Для того чтобы получить более качественную детекцию, я использовал технологию transfer learning, инициализировав на старте предобученные веса. После завершения обучения сетей я сохранил состояния моделей, которые показали наименьший суммарный лосс на валидации. Далее я реализовал оценку качества детектирования, используя самостоятельно написанные функции, которые вычисляли следующие валидационные метрики:

среднее IOU;
recall и precision при заданных порогах уверенности (score) и IoU;
значения average precision (AP) для каждого класса;
mean average precision (mAP) для модели двухклассовой детекции c различными порогами по IoU.

В процессе обучения моделей я также проводил мониторинг изменения лосс функций на трейне и валидации. Данные результаты сохранил в tensorboard.dev

Содержание репозитория:

Ключевой файл - отчет в формате jupiter notebook main.ipynb, в котором представлено подробное описание реализованного проекта и описаны все шаги по предобработке данных, а также обучению и тестированию моделей с выводами. Все ключевые для данного проекта функции я представил в отдельных .py файлах:

реализация аугментации и визуализация исходных данных - augment_and_visualize.py
реализация обучения сетей с параллельным тестированием на валидации и трекингом в tensorboard - training_rcnn.py
визаулизация результатов детекции и загрузка обученных моделей с гугл диска - predict.py
подсчет всех ключевых метрик для оценки качества детектирования - metrics.py

Для того, чтобы была возможность самостоятельно протестировать работоспособность двух обученных моделей детектирования, написал скрипт detecting.py, который запрашивает путь к файлу (jpg/png) и визуализирует результаты распознавания. О том, как запустить этот скрипт через терминал будет далее подробно рассказано.

Примеры результатов работы двух разных обученных моделей:

Как запускать программу:

Данные команды требуется запускать последовательно в терминале:

Склонируйте к себе этот репозиторий

git clone https://github.com/Koldim2001/Factory_detection.git

Перейдите с помощью команды cd в созданную папку Factory_detection

cd Factory_detection

Загрузите все необходимые библиотеки:

pip install -r requirements.txt

Запустите написанный python скрипт:

python detecting.py

При запуске программы потребуется ввести путь к изображению, для которого надо провести детекцию. Учтите, что путь к файлу не должен содержать кириллицу (русские буквы). После завершения детектирования людей откроется отдельное окно с результирующими боксами. При закрытии этого окна автоматически начнется процедура двухклассовой детекции (наличие/отсутвие касок на голове). По результатам вычислений откроется новое отдельное окно с задетектированными боксами.

Способ запуска детектирования с помощью telegram бота:

Я реализовал интеграцию модели детектирования людей в чат бот. При отправлении изображения в лс он выдает число обнаруженных объектов и отправляет ответное изображение с предсказанными bounding боксами.
Инструкция по запуску "локального сервера", реализующего работу бота:
Первые 3 этапа идентичны описанным ранее.
4. Запустите написанный python скрипт (но сначала вставьте свой API ключ в код):

python tg_bot.py

Перейдите в диалог с ботом и пользуйтесь

Пример работы телеграм бота: