/deepfake-xai-detector

Алгоритм HiResCAM++ и окружение, позволяющее использовать алгоритм вместе со сверточными моделями машинного обучения ResNeXt и EfficientNet.

Primary LanguagePython

Алгоритм обнаружения и интерпретации признаков синтеза изображения лица человека с использованием объяснимого искусственного интеллекта.

  • HiResCAM++ - метод объяснимого ИИ, основанный на GradCAM, предоставляющий тепловую карту влияния признаков на изображении на предсказание модели
  • Окружение для запуска инференсов моделей ResNeXt и EfficientNet и применения HiResCAM++
  • Расчет вероятности дипфейка для видеозаписи

Пример работы в блокноте на kaggle:

https://www.kaggle.com/code/foreveralove/hirescam-dfdc

Запуск

  • Необходима установленная среда Anaconda3 или Jupyter, версия Python 3.6 (ограничение GradCAM)
  • Загрузите видеозапись в папку data и заполните labels.csv
  • Запустите блокнот HiResCAM++_runner

Архитектура алгоритма

Архитектура алгоритма

Подробнее о HiResCAM++

  • Метод использует две тепловые карты HiResCAM, полученные по последнему и предпоследнему слою модели.
  • Тепловые карты перемножаются по следующей формуле:

Формула HiResCAM++

  • Размерность тепловой карты в 2 раза выше, чем у метода HiResCAM
  • Сохраняется интуитивность HiResCAM, то есть выделенные области гарантированно влияют на предсказание модели