Алгоритм обнаружения и интерпретации признаков синтеза изображения лица человека с использованием объяснимого искусственного интеллекта.
- HiResCAM++ - метод объяснимого ИИ, основанный на GradCAM, предоставляющий тепловую карту влияния признаков на изображении на предсказание модели
- Окружение для запуска инференсов моделей ResNeXt и EfficientNet и применения HiResCAM++
- Расчет вероятности дипфейка для видеозаписи
https://www.kaggle.com/code/foreveralove/hirescam-dfdc
- Необходима установленная среда Anaconda3 или Jupyter, версия Python 3.6 (ограничение GradCAM)
- Загрузите видеозапись в папку data и заполните labels.csv
- Запустите блокнот HiResCAM++_runner
- Метод использует две тепловые карты HiResCAM, полученные по последнему и предпоследнему слою модели.
- Тепловые карты перемножаются по следующей формуле:
- Размерность тепловой карты в 2 раза выше, чем у метода HiResCAM
- Сохраняется интуитивность HiResCAM, то есть выделенные области гарантированно влияют на предсказание модели