sirius-spring2021-image2chat
Image2Chat: научи нейросеть отвечать на картинки
Общение в мессенджерах – это не один лишь текст: в чате человек моментально реагирует и на мультимодальные данные: фото, видео, гифки. Мы не задумываясь отвечаем на картинки как на фразы, а для машины это совсем непростая задача на стыке Computer Vision и Natural Language Processing. Такой подход невероятно актуален в современных диалоговых агентах, а также в вопросно-ответных задачах.
В проекте вам предстоит реализовать диалоговую систему, которая умеет отвечать собеседнику на присланную картинку в соответствии со своим «настроением». Для реализации алгоритма вам предлагается разобраться с фреймворком ParlAI и, в качестве бонуса, встроить метод в телеграм-бота и/или адаптировать его для русского языка.
Статья:
https://arxiv.org/pdf/1811.00945.pdf