Prediction of student's engagement in online-lecture by video
Целью проекта является подготовка инструментария, сбор и разметка видео-файлов со студентами, участвующих в онлайн мероприятия (прохождение он-лайн курсов, он-лайн лекций). Данный набор данных в дальнейшем будет использоваться для решения задачи распознавания эмоциональной вовлеченности пользователя по видео. Наличие идентификатора пользователя и нескольких его видеозаписей может использоваться для исследования алгоритмов federated learning с дообучением нейросетевых моделей на данные конкретного пользователя.
Задачи:
- Анализ существующих методов и наборов данных по распознаванию эмоциональной вовлеченности пользователей.
- Формулировка основных требований к датасету.
- Сбор видеоданных
- Разметка датасета и разбиение на короткие видеофрагменты
- Исследование найденных алгоритмов на тестовом видео.
Датасет состоит из более чем 60 фрагментов видео со студентами во время онлайн лекций, снятых 4 пользователями, каждый фрагмент длится от 1 до 5 минут. Для распознавания эмоциональной вовлеченности пользователей — отсутствия вовлечения в процесс, слабой вовлеченности, вовлеченности и сильной заинтересованности. Ссылка на собранный датасет с видеофрагментами участников онлайн мероприятий: https://drive.google.com/drive/folders/1XQq89XYAfDjhfSjDcbPpw9XhhXi4SrlF?usp=sharing
Инструкция для разметки датасета с примерами находится в файле "Инструкция для разметки датасета"
Реализация оформлена в файле course_project.ipynb