DyeonPark/commenting-lecture-slide

🖥✏ Commentor : Project that provides audio commentary on the content shown on the slide screen of lecture videos

시각장애 학생을 위한 동영상 강의 화면 음성 해설 서비스
Automatic Voice Commentary System for Online Video Lecture for Visually Impaired Students

숙명여자대학교 IT공학전공 2021년 1학기 졸업 프로젝트

프로젝트 배경

• 코로나 바이러스의 확산 방지를 위해 대다수의 교육기관에서 비대면 강의 시스템을 도입하였음
• 동영상 강의는 비대면 강의 시스템의 많은 부분을 차지하고 있음
• 그러나, 시각장애 학생들은 동영상 강의의 화면에 무엇이 나오는지 알 수가 없어 강의 내용 이해도가 떨어지는 문제가 발생함
• 또한 강의자료와 함께 사용하기도 어려워서 현재 수업하는 내용이 강의자료에서 몇 페이지에 해당하는 지도 알기 어려움

따라서 화면 등장하는 강의자료의 페이지 정보를 내용과 함께 해설해주는 시스템을 구축하고,
이러한 자동 해설 동영상을 사용하기 용이하도록 전용 웹 플레이어를 함께 제공하고자 함!

처리 프로세스

1. 교수자가 강의 동영상과 강의자료 파일을 업로드함
2. 서버에 구축되어 있는 시스템이 강의 동영상 내 슬라이드 전환 시점을 도출하고, 해당 슬라이드가 강의자료의 몇 번째 페이지에 해당하는지 유사도 매칭 알고리즘을 통해 파악
3. 강의자료에서 슬라이드별로 텍스트, 이미지, 표에 대해서 자동으로 해설을 제공하는 비디오 파일을 생성
4. 앞선 2단계에서 알아낸 슬라이드별 동영상 강의 내 등장시점 정보를 기반으로 직접 생성한 해설 비디오 파일과 원본 강의 동영상을 조합 → 새로운 해설 비디오 파일 생성
5. 학생은 키보드로 간편하게 조작할 수 있는 전용 플레이어를 사용하여 해설 강의 동영상을 수강

발표 영상 및 논문

 

• 시연 및 발표 영상 링크: https://youtu.be/qrxdCjk2UBw
• 프로젝트 관련 저술 논문 링크: http://doi.org/10.17210/jhsk.2022.06.17.2.31

시연 예시 이미지

1. 원본 강의 업로드 및 해설 삽입 (교수자 화면): 교수자가 로그인하면 기존 LMS 시스템을 이용했던 것과 동일하게 동영상과 강의자료를 업로드하면, 본 시스템이 자동으로 이를 분석하여 슬라이드마다 해설을 삽입합니다
2. 온라인 강의 플랫폼 홈페이지 (학생 화면): 학생이 LMS 시스템에 로그인하면, 기존과 동일하게 강좌목록을 확인할 수 있습니다. 여기서 '해설 비디오 파일 재생' 버튼을 누르면 자동으로 해설이 제공되는 동영상을 전용 플레이어로 재생할 수 있습니다

3. 원본 강의 동영상(mp4): 원본 강의 동영상은 아무런 해설이 제공되지 않는 교수자가 처음에 올린 동영상입니다
4. 강의자료 해설이 제공되는 비디오 플레이어: 강의자료 화면에 대해서 자동으로 해설이 제공되는 동영상을 효과적으로 이용 및 수강하기 위한 전용 플레이어의 모습입니다. 키보드로 간단하게 동작이 가능하며, 정안인 학생도 이용할 수 있도록 슬라이드 전환 시점 단위로 GUI를 구성하였습니다.

실행 방법

python manage.py runserver

설치할 라이브러리

 $ pip install opencv-python scenedetect pandas pdf2image fitz pillow scikit-image gtts pdfplumber googletrans pytesseract moviepy pydub mutagen requests 

• opencv-python: Python용 OpenCV 설치
• scenedetect: 강의 동영상 내 전환시점 파악을 위한 라이브러리 설치
• pandas: 행렬 기반으로 데이터를 저장하고, csv 파일로 내보내기 위한 라이브러리 설치
• pdf2image: pdf 파일을 jpg로 변환하는 라이브러리 설치
• fitz: 이미지 추출하는 라이브러리 설치
• pillow: 파이썬 이미지 처리하는 라이브러리 설치
• scikit-image: 이미지간 유사도 계산을 위한 라이브러리 설치
• gtts: 텍스트를 음성으로 변환해주는 구글의 tts 라이브러리 설치
• pdfplumber: pdf파일을 텍스트로 변환해주는 라이브러리 설치
• googletrans: 구글 번역으로 영문을 한글으로 번역 설치
• pytesseract: 캡처 이미지에 대해 OCR 기능을 수행하기 위한 라이브러리 설치
• moviepy: mp4 영상 병합을 위한 라이브러리 설치
• pydub: 오디오 파일을 자르고 붙이기 위한 라이브러리 설치
• mutagen: mp3, mp4 파일의 길이를 추출하기 위한 라이브러리 설치]
• requests: 이미지 캡션 REST API 사용을 위한 HTTP 라이브러리 설치

그 외 설치 및 설정

• PDF 렌더링 라이브러리 poppler 설치: https://poppler.freedesktop.org/
• 이후 microsoft azure computer vision 설정 가이드 참고: https://docs.microsoft.com/ko-kr/azure/cognitive-services/computer-vision/quickstarts-sdk/image-analysis-client-library?pivots=programming-language-python&tabs=visual-studio

실행 환경

브라우저 : Internet Explorer, Firefox (Chrome, Microsoft Edge 제외)

Developers

Dongyeon Park: yeon0729@sookmyung.ac.kr

Sojeong Kang: thwjdrkd7@naver.com

Yujin Kim: heather0220@sookmyung.ac.kr

Original Repository: https://github.com/Commentor/commenting-video-lecture