JuHuiHeo/visualization-with-langchain

🎇 시각 장애인을 위한 시각 자료 생성 어시스턴트 | 개발기간 : 2023.08.30 ~ 2023.09.05 | OpenAI, JavaScript

🎇 시각 장애인을 위한 시각 자료 생성 어시스턴트

• 개발기간 : 2023.08.30 ~ 2023.09.05
• 개발인원 : 4명

   본 프로젝트는 2023 Prompter Day Swoul 2023 출품작입니다.

1. 웹서비스 소개

   [하나의 시각 자료는 천 마디 말의 가치가 있다.(A visual aid is worth a thousand words.)] 이 아이디어의 제안 배경은 "A picture is worth a thousand words"라는 속담에서 시작합니다. 이 속담은 이미지의 정보 전달 효율성을 강조하지만, 이러한 능력은 시각 장애인에게는 대체로 제한적입니다. 강의, 비즈니스 프레젠테이션, 뉴스, 엔터테인먼트 등 거의 모든 콘텐츠가 쌍방향 커뮤니케이션 방식의 풍부한 시각 자료와 함께 제공되는 시대에, 시각장애인들은 보통 텍스트와 음성만을 사용하여 정보 전달과 커뮤니케이션을 수행하고 있습니다.

   여기서 시각장애인과 비장애인의 피할 수 없는 간극이 존재합니다. 시각장애인은 프레젠테이션에 포함된 그래프나 사진 자료를 해석하는 것도 어렵지만, 발표에서 주도적으로 정보를 전달하는 것은 더더욱 어렵습니다. 발표를 준비하는 시각장애인이 외부의 도움 없이는 혼자서 마땅한 시각자료를 만들기는 녹록지 않습니다.

   이 문제를 해결하기 위해, 시각 장애인이 음성 명령을 통해 직접 시각 자료를 생성할 수 있게 하는 Generative AI 기반 어시스턴트 서비스를 개발해보고자 합니다

2. 개발 환경 및 개발 언어

	tool
개발언어	typescript, javascript, kotlin, python
서비스	GPT-4, DALL·E 2, Whisper
서버	react, jotai, react query, spring framework, fastapi, d3, langchain
개발환경	Windows, MacOs

3. System Architecture

4. MVP 시연 영상

📌 전체영상 보러가기