시각장애인을 위한 편의점 음료 인식 어플
A Beverage Detection Application for Visually Impaired
- 개요
- 데이터 출처, 규모, 전처리 방식
- 어플 구현 과정
- 한계점과 확장방안
👀 다양한 시각장애인의 시야 Various Eyesights of Visually Impaired
- 비장애인은 흔히 시각장애인이 모두 전맹이라고 생각하지만, 실제 시각장애인의 시야는 다양합니다.
🧃 시각장애인이 편의점에서 음료를 고르는 방법 The Way Visually Impaired Select Products in Retails
- 대부분의 음료에 점자가 없거나 '음료'라고만 되어 있어 시각장애인이 상품 선택 시 어려움을 겪습니다.
<출처: 원샷한솔OneshotHansol - https://www.youtube.com/@OneshotHansol>
쇼우나우 어플 소개 Introduction Of ShowNow Application
📱 시각장애인이 어플을 사용하는 방법 The Way Visually Impaired Use Phone and Applications
- 시각장애인도 핸드폰과 어플을 사용할 수 있습니다.
<출처: 우령의 유디오 - https://www.youtube.com/@Youdio-wooryeong>
- 상품 선택시 더욱 빨라지는 속도
- 타인의 도움 없이 원활해지는 상품 구매
2. 데이터 출처, 규모, 전처리 방식 Dataset
- 데이터는 아래와 같이 세 가지로 나뉩니다.
- 편의점에서 직접 촬영한 데이터 약 700장
- AI Hub에서 다운로드 받은 데이터 약 800장
- 웹크롤링 데이터 약 1800장
- 전처리 작업은 Roboflow에서 진행하였습니다.
3. YOLOv5 nano 모델 선정 이유 The reason of choosing YOLOv5 nano
- YOLOv5 nano는 CPU와 GPU에서 모두 가장 빠른 모델입니다.
- 실제 데이터셋으로 비교하였을 떄에도 YOLOv5 nano가 뛰어난 성능을 보였습니다.
4. 모델 개선 Improving Model Performance
- 어플 시작 → 상품 인식 → TTS로 안내
-
한계점
- 투명 용기 인식에 어려움
- 상품의 패키징이 변화함에 따라 주기적인 업데이트 필요
- 스마트폰 기종에 따른 UI와 인퍼런스 성능에 차이가 있어 개선 필요
-
추후 확장 방안
- STT를 추가하여 소비자가 데이터 추가 요청 가능
- 상품 별 이벤트 설명 가능
- OCR을 추가하여 상품 별 유통기한 설명 가능
- 상품군 확대 가능
- 아이폰 어플 개발 가능
- https://github.com/ultralytics/yolov5
- https://github.com/AarohiSingla/TFLite-Object-Detection-Android-App-Tutorial-Using-YOLOv5
- https://www.youtube.com/watch?v=ROn1_O2zEtk
이창재 박성혜 임보라 정유석