시각장애인을 위한 소매점 내 제품 구매 보조 시스템
Product Purchase Assistance System for the Visually Impaired in Retail Store

📌 Background of the Project

일반적인 소매점에서 과자나 식료품 및 기타 상품에는 점자가 표기 되어 있지 않은 경우가 대부분임
점자가 표기되어 있는 캔 음료의 경우이더라도, 탄산과 그 외의 음료로만 구분 가능
촉각을 통해 상품에 대한 정보를 얻고자 물건을 집어 들어도, 물건을 다시 제자리에 다시 두는 것도 어려운 상황
시각장애인은 다른 사람의 도움 없이는 개인의 선호나 필요에 따라 상품을 구매하기 어려운 실정 → 사진으로 각 상품들을 인식하여 을 음성으로 이에 대한 정보를 제공해주는 구매 보조 시스템을 제안

소매점 내 제품을 촬영한 이미지(정지영상) 입력
입력된 영상에서 객체 인식 수행 : YOLO 모델 사용 2-1. 입력 화면 내 상품 객체 찾기 : 상품 정보를 인식하여 이에 대한 정보를 제공하기 위함 2-2.입력 화면 내 손 객체 찾기 : 화면 내 수많은 상품 정보가 동시에 인식 될 때 하나를 지정하여 차례로 정보를 제공하기 위함
손 객체 영역과 중첩된 상품 객체 찾기 : 화면에 인식되는 많은 제품 중 하나를 선택하기 위함
가장 많은 영역이 중첩된 상품 객체의 이름과 영양정보(칼로리, 영양성분 등)를 불러오기
불러온 정보를 TTS 로 출력

학습된 모델을 불러와 손 영역 검출과 제품 영역 검출을 수행합니다.
(1) 처리하고자 하는 이미지는 /datasets/images/에 넣어주도록 합니다
(2) 해당 이미지의 경로(IMAGE_FILENAME)를 코드에서 꼭 바꿔주는 것에 유의합니다
- img_file_name = "IMAGE_FILENAME" --- 3rd Cell 1st Line
- !python yolov5/detect.py --weights weights/best_10class_150.pt --img 416 --conf 0.3 --source datasets/images/IMAGE_FILENAME.jpg --line-thickness 4 --save-txt --- 5th Cell 1st Line
(3) 각 상품 인식 결과와 음성 설명은 datasets/results/IMAGE_FILENAME/ 경로에 저장됩니다

AI Hub에서 '상품 이미지' 데이터셋 저장 (일부 10가지 항목의 제품만 프로젝트에 사용)
RoboFlow를 사용하여 Annotation & Augmentation수행
- Train : Valid : Test = 70 % : 20 % : 10 % (896장 / 250장 / 144장)
- 원본 총 1290장에 대해서 Annotation 수행 → 다양한 전처리 및 증강작업 수행 → 3082장으로 증강