카페인(Cafe-in)

너는 내 취향저격, 이미지 기반 카페 추천시스템

2021.07.17 [제 12회 투빅스 컨퍼런스] 발표작

카페 이미지를 넣으면, 유사한 느낌의 카페를 추천해주는 서비스입니다.
이미지뿐만 아니라 기존 카페 이용고객들의 리뷰와 태그 데이터를 활용합니다.
다이닝코드 데이터 기반으로 진행하였으며, 상업적으로 이용할 의도가 전혀 없음을 밝힙니다.

Structure

카페인
├── README.md
├── data_preprocessing
│   ├───crawling.py
│   └───preprocess.py
│   
├── final_model
│   ├── show_and_tell
│     ├───show_and_tell_proprecess.py
│     ├───show_and_tell_embedding.py
│     ├───show_and_tell_model.py
│     ├───show_and_tell_train.py
│     └───similarity_result.py
│   ├── tag   
│     ├───tag_dataloader.py
│     ├───tag_embedding.py
│     ├───tag_mobilenet.py
│     └───tag_train.py

crawling.py : 다이닝코드 데이터 크롤링 코드입니다.

preprocess.py : 리뷰데이터 토크나이즈 및 데이터 클렌징 코드입니다.

show_and_tell_model.py : show and tell 모델이 정의된 코드입니다.

show_and_tell_proprecess.py : 데이터 전처리 및 kor2vec embedding을 만들고 저장하고 show and tell 모델에 적용시키기 위한 dataloader를 만드는 코드입니다.

show_and_tell_train.py : show_and_tell 모델을 학습시키기 위한 코드입니다.

show_and_Tell_embedding.py : 학습된 show_and_tell 모델에서 review와 image가 들어가있는 embedding을 추출하는 코드입니다.

tag_dataloader.py : tag 모델에 적용시키기 위한 데이터 전처리 및 dataloader를 만드는 코드입니다.

tag_mobilenet.py : tag인 mobilenet 모델이 정의된 코드입니다.

tag_train.py: tag 모델을 학습시키기 위한 코드입니다.

tag_embedding.py : 학습된 tag 모델에서 tag와 image가 들어가 있는 embedding을 추출하는 코드입니다.

similarity_result.py : show and tell model의 embedding을과 tag model의 embedding을 결합하고, 투입된 image와 결합한 embedding 파일의 유사도를 구하여 가장 가까운 5개의 카페를 추천해주는 코드입니다.