분실물을 쉽고 효율적으로 등록, 관리 그리고 찾을 수 있는 웹서비스입니다.
분실물을 획득한 사람이 이미지를 올리면 생성형 LLM 모델이 물건이 가지고 있는 시각적 특징을 텍스트로 생성하고, 그 중 중요 키워드(모양, 재질, 색, 텍스트 유무 등)를 활용하여 분실물 데이터베이스를 객관적이고 효율적으로 구축합니다. 물건을 찾으려는 사람이 자신의 잃어버린 물건에 대한 설명을 프롬프트로 제시하면 해당 설명과 DB 내 키워드들의 유사도 검사를 통해 유력한 분실물을 필터링하여 제공합니다.
현재 이화여대 학생서비스센터에서 제공하는 분실물 게시판은 내용이 방대하고, 검색 기능이 제대로 작동하지 않는 불편함이 있습니다. Lost_but_Found는 분실물을 제대로 관리하고 찾기 힘들다는 pain point를 개선한 서비스로서, 분실물을 발견한 사람과 찾는 사람 모두 쉽고 간편하게 이용할 수 있다는 기대효과가 있습니다.
🔻 폴더 설명
[image/data_find] 등록자가 업로드한 이미지 저장
[기술검증] 이미지 분석 모델 3가지 (Llava, Chatgpt, VisionAPI) 검증
[유사도 검증] 사용자 프롬프트와 유사도
[카테고리] 물품의 카테고리 추출
[크롤링] 크롤링 데이터셋 구축 과정
[텍스트 전처리] 데이터셋 텍스트 전처리
[코랩_ipynb] 코랩으로 돌린 코드 원본
등록자 파일 업로드 코드, 사진 데이터셋 확보 코드
🔻 기술요소 검증 데모 영상의 구성
[00:28] 데이터 셋을 얻기 위한 크롤링 진행
[01:50] 텍스트 전처리
[03:58] 사진 데이터셋 확보
[05:12] 분실물 자동 분류 기술 검증
[07:26] 유사도 테스트