카카오 아레나 쇼핑카테고리 분류 대회를 참가할 당시에 사용한 ipython 코드입니다.
- 팀명 : 부산캐글스터디
- 팀원 : 서민규, 김태진, 문성환, 변준용 (4인)
- 성적 : 1.038344 (공개 리더보드 기준)
- 파이널 : 제출하지 않음
-
데이터 전처리
- h5py파일에서 사용할 feature만 추출
- S, D 카테고리 레이블 중 -1 값의 데이터는 모두 제외
- Konlpy(mecab) 전처리 ( 코드에 없음 )
- 특정 단어 전처리 ( 코드에 없음 )
- Product, maker, brand, model, image feature 사용
-
토큰화
- Keras Tokenizer 사용 ( train, dev, test )
-
모델
- 4개의 feautre Embedding
- Embedding 결과와 image 데이터 Concatenate
- 4개의 카테고리에 대한 모델을 각각 생성
-
순차모델
- 상위 카테고리 예측 결과를 다른 모델 예측에 활용
-
띄어쓰기를 하지 않는 경우가 대부분
물건을 등록할 때 글자수 제한 때문인지 최대한 많은 정보를 넣으려고 하는 바람에 띄어쓰기를 아예 하지 않는 경우가 많음.
따라서, 중요한 의미를 지닌 단어가 소실되는 경우가 있음 -
텍스트, 문장의 의미를 내포하는 단어 외에 불필요한 단어 다수
문장의 의미와 상관없는 특정 미사여구로 전처리 필요 Ex) 무료배송, 할인, 특가, 세일, 본인의 아이디 등등
-
텍스트 전처리 시 병렬처리를 하지 않아서 CPU자원을 100프로 사용하지 못하는 문제
-
테스트 데이터가 트레이닝 과정에 사용됨
( 토큰화하는 과정에서 Test데이터와 함께 카운트 ) -
Test 데이터에 대한 파이프라인 미설계
-
파이썬 코드로 정리 필요...
- Tensorflow.keras
- Google TPU(Tensor Process Unit)
- Konlpy(Mecab) 사용
- 특정단어 전처리 (쇼핑데이터 특징 #2)