Large Scale Landmark Recognition via Deep Metric Learning
Opened this issue · 1 comments
chullhwan-song commented
abstract
- landmark 인식
- Mail.ru(러시아)회사에서 공개한 paper
- metric learning 기반..
- paper안에서는 "Curriculum learning(이미 이전 리뷰에서..#59 개념참고)" 개념과 같이
- 실제 회사에서 낸 케이스라 실용적인 논문일듯.
전체 프로세스
- 특이(?)한점은 첫번째 과정에서, landmark vs non-landmark인것인가를 check
- base network > Wide Residual Network (WRN-50-2) > 잘 몰라서 더 찾아봐야할듯.
- feature > global average pooling
- loss
학습
- 제목그래로 metric learning인줄알았더니..softmax+center loss 조합
- curriculum learning 개념으로 학습셋을 구성하여 학습
- 기본적으로 이 회사에서 만든 학습셋인듯
실험
- delf 와 같이 통합하여 실험 - spatial verification
- 다음부터 좀 헷갈린다.
- train data ?
- sensitivity — accuracy of a model on images with landmarks (also called Recall)
- ?? 학습모델을 랜크마크 이미지를 가지고 구성하여 모델 생성
- specificity — accuracy of a model on images without landmarks.
- ?? 학습모델을 랜크마크 이미지없이 가지고 구성하여 모델 생성.
- sensitivity — accuracy of a model on images with landmarks (also called Recall)
- test data ?
- “rare” and “frequent” landmarks.
- “Part from total number” : shows what percentage of landmark examples in the offline test
has the corresponding type of landmarks > offline??몬지는 모르겠지만.ㅎ 전체 수집한것중 잘 나타나지 않는 landmark를 의미하는듯.??- 각 클래스를 보고 그 클래스의 갯수를 보고 자른것인가? 그렇다면 반대가 되어야하는데. ㅠ(유명 랜드마크는 그 클래스안에서는 개수는 많아도 전체 지구 개수의 랜드마크의 아주 일부분이기 때문에....?? 그래서 이 개념은 아닌듯) > 데이터를 주지 않으니..ㅠ
- 특정 영역(geo)을 crawling를 했는데..그때의 전체 이미지중 보니 매우 낮은 랜드마크만 있었서 나머지는 non-landmark 비율이 높은 경우를 'rare'로 하지 않았을까?
- It’s very important to understand how model works on “rare” landmarks due to the small amount of data for them.
- “Part from total number” : shows what percentage of landmark examples in the offline test
- “rare” and “frequent” landmarks.
- 데이터셋구성
- eval set 평가 = Medium vs Hard > distractors image에 대한 포함여부 테스트
- 평가가 살짝 fair하지 않는듯 > 여기서는 자체 train set를 ... > ( neuralcode같은것을 이용하지 않고..) > 공개했으면..
- neuralcode나 google landmark 데이터셋을 trainset으로한 실험도 같이 했으면 더 좋을것 같다.