full-scale training 진행하기 (하루가 걸리던 얼마가 걸리던 일단 T4로 학습 ㄱㄱ)

[eubinecto]

Why?

시간이 많이 걸린다는 것을 이유로 전체 데이터셋에 학습을 진행하는 것을 미루고 있었다. 이번에 시간이 얼마나 걸리던, 일단 T4로 진행해보고자 한다.

[eubinecto]

https://wandb.ai/eubinecto/cleanformer/runs/2iwtg1q3/overview?workspace=user-eubinecto

에폭을 얼마나 돌려야할지 모르겠어서, 일단 max_epochs=30 으로 두고 학습을 진행해보았다

• train set 최대정확도 = 10%
• 별 학습한 것도 없는데 정확도가 5%를 지나는 지점에서 오퍼피팅 현상 발생
• 물론 번역의 지표로 정확도가 적절한 것은 아니다는 것은 감안할 것

소요시간은 대략 11시간

• 데이터셋이 작아서 그런가? 생각보다 오래걸리지는 않았다.
• 정말 제대로 학습 데이터셋에 오비피팅을 할 생각이라면 에폭을 60까지는 늘려야할 것. 그렇게 할 경우, 대략 22시간 소요 예상