Batch_size in downstream task
chuhailinh opened this issue · 1 comments
chuhailinh commented
Batchsize cho task NER anh đã chọn là 32, cho em hỏi là đây là giá trị mà mô hình tốt nhất ạ, hay là chỉ để so sánh với các mô hình khác. Vì em có thử batchsize = 64 thì kết quả có tốt hơn, nên muốn hỏi lí do tại sao ạ. Em xin cảm ơn
datquocnguyen commented
It's good to hear that.
For PhoBERT, we simply use a fixed set of hyper-parameters, following the RoBERTa paper (Liu et al., 2019).