QwenLM/Qwen-Audio

训练超参数相关问题

jwang1993 opened this issue · 1 comments

关于训练有几个问题想请教一下,
1、在预训练和微调阶段,SpecAugment Policy 是LibriSpeech Basic是什么含义呢
2、在预训练阶段,单独设置了Audio encoder learning rate decay为0.95,这是只针对audio encoder的还是预训练阶段所有可训练参数(audio encoder+adapter)呢
3、在预训练阶段采用多少台机器,总共训练了多长时间