Task_Logic
Assignment
To run pretraining code:
python model_train_language.py --en 4 --ed 150 --hd 300 --ah 3 --dr 0.1 --ep 500 --dm 50
Fine-tuning code:
python model_train.py --en 4 --ed 150 --hd 300 --ah 3 --dr 0.1 --ep 50
Assignment
python model_train_language.py --en 4 --ed 150 --hd 300 --ah 3 --dr 0.1 --ep 500 --dm 50
python model_train.py --en 4 --ed 150 --hd 300 --ah 3 --dr 0.1 --ep 50