文件目录： hw_boolq ----code --------main.py --------loadData.py ----data --------train.jsonl --------dev.jsonl ----model --------model.ckpt（存储的模型） robert_large_mnli ----config.json ----merges.txt ----pytorch_model.bin ----vocab.json （这四个文件在分享的roberta中，将文件名前缀roberta-large-mnli-去掉即可） 数据增强可以直接生成新的data_aug.jsonl（格式同train.jsonl和dev.jsonl），然后调用loadData/load_data_aug()读出，拼接在105行的train_data处（train_data = train_data + load_data_aug()）即可 若数据增强使得数据集太大，可以加入sample或用其他方法修改代码，提高速度 运行当前代码需要两张卡，0号卡需要9000+M的显存，其余需要3000+M的显存 可以通过修改export CUDA_VISIBLE_DEVICES=0,1,2,3来限定用卡，也可以更改device_ids来限定用卡 不同的卡数对应了不同的batch_size，当前大概只能是用n张卡，batch_size就为n。gradient_accu参数为gradient_accumulation参数，用于将多个小batch合成一个大batch再进行梯度更新。可以适当调节gradient_accu和batch_size，使得两者的乘积在16, 32之间（论文推荐batch_size为32） 需要测试eval阶段的代码时，确保model/model.ckpt存在，然后将train_mode参数改为False，max_epochs改为1 当前参数设置，在第4个epoch的acc达到最高，为0.8544 每个epoch的loss: 0.92087 --- 0.52443 --- 0.29871 -- 0.17319