关于num_gpu的疑问

[cqlouis]

Wenxuan您好，
在train.py中，有：
train_loader = DataLoader(dataset=train_set, sampler=train_sampler, batch_size=args.batch_size // num_gpu, drop_last=True, num_workers=args.num_workers, pin_memory=True)
此处，我不是太明白batch_size这里为什么要用args.batch_size除以num_gpu？
args.batch_size 为8, 再除以gpu数量4, 等于2, 相当于每个gpu得到的数据batch_size为2？
难道不是每个gpu得到的数据batch_size就是args.batch_size 吗？
谢谢，并祝好！

[Rubics-Xuan]

您好，因为我们采用的是分布式训练。

[cqlouis]

其实我想问的是，如果在argparse里面设置了batchsize，那么，每个gpu得到的数据量就是batchsize呢，还是要用batchsize来除以gpu的个数？
谢谢！