hkchengrex/XMem

如果我用四个gpu训练，batch size是不是得减半？

longmalongma opened this issue · 6 comments

longmalongma commented

您好，请问如果我用四个gpu训练，batch是不是得减半？
image

longmalongma commented

我是用这个命令训练的：
CUDA_VISIBLE_DEVICES=0,1,2,3 OMP_NUM_THREADS=64 python -m torch.distributed.launch --master_port 2313 --nproc_per_node=4 train.py --exp_id xmemnopre --stage 2 --benchmark
@hkchengrex

xwhkkk commented

我是用这个命令训练的： CUDA_VISIBLE_DEVICES=0,1,2,3 OMP_NUM_THREADS=64 python -m torch.distributed.launch --master_port 2313 --nproc_per_node=4 train.py --exp_id xmemnopre --stage 2 --benchmark @hkchengrex

Hello. I also used the 4 gpu to train stage2. I think we do not need to change anything. Please see #34

  • 👍2
  • 🚀1
longmalongma commented

not

感谢您的回复，但是奇怪的是我用不同的4 gpus训练分别是4卡3080ti和4卡2080ti，为啥训练速度是一模一样？但之前训stcn的时候这两个机器的速度相差是很大的。@hkchengrex @xwhkkk

1334233852 commented

同学你好，我想问一下如果用自己的数据集训练并且测试的话，有什么细节吗？感谢感谢