-args.device = 'cuda:0'
-args.world_size = 1
-args.rank = 0
-args.local_rank = int(os.environ.get("LOCAL_RANK", 0))
+args.device = 'cuda:0'
+args.world_size = 1
+args.rank = 0
+args.local_rank = int(os.environ.get("LOCAL_RANK", 0))
torch.cuda.set_device(args.local_rank)
-torch.distributed.init_process_group(backend='nccl', init_method='env://')
+torch.distributed.init_process_group(backend='nccl', init_method='env://')
args.world_size = torch.distributed.get_world_size()
args.local_rank = torch.distributed.get_rank()
+
---
@@ -149,18 +141,19 @@ args.local_rank = torch.distributed.get_rank()
#### Model에 DDP 적용하기
-다음으로는 model에 DDP를 어떻게 적용 및 학습을 하는지 살펴보겠습니다.. (매우 간단합니다!!)
+다음으로는 model에 DDP를 어떻게 적용 및 학습을 하는지 살펴보겠습니다.. (매우 간단합니다!!