dukim's blog

Intro 벌써 3주가 지났다는게 믿기지가 않는다 오늘 내용은 다음주 프로젝트 하면서 자주 쓰이게 될 내용들이었다. 강의 내용 복습 참고: Ayoosh Kathuria - PyTorch 101, Part 4: Memory Management and Using Multiple GPUs Multi-GPU 3D Parallelism: Parallelism엔 3가지 차원의 Parallel 존재 Model parallel, Pipeline parallel, Data parallel Model Parallel code 소개 모델의 일부를 각각 다른 device에 할당하는 방식 forward에서 연산하면서 텐서를 서로 다른 디바이스로 전달하는 상황 발생 이때 한 디바이스에서 연산하는 동안 다른 디바이스가 유휴상태가 ..