dukim's blog

Intro 벌써 3주가 지났다는게 믿기지가 않는다 오늘 내용은 다음주 프로젝트 하면서 자주 쓰이게 될 내용들이었다. 강의 내용 복습 참고: Ayoosh Kathuria - PyTorch 101, Part 4: Memory Management and Using Multiple GPUs Multi-GPU 3D Parallelism: Parallelism엔 3가지 차원의 Parallel 존재 Model parallel, Pipeline parallel, Data parallel Model Parallel code 소개 모델의 일부를 각각 다른 device에 할당하는 방식 forward에서 연산하면서 텐서를 서로 다른 디바이스로 전달하는 상황 발생 이때 한 디바이스에서 연산하는 동안 다른 디바이스가 유휴상태가 ..

Intro 오늘 피어세션 발표차례라 발표 내용 준비하면서 강의 때 소개되었던 프로젝트 템플릿을 CIFAR10 Tutorial code에 맞게 수정해보았다. CV 분야의 transfer learning 방법 및 Hyperparameter Search 도구인 Ray Tune을 선택과제로 학습하였다. 강의 내용 복습 PyTorch 프로젝트 구조 이해 victoresque/pytorch-template를 뜯어 구조를 살펴보면서 새롭게 알게된 내용 정리 Tip: import 순서 python 내장 모듈 or 라이브러리 -> 오픈소스 -> 사용자정의 모듈 순으로 조각코드: random seed 고정 SEED = 123 torch.manual_seed(SEED) torch.backends.cudnn.determini..

Intro 과제 분량에 숨이 턱턱 막힙니다. 그러나 과제 퀄리티가 너무 좋습니다. 그동안 대충 알고 넘어갔던 세밀한 부분들을 짚어주어서 도움이 되었습니다. 복습 내용에 모든 걸 담지는 않았습니다. 제가 잘 몰랐던 부분에 대해 알게된 내용만 축약해 기록합니다. PyTorch에서의 Datasets & DataLoader 객체에 대한 내용 + 정형 & 비정형 데이터에 대한 Datasets 생성 방법 강의 복습 내용 PyTorch Datasets & Dataloaders DataLoader 안수빈님 블로그-[Pytorch] DataLoader parameter별 용도 DataLoder는 Generator 조각코드: 데이터로더에서 원소 하나를 꺼내 확인 next(iter(my_dataloader)) Dataset..

Intro PyTorch Basics라서 에이 뭐 쉽겠네하고 방심했는데, 압도적인 과제량과 퀄리티에 다시 한 번 정신차리게 된 하루. 복습 내용은 다 적기 보다는 어떤 개념이 언제 필요하다 정도만 정리했습니다. 강의 복습 내용 PyTorch Basics view vs. reshape 결론부터 말하면 view를 쓰면 변환 이전과 이후 tensor가 동일한 메모리 주소를 참조, 하지만 reshape은 다른 메모리 주소에 새로 쓴다. 잘 모르겠으면 view를 쓰자. 관련 용어 contiguous tensor : 메모리에 배열의 값이 연속적으로 저장된 텐서, 텐서를 최초로 만들면 일렬로 펼친 배열로 메모리에 연속적으로 저장됨. stride: shape의 각 차원에서 인덱스를 1 증가시킬 때 일렬로 펼쳐진 배열에..