dukim's blog

Intro 벌써 3주가 지났다는게 믿기지가 않는다 오늘 내용은 다음주 프로젝트 하면서 자주 쓰이게 될 내용들이었다. 강의 내용 복습 참고: Ayoosh Kathuria - PyTorch 101, Part 4: Memory Management and Using Multiple GPUs Multi-GPU 3D Parallelism: Parallelism엔 3가지 차원의 Parallel 존재 Model parallel, Pipeline parallel, Data parallel Model Parallel code 소개 모델의 일부를 각각 다른 device에 할당하는 방식 forward에서 연산하면서 텐서를 서로 다른 디바이스로 전달하는 상황 발생 이때 한 디바이스에서 연산하는 동안 다른 디바이스가 유휴상태가 ..

Intro 오늘 피어세션 발표차례라 발표 내용 준비하면서 강의 때 소개되었던 프로젝트 템플릿을 CIFAR10 Tutorial code에 맞게 수정해보았다. CV 분야의 transfer learning 방법 및 Hyperparameter Search 도구인 Ray Tune을 선택과제로 학습하였다. 강의 내용 복습 PyTorch 프로젝트 구조 이해 victoresque/pytorch-template를 뜯어 구조를 살펴보면서 새롭게 알게된 내용 정리 Tip: import 순서 python 내장 모듈 or 라이브러리 -> 오픈소스 -> 사용자정의 모듈 순으로 조각코드: random seed 고정 SEED = 123 torch.manual_seed(SEED) torch.backends.cudnn.determini..

Intro 과제 분량에 숨이 턱턱 막힙니다. 그러나 과제 퀄리티가 너무 좋습니다. 그동안 대충 알고 넘어갔던 세밀한 부분들을 짚어주어서 도움이 되었습니다. 복습 내용에 모든 걸 담지는 않았습니다. 제가 잘 몰랐던 부분에 대해 알게된 내용만 축약해 기록합니다. PyTorch에서의 Datasets & DataLoader 객체에 대한 내용 + 정형 & 비정형 데이터에 대한 Datasets 생성 방법 강의 복습 내용 PyTorch Datasets & Dataloaders DataLoader 안수빈님 블로그-[Pytorch] DataLoader parameter별 용도 DataLoder는 Generator 조각코드: 데이터로더에서 원소 하나를 꺼내 확인 next(iter(my_dataloader)) Dataset..

Intro PyTorch Basics라서 에이 뭐 쉽겠네하고 방심했는데, 압도적인 과제량과 퀄리티에 다시 한 번 정신차리게 된 하루. 복습 내용은 다 적기 보다는 어떤 개념이 언제 필요하다 정도만 정리했습니다. 강의 복습 내용 PyTorch Basics view vs. reshape 결론부터 말하면 view를 쓰면 변환 이전과 이후 tensor가 동일한 메모리 주소를 참조, 하지만 reshape은 다른 메모리 주소에 새로 쓴다. 잘 모르겠으면 view를 쓰자. 관련 용어 contiguous tensor : 메모리에 배열의 값이 연속적으로 저장된 텐서, 텐서를 최초로 만들면 일렬로 펼친 배열로 메모리에 연속적으로 저장됨. stride: shape의 각 차원에서 인덱스를 1 증가시킬 때 일렬로 펼쳐진 배열에..

Intro 내게는 쥐약과 같은 파트... 바이블과 같은 자료는 이활석님의 오토인코더의 모든 것, 그리고 영상 볼 시간이 없으신 분은 여기를 보시면 도움이 될 겁니다. 강의내용 복습: Generative Model ML에서의 Generative Model의 의미, 트렌드, 방법론 What does it mean to learn a generative model? 생성 모델을 학습한다는 것은 어떤 데이터에 대한 확률 분포 $p(x)$를 학습하는 것 예를 들어 고양이에 대한 이미지 데이터셋이 주어졌을 떄 Generation: $x_{new} \tilde p(x)$에서 샘플링한 $x_new$는 고양이 같을 것(sampling) Density estimation: $p(x)$가 고양이와 유사한 이미지면 높은 값을..

Intro RNN, Transformer 계열은 익숙한 내용이라 듣고 넘겼지만, positional encoding 부분은 여전히 정리가 필요. 이고잉님 Git&Github 특강은 유용했다. 강의내용 복습 Github 특강 VSCODE에서 git graph 를 이용한 branch 및 revert 관리 branch간 checkout시에는 각 branch 이름위에서 오른쪽 단추로 클릭, checkout revert시에는 원하는 작업 시점에서의 여백에서 오른쪽 클릭, checkout Stage: 한 commit으로 처리할 작업 단위들을 모아두는 곳, 변경 사항들을 하나의 stage에 추가한 뒤 commit한다 Issue, Code review 기능 활용법 Pull, Push, 그리고 Conflict 대처법 P..

Intro 이고잉님 특강: git & github 강의 내용 복습 Convolution 네트워크 발전 방향 parameter 수를 줄이는 방향 앞단의 CNN을 깊게, 뒷단의 FC는 최소화 커널 사이즈를 줄이고 깊게 쌓음 : 보다 적은 parameter로 동일한 면적의 receptive field를 커버 가능 1 x 1 convolution : dimension reduction(channel), 깊게 쌓으면서 parameter 숫자를 줄일 수 있게함, bottleneck architecture(e.g. ResNet ) Modern CNN Key takeaways VGG parameter 수를 width & height 에서 줄임 동일한 면적의 receptive filed를 커버하면서 parameter 수..

Intro 강의가 얼마 없다 생각해서 여유로울 줄 알았는데 특강이 많았던 하루 강의 내용 복습 Important Concepts in Optimization 1. Generalization Generalization Performance: Gap between training err and test err2. Underfitting vs. Overfitting 3. Cross-validation(K-fold Validation) NN 학습시 hyperparameter 선택을 위한 방법 hyperparameter 선택 후 최종 학습시 모든 데이터 다 사용 test data는 학습에 어떤 방법으로든 사용되선 X4. Bias and Variance(직관적인 설명) variance: 입력에 대한 출력이 일관적인..