dukim's blog

Intro 이번주는 명훈님 논문 읽기 모임 내용 + 강의 및 과제 내용 + 멘토링 논문 읽기로 계속 진행함 NLP 논문 읽기 모임 - Transformer 피어세션 - Transformer 논문 읽기와 강의 내용을 따로 정리하지 않고 하나로 정리 멘토링 - 논문 읽기 - BART, XLNet 학습 내용 [논문 읽기 모임] 02. Transformer Transformer는 고전이다. 다시 볼 때마다 새롭고, 한 줄 한 줄 곱씹어야 될 만한 논문이기 때문. 이번 명훈님 발표 자료를 보니 내가 못 봤던 포인트들이 보였다. 한 번에 다 이해는 못 했지만 현재 이해한 수준에서만 몇 가지 정리해본다. contribution Sequence Transduction 문제에 대해 기존엔 Attention이 적용된 RN..

Intro 오전 시간에는 명훈님이 진행하시는 NLP 논문 읽기 스터디에서 다루는 "Neural Machine Translation by Jointly Learning to Align and Translate" 논문을 읽고 정리함 1시부터 2시까지 NLP 논문 읽기 스터디 참여 2시부터 4시까지 Transformer 강의 수강했으나 집중이 잘 되지 않음 4시부터 6시까지 피어세션 진행, 지난주 회고 및 이번주 피어세션 계획 세움 결국 낮 시간에 Transformer를 다 수강하지 못 하고 밤 시간에 보충했다. 면접에 반드시 나오는 질문이기 때문에 어떻게든 내 말로 설명해보려고 학습정리를 수정하고 수정하다 보니 시간이 오래 걸렸다. 학습 내용 [NLP 논문 읽기 모임] 01. Neural Machine Tr..