dukim's blog

Intro 이번주는 명훈님 논문 읽기 모임 내용 + 강의 및 과제 내용 + 멘토링 논문 읽기로 계속 진행함 NLP 논문 읽기 모임 - Transformer 피어세션 - Transformer 논문 읽기와 강의 내용을 따로 정리하지 않고 하나로 정리 멘토링 - 논문 읽기 - BART, XLNet 학습 내용 [논문 읽기 모임] 02. Transformer Transformer는 고전이다. 다시 볼 때마다 새롭고, 한 줄 한 줄 곱씹어야 될 만한 논문이기 때문. 이번 명훈님 발표 자료를 보니 내가 못 봤던 포인트들이 보였다. 한 번에 다 이해는 못 했지만 현재 이해한 수준에서만 몇 가지 정리해본다. contribution Sequence Transduction 문제에 대해 기존엔 Attention이 적용된 RN..