| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 |
Tags
- 백준
- text classification
- Eliza
- Transformers
- Transformer
- BLEU Score
- fine-tuning
- beam search
- scaled dot-product attention
- pytorch
- BELU
- KLUE-RE
- 취업
- MT-DNN
- GPT-1
- BoostCamp
- huggingface
- Relation Extraction
- NLP
- Dialogue System
- KLUE
- multi-head attention
- bert
- Conversation System
- boj
- ai-tech
- Prompt Tuning with Rules for Text Classification
- FSML
- Chatbot
- layer normalization
Archives
- Today
- Total
목록MT-DNN (1)
dukim's blog
[WK07-Day033][21.09.16.Thu] BERT, MT-DNN, GPT-3, ALBERT, ELECTRA, ETC
Intro 강의에서 소개된 논문 + 멘토링에서 다룬 논문 요약 학습 내용 [논문 읽기 모임] BERT, MT-DNN BERT Devlin et al., BERT : Pre-training of deep bidirectional transformers for language understanding, NAACL 2019BERT vs GPT-1 vs ELMo BERT는 단방향이 아닌 양방향 학습을 통해 성능을 높임(Transformer의 Encoder 사용) ELMo는 bi-LM을 사용하지만 중간 레이어는 단방향이므로 Shallow Bi-directional GPT-1은 단어 시퀀스를 단방향으로 학습(Causal LM) 주요 특징 Special token : [CLS], [SEP], [MASK], [PAD]..
Boostcamp AI Tech 2th
2021. 9. 27. 06:43