| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- layer normalization
- Transformer
- BoostCamp
- KLUE
- Relation Extraction
- Dialogue System
- pytorch
- 취업
- ai-tech
- 백준
- beam search
- KLUE-RE
- BELU
- huggingface
- Prompt Tuning with Rules for Text Classification
- Eliza
- Transformers
- GPT-1
- FSML
- bert
- MT-DNN
- multi-head attention
- Conversation System
- text classification
- Chatbot
- boj
- scaled dot-product attention
- BLEU Score
- NLP
- fine-tuning
Archives
- Today
- Total
목록BELU (1)
dukim's blog
[WK06-Day027][21.09.08.Wed] Seq2seq with Attention, Beam Search and BLEU Score
Intro Beam Search와 BLEU는 취약 파트라 집중해서 학습 학습 내용 1. Seq2Seq with Attention Seq2Seq Model Many to Many RNN: 단어의 시퀀스를 입력받아 단어의 시퀀스를 출력하는 구조 인코더와 디코더로 구성됨 출처 Seq2Seq Model with Attention Seq2Seq model의 문제점 인코더의 입력 시퀀스 전체 정보를 하나의 hidden state vector에 압축하여 디코더에 전달해야함 LSTM에서 Long-term dependency를 해결했어도, 초반 타임 스텝의 정보는 변질되거나 소실될 수 있다. 따라서 이에 대한 차선책으로 입력 문장의 순서를 뒤집어 인코더에 넣는 테크닉도 제안된 바 있다. 위 문제를 해결하기 위해 Atte..
Boostcamp AI Tech 2th
2021. 9. 9. 15:48