| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- GPT-1
- fine-tuning
- BLEU Score
- layer normalization
- bert
- ai-tech
- BoostCamp
- huggingface
- Eliza
- FSML
- boj
- Relation Extraction
- Prompt Tuning with Rules for Text Classification
- text classification
- multi-head attention
- 백준
- Conversation System
- Transformers
- 취업
- Dialogue System
- Transformer
- MT-DNN
- beam search
- KLUE-RE
- BELU
- pytorch
- scaled dot-product attention
- NLP
- KLUE
- Chatbot
- Today
- Total
목록beam search (2)
dukim's blog
Intro 수요일 저녁 팀원을 찾습니다 뜨고 나서 만 하루 정도만에 팀 결성을 완료 오늘 피어세션은 BLEU 스코어와 Beam Search에 대해 애매했던 부분을 바로 잡을 수 있었던 시간이었다. 강의 수강은 이미 마쳤고, 오늘 Seq2Seq과 Attention에 대한 발표를 준비하면서 강의 수강 시간을 보낸 뒤, 피어세션 시간에 학습 내용을 공유하였다. 학습 내용 강의 수강 완료로 생략 피어세션 블로그 추천 Sebastian Ruder의 블로그 BLEU Score에 대한 질문 답변 beam search에서 중간에 토큰을 만나 종료된 hypothesis가 있을 경우, 나머지 beam search 과정에서는 계속 $k-1$개의 후보를 보는가? 종료된 $k$번째 후보 바로 다음인 $k + 1$번째 후보를 추..
Intro Beam Search와 BLEU는 취약 파트라 집중해서 학습 학습 내용 1. Seq2Seq with Attention Seq2Seq Model Many to Many RNN: 단어의 시퀀스를 입력받아 단어의 시퀀스를 출력하는 구조 인코더와 디코더로 구성됨 출처 Seq2Seq Model with Attention Seq2Seq model의 문제점 인코더의 입력 시퀀스 전체 정보를 하나의 hidden state vector에 압축하여 디코더에 전달해야함 LSTM에서 Long-term dependency를 해결했어도, 초반 타임 스텝의 정보는 변질되거나 소실될 수 있다. 따라서 이에 대한 차선책으로 입력 문장의 순서를 뒤집어 인코더에 넣는 테크닉도 제안된 바 있다. 위 문제를 해결하기 위해 Atte..