목록NLP (6)

dukim's blog

Large-Scale LM에 대한 얕고 넓은 지식들 (Part 2)

집현전 최신반 발표로 고현웅님, 이윤재님과 함께 Large-scale 언어모델에 대한 서베이를 진행했습니다. 해당 발표는 part2에 해당하는 Prompting Method에 대한 내용입니다(고현웅님의 Part 1 발표는 Large-scale LM과 3D Parallelism을 다룹니다). 이 발표는 지난 7월 29일에 발표된 "Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing" Prompting method에 대한 논문 리뷰이기도 합니다. 본 자료가 Prompting Method에 대한 연구 및 개발을 시작하시는 분들께 도움이 되었으면 좋겠습니다. 논문 웹사이트: ht..
NLP 2021. 9. 6. 00:03
Fine-tuning a model on the KLUE-STS

Coment 가짜연구소 3기 KLUE로 모델 평가하기 4주차에서 발표한 자료입니다. 지난번 YNAT에 이어 STS에 대한 베이스라인 코드입니다. KLUE에서 공개한 Pre-trained 모델의 weights를 불러와서 한국어 벤치마크 데이터셋 KLUE의 문장 유사도 평가 데이터셋 STS에 Fine-tuning하는 예제입니다. Contents HuggingFace Datasets을 활용하여 KLUE 데이터셋 쉽게 전처리하기 HuggingFace Hub에서 사전학습된 언어 모델을 다운로드 받아 사용하고, 학습한 모델을 업로드하여 공유하기 Trainer 객체를 사용하여 모델 학습 및 평가 & hyperparameter search하기 Weights & Biases를 활용하여 실험 관리하기 https://col..
NLP 2021. 8. 11. 12:57
Fine-tuning a model on the YNAT

Coment 가짜연구소 3기 KLUE로 모델 평가하기 2주차에서 발표한 자료입니다. HuggingFace 정말 많이들 쓴다던데, 어떻게 시작해야할지 막막하신 분들을 위해서 준비했습니다. KLUE에서 공개한 Pre-trained 모델의 weights를 불러와서 한국어 벤치마크 데이터셋 KLUE의 제 분류 데이터셋 YNAT에 Fine-tuning하는 예제입니다. Contents HuggingFace Datasets을 활용하여 KLUE 데이터셋 쉽게 전처리하기 HuggingFace Hub에서 사전학습된 언어 모델을 다운로드 받아 사용하고, 학습한 모델을 업로드하여 공유하기 Trainer 객체를 사용하여 모델 학습 및 평가 & hyperparameter search하기 Weights & Biases를 활용하여 ..
NLP 2021. 8. 7. 02:05
ALIGN: Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision

ALIGN: A Large-scale ImaGe and Noisy-Text Embedding 0. Intro ICML 2021에 accept된 Google AI의 논문 "Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision"는 양질의 visual-language representations을 얻기 위한 연구입니다. 다시 말해, 서로 다른 종류(modality)의 데이터에 대해 통합된 representations을 얻는 것으로, 얻어진 representations은 text-image retrieval, image-text retrieval 등의 task에 활용될 수 있습니다. 예전에도 이러한 연구들..
NLP 2021. 6. 7. 04:24
Eliza in Python - (2)

Eliza in Python (2)¶본 내용은 The 11th International Conference on Computational Semantics(IWCS 2015)의 부대 행사인 Computational Semantics Hackathon의 자료 중 Dialogue system 파트를 번역한 자료입니다(출처). Part-Of-Speech tagging preprocessor를 사용하여 Eliza를 보다 개선한 버전 In [2]: import random import re 여기선 POS(Part Of Speech) tagger를 불러와 활용한다. POS tagger는 입력된 단어들을 요소로 갖는 리스트를 입력받아(정확히는 입력된 문장을 tokenizing한 token들을 입력 받아) 이를 분석해..
NLP 2021. 4. 3. 01:00
Eliza in Python - (1)

Eliza in Python (1)¶본 내용은 The 11th International Conference on Computational Semantics(IWCS 2015)의 부대 행사인 Computational Semantics Hackathon의 자료 중 Dialogue system 파트를 번역한 자료입니다(출처). Based on this source code In [2]: import random import re Eliza는 사용자가 말한 내용을 발화의 인칭을 바꾸어 말함으로써(ex. I 와 you를 맞바꾸는 등), 사용자의 말을 흉내낸다. 여기서는 간단한 규칙만으로 이를 구현해 볼 것이다. 보다 정교하게 만들기 위해 NLTK를 사용할 수 있지만, 정교한 방법은 다음편에 다룰 것이다. 아래 셀..
NLP 2021. 4. 3. 00:56
Prev 1 Next