dukim's blog

Intro 이번주는 명훈님 논문 읽기 모임 내용 + 강의 및 과제 내용 + 멘토링 논문 읽기로 계속 진행함 NLP 논문 읽기 모임 - Transformer 피어세션 - Transformer 논문 읽기와 강의 내용을 따로 정리하지 않고 하나로 정리 멘토링 - 논문 읽기 - BART, XLNet 학습 내용 [논문 읽기 모임] 02. Transformer Transformer는 고전이다. 다시 볼 때마다 새롭고, 한 줄 한 줄 곱씹어야 될 만한 논문이기 때문. 이번 명훈님 발표 자료를 보니 내가 못 봤던 포인트들이 보였다. 한 번에 다 이해는 못 했지만 현재 이해한 수준에서만 몇 가지 정리해본다. contribution Sequence Transduction 문제에 대해 기존엔 Attention이 적용된 RN..

Intro MT-DNN 논문 읽고 정리 멘토링 - 논문을 읽는 방법과 최근 PLM 논문을 읽을 때의 팁 공유 오피스 아워 : 김태희 멘토님께서 과제를 신경써서 작성하셨던 걸 알 수 있었던 시간. 정말 필요한 기본이 되는 내용을 다루었다고 생각함. 멘토링 새로운 논문을 읽을 때 팁 요약본 먼저 읽지 않기, 기억에 오래 남지 않고, 다른 사람의 시각에서만 논문을 보게 됨 다른 사람의 요약본은 자신이 이해한 바와 차이점을 보기 위한 것 논문 내용과 내 생각을 짧게 정리해 둘 것 내가 중요하다 생각한 챕터만 정리할 것! 모든 챕터를 적으면 정리를 위한 정리가 되지, 나를 위한 정리가 아니다. 관련 지식까지 파악하는데 많은 시간이 소요됨, 의문 사항에 대해서는 메모 해두고 계속 탐색, 코드의 해당 부분 체크 등 ..

Intro Level 2 - NLP Domain 첫 날 팀 빌딩 : 11조 SmilingFace 학습 내용 Intro to NLP 관련 학문 분야 Natural Language Processing 주요 컨퍼런스: ACL, EMNLP, NAACL 처리 수준에 따라 Low-level parsing Tokenization, Stemming Word and phrase level: NER, POS tagging, Noun-Phrase Chunking, Dependency Parsing, Coreference Resolution Sentence level: Sentiment Analysis, Machine Translation Multi-sentence and paragraph level Entailment pr..

Coment 가짜연구소 3기 KLUE로 모델 평가하기 4주차에서 발표한 자료입니다. 지난번 YNAT에 이어 STS에 대한 베이스라인 코드입니다. KLUE에서 공개한 Pre-trained 모델의 weights를 불러와서 한국어 벤치마크 데이터셋 KLUE의 문장 유사도 평가 데이터셋 STS에 Fine-tuning하는 예제입니다. Contents HuggingFace Datasets을 활용하여 KLUE 데이터셋 쉽게 전처리하기 HuggingFace Hub에서 사전학습된 언어 모델을 다운로드 받아 사용하고, 학습한 모델을 업로드하여 공유하기 Trainer 객체를 사용하여 모델 학습 및 평가 & hyperparameter search하기 Weights & Biases를 활용하여 실험 관리하기 https://col..

Coment 가짜연구소 3기 KLUE로 모델 평가하기 2주차에서 발표한 자료입니다. HuggingFace 정말 많이들 쓴다던데, 어떻게 시작해야할지 막막하신 분들을 위해서 준비했습니다. KLUE에서 공개한 Pre-trained 모델의 weights를 불러와서 한국어 벤치마크 데이터셋 KLUE의 제 분류 데이터셋 YNAT에 Fine-tuning하는 예제입니다. Contents HuggingFace Datasets을 활용하여 KLUE 데이터셋 쉽게 전처리하기 HuggingFace Hub에서 사전학습된 언어 모델을 다운로드 받아 사용하고, 학습한 모델을 업로드하여 공유하기 Trainer 객체를 사용하여 모델 학습 및 평가 & hyperparameter search하기 Weights & Biases를 활용하여 ..

PLM 논문 구현 스터디를 시작했습니다. Vanilla Transformer부터 주요 모델들을 구현해나갈 예정입니다. https://github.com/KimDaeUng/PLM-Implementation KimDaeUng/PLM-Implementation NLP Pretrained Language Models Implementation Study - KimDaeUng/PLM-Implementation github.com

ALIGN: A Large-scale ImaGe and Noisy-Text Embedding 0. Intro ICML 2021에 accept된 Google AI의 논문 "Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision"는 양질의 visual-language representations을 얻기 위한 연구입니다. 다시 말해, 서로 다른 종류(modality)의 데이터에 대해 통합된 representations을 얻는 것으로, 얻어진 representations은 text-image retrieval, image-text retrieval 등의 task에 활용될 수 있습니다. 예전에도 이러한 연구들..

Eliza in Python (1)¶본 내용은 The 11th International Conference on Computational Semantics(IWCS 2015)의 부대 행사인 Computational Semantics Hackathon의 자료 중 Dialogue system 파트를 번역한 자료입니다(출처). Based on this source code In [2]: import random import re Eliza는 사용자가 말한 내용을 발화의 인칭을 바꾸어 말함으로써(ex. I 와 you를 맞바꾸는 등), 사용자의 말을 흉내낸다. 여기서는 간단한 규칙만으로 이를 구현해 볼 것이다. 보다 정교하게 만들기 위해 NLTK를 사용할 수 있지만, 정교한 방법은 다음편에 다룰 것이다. 아래 셀..