dukim's blog

Intro 오전 시간에는 명훈님이 진행하시는 NLP 논문 읽기 스터디에서 다루는 "Neural Machine Translation by Jointly Learning to Align and Translate" 논문을 읽고 정리함 1시부터 2시까지 NLP 논문 읽기 스터디 참여 2시부터 4시까지 Transformer 강의 수강했으나 집중이 잘 되지 않음 4시부터 6시까지 피어세션 진행, 지난주 회고 및 이번주 피어세션 계획 세움 결국 낮 시간에 Transformer를 다 수강하지 못 하고 밤 시간에 보충했다. 면접에 반드시 나오는 질문이기 때문에 어떻게든 내 말로 설명해보려고 학습정리를 수정하고 수정하다 보니 시간이 오래 걸렸다. 학습 내용 [NLP 논문 읽기 모임] 01. Neural Machine Tr..

Intro MT-DNN 논문 읽고 정리 멘토링 - 논문을 읽는 방법과 최근 PLM 논문을 읽을 때의 팁 공유 오피스 아워 : 김태희 멘토님께서 과제를 신경써서 작성하셨던 걸 알 수 있었던 시간. 정말 필요한 기본이 되는 내용을 다루었다고 생각함. 멘토링 새로운 논문을 읽을 때 팁 요약본 먼저 읽지 않기, 기억에 오래 남지 않고, 다른 사람의 시각에서만 논문을 보게 됨 다른 사람의 요약본은 자신이 이해한 바와 차이점을 보기 위한 것 논문 내용과 내 생각을 짧게 정리해 둘 것 내가 중요하다 생각한 챕터만 정리할 것! 모든 챕터를 적으면 정리를 위한 정리가 되지, 나를 위한 정리가 아니다. 관련 지식까지 파악하는데 많은 시간이 소요됨, 의문 사항에 대해서는 메모 해두고 계속 탐색, 코드의 해당 부분 체크 등 ..

Intro 수요일 저녁 팀원을 찾습니다 뜨고 나서 만 하루 정도만에 팀 결성을 완료 오늘 피어세션은 BLEU 스코어와 Beam Search에 대해 애매했던 부분을 바로 잡을 수 있었던 시간이었다. 강의 수강은 이미 마쳤고, 오늘 Seq2Seq과 Attention에 대한 발표를 준비하면서 강의 수강 시간을 보낸 뒤, 피어세션 시간에 학습 내용을 공유하였다. 학습 내용 강의 수강 완료로 생략 피어세션 블로그 추천 Sebastian Ruder의 블로그 BLEU Score에 대한 질문 답변 beam search에서 중간에 토큰을 만나 종료된 hypothesis가 있을 경우, 나머지 beam search 과정에서는 계속 $k-1$개의 후보를 보는가? 종료된 $k$번째 후보 바로 다음인 $k + 1$번째 후보를 추..

Intro Beam Search와 BLEU는 취약 파트라 집중해서 학습 학습 내용 1. Seq2Seq with Attention Seq2Seq Model Many to Many RNN: 단어의 시퀀스를 입력받아 단어의 시퀀스를 출력하는 구조 인코더와 디코더로 구성됨 출처 Seq2Seq Model with Attention Seq2Seq model의 문제점 인코더의 입력 시퀀스 전체 정보를 하나의 hidden state vector에 압축하여 디코더에 전달해야함 LSTM에서 Long-term dependency를 해결했어도, 초반 타임 스텝의 정보는 변질되거나 소실될 수 있다. 따라서 이에 대한 차선책으로 입력 문장의 순서를 뒤집어 인코더에 넣는 테크닉도 제안된 바 있다. 위 문제를 해결하기 위해 Atte..

Intro 멘토님과 짧은 만남, 논문 읽기 주제 관련 30분 톡 활발한 피어세션 : 꽉찬 2시간 동안 대충 넘어가는 것 없이 정리 필수과제 2, 3번 풀이 학습 내용 RNN Character-level LM의 작동 예시와 이것이 할 수 있는 것들(희극 생성, c code 생성, 논문 생성) 등을 살펴봄 Backpropagation through time(BPTT) : GPU 메모리 등 처리 용량의 한계로 전체 시퀀스를 한 번에 학습하는 대신 제한된 길이의 시퀀스 만으로 학습을 진행 RNN의 특성 분석 연구 Visualizing and Understanding Recurrent Neural Networks(Andrej et al., 2015) hidden state vector의 셀 일부를 고정을 하고, ..

Intro Level 2 - NLP Domain 첫 날 팀 빌딩 : 11조 SmilingFace 학습 내용 Intro to NLP 관련 학문 분야 Natural Language Processing 주요 컨퍼런스: ACL, EMNLP, NAACL 처리 수준에 따라 Low-level parsing Tokenization, Stemming Word and phrase level: NER, POS tagging, Noun-Phrase Chunking, Dependency Parsing, Coreference Resolution Sentence level: Sentiment Analysis, Machine Translation Multi-sentence and paragraph level Entailment pr..

Intro 8월 23일 ~ 9월 2일(약 2주) 동안 진행된 이미지 분류 대회가 끝났습니다. 해당 프로젝트의 진행 과정을 시간 순서대로 서술하면서 겪은 시행착오, 시도한 문제해결 전략, 결과에 대한 내용을 담았습니다. 결과적으로는 23등으로 그리 좋은 성적은 얻지 못 하였지만 팀원들과 합이 잘 맞았고, 팀원 개개인이 많이 배우고 성장할 수 있었던 프로젝트라 이렇게 정리해봅니다. 1. 프로젝트의 목표 다음 단계를 위한 기초 체력 다지기 물론 리더보드 상위권을 찍지 못한 것에 대한 비겁한 변명이라해도 할 말 없다. 그렇지만 우리 팀은 프로젝트 시작 전부터 점수 보단 과정에, 모두의 성장에 초점을 맞추자고 합의를 보았다. 지금이 아니면 ML Workflow 전체 과정을 꼼꼼히 정리할 기회가 많지 않을 것이며,..

Intro 이번 주는 전반적으로 시간 관리와 컨디션 관리에 실패 한 가지 일을 하면서 다른 일을 할 것을 걱정하느라 집중을 못 함 학습 정리 양식을 간소화하여 정리. 과정 자료는 정리해 업로드 예정 1. 이번 주 나의 학습 목표는 무엇이었는가? ML workflow를 하나씩 차근 차근히 학습하면서 팀원들과 함께 성장하기 향후 두고 두고 써먹을 코드 템플릿을 만드는 것 모델 튜닝에 대한 경험적 지식 쌓는 것 2. 날짜별 회고록 Day015: 21.08.23.Mon. 학습 목표를 위해 한 일 김태진님 강의를 수강하고, 대회 개요를 찬찬히 살펴봄. EDA를 수행하며 데이터 불균형 문제를 발견하고, 레이블링이 까다로운 형태임을 확인함 지난 주차에 소개된 Pytorch 코드 템플릿을 베이스로 하여 대회 데이터셋에..