dukim's blog

프로젝트 목표 & 이를 위해 한 일 프로젝트 협업에 익숙해지기 팀 Notion 개설 및 관리를 담당함 Github issue와 PR message 활용 문제에 대한 파악, 가설 수립 및 해결 과정을 남기기 Relation Extraction은 subject entity와 object entity간의 관계를 파악하는 문제, 외부 데이터셋은 활용 불가 PLM은 문장내 주어와 목적어 사이에 위치한 단어들의 나열을 통해 두 단어의 관계를 학습했을 것이므로, Prompting method를 통해 PLM의 prior knowledge를 fine-tuning 방식보다 적극적으로 활용하면 외부 데이터 사용이 제한된 상황에서도 높은 성능을 얻을 수 있을 것이라 가설 수립 추후 확장 및 재사용이 가능한 NLP Task 템..

Intro 대회에 대부분의 시간을 쏟음 다른 분들이 너무 열심히 하셔서 정신을 바짝 차리게 된다. 템플릿에 대해 명훈님께 정말 많이 배웠다. 이번 주 학습 목표 개인 학습 KLUE 강의 1 ~ 7강 수강 : 매일 1강씩 듣기로 계획했으나, 팀과 약속한 베이스라인 코드 작성 일정을 우선순위로 하였기 때문에 수요일이 되어서야 강의를 들을 수 있었다. 강의 내용을 듣다보니 베이스라인 짜기 전에 봤었더라면 시간을 절약할 수 있었을 유용한 코드들이 있어 강의를 늦게 들은 것을 후회했다. 다음 주는 하루에 조금이라도 시간을 할애하여 들을 것. 공동 학습 아침인사와 그날의 할 일, 전날 완료한 일을 공유하도록 한 규칙이 하루를 허투루 보내지 않도록 하는데 도움이 되었다. 월 ~ 수 까지는 각자 베이스라인 코드 및 싱..

Intro 새로운 팀과의 두 번째 피어세션 어제에 이은 특강, 개인적으로 이준엽님의 Full Stack ML Engineer와 박은정님의 AI 시대의 커리어 빌딩 특강이 제일 도움이 되었다. 그동안 두루뭉술하게 알고 있던 각 포지션별 직무나 일과, 필요 역량에 대해 알 수 있었던 특강이었다. 학습 회고 이준엽 - Full Stack ML Engineer(FSML) Full Stack ML Engineer : DL 연구를 이해하고 ML Product로 만들 수 있는 엔지니어 장점 : 빠른 프로토타이핑 가능, 다른 포지션의 엔지니어에 대한 이해로 협업에 장점, 모든 방면에서 성장 가능 단점 : 깊이가 얕아질 수 있음, 많은 시간을 투자해야함 ML Product 개발 과정 요구사항 전달 -> 데이터 수집 ->..

Intro Level2 P-stage 시작됨, 새로운 팀과 밋업을 가지고 다음주 계획을 세움 추석 연휴로 인해 목, 금 이틀간만 교육이 진행됨 AI 엔지니어로서 알면 좋을 지식들을 주제로 특강 진행 이번 파트는 나중에 제가 찾아보기 위한 용도로 적은 포스팅이라 생략된 내용이 많습니다. 학습 내용 이활석 - 서비스 향 AI 모델 개발하기 현업에서 학습 데이터셋을 마련하면서 겪게되는 일 & 모델 성능 평가에서 고려할 사항 개발 프로세스 효율성을 위한 조직 구성 & AI 상품화 과정에서 필요한 전체 업무 리스트 AI 입문자에게 도움이 될 조언들 개발자에서 AI 관련 개발로 전환하는 경우 : Model Engineering / Tool / Serving 은 개발력이 많이 필요하며, 앞으로 수요가 많아질 것으로 ..

Intro Level2 U-stage 마무리, 2주는 너무 짧았다, 이번주는 transformer와 그 이후 주요 논문들에 대해서 정리하는데 대부분을 보냄 마지막 멘토링은 ELECTRA 논문 리뷰를 진행했다. 이미 어제자 포스트(WK07-Day033)에서 다루었으므로 논문에 대한 내용보다는 멘토님 조언 위주로 정리 주재걸 교수님의 마스터클래스로 Q&A 시간을 가짐 학습 내용 멘토링 PLM 논문을 읽을 때는... 어떤 논문이든지 Transformer에서의 디테일 or Pre-train Objective 차이 Transformer 아키텍쳐에 대한 이해 Pre-train Objective는 그냥 obj와 다르기 떄문에 유심히 봐야함. 같은 구조라도 어떤 목적을 가지고 학습하는지가 달라지므로, 학습 의도를 잘 ..

Intro 강의에서 소개된 논문 + 멘토링에서 다룬 논문 요약 학습 내용 [논문 읽기 모임] BERT, MT-DNN BERT Devlin et al., BERT : Pre-training of deep bidirectional transformers for language understanding, NAACL 2019BERT vs GPT-1 vs ELMo BERT는 단방향이 아닌 양방향 학습을 통해 성능을 높임(Transformer의 Encoder 사용) ELMo는 bi-LM을 사용하지만 중간 레이어는 단방향이므로 Shallow Bi-directional GPT-1은 단어 시퀀스를 단방향으로 학습(Causal LM) 주요 특징 Special token : [CLS], [SEP], [MASK], [PAD]..

Intro 논문 읽기 모임 3회차 : ELMo, GPT-1 어제 해결하지 못했던 Layer Normalization 정리 9, 10강 실습 코드 선택과제 3 BPE 학습내용 [논문 읽기 모임] ELMo, GPT-1 ELMo Peters et al., Deep contextualized word representations, NAACL 2018 예전 같았으면 자세히 읽었을텐데, 지금은 BERT 논문을 더 잘 이해하기 위한 배경지식 정도로만 내용 파악하는 게 맞는 것 같다. BERT 이전의 기법들을 통합하는 논문 Abstract 주요 특징 단어의 복잡한 특징 모델링(syntax, semantics) 다양한 언어 맥락 상에서 어떻게 사용되는지 학습(polysemy, 다의어) 구조 biLM pre-trained..

Intro 이번주는 명훈님 논문 읽기 모임 내용 + 강의 및 과제 내용 + 멘토링 논문 읽기로 계속 진행함 NLP 논문 읽기 모임 - Transformer 피어세션 - Transformer 논문 읽기와 강의 내용을 따로 정리하지 않고 하나로 정리 멘토링 - 논문 읽기 - BART, XLNet 학습 내용 [논문 읽기 모임] 02. Transformer Transformer는 고전이다. 다시 볼 때마다 새롭고, 한 줄 한 줄 곱씹어야 될 만한 논문이기 때문. 이번 명훈님 발표 자료를 보니 내가 못 봤던 포인트들이 보였다. 한 번에 다 이해는 못 했지만 현재 이해한 수준에서만 몇 가지 정리해본다. contribution Sequence Transduction 문제에 대해 기존엔 Attention이 적용된 RN..