개발 성장 노트

초기의 사전학습 언어 모델사전학습 (Pretrain)과 미세조정 (Fine-tuning) - 사전학습의 목표    - unlabeled text corpora로 부터 유용한 language representation을 배우는 것    - 사전학습 모델은 사전에 언어를 잘 이해했기 때문에, downstream task에 대해 라벨링된 데이터를 추가로 학습하여 좋은 성능을 얻을 수 있음    - E.g. 수능 국어(특정 downstream task)를 공부할 때, 글을 모르는 사람은(단순히 데이터로만 학습) 수능 국어에 능숙해 지는 데에 오랜 시간이 걸리고 (학습을 비교적 잘 하지못함), 사전에 글을 배운 사람 (사전학습 모델)은 비교적 수능 국어를 더 잘 익힘 (학습을 비교적 잘함)- 사전학습의 동기   ..

Transfer Learning출현 배경- 딥러닝의 발전    - 단어 임베딩 (Word2vec, GloVe)를 통해 단어를 벡터로 표현하여 컴퓨터가 자연어를 이해할 수 있도록 만듦   - 딥러닝 모델 (CNN, RNN, LSTM)들을 통해 자연어를 처리할 수 있는 기술이 ༀ진적으로 성장- 산업에서의 신경망 적용 : 구글 신경망 기계 번역 (Google Neural Machine Translation, GNMT)    - 기존 통계 기반 번역기는 구문을 단위로 번역하여 긴 문장을 번역할 때 어려움이 있었음   - 전체 문장을 하나의 번역 단위로 간주해 한 번에 번역하는 신경망 기반 기술 적용   - 번역 오류가 55%에서 85%가량으로 현저히 감소   - 한국어-영어 번역 이용량이 두 달 만에 50% 증..