GPT-1GPT (Generative Pre-Training) - Improving Language Understanding by Generative Pre-Training- Language Understanding : Text Entailment, QA, Classification 등 다양한 task 포함- Generative Pre-training : BERT의 Masked Language Modeling (MLM) 과 다르게, 다음 단어를 생성하는 방식으로 Pre-training 진행 (Causal Language Modeling)- Transformer Decoder 구조를 활용하여 생성에 강점을 가지는 모델 - 문장의 흐름대로, “앞” 의 문맥이 주어졌을 때 다음으로 오는 단어를 맞추는 방식으로..
