Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving language understanding by generative pre-training. OpenAI- upstage 멘토링 1주-3일차 제공 아티클 - OpenAI가 2018년에 발표한 연구- 비지도 학습을 통해 생성적 사전 학습(Generative Pre-Training, GPT)을 활용하여 언어 이해를 개선하는 방식을 제안- 언어 모델이 사전 학습과 미세 조정을 통해 더 많은 작업에서 높은 성능을 발휘할 수 있음을 입증- NLP 모델 학습 방법에 있어 중요한 발전을 제시 연구 배경 및 필요성- 기존의 NLP 모델들은 특정 작업에 특화된 데이터셋을 활용해 지도 학..