사전학습 기반 언어모델의 한계점일반화 능력의 한계- 라벨링된 데이터의 부족 - 기존 사전학습 모델은 사전학습 → 미세조정의 두 단계를 거침 - 이 과정에서 라벨링 데이터가 많이 필요하며, 부족할 경우 기대하는 성능을 얻을 수 없음 - 라벨링된 데이터를 만드는 과정은 많은 노동이 필요 - 미세조정 후 모델의 일반화 능력 상실 - 사전학습된 모델을 미세조정할 경우, 일반화 능력이 상실됨 - 사전학습 단계에서 가지고 있던 지식 대부분이 미세조정 과정에서 사라짐 - ex) 사전학습 BERT와 의료 진료 분석된 모델로 미세조정된 BERT에서 - 1. “서울에서 부산까지 KTX로 얼마나 걸리나요?” - 2. “떡볶이는 매운맛과 달콤한맛 두 가지가 있어요.” - ..