LLM Tuning Fine-Tuning - Fine-Tuning은 LLM 이전 세대부터 사용되던 용어로 사전학습된 모델을 특정 작업에 특화 학습하는 과정을 칭함- LLM Fine-tuning은 일반적으로 Instruction Tuning 을 지칭 - LLM은 방대한 수의 파라미터를 갖기 때문에 tuning에 많은 Computation resources가 요구됨 ⇒ Parameter Efficient Tuning Parameter Efficient Tuning - LLM 전체가 아닌 일부분만을 튜닝하는 방법론 - Adapter-based Fine-tuning (Adapter-based, Prefix-tuning …)Adapter-based Tuning- 기존 모델과 별도의 파라미터를 가진 Adapter ..
