개발 성장 노트

In-Context LearningFine Tuning - 대규모 코퍼스로 사전학습 후, 적은 규모의 specific한 데이터셋에 대해 fine tuning하는 과정   => 일반화된 task가 아닌, 일부 task에 대해서 능력을 집중적으로 향상In-Context Learning - 원하는 task에 대한 간단한 설명을 함께 Input=> 학습 과정에서 다양한 스킬과 패턴인식 능력을 키워, Inference 단계에서 원하는 task에 빠르게 적응할 수 있도록 함N-Shot Learning- 모델에 주어지는 예시의 수가 증가할수록 성능이 증가- In-Context Prompt는 중요Zero-Shot Learning - 예시를 전혀 보지 않고 모델 업데이트 없이 새로운 태스크를 수행- Unsupervise..

Upstage (2023). GPT 시리즈와 발전 과정. Upstage.- upstage 멘토링 1주-1일차 제공 아티클  GPT의 개념과 언어 모델의 발전 배경GPT는 언어 모델로서, 다음 단어를 예측하는 능력을 바탕으로 자연어 이해와 생성 작업을 수행이러한 언어 모델들은 인간의 언어 이해와 유사하게 작동하며, 이를 위해 방대한 양의 데이터를 학습하여 문맥을 파악초기의 언어 모델들은 순차적 데이터 처리를 위해 순환 신경망(RNN)과 LSTM 같은 구조를 사용했으나, 긴 텍스트에서 정보가 소실되거나 연산 속도가 느려지는 문제가 있음GPT 시리즈와 발전 과정Emergence (2017년 4월)- OpnAI에서는 언어 모델을 RNN(Rcrrnt Nrl Ntwork) 으로 만들고 있었음- 뉴런이 감성 분석을 ..