개발 성장 노트

LLM EvaluationA Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark Datasets- QA, 요약, Code generation, 상식 추론, 수학적 문제 해결, 기계 번역, 등 같은 작업을 다루는 다양한 NLP 데이터셋에 대한 ChatGPT의 성능 평가 및 분석 → 140 tasks에 대하여 총 255K 생성 결과 분석- 대부분의 언어 이해 작업에서 우수한 zero-shot 능력을 보임, 수학적 추론 태스크와 같은 일부 작업에서는 정답이 맞았는데 추론 과정이 오답을 보이는 등의 현상이 관측됨G-EVAL: NLG Evaluation using GPT-4 with Better Human Alignment - BLEU, R..

LLM Tuning Fine-Tuning - Fine-Tuning은 LLM 이전 세대부터 사용되던 용어로 사전학습된 모델을 특정 작업에 특화 학습하는 과정을 칭함- LLM Fine-tuning은 일반적으로 Instruction Tuning 을 지칭 - LLM은 방대한 수의 파라미터를 갖기 때문에 tuning에 많은 Computation resources가 요구됨 ⇒ Parameter Efficient Tuning Parameter Efficient Tuning - LLM 전체가 아닌 일부분만을 튜닝하는 방법론 - Adapter-based Fine-tuning (Adapter-based, Prefix-tuning …)Adapter-based Tuning- 기존 모델과 별도의 파라미터를 가진 Adapter ..

사전 학습을 위한 학습 데이터사전 학습 데이터- 웹 데이터(Wikipedia, News, Reviews, …) 등을 활용하여 구축- 데이터의 품질 및 다양성이 모델의 성능에 큰 영향을 줌 ⇒ 데이터 전처리 작업이 중요- 품질 및 성능 보장을 위해 필터링/중복 제거 등의 전처리 작업 필요- 영어의 경우 특히 Common Crawl, WebText2, BookCorpus, Wikipedia 등을 소스로 활용사전 학습 데이터의 품질 및 다양성- LLM 사전 학습 데이터의 “Age”, “Quality”, and “Composition (Domain)”이 평가 성능에 큰 영향을 줌 - 특히 다양한 Data sources에 대한 coverage가 가장 큰 영향을 줌 (우측 하단) 사전 학습 데이터 구성의 예- GP..

In-Context LearningFine Tuning - 대규모 코퍼스로 사전학습 후, 적은 규모의 specific한 데이터셋에 대해 fine tuning하는 과정   => 일반화된 task가 아닌, 일부 task에 대해서 능력을 집중적으로 향상In-Context Learning - 원하는 task에 대한 간단한 설명을 함께 Input=> 학습 과정에서 다양한 스킬과 패턴인식 능력을 키워, Inference 단계에서 원하는 task에 빠르게 적응할 수 있도록 함N-Shot Learning- 모델에 주어지는 예시의 수가 증가할수록 성능이 증가- In-Context Prompt는 중요Zero-Shot Learning - 예시를 전혀 보지 않고 모델 업데이트 없이 새로운 태스크를 수행- Unsupervise..

Large Language Model 개요LLM의 정의 - 기존 언어모델의 확장판 => 방대한 파라미터 수를 가진 언어모델을 의미 - Large Language Models 시대 = Foundation Models의 시대- 창발성: 단일 모델로 여러 Task를 처리- 새로운 인공지능 개발 방식 = 육수 하나만 잘 끓이면 되는 시대 Large Language Models 춘추전국시대LLM의 핵심 - Human Alignment (Human Feedback)LLM은 리셋 모먼트 LLM의 등장 배경 - Scaling Law - In-Context Learning - 특정 크기를 기점으로 급격한 상승 - Instruction Tuning은 언어모델의 성능 향상시킴 LLM의 재료 - Infra     - Hype..

2024년 9월 23일, 저는 AI 부트캠프를 시작했습니다.총 146일의 과정 중 현재까지 87일을 진행했으며, 이 시점에서 지금까지의 배운 것들을 돌아보는 시간을 가지려 합니다. 부트캠프는 단순히 새로운 지식을 배우는 과정이 아니라, 제 자신을 성장시키는 중요한 기회였습니다.이 회고를 통해 그동안의 경험을 정리하고, 앞으로 나아갈 방향을 고민하며, AI 부트캠프에 관심이 있는 분들에게 도움이 될 수 있기를 바랍니다. 제 경험을 솔직하게 나누면서 이 과정을 어떻게 의미 있게 보냈는지 공유하려 합니다. 시작의 다짐: 내 목표와 기대 2024년 9월 23일, 저는 AI 부트캠프를 시작했습니다.부트캠프는 단순한 학습의 과정이 아닌, 제 커리어와 개인적인 성장을 위한 중요한 도전이었습니다. 석사 과정을 마친 후..

사전학습 기반 언어모델의 한계점일반화 능력의 한계- 라벨링된 데이터의 부족   - 기존 사전학습 모델은 사전학습 → 미세조정의 두 단계를 거침    - 이 과정에서 라벨링 데이터가 많이 필요하며, 부족할 경우 기대하는 성능을 얻을 수 없음    - 라벨링된 데이터를 만드는 과정은 많은 노동이 필요 - 미세조정 후 모델의 일반화 능력 상실   - 사전학습된 모델을 미세조정할 경우, 일반화 능력이 상실됨   - 사전학습 단계에서 가지고 있던 지식 대부분이 미세조정 과정에서 사라짐   - ex) 사전학습 BERT와 의료 진료 분석된 모델로 미세조정된 BERT에서      - 1. “서울에서 부산까지 KTX로 얼마나 걸리나요?”       - 2. “떡볶이는 매운맛과 달콤한맛 두 가지가 있어요.”      - ..

분포 가설분포가설 (distributional hypothesis)- “단어가 나타나는 주변 맥락이 유사하면, 그 단어들의 뜻도 서로 비슷하다”는 것을 의미- 즉, 비슷한 의미를 가진 단어는 주변 단어 분포도 비슷함을 의미- “단어의 의미는 그 단어가 사용되는 맥락에 의해 결정된다”라는 아이디어를 기반으로 단어의 의미를 이해하는 방법론ex) Tesgüino와 wine이 등장하는 주변 문맥이 비슷하므로, 두 단어는 유사함One-Hot Vector - 단어의 해당하는 인덱스에 1을, 나머지에 0을 할당하여 이루어진 범주형 벡터 (Discrete vector) - 단어의 수가 많을 때 벡터의 차원이 매우 커져 계산 효율이 낮으며, 단어 벡터가 다른 단어간의 유사도를 반영하지 않음 - 즉, 분포 가설에 기반한 ..

초기의 사전학습 언어 모델사전학습 (Pretrain)과 미세조정 (Fine-tuning) - 사전학습의 목표    - unlabeled text corpora로 부터 유용한 language representation을 배우는 것    - 사전학습 모델은 사전에 언어를 잘 이해했기 때문에, downstream task에 대해 라벨링된 데이터를 추가로 학습하여 좋은 성능을 얻을 수 있음    - E.g. 수능 국어(특정 downstream task)를 공부할 때, 글을 모르는 사람은(단순히 데이터로만 학습) 수능 국어에 능숙해 지는 데에 오랜 시간이 걸리고 (학습을 비교적 잘 하지못함), 사전에 글을 배운 사람 (사전학습 모델)은 비교적 수능 국어를 더 잘 익힘 (학습을 비교적 잘함)- 사전학습의 동기   ..

Perplexity(PPL)- 문장의 길이로 정규화된, 문장을 생성할 확률의 역수- 일반적인 자연언어 생성모델의 대표적인 평가지표- 낮을 수록 좋음- 문장이 완성될 때, 각 토큰은 확률적으로 선택 => Perplexity는 문장이 완성될 때까지 선택된 토큰들의 누적된 확률을 기반으로 계산한 값 - 당혹감, 혼란 등의 단어가 가진 의미 그대로 모델이 정답을 결정할 때 얼마나 헷갈렸는가를 나타내는 지표 => Perplexity가 낮을수록 모델이 덜 헷갈린 상태로 확신을 가지고 답을 냈다는 의미BLEU- 목표로 하는 문장과 모델이 생성한 문장이 일치하는 정도를 precision 관점에서 수치화=> BLEU는 단어가 Reference 중에 한 곳이라도 포함된다면 정답인 걸로 취급 - Precision: n-gr..