개발 성장 노트

Data-Centric AI의 미래Foundation Model의 시대 - 2022년 11월 30일 ChatGPT가 세상에 공개된 이후로, Data-Centric AI에서도 LLM을 중심으로 많은 변화가 시작되었음 - 즉, LLM과 같은 Foundation Model에 필요한 데이터들에 집중하기 시작!Foundation Model- 라벨링이 되어 있지 않은 대규모 데이터 기반으로 학습된 모델로, 다양한 다운스트림 문제에 적응시켜 사용할 수 있음Data-Centric AI의 미래 - 이러한 Foundation Model의 시대를 맞이하여, Data-Centric AI에서 유의 깊게 살펴봐야 할 키워드는 다음과 같음Multilingual Unilingual LM - 트랜스포머 이전에는 둘 이상의 언어로 이루..

Multimodal PLMsMultimodal PLMs - 여러 데이터 형태 (이미지, 텍스트, 오디오, 비디오 등)를 처리할 수 있는 사전학습 모델 - Image-Text Multimodal : 이미지와 텍스트 데이터를 모두 처리할 수 있는 모델- Audio-Text Multimodal : 오디오 신호와 텍스트를 모두 처리할 수 있는 모델 - Video-Text Multimodal : 비디오와 텍스트를 모두 처리할 수 있는 모델Image-Text Multimodal: 이미지와 텍스트 데이터를 모두 처리할 수 있는 모델 - Image2Text Retrieval, Text2Image Retrieval- Visual Question Answering (VQA) - Visual Question Generati..

Large Language Model 개요LLM의 정의 - 기존 언어모델의 확장판 => 방대한 파라미터 수를 가진 언어모델을 의미 - Large Language Models 시대 = Foundation Models의 시대- 창발성: 단일 모델로 여러 Task를 처리- 새로운 인공지능 개발 방식 = 육수 하나만 잘 끓이면 되는 시대 Large Language Models 춘추전국시대LLM의 핵심 - Human Alignment (Human Feedback)LLM은 리셋 모먼트 LLM의 등장 배경 - Scaling Law - In-Context Learning - 특정 크기를 기점으로 급격한 상승 - Instruction Tuning은 언어모델의 성능 향상시킴 LLM의 재료 - Infra     - Hype..