개발 성장 노트

NLP 경진대회가 끝난 후, 대회에서 얻은 경험을 되돌아보며 후기를 작성해봅니다.경진대회를 마친 지금, 성적보다는 그 과정에서 배운 점들이 훨씬 더 중요한 가치가 있었다고 생각합니다.경진대회는 저에게 많은 도전과 성장을 안겨주었고, 그로 인해 새로운 기술을 배우고 문제 해결 능력을 키울 수 있었던 소중한 시간이었습니다. 처음 시작할 때는 NLP에 대한 깊은 이해가 부족했지만, 대회가 진행될수록 점점 더 많은 것을 배우고, 그 과정에서 나 자신이 성장하고 있다는 느낌을 받을 수 있었습니다. 또한, 팀원들과 함께 협업하면서 서로의 지식을 공유하고, 문제를 해결하는 과정은 그 무엇보다 값진 경험이었습니다. 이번 NLP 경진대회에서 배운 점과 도전을 중심으로 후기를 남기고자 합니다.   Dialogue Summ..

간단한 전이학습 방법Instruction Tuning- 목표 언어에 대한 Instruction Tuning만 진행하는 방법- 사전학습된 LLM에 목표 언어에 대한 Instruction Tuning을 진행하는 방법- 소스 언어로 학습된 모델이 목표 언어에 대한 Instruction Tuning 데이터를 학습하여 목표 언어에 대한 이해를 높이는 방법 - 조건: 사전학습을 진행할 LLM이 목표 언어 대해 낮은 OOV (Out of vocabulary) rate의 vocabulary를 가지고 있어야 하며, 소스 언어와 목표 언어의 유사도가 높아야 함 - 장점: Instruction Data 만으로 손쉽게 학습 가능 - 단점: 성능이 낮을 수 있음 Further Pre-training- 목표 언어에 대해 사전학습..

Multimodal PLMsMultimodal PLMs - 여러 데이터 형태 (이미지, 텍스트, 오디오, 비디오 등)를 처리할 수 있는 사전학습 모델 - Image-Text Multimodal : 이미지와 텍스트 데이터를 모두 처리할 수 있는 모델- Audio-Text Multimodal : 오디오 신호와 텍스트를 모두 처리할 수 있는 모델 - Video-Text Multimodal : 비디오와 텍스트를 모두 처리할 수 있는 모델Image-Text Multimodal: 이미지와 텍스트 데이터를 모두 처리할 수 있는 모델 - Image2Text Retrieval, Text2Image Retrieval- Visual Question Answering (VQA) - Visual Question Generati..

Multilingual Pre-trained ModelsMultilingual PLMs- 초기 사전학습 모델에서 다국어 모델을 만드려는 노력은 only-encoder 혹은 encoder-decoder에서 주로 이루어짐 • only-encoder 모델에서는 주로 “동일한 공간 (space)에 언어적 정보를 매핑”을 위함- 언어적 자원이 없는 “소수 언어”에서 적은 양의 데이터로 좋은 분류 성능을 내기 위함 • encoder-decoder 모델에서는 주로 “번역”을 위해서 사전학습 진행- 언어적 자원이 없는 “소수 언어”에서의 번역 모델을 만들기 위함mBERT - Encoder-only 모델- BERT의 다국어 버전으로, 102개 언어의 위키피디아(wikipedia.org) 데이터를 사용하여 학습- MLM ..

Prompt EngineeringPrompt Engineering - 요구하는 작업을 지시하기 위한 작업! 요약? 분류? 추출?- LLM 시대로 넘어오면서 Task 수행을 위한 Template, Task Example, Answer Engineering 등의 Hard Prompt를 구성하는 방법을 주로 칭함 Prompt Engineering의 종류LLM의 In-Context Learning (ICL) 능력을 활용하기 위함: Prompt EngineeringLLM Prompt의 구성 요소 - Task Instruction, Demonstrations (Examples), QueryLLM Prompting Example- 수학적 추론, 데이터 추론, 상식 추론 등, 수행하고자 하는 작업에 맞는 특성을 고려해..

LLMOpsLLMOps의 개념 - LLMOps (Large Language Model Operations)란? LLMs 운영 관리(학습/배포)에 활용되는 사례, 기술 및 도구 등을 포괄하는 개념- MLOps와 유사한 기술로 구성(데이터, 모델 학습 및 서빙), But, 모델의 규모가..!LLMOps의 특수성- 모델 사이즈    - 모델의 크기가 매우 큼 → High Computational Resources → 최적화 및 병렬 처리와 같은 시스템 요구- 데이터의 특수성 - 데이터 크기 및 형식    - LLMs를 학습하는데 필요한 데이터의 크기 및 데이터의 형태(Prompt Engineering 등)을 고려- 데이터의 특수성 - Prompt Engineering    - LLM의 창발 능력을 위한 In-..