LLM 기반 Application 연구

LLMOps

• LLMOps의 개념
  - LLMOps (Large Language Model Operations)란? LLMs 운영 관리(학습/배포)에 활용되는 사례, 기술 및 도구 등을 포괄하는 개념
  - MLOps와 유사한 기술로 구성(데이터, 모델 학습 및 서빙), But, 모델의 규모가..!
  
  
• LLMOps의 특수성
  - 모델 사이즈
     - 모델의 크기가 매우 큼 → High Computational Resources → 최적화 및 병렬 처리와 같은 시스템 요구
  - 데이터의 특수성 - 데이터 크기 및 형식
     - LLMs를 학습하는데 필요한 데이터의 크기 및 데이터의 형태(Prompt Engineering 등)을 고려
  - 데이터의 특수성 - Prompt Engineering
     - LLM의 창발 능력을 위한 In-Context Learning을 극대화하기 위한 작업: Prompt Engineering
     - LLM은 특정 작업 특화하도록 구축할 수도 있으나, 여러 작업에 일반화되도록 구축되는 경우가 다수 → 특정 작업에 대한 능력을 향상시키기 위하여 적합한 지시어 및 예제 제공
  - Generative Models
     - 생성형 모델의 특성으로 인한 출력 결과의 다양성: 성능 평가/인간 평가 세분화
     - 윤리적 문제, 편항성 및 환각 현상 고려한 Post-processor 고려 필요
  - Serving
     - API 앱 형식의 배포: 대화형 챗봇, 어시스턴트, 작업 특화 파이프라인 등 → 모델의 크기나 전/후처리의 방대함이 원인

 

Augmented LLMs

• Toolformer: Language Models Can Teach Themselves to Use Tools
• TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs
• CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing
• Better Language Models of Code through Self-Improvement
  - LLM 자체의 능력에 기반한 Self-Improvement로 데이터 증강 → 추가 튜닝
• Teaching Large Language Models to Self-Debug
• LM vs LM: Detecting Factual Errors via Cross Examination
  - 언어 모델끼리의 상호작용 → 사실적 오류 탐지
• BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage
• Minding Language Models’ (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker
• Reflexion: Language Agents with Verbal Reinforcement Learning
• ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs
• Chameleon: Plug-and-Play Compositional Reasoning with Large Language Models
• ViperGPT: Visual Inference via Python Execution for Reasoning
• ART: Automatic multi-step reasoning and tool-use for large language models