kNN-LM

kNN-LM

• k-최근접 이웃을 기반으로 한 언어 모델
• kNN-LM은 k-최근접 이웃(k-NN) 알고리즘을 활용하여, 텍스트를 생성할 때 유사한 문장을 검색하고 이를 바탕으로 생성하는 방법입니다.
• 기존 RAG와 달리, kNN-LM은 문장 간의 유사성을 비교하여 가장 적합한 문장을 선택하고, 이를 자연스러운 언어로 생성하는 방식입니다. 이 모델은 문서 내에서의 유사성을 찾아내는 데 강력하며, 생성된 답변이 검색된 문서와 밀접하게 연관될 수 있도록 합니다.
• kNN-LM은 생성된 텍스트의 질을 높이는 데 유용하며, 특정 문서나 구절의 정확성을 반영할 수 있습니다.

kNN-LM Datastore

 

• kNN-LM Datastore의 주요 기능
   - 정보 저장: Datastore는 다양한 문서나 텍스트 조각을 포함
       -   이 저장소는 사전 정의된 문서들을 포함할 수 있으며, 실시간 데이터나 새로운 정보를 반영하여 업데이트됨
   
  - 벡터화: 저장된 텍스트는 벡터화되어 저장됩니다. 벡터화된 텍스트는 특정 공간에서 유사성을 비교할 수 있는 형태로 변환
       - 이 벡터화 과정은 Word2Vec, GloVe, BERT와 같은 임베딩 기법을 통해 이루어짐
      - 이 벡터화된 정보는 k-최근접 이웃(k-NN) 검색 알고리즘을 통해 유사한 텍스트를 찾는 데 사용
  
  - 유사도 계산: kNN-LM 모델은 사용자가 입력한 쿼리와 Datastore에 저장된 문서들 간의 유사도를 계산하여 가장 가까운 k개의 문서를 검색
       -  유사도 계산은 일반적으로 코사인 유사도나 유클리디언 거리와 같은 메트릭을 사용합
  
  - 검색과 생성: 모델은 Datastore에서 검색된 상위 k개의 문서를 기반으로 텍스트를 생성
       -  이 때, 검색된 문서들은 문맥을 보강하는 역할을 하며, 모델이 생성하는 답변이 보다 정확하고 적절한 내용이 되도록 도움
  
  
• kNN-LM Datastore의 중요성
  - 빠르고 효율적인 검색: kNN-LM에서 Datastore는 빠르고 효율적인 정보 검색을 가능
       -  방대한 양의 데이터에서 관련 정보를 신속하게 찾을 수 있어, 모델이 더 빠르고 정확한 답변을 생성
  - 정보의 정확도와 신뢰성: Datastore에 저장된 정보는 고품질의 텍스트로 구성
       -  용자가 질문을 했을 때, Datastore에서 검색된 정보가 정확하고 신뢰할 수 있어야, 모델이 그 정보를 바탕으로 신뢰성 있는 답변을 생성
  - 확장성: Datastore는 유연하고 확장 가능한 구조를 가져야 하며, 새로운 문서나 데이터를 추가하는 것이 용이
       -  이로 인해 최신 정보를 반영할 수 있어, 기존 정보가 시간이 지나면서 구식이 되지 않도록 할 수 있음
  
  
• kNN-LM에서 Datastore의 활용 예시
  - 고객 서비스 챗봇: 고객이 특정 질문을 했을 때, kNN-LM 모델은 Datastore에서 고객 질문에 관련된 과거 대화 기록을 검색하여 적절한 답변을 생성
       -  이때, 과거 대화 기록은 Datastore에 저장되어 있으며, 유사한 질문과 답변을 찾을 수 있음
  - 의료 분야 질의 응답 시스템: 의료 관련 질문에 대해, 모델은 Datastore에서 의료 지침, 연구 논문, 의학 데이터 등을 검색하여 정확한 답변을 생성
       -  이 방식은 의학 지식에 대한 정확한 답변을 제공하는 데 유용
  - 법률 문서 분석: 법률 관련 질문에 대해서는 법률 문서나 판례를 Datastore에 저장하고, 이를 통해 유사한 법률 문제를 해결하는 답변을 생성