개발 성장 노트

REALM (Retrieval-Augmented Language Model) 개요질문 응답 (Question Answering): REALM은 주로 질문 응답 시스템에서 뛰어난 성능을 보이는 모델- 사용자의 질문을 받아 관련된 문서를 검색한 후, 이를 바탕으로 답변을 생성하는 방식으로 동작Retrieve-then-predict: REALM의 핵심은 검색 후 예측입니다. 먼저 관련된 정보를 검색하고, 그 후 검색된 정보를 바탕으로 답변을 예측하는 방식으로 구성- 이는 정보 검색과 텍스트 생성을 분리하여 처리하는 방식Neural Knowledge Retriever: REALM은 신경망  기반 지식 검색기를 사용하여, 질의에 대해 관련된 지식을 자동으로 검색- 이 검색기는 대규모 문서 집합에서 필요한 정보를 ..

kNN-LMk-최근접 이웃을 기반으로 한 언어 모델kNN-LM은 k-최근접 이웃(k-NN) 알고리즘을 활용하여, 텍스트를 생성할 때 유사한 문장을 검색하고 이를 바탕으로 생성하는 방법입니다.기존 RAG와 달리, kNN-LM은 문장 간의 유사성을 비교하여 가장 적합한 문장을 선택하고, 이를 자연스러운 언어로 생성하는 방식입니다. 이 모델은 문서 내에서의 유사성을 찾아내는 데 강력하며, 생성된 답변이 검색된 문서와 밀접하게 연관될 수 있도록 합니다.kNN-LM은 생성된 텍스트의 질을 높이는 데 유용하며, 특정 문서나 구절의 정확성을 반영할 수 있습니다.kNN-LM Datastore kNN-LM Datastore의 주요 기능 - 정보 저장: Datastore는 다양한 문서나 텍스트 조각을 포함     -   ..

RAG (Retrieval-Augmented Generation) 개요검색과 생성을 결합하여 언어 모델의 성능을 향상시키는 기술기존의 언어 모델은 주어진 데이터에서 학습한 정보만을 기반으로 답변을 생성하지만, RAG는 외부 데이터베이스나 문서에서 정보를 검색하여 이를 생성 과정에 반영이 방식은 모델이 더 정확하고 풍부한 정보를 바탕으로 답변을 생성할 수 있게 함RAG의 주요 특징은 정보 검색과 텍스트 생성을 결합하여, 새로운 정보나 추가적인 지식을 바탕으로 더 나은 성능을 발휘할 수 있다는 점다양한 NLP 작업에서 성능을 크게 향상시킬 수 있어 질문 응답, 문서 생성, 요약 등에 효과적임RAG의 핵심 논문들 (Fundamental Papers in RAG) - "RAG: Retrieval-Augmente..