개발 성장 노트

Perplexity(PPL)- 문장의 길이로 정규화된, 문장을 생성할 확률의 역수- 일반적인 자연언어 생성모델의 대표적인 평가지표- 낮을 수록 좋음- 문장이 완성될 때, 각 토큰은 확률적으로 선택 => Perplexity는 문장이 완성될 때까지 선택된 토큰들의 누적된 확률을 기반으로 계산한 값 - 당혹감, 혼란 등의 단어가 가진 의미 그대로 모델이 정답을 결정할 때 얼마나 헷갈렸는가를 나타내는 지표 => Perplexity가 낮을수록 모델이 덜 헷갈린 상태로 확신을 가지고 답을 냈다는 의미BLEU- 목표로 하는 문장과 모델이 생성한 문장이 일치하는 정도를 precision 관점에서 수치화=> BLEU는 단어가 Reference 중에 한 곳이라도 포함된다면 정답인 걸로 취급 - Precision: n-gr..

자연어처리 TaskHuggingface - 기계학습을 사용하여 애플리케이션을 구축하기 위한 도구를 개발하는 미국회사 - 2016년 3명의 프랑스 엔지니어에 의해 설립되었으며, 23년 7월 기준 40억달러 이상 - transformers, datasets , spaces … - transformers 모듈 사용하여 모델/토크나이저 불러오기 - datasets 모듈 사용하여 데이터셋 불러오기- 간단하게 pipeline 모듈 사용하여 입력값에 대한 특정 task 수행 가능 대표적인 자연어 처리 Task - 기계 번역 : 다양한 국가의 언어를 원하는 타겟 언어로 번역- 질의 응답 : 사용자의 질문을 이해하고 관련 문서를 찾아 올바른 정답을 추출하거나 내재된 지식을 통해 생성- 정보 추출 : 주어진 쿼리를 기반으..