Encoder 4

Natural Language 언어모델

언어모델자연언어 (Natural Language) - 인간의 언어- 정보전달의 수단이자 인간 고유의 능력으로 인공언어에 대응되는 개념언어모델 (Language Model) = 지식 표현 체계- 언어를 이루는 구성 요소(글자, 형태소, 단어, 단어열(문장), 문단 등)에 확률값을 부여하여 이를 바탕으로 다음 구성 요소를 예측하거나 생성하는 모델 -  단어 시퀀스에 확률을 할당(assign) => 언어모델은 가장 자연스러운 단어 시퀀스를 찾거나 문맥 정보를 이해하는 모델 언어모델의 종류 및 특징언어모델의 역사 규칙기반 언어모델 - 언어의 문법적 규칙을 사전에 정의하고 이에 기반하여 자연어를 처리 - 초창기에 사용한 연구방법 - 어순이 정형화되어 있지 않은 경우 분석에 한계가 존재 - 규칙의 사전 지정은 큰 ..

Encoder-Decoder Model (BART)

EncoderEncoder : source 문장의 정보를 압축Encoder는 주어진 문장을 분류하는 Task에서 좋은 성능을 보임. (ex. 감정 분석)Masked Language Modeling : 문장 중 빈칸을 임의로 만들어 해당 앞/뒤 문맥에서 어떤 단어가 와야 가장 적절한지를 맞추는 방식으로 학습 -> 양방향(Bidirectional) 성격 - 예) 우리는 지금 어렵지만 열심히 “공부를” 하는 중이야. ○ 예) 우리는 지금 어렵지만 열심히 [MASK] 하는 중이야.DecoderDecoder : source 문장의 정보를 받아서 target 문장을 생성Decoder는 다음 단어를 생성하는 task에서 좋은 성능을 보임. (ex. 요약, 번역) Causal Language Modeling : 문장의..

Semantic Segmentation

Semantic SegmentationSemantic segmentation- Pixel-wise로 각각의 Class를 예측하여 물체 Category 별로 분할- Category: 각 픽셀의 Label 예측 - Architecture: Backbone (Encoder) + DecoderObject Detection vs Semantic Segmentation사용 예시- 자율주행 - 의료 영상 진단Dataset - KITTI        - 차량 주행중 촬영된 자동차 및 사물 이미지 데이터        - Semantic Label이 있는 200개의 Train Set과 200개의 Test Set으로 구성- Cityscape       - 도시 거리 장면 이미지 데이터        - 50개의 도시의 다양..

컴퓨터 비전 모델 구조

BackboneVisual Feature - 컴퓨터 비전의 태스크(classification, detection, segmentation, …)를 해결할 때 필요한 이미지의 특성을 담고 있는 정보들을 지칭 - 이미지에서 중요한 Feature를 추출(extract)할 수 있도록 훈련 - 주어진 비전 태스크를 잘 수행할 수 있는 압축된 Visual Feature를 산출- 여러 개의 Layer로 이루어져 있고, 이를 통해 다양한 Level의 Feature를 추출      - Layer: Input 이미지에서 Feature(points, edges, shapes, …)를 추출하기 위한 연산을 하는 층모델의 구성 Backbone + (Optional) Encoder + DecoderDecoder - 모델의 쓰임새..