EncoderEncoder : source 문장의 정보를 압축Encoder는 주어진 문장을 분류하는 Task에서 좋은 성능을 보임. (ex. 감정 분석)Masked Language Modeling : 문장 중 빈칸을 임의로 만들어 해당 앞/뒤 문맥에서 어떤 단어가 와야 가장 적절한지를 맞추는 방식으로 학습 -> 양방향(Bidirectional) 성격 - 예) 우리는 지금 어렵지만 열심히 “공부를” 하는 중이야. ○ 예) 우리는 지금 어렵지만 열심히 [MASK] 하는 중이야.DecoderDecoder : source 문장의 정보를 받아서 target 문장을 생성Decoder는 다음 단어를 생성하는 task에서 좋은 성능을 보임. (ex. 요약, 번역) Causal Language Modeling : 문장의..
