개발 성장 노트

합성곱 신경망 (Convolutional Neural Networks , CNN)완전 연결 신경망의 한계점- 이미지 데이터를 학습하기 위해선 1차원으로 평탄화 -> 이미지 데이터가 가지고 있던 “형상 정보”가 사라지면서 무시         -  이미지 형상 정보는 “이미지의 가까운 픽셀은 비슷한 값을 가진다”거나 “거리가 먼 픽셀끼리는 큰 연관성이 없다”와 같은 공간적 정보를 의미 → 합성곱 신경망(Convolutional Neural Network, CNN)이 등장    - 이미지 입력 후 합성곱에 해당하는 연산으로 모델 구조를 정해 놓아, 형상 정보를 유지 합성곱 연산   - 입력 데이터에 필터(Filter) 혹은 커널(Kernel)를 적용하여 윈도우(Window)를 일정 간격으로 이동해가며 수행  ..

Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving language understanding by generative pre-training. OpenAI- upstage 멘토링 1주-3일차 제공 아티클 - OpenAI가 2018년에 발표한 연구- 비지도 학습을 통해 생성적 사전 학습(Generative Pre-Training, GPT)을 활용하여 언어 이해를 개선하는 방식을 제안- 언어 모델이 사전 학습과 미세 조정을 통해 더 많은 작업에서 높은 성능을 발휘할 수 있음을 입증- NLP 모델 학습 방법에 있어 중요한 발전을 제시 연구 배경 및 필요성- 기존의 NLP 모델들은 특정 작업에 특화된 데이터셋을 활용해 지도 학..

Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners. OpenAI.- upstage 멘토링 1주-3일차 제공 아티클 - OpenAI의 GPT-2 모델에 관한 연구 - 언어 모델이 감독 학습 없이도 여러 작업에서 뛰어난 성능을 발휘할 수 있다는 점 - GPT-2가 훈련된 방식, 학습된 능력, 그리고 다양한 작업에서의 성과를 통해 언어 모델이 다중 작업을 수행하는 학습자(multitask learner)로 작동할 수 있음을 제시연구 목적 및 배경 - 기존 NLP 모델들은 특정 작업을 위해 지도 학습(Supervised Learni..

Upstage (2023). GPT 시리즈와 발전 과정. Upstage.- upstage 멘토링 1주-1일차 제공 아티클  GPT의 개념과 언어 모델의 발전 배경GPT는 언어 모델로서, 다음 단어를 예측하는 능력을 바탕으로 자연어 이해와 생성 작업을 수행이러한 언어 모델들은 인간의 언어 이해와 유사하게 작동하며, 이를 위해 방대한 양의 데이터를 학습하여 문맥을 파악초기의 언어 모델들은 순차적 데이터 처리를 위해 순환 신경망(RNN)과 LSTM 같은 구조를 사용했으나, 긴 텍스트에서 정보가 소실되거나 연산 속도가 느려지는 문제가 있음GPT 시리즈와 발전 과정Emergence (2017년 4월)- OpnAI에서는 언어 모델을 RNN(Rcrrnt Nrl Ntwork) 으로 만들고 있었음- 뉴런이 감성 분석을 ..