개발 성장 노트

Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving language understanding by generative pre-training. OpenAI- upstage 멘토링 1주-3일차 제공 아티클 - OpenAI가 2018년에 발표한 연구- 비지도 학습을 통해 생성적 사전 학습(Generative Pre-Training, GPT)을 활용하여 언어 이해를 개선하는 방식을 제안- 언어 모델이 사전 학습과 미세 조정을 통해 더 많은 작업에서 높은 성능을 발휘할 수 있음을 입증- NLP 모델 학습 방법에 있어 중요한 발전을 제시 연구 배경 및 필요성- 기존의 NLP 모델들은 특정 작업에 특화된 데이터셋을 활용해 지도 학..

Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners. OpenAI.- upstage 멘토링 1주-3일차 제공 아티클 - OpenAI의 GPT-2 모델에 관한 연구 - 언어 모델이 감독 학습 없이도 여러 작업에서 뛰어난 성능을 발휘할 수 있다는 점 - GPT-2가 훈련된 방식, 학습된 능력, 그리고 다양한 작업에서의 성과를 통해 언어 모델이 다중 작업을 수행하는 학습자(multitask learner)로 작동할 수 있음을 제시연구 목적 및 배경 - 기존 NLP 모델들은 특정 작업을 위해 지도 학습(Supervised Learni..

[2024.11.05] 필수 온라인 강의 Part16 Machine Learning Advanced CH02 전처리 기법데이터 전처리의 이론 데이터 전처리 - 데이터의 특성을 이해하고 수정하여 품질을 향상시키는 과정 - 머신러닝 모델의 성능을 향상시킴과 더불어, 모델의 해석 가능성을 높이는 역할 - 필요한 부분은 더 수집을 하고, 불필요한 부분은 제거하기도 하고 수정하기도 함 - 모델을 선택학습하는 관점에서 모델마다 요구하는 것이 다름 : 선형회귀- 정규분포/ kkn - 데이터 스케일을 맞춰야함 포멧을 수정데이터 전처리 프로세스 - 데이터 분석(EDA) - 결측치 처리, 이상치 처리 - 연속형 변수, 범주형 변수 처리 - 파생변수 생성 - 변수 선택데이터 전처리의 중요성 - 편향을 제거하며, 이를 통해 ..

Jumper, J., Evans, R., Pritzel, A. et al. Highly accurate protein structure prediction with AlphaFold. Nature 596, 583–589.- upstage 멘토링 1주-2일차 제공 아티클 - 혁신적인 단백질 구조 예측 성능을 소개 - 단백질 구조는 생물학적 기능과 밀접한 관계가 있기 때문에 구조 예측이 매우 중요함- 생명과학 및 의약 연구에 필수적 AlphaFold 모델의 구성 - Attention 메커니즘 : AlphaFold는 트랜스포머 모델의 주의 메커니즘(attention mechanism)을 활용   - 아미노산 서열에서 특정 정보의 중요성을 파악하고, 관련 정보를 강조하여 학습- 입력 데이터: AlphaFold는..

Upstage (2023). Data-Centric AI 관점으로 재해석하는 자연언어처리 기반 History of AI. Upstage.- upstage 멘토링 1주-1일차 제공 아티클- NLP의 발전 과정을 Data-Centric AI 관점에서 재해석하는 논문자연언어처리(NLP)란?- NLP는 컴퓨터가 인간의 언어를 이해하고 처리하는 기술 - 텍스트 및 음성 데이터를 분석하여 컴퓨터가 언어적 의미를 파악하고 활용할 수 있도록 하는 것이 목표 - 규칙 기반 접근이 주를 이루었으나, 이후 통계적, 기계 학습, 딥러닝 기반 모델로 발전하며 그 가능성이 확장모두를 위한 “언어모델의 역사”- 언어모델의 발전은 NLP의 중심에 있으며, 데이터와 알고리즘의 발전에 따라 그 구조와 성능이 크게 향상 - 초기의 단순 ..

Upstage (2023). GPT 시리즈와 발전 과정. Upstage.- upstage 멘토링 1주-1일차 제공 아티클  GPT의 개념과 언어 모델의 발전 배경GPT는 언어 모델로서, 다음 단어를 예측하는 능력을 바탕으로 자연어 이해와 생성 작업을 수행이러한 언어 모델들은 인간의 언어 이해와 유사하게 작동하며, 이를 위해 방대한 양의 데이터를 학습하여 문맥을 파악초기의 언어 모델들은 순차적 데이터 처리를 위해 순환 신경망(RNN)과 LSTM 같은 구조를 사용했으나, 긴 텍스트에서 정보가 소실되거나 연산 속도가 느려지는 문제가 있음GPT 시리즈와 발전 과정Emergence (2017년 4월)- OpnAI에서는 언어 모델을 RNN(Rcrrnt Nrl Ntwork) 으로 만들고 있었음- 뉴런이 감성 분석을 ..

조민호 (2021). 인공지능 역사, 분류 그리고 발전 방향에 관한 연구. 한국전자통신학회논문지, 16(2), 307-312.- upstage 멘토링 1주-1일차 제공 아티클 연구 필요성과 목적인공지능(AI)은 현대 사회와 산업에 혁신적인 변화를 가져오는 중요한 기술로 자리 잡고 있으며, 이 기술의 발전 과정과 기술적 접근법에 대한 종합적인 이해가 필요.따라서 본 연구는 인공지능의 발전 과정을 역사적으로 돌아보면서 현재의 기술을 체계적으로 분류하고, 향후 AI가 어떤 방향으로 발전할지 예측하는 것을 목적으로 하는 연구.이 연구는 AI 기술에 대한 기초 지식을 제공함과 동시에 미래 연구에 필요한 방향성을 제시하고자 함.-> 이러한 어려움을 겪는 연구자들에게 도움이 될 수 있도록 인공지능에 관련 된 중요 개..

[2024.11.04] 필수 온라인 강의 Part15 Machine Learning Basic CH07 모델 평가와 개선모델 평가와 기초 강화학습(Reinforcement Learning)- 학습하는 ML의 한 분야 - 모델이 게임과 같은 환경에서 상호작용하도록 설정해두고 특정 행동을 했을 때 리워드를 부여해 목표를 달성하도록 유도모델 평가가 놓치는 부분 - 데이터셋은 사람의 판단을 모아놓은 것- 구성 과정에서 의도하지 않았더라도 사람이 가진 편견이나 선입견 등이 반영모델 평가의 구성 요소- 정성평가(Qualitative Evaluation)    - 모델에 들어가는 입력값과 그에 따른 모델의 출력값을 사람이 직접 확인해보면서, 모델의 성능이 어떤지 판단하는 것 - 정량평가(Quantitative Eva..

[2024.11.01] 필수 온라인 강의 Part15 Machine Learning Basic CH06 다양한 형태의 데이터 처리와 ML기반의 추천시스템추천시스템추천 시스템(Recommendation or Recommender System) 데이터를 활용해, 기하급수적으로 많은 옵션들 중에서 사람들이 원하는 것이 무엇인지    -> 예측하고, 범위를 좁혀주고, 결국 찾아주는 머신러닝의 한 분류- 넷플릭스, 유튜브, 아마존, 멜론, 쿠팡, 웹툰, 등에서 사용하는 시스템구성요소- 사용자(User) : 추천을 받는 대상으로, 추천 시스템을 이용하는 서비스의 이용자- 아이템(Item), 또는 콘텐츠(Contents) : 추천 시스템에서 추천되는 대상- 활동 기록(Transaction Log)    - 아이템을 ..

[2024.11.01] 필수 온라인 강의 Part5 데이터베이스 CH04 NoSQLmongoDB- NoSQL DBMS = Not Only SQL      - 데이터가 표의 형태만이 아닌 다양한 형태로 저장될 수 있음 - noSQL을 대표가 mongoDB   - document 단위로 저장   - 자주 저장되는 데이터를 document 형태로 함께 저장       -> document가 모여 collection이 되고, collection이 모여 데이터베이스를 이룸   - 뷰, 인덱스와 같이 MySQL의 기능도 포함되어 있다- 빅데이터 처리에 특화- 유연한 구조, 높은 확장성 MongoDB 실습- 실습위치 :https://onecompiler.com/mongodb/- MongoDB Shell (mongos..