AI Engineer가 되기 위한 첫 여정의 시작

주변에서 AI Engineer에 대해 물어오는 경우가 종종 있었다.

빅데이터 분석가나 AI 엔지니어가 되고 싶다고 말했던 적이 있었기 때문에 받은 질문들이었다.

 

사실, 나도 정확히 설명하지 못하고, "인공지능을 개발하고 그것을 잘 활용하는 직업이다"라는 식으로 막연하게 대답했었다. 빅데이터를 다뤄본 경험이 있어 그쪽으로 가고 싶은 마음은 있었지만, 실제로 AI 엔지니어가 어떤 일을 하는지에 대해서는 명확히 알지 못했다.

 

너무 막연한 꿈이었고, 주변에 같은 분야에서 일하는 사람도 없어, 사전적으로는 대략 알고 있었지만 명쾌한 답을 찾기는 어려웠다. 조금은 막연한 기대와 불확실함이 공존하는 상태였다.

 

그러다 이번에 패스트캠퍼스에서 진행하는 Upstage AI 인공지능 Lab 과정에 참여하게 되었고, 강의의 시작을 여는 송인서 강사님의 강의를 통해 마침내 그 답을 찾을 수 있었다. 강의에서 들은 내용은 나에게 길을 제시해 주었고, 나의 막연한 꿈이 조금 더 구체적이고 현실적인 목표로 다가오게 된 순간이었다.

 

이제는 단순히 "인공지능을 개발하고 활용하는 직업"이라는 막연한 설명이 아닌, 무엇을 해야 하고 어떻게 나아가야 할지 조금 더 명확한 방향을 찾은 느낌이다.

 

AI Engineer로의 첫 걸음
송인서 강사님

 

AI에 대하여

 

AI는 사전적 정의로는 인공지능은 인간의 학습능력, 추론능력, 지각능력을 인공적으로 구현하려는 컴퓨터 과학은 세부분야 중 하나이다.

 

강의에서 간단한 그림을 통해 인공지능을 설명해 주셨는데, 생각보다 인공지능은 굉장히 많은 분야를 아우르고 있다는 것을 알게 되었다. 나는 단순히 ChatGPT 정도만을 인공지능이라고 생각했지만, 이미 일상생활에서 다양한 방식으로 인공지능을 사용하고 있었다는 사실을 깨닫게 되었다.

 

잠시 내가 얼마나 인공지능을 활용하고 있는지 생각해보니, 정말 많은 부분에서 AI의 도움을 받고 있었다.

 

우선, ChatGPT를 매달 정기결제하면서 기본적인 검색조차 이제는 구글이나 네이버 대신 ChatGPT를 사용하게 되었고,

간단한 알람 설정은 빅스비를 이용하고 있었다.

코딩을 할 때도 ChatGPT와 GitHub Copilot의 도움을 받아 더 효율적으로 문제를 해결하고 있었다.

또한, 영어 번역이나 의사소통이 필요할 때는 DeepL과 같은 서비스를 사용하며 편리함을 누리고 있다.

 

이렇게 일상에서 인공지능을 자주 사용하면서도, 정작 인공지능 자체에 대해서는 너무 막연하게 생각했던 것 같다.

이번 강의를 통해 나의 일상에 얼마나 AI가 깊이 관여하고 있는지 더 명확하게 깨달았고, 앞으로 AI에 대해 더 깊이 배우고 싶다는 생각이 들었다.

 

AI Engineer 가 정말 무엇인가?

 

AI Engineer는 AI 기술을 이용해 문제를 해결하는 사람이라는 설명을 들었다.

나는 이전까지 AI 엔지니어가 직접 인공지능을 개발하거나 만들어야 하는 직업이라고 착각하고 있었는데, 그게 아니라 이미 존재하는 AI 기술을 활용해 다양한 문제를 해결하는 것이 주된 역할이라는 것을 알게 되었다.

이 차이를 깨닫게 된 순간, 내가 목표로 삼은 AI 엔지니어라는 직업이 더 명확해졌고, 앞으로 어떤 기술을 학습하고, 어떤 방향으로 나아가야 할지에 대한 이해가 한층 깊어졌다.

 

AI 기술 개발 과정

 

AI 기술 개발 과정은 크게 다섯 가지 단계로 나누어 설명을 들었는데, 기존에는 5가지의 분류를 따랐다고 했고, 이 방법을 통해 석사과정중에 논문을 작성하고 데이터를 다루는 일을 했던 기억이 있다.

1. 문제 정의: 해결하고자 하는 문제를 명확하게 정의하고, 이를 AI 기술로 어떻게 해결할 수 있을지를 구체화하는 단계
2. 데이터 수집: AI 모델을 훈련하기 위한 데이터셋을 모으는 단계
3. 모델 개발: 수집한 데이터를 바탕으로 문제를 해결할 수 있는 기계 학습(ML) 모델을 설계하고, 학습시키는 단계
4. 벤치마크: 개발한 모델이 얼마나 성능이 좋은지 평가하는 단계
5. 필드 테스트: 모델이 실제 환경에서 제대로 작동하는지 확인하는 단계

하지만 최근 Foundation Model(FM)의 등장은 AI 기술 개발 과정에 큰 변화가 생겼다고 하였다. FM은 대규모 데이터 세트를 기반으로 훈련된 대규모 딥 러닝 신경망으로, 데이터 사이언티스트가 AI를 개발하는 방식에 혁신을 가져왔고, 예전에는 데이터 수집부터 모델 개발까지 모든 과정을 직접 수행해야 했지만, 이제는 데이터 사이언티스트들이 처음부터 AI를 개발하지 않고 Foundation Model을 출발점으로 삼아 새로운 애플리케이션을 훨씬 더 빠르고 비용 효율적으로 개발할 수 있게 되었다고 한다.

 

대규모 언어 모델(LLM), 예를 들어 GPT 시리즈는 Foundation Model의 대표적인 사례로, LLM은 자연어 처리(NLP) 작업에서 뛰어난 성능을 보이며, 기존의 머신러닝 모델을 사용하는 방식에 큰 변화를 가져왔고, 이 변화로 인해 AI 기술 개발 과정은 다음과 같이 크게 단순화되었다.

• 데이터 수집, 모델 개발, 벤치마크 단계가 사라지고, 이제는 문제 정의에서 바로 필드 테스트로 연결되는 구조가 되었다...

이 부분에서 충격을 받은 것이, 작년도 아니고 올해 1월에 졸업한 나는 아직도 전체적이니 과정을 다 밟아가면서 공부를 했는데, 불과 몇년만에 연구에 대한 것이 많이 바뀌었다고 생각이 되었다.

 

이러한 변화는 AI 산업 전반에 큰 영향을 미쳤고, 특히 LLM의 능력이 증명되면서 다음과 같은 질문들이 제기되었다고 한다.

• 기업: LLM을 통해 어떤 사업을 진행할 수 있을까? 이 기술로 수익을 창출하는 것이 가능할까?
• 학계: 내가 하던 연구가 LLM을 통해 이렇게 쉽게 해결된다고?  LLM과 관련된 새로운 연구 기회는 무엇일까?
• AI Engineer: 내가 개발하던 모델도 Foundation Model로 쉽게 해결할 수 있네... 그럼 내 커리어 방향을 전환해야 할까? 앞으로 어떤 역량을 키워야 할까?

가장 최근까지 학계에 있던 내가...가장 크게 느낀 것은 내가 하던 연구가 LLM 을 통해서 이렇게 쉽게 해결을 할 수 있다고?였다. 인공지능을 이용한 분석을 연구하는 곳이었지만, ChatGPT가 없을 시절부터 한 연구라고 코딩을 짜는데 몇날 며칠이 걸리고 힘들던 시간들이 많았는데 이 시간이 정말 많이 단축될 거라고 생각되었다. 사실, 석사과정 후반부에는 나도 ChatGPT를 사용을 많이 하면서 코딩을 하는 속도와 실력이 비약적으로 상승을 했던 경험이 있었다.

 

Upstage에서 AI Engineer가 하는 업무

 

AI Engineer가 담당하는 업무에 대해 설명을 들었는데, 모델팀에서 모델 개발과 모델 평가를 주도하며, 개발된 모델을 **모델 베포(릴리즈)**하는 과정도 포함된다고 들었다. 이를 다양한 방식으로 서비스하게 되는데, Console Service와 API 서비스를 통해 모델을 배포하고 관리하는 역할도 수행한다고 합니다. 특히, Hugging Face와 같은 플랫폼을 활용해 AI 모델을 공개하거나 배포하는 것도 중요한 업무 중 하나이다. 기술 문서를 작성하거나 Article & Documentation 작업을 통해 모델이나 서비스에 대한 정보를 문서화하는 작업도 AI Engineer의 업무에 포함된다고 하였다. 이를 통해 사용자들이 모델을 이해하고 쉽게 활용할 수 있도록 돕는 역할도 한다고 설명을 들었다.

AI Engineer가 되기 위한 여정

 

이 부분부터가 나에게 있어 정말 중요한 터닝 포인트였다.

설명을 들으면서 내가 나아가야 할 방향이 보다 분명해졌고, 이번 Upstage AI 인공지능 Lab에 참여하면서 어떤 공부에 집중해야 할지 명확한 계획을 세울 수 있었다.

이 과정을 통해 앞으로의 학습과 성장에 대한 자신감도 한층 더 얻을 수 있었다.

 

Career path 설정

 

커리어 준비는 나에게 아직 막연하게 느껴졌다.  그동안 계속 학생으로서 지내왔던 나는 커리어라는 것이 아직 먼 미래의 이야기처럼만 다가왔다.

그래서 '아직 괜찮겠지'라는 생각으로 준비를 미뤄왔던 것 같다.  그러나 이번 강의를 통해, 단순히 막연한 스펙을 쌓는 것이 아니라, 내가 진정으로 원하는 직군에 맞는 구체적인 준비가 필요하다는 깨달음을 얻게 되었다.

• JD(Job Description) - AIRE, Document AI
  JD는 특정 직무에서 수행해야 할 업무와 필요한 자격 요건을 설명하는 문서이다.
  AI 연구 엔지니어(AIRE)의 주요업무가 무엇인지, 모집분야는 어떻게 되는지 각각의 회사의 공고에 따라서 움직이는 게 좋다고 하였다. 
  Job 별 표지션을 확인하고 필요기술, 역량 파악, 프로젝트를 진행해야하는 것이 좋다고 하였다.
  자격증을 막연히 많이 딸 것이다가 아닌 단 하나를 따더라도 내가 무슨 직군에서 일을 하고 싶은지가 우선이 되는 게 좋다는 걸 알게 되었다.
  
  모집절차도 서류, 코딩테스트, 기술인터뷰, 컬쳐인터뷰, 최종인터뷰, 이렇게 정말 긴 과정을 거친다는 것도 처음 알게 되어서 스스로 준비할 게 더 많다는 것을 알게 되었다.
  
  AI Engineer가 필요한 필수사항
   - AI 엔지니어의 필수 자격으로는 AI 문제를 정의하고 해결하는 능력과 기초 머신러닝 알고리즘에 대한 깊은 이해가 필요하다. Python이나 C++ 같은 프로그래밍 언어를 자유자재로 활용할 수 있어야 하고, Linux나 Shell 같은 환경에서도 능숙하게 작업할 수 있어야 한다. 또한, NLP나 CV 같은 최신 AI 도메인의 핵심 알고리즘에 대한 이해가 중요하며, 특히 PyTorch 같은 기계 학습 프레임워크에 능숙해야 한다. 다양한 협업 환경에서 일할 수 있는 능력과 훌륭한 팀워크 및 소통 능력도 필수적이다.
  - 우대 사항으로는 대규모 상용 머신러닝 제품(NLP, CV)의 개발 경험이 요구된다. NeurIPS, ICML, ICLR 등 최고급 AI 컨퍼런스에서 1저자 또는 교신저자로 출판한 기록이 있으면 더욱 유리하다. 또한, 국제 혹은 국내 AI 대회에서 상위권에 입상한 경험이 있는 사람, 대규모 데이터로부터 AI 모델 학습 및 운영에 필요한 데이터 및 모델 파이프라인을 개발한 경험이 있는 사람도 우대된다. AI 관련 연구 또는 프로젝트를 리드한 경험이나 새로운 연구 및 개발 방향을 제시할 수 있는 능력도 강점으로 작용한다.
  
  
• 이를 위하여 링크드인을 염탐하여 업무를 파악하고, 필요한 역량을 계속 보는 것이 좋다는 팁도 주셨다.
  
  
• CV(이력서) 작성 : 이력서는 정말 써본 적이 없었다. 그리고 아직도 이력서는 어떻게 써야할 지, 레퍼런스는 어떻게 준비해야할지가 의문이다. 
  - JD와 연관성 , 포지션에 적합한 내용들로 구성되었는가, 나에 대해 전혀 모르는 3자가 이해할 수 있는가, 답변할 수 있는 내용만 포함하기, 자신있는 & 중요한 내용 위에 배치, 짧고 간결하게 핵심만 이런 방식을 이용하여 CV를 작성할 때 효과적으로 준비를 할 수 있다고 했다.

 

핵심 역량 키우기

• 이 부분은 연습과 노력, 그리고 많은 시간이 가장 중요하다고 느꼈다.
  - 작은 사이드프로젝트부터 시작하여 높은 수준의 프로토타입을 만들어보는 게 중요하다고 하였다.
  - 이는 아직 CV까지는 작성이 어렵고, 부트캠프를 통하여 블로그에 글을 적으면서 준비를 해보고자 생각이 되었다.
• 기술은 빠르게 변한다. 이는 계속 공부를 해야하는 것을 의미했다.
  - Meta Skill : 다른 기술이나 능력을 학습하고 개발하고 적용하는데 도움이 되는 기술이나 능력
  - Soft Skill : 대인관계 능력
  - AI : 다양한 인공지능을 사용해보고 어떤 능력을 가졌는지 파악하기

 

 

강의를 통해서 Upstage AI LAB을 어떻게 해야할지에 대한 생각

 

 

처음에는 블로그를 단순히 공부 기록용으로만 사용하려고 생각했지만, 점차 이를 확장하여 내 스펙에 도움이 될 만한 레퍼런스로 만들어야겠다는 생각이 들었다. 블로그 자체가 이력서처럼 활용될 수 있도록, 다양한 프로젝트를 진행하며 내가 직접 만들어본 결과물들로 채워나갈 필요가 있다고 느꼈다.

또한, 다양한 공부를 기록하는 것이 중요하다는 생각이 들었고, 단순히 자격증을 많이 따는 것에 집중하는 것이 아니라, 현재 필요한 공부가 무엇인지 우선적으로 생각하게 되었다. 이를 바탕으로 필요한 자격증을 먼저 취득하자는 목표도 새롭게 세웠다.

 

프로젝트와 부트캠프에 대해서도 단순히 과정에만 의존하지 않고, 스스로 생각하고 주도적으로 진행하며 이를 전시할 수 있는 공간으로 블로그를 꾸며야겠다는 생각이 들었다.

 

뿐만 아니라, ChatGPT를 비롯해 새로 출시되는 다양한 인공지능을 사용할 때, 그저 한 번 사용해보고 넘기는 것이 아니라, 분석하고 더 깊이 이해하는 과정도 필요하다고 느꼈다.

 

무엇보다 인공지능을 어렵게 생각하지 않고, 내가 일상에서 쓰는 것처럼 제2의 뇌로 여기며 활용하는 것이 중요하다고 생각한다. AI 엔지니어로서도 이 '제2의 뇌'를 더 자유롭게 다루어 문제 해결에 능숙하게 적응하는 것이 필수적이라는 생각을 하게 되었다.