개발 성장 노트

[AI 부트캠프] 수료 직전, 돌아보는 배움의 시간

김 도경 — Fri, 28 Mar 2025 17:15:15 +0900

146일간의 여정 중 어느덧 123일이 지났습니다.
남은 시간도 물론 소중하지만, 지금은 마지막 프로젝트에 몰입하고 있는 시점이라
이번 글을 통해 부트캠프의 전체 과정을 한 걸음 물러나 돌아보고자 합니다.

패리포터로서 작성하는 마지막 글이기도 하기에,
그동안의 배움과 도전, 그리고 제가 느꼈던 변화들을 진솔하게 담아보려 합니다.

처음 이 부트캠프에 지원했을 때, 정말 많은 고민과 두려움이 있었습니다.

AI와 데이터에 대한 관심은 있었지만, 나에게 과연 이 길이 맞는지 확신이 없었고
새로운 환경에서의 도전이 쉽지만은 않을 거라는 것도 알고 있었기 때문입니다.

하지만 지금 돌아보면, 이 100여 일이 넘는 시간은 단순한 기술 습득 이상의 것이었습니다.
스스로를 믿는 힘, 팀과 함께 성장하는 경험, 낯선 것을 익숙하게 만드는 과정이
제가 이 부트캠프를 통해 얻은 진짜 배움이었습니다.

지원 당시의 나, 그리고 지금의 나

6주 차 즈음에 썼던 "왜 부트캠프에 지원했는가?"라는 글이 아직도 생생하게 기억납니다.
그때만 해도 막 졸업장을 받은 시점이었고, 앞으로의 방향성에 대한 고민이 가득했습니다.

AI 부트캠프라는 새로운 길을 선택한 데에는 많은 이유가 있었습니다.

석사까지 마친 전공자임에도 불구하고, 커리어의 연결고리가 느껴지지 않았고, 지금 내가 가진 역량으로는 어디에 도전할 수 있을지 감이 오지 않았기 때문입니다.
그래서 스스로를 재정비하고, '제대로 공부하고 싶다'는 간절함으로 이 부트캠프를 선택하게 되었습니다.

그때는 부트캠프에 지원하는 것이 내 커리어에 어떤 의미가 될지 몰랐고,
"이 선택이 나를 더 나아가게 할까, 아니면 돌아가게 할까?"라는 막연한 불안감도 있었습니다.

그런 제가 지금은, 123일 동안의 긴 여정을 지나며, 이전과는 분명히 다른 시야와 자신감을 가지게 되었습니다.

지금의 나는

✔️ AI 기술의 흐름에 대한 이해와 실질적인 활용 능력
부트캠프를 수강하면서 단순히 모델을 구현하는 수준을 넘어서,
AI가 어떤 분야에 쓰이고, 어떤 흐름으로 발전하고 있는지에 대한 전체적인 큰 그림을 볼 수 있게 되었습니다.

✔️ 공부 방법에 대한 확신
예전에는 공부 방향을 잡는 것조차 어려웠지만, 이제는 어떻게 접근해야 더 효율적으로 학습할 수 있는지에 대해 확신이 생겼습니다.
특히 팀 프로젝트, 실습 중심의 강의, 피어세션 등을 통해 문제 해결 중심의 학습법을 몸으로 익히게 되었습니다.

✔️ 자격증 취득과 실력의 확인
물론 아직 완벽하진 않지만, 부트캠프 기간 중 ADsP 자격증을 취득하며
기초적인 데이터 이해와 분석 능력을 스스로 확인할 수 있었습니다.

✔️ 이력서와 포트폴리오의 탄생
무엇보다 큰 변화는, 이제 제 손에 이력서와 포트폴리오라는 ‘결과물’이 생겼다는 점입니다.
이전에는 막연하게 "데이터 분석을 하고 싶다"는 마음만 있었지만,
지금은 부트캠프에서 직접 수행한 프로젝트를 정리하고,
그 내용을 이력서에 담아 제 경험을 구체적으로 설명할 수 있게 되었습니다.

✔️ 커리어 전환의 실마리
처음엔 단순히 ‘공부를 더 해보자’는 마음이었다면,
지금은 "나의 기술과 경험을 어떻게 연결하고, 어떤 분야로 나아갈 수 있을지"에 대한 실마리가 생겼습니다.
아직 완성된 모습은 아니지만, 이제는 나아가야 할 방향을 조금 더 선명하게 그릴 수 있게 된 것,

그게 부트캠프가 제게 준 가장 큰 변화입니다.

각 프로젝트와 그 속에서의 성장

1. 서울시 아파트 가격 예측 (경진대회)

처음 접한 도메인이라 많이 막막했지만, 협업 덕분에 1등이라는 결과를 얻을 수 있었어요.
결측치 하나도 제대로 못 다루던 제가 팀원들과 함께하면서 많은 걸 배웠고,
협업의 힘과 도전 정신의 소중함을 느꼈습니다.

2. 영화 추천 시스템 개발

데이터 전처리와 분석을 맡았고, 개인적으로 가장 즐거웠던 프로젝트예요.
짧은 기간, 부족한 시간 속에서 많은 걸 해내려다 체력적으로 힘들었던 기억도 있지만,
프로젝트 종료 후 Streamlit으로 개인 확장 작업까지 해보며 실전 감각을 키울 수 있었습니다.

️ 3. 컴퓨터 비전 경진대회

팀장과 발표를 맡아 책임감을 갖고 준비했어요.
발표 흐름을 설계하고 팀원들의 내용을 통합하면서 기획력과 조율 능력을 키웠고,
CV와 wandb 사용법 등 실전에서 필요한 툴도 익혔습니다.

️ 4. NLP 경진대회

PPT 제작과 발표를 맡았고, 팀 작업을 하나로 정리해 전달하는 역량을 배웠어요.
모델 설명이 부족했던 점은 아쉬웠지만, 데이터 정리가 잘 되어 있어 발표가 매끄러웠고,
다음 발표엔 기술적 설명도 강화하자는 다짐을 했습니다.

5. 부동산 법률 Q&A 챗봇

LangChain + RAG 구조를 직접 구현하며 AI가 실제 문제를 해결하는 방식을 배웠습니다.
크롤링, 전처리, 벡터DB 저장, Streamlit UI까지 경험하면서,
실무형 AI 시스템 설계의 기초를 익힐 수 있었어요.

6. 과학 지식 QA 경진대회

성능은 높지 않았지만, Hybrid Retrieval 방식과 다양한 모델 실험을 하며
Dense Retrieval의 구조와 성능 개선 전략을 경험했습니다.
API 없이도 구현 가능하다는 자신감을 얻은 대회였습니다.

⚗️ 7. 화학 공정 이상 탐지 경진대회

PCA, Autoencoder, 앙상블 등 다양한 모델을 실험하며
정형 데이터에서의 이상 탐지 방식을 심층적으로 이해했습니다.
수많은 테스트와 실험 설계 과정을 통해 분석력과 실험 설계 역량이 성장했습니다.

8. 기업연계 프로젝트 (진행 중)

아직 초기 단계지만, 원하는 주제를 직접 맡게 되어 만족스럽습니다.
실제 기업과의 연계인 만큼 실무 연결성과 책임감을 가지고 임하고 있습니다.

부트캠프가 내게 남긴 것들 (기술, 협업, 태도 등)

부트캠프를 통해 얻은 가장 큰 변화는 이력서와 포트폴리오, 그리고 공부 방법에 대한 확신이었습니다.
어떻게 코딩테스트를 준비해야 하는지, 프로젝트를 어떻게 공부하고 발전시켜야 할지,

부트캠프가 끝나도 스스로 공부해 나갈 수 있는 기반이 생겼다는 것이 가장 큰 수확이었습니다.

또한, 사람을 대하는 방식에도 변화가 있었습니다.
이전에는 사고로 인해 대인기피 같은 어려움도 있었지만, 팀 프로젝트와 피어세션을 통해
조금씩 사람들과 어울리고 소통하는 법을 다시 배울 수 있었습니다.

멘토님들과의 상담을 통해 일을 대하는 태도, 협업에서의 커뮤니케이션도 많이 배웠고,
누군가와 일하는 법, 함께 문제를 해결하는 방식에 대해서도 감을 잡을 수 있었습니다.

개인적으로는 부트캠프 기간 중에 논문을 사이언스에 제출했다가 리젝, 이후 네이처 커뮤니티로 재도전하기도 했고,
취업 준비도 시작해보며 조금씩 방향성을 잡아가는 중입니다.

아직 가야 할 길은 멀지만, 이제는 어떻게 걸어가야 할지 알게 되었다는 것,
그 자체로 이 여정이 제게 얼마나 값졌는지를 보여주는 증거라고 생각합니다.

패리포터 활동을 하며 느낀 점

패리포터 활동은 부트캠프를 시작할 때부터 관심이 있었어요.
어차피 부트캠프 기간 동안 학습 블로그를 꾸준히 작성할 계획이었고,
글을 많이 쓸 생각이었기 때문에 “기왕이면 패리포터 활동까지 해보자!”는
가벼운 마음과 함께 열정 가득하게 시작했습니다.

하지만 2월이 되면서 개인적으로 안 좋은 일과 좋은 일이 한꺼번에 겹치며
학습 블로그 작성이 점점 미뤄지기 시작했고, 그 과정에서 좌절감도 들었습니다.
‘나는 왜 계획대로 못하지?’라는 생각도 들었고, 글을 쓰는 게 버겁게 느껴질 때도 있었어요.

그럼에도 불구하고, 패리포터 활동을 하면서
내 이야기를 기록하고, 생각을 정리하고, 감정을 담아두는 소중한 경험을 할 수 있었습니다.

학습 중심의 기록에 그치지 않고, 나라는 사람의 여정을 남길 수 있었던 시간이었고,
비록 계획처럼 완벽하진 않았지만, 지금까지 남긴 글 하나하나가
앞으로 다시 돌아볼 수 있는 나만의 성장 기록이 되어줄 거라 믿습니다.

아직 기간이 남아 있으니,
밀린 학습 블로그들도 꼭 정리하면서 이 기록을 완성해나갈 예정입니다.

앞으로의 다짐
(feat. 취업과 인생의 새로운 챕터)

앞으로의 가장 큰 목표는 단연 취업입니다.
사실 저에게는 조금 특별한 사정이 있는데, 올해 10월에 결혼식을 앞두고 있어요.

그로 인해 2월부터는 가족일과 결혼 준비가 겹치며 정말 바쁜 시간을 보내게 되었고,
부트캠프에만 몰입해서 공부하지 못한 점은 아쉬움으로 남습니다.

그렇기에 남은 기간 동안은 그동안 부족했던 회고도 진행하고,
현재 참여 중인 기업연계 프로젝트도 정말 열심히 마무리하고 싶습니다.

이번 프로젝트는 기존에 참여했던 것보다 훨씬 더 실무와 밀접한 주제라 기대도 크고,
제 역량을 한 번 더 끌어올릴 수 있는 기회로 삼고 싶어요.

취업 일정은 현실적인 계획을 세웠습니다.

10월 결혼식을 앞두고 있기 때문에, 7월까지 취업을 목표로 하고 있어요.
만약 그 시점까지 좋은 기회를 얻지 못한다면, 결혼식 이후로 미루고 신혼여행과 수습 기간이 겹치지 않도록 조율할 예정입니다.

하지만 시기와는 별개로, 저는 지속적으로 성장할 준비가 되어 있습니다.
부트캠프를 통해 공부하는 방법을 많이 배웠고, 취업이 조금 늦어지더라도 자격증을 더 취득하고,
제 실력을 다지며 꾸준히 준비해나갈 생각이에요.

앞으로도 저의 걸음은 계속될 것입니다.
지금까지 그랬듯, 조급해하지 않고, 차근차근 제 길을 만들어가고 싶습니다.

[AI 부트캠프] 함께 성장하는 법, 피어세션에서 배운 것들

김 도경 — Wed, 19 Mar 2025 19:30:34 +0900

AI 부트캠프를 수강하면서 가장 인상적이었던 활동 중 하나가 바로 피어세션이었습니다.
혼자 고민하고 풀어내는 것도 중요하지만, 함께 이야기를 나누면서 배움을 확장할 수 있다는 점에서 매우 뜻깊은 시간이었죠.

저는 지금까지 총 7회의 피어세션을 진행하며, 다양한 주제에 대해 서로의 생각을 공유하고, 질문하고 답하는 과정을 통해 많은 것을 배웠습니다.

이번 글에서는 피어세션을 통해 얻은 것들, 효과적인 피어세션을 위한 팁, 그리고 앞으로의 부트캠프 수강생들에게 전하고 싶은 이야기를 정리해보려 합니다.

1. 피어세션의 기본 구성

팀명 선정

팀의 정체성을 반영할 수 있도록 개성 있는 팀명을 정하는 것도 주요한 과정

첫번째 팀이었던 Avengers...진짜 너무 잘했습니다.

역할 분배

팀장: 팀을 이끌고, 진행 방향을 조율하는 역할
서기: 회의록을 작성하고 기록을 남기는 역할
일정 관리자: 팀 미팅 및 주요 일정 조율
그룹 사진 촬영자: 활동 기록을 위한 사진 촬영
미션 제출 담당자: 경진대회나 프로젝트 관련 미션 제출 관리

팀장과 역할 정하기

목적과 목표 설정

주로 경진대회나 프로젝트 진행 목표를 설정
팀의 강점, 비전, 목표를 논의하고 공유
‘우리는 어떤 팀이 될 것인가?’에 대한 다짐을 한 줄로 정리
온라인 강의를 수강하며 얻은 인사이트 공유
진행 과정에서 회고(회고 세션)를 통해 배운 점을 나누기도 함

2. 자유 주제로 다양한 이야기 나누기

피어세션에서는 프로젝트나 학습에 대한 이야기를 나누는 것뿐만 아니라, 자유로운 주제로 서로의 생각을 공유하는 시간도 마련됩니다.
지금까지 진행된 자유 주제들을 보면, 팀원들의 개성과 관심사를 자연스럽게 알아가는 계기가 되었습니다.

지금까지 나온 자유 주제들
좋아하는 노래 한 곡
살아가며 도전해본 것
과정 중 가장 도움이 되었던 모듈
수료 후 계획
새해 인사
최근 관심 트렌드
이력서나 포트폴리오 준비 사항

이런 다양한 주제들 덕분에 팀원들이 단순히 프로젝트를 함께하는 사람들에서 벗어나,
서로를 이해하고 응원할 수 있는 관계로 발전할 수 있었습니다.

3. 피어세션을 통해 얻은 것들

피어세션을 진행하면서 단순한 팀 미팅이 아니라 함께 성장하는 시간이라는 점을 깨닫게 되었습니다.

처음에는 "이런 과정이 꼭 필요할까?"라는 의문도 들었지만, 팀원들과 생각을 공유하고 배우면서 배움의 폭이 확장되는 경험을 할 수 있었습니다.

무엇보다도 서로에게 배우는 과정이 인상적이었습니다. 피어세션을 통해 다양한 시각을 접하며 새로운 인사이트를 얻을 수 있었고, 모르는 개념을 서로 설명해주면서 배운 내용을 더욱 깊이 이해할 수 있었습니다.

또한, 이력서나 포트폴리오 준비에 대한 조언을 주고받으며 실질적인 도움을 받을 수 있었던 점도 매우 유익했습니다.

이 과정에서 팀워크와 소통의 중요성도 배울 수 있었습니다.

역할을 나누고 각자의 책임을 다하는 과정에서 협업 능력이 향상되었고, 다른 사람의 의견을 존중하고 조율하는 연습을 하면서 자연스럽게 소통의 기술도 익힐 수 있었습니다.

특히, 피어세션을 통해 경청하는 자세가 얼마나 중요한지를 다시 한번 느낄 수 있었습니다.

뿐만 아니라, 피어세션은 단순한 학습의 장을 넘어 동기부여와 심리적 안정감을 주는 시간이기도 했습니다.

같은 목표를 가진 사람들과 이야기를 나누면서 동기부여를 받을 수 있었고, "나만 이렇게 힘든 게 아니구나!"라는 공감을 얻으며 심리적인 안정감을 느낄 수 있었습니다.

이러한 과정을 통해 단순히 지식을 쌓는 것이 아니라, 함께 성장하고 있다는 느낌을 받을 수 있었습니다.

가장 기억에 남는 피어세션 이야기

지금까지 진행했던 피어세션 중에서 가장 기억에 남는 순간을 꼽자면, 첫 번째 피어세션과 네 번째 피어세션이 떠오릅니다.

첫 번째 피어세션은 오랜만에 완전히 새로운 사람들을 만나게 된 자리였기 때문에 무척 긴장되었습니다.
팀원분들의 경력도, 전공도, 살아온 배경도 모두 다 달랐는데, 각자의 이야기를 나누다 보니 긴장이 풀리면서 자연스럽게 친밀감이 형성되었습니다.
단순히 학습을 위한 모임이 아니라, 서로를 알아가는 과정 자체가 즐거웠던 기억이 납니다.

네 번째 피어세션은 제가 처음으로 팀장을 맡았던 순간이라 더욱 의미가 깊습니다.
사실 처음에는 "팀장은 저와 잘 맞지 않을 것 같아요!"라며 부담스러워했는데, 결국 역할을 맡게 되었습니다.
하지만 다행히도 팀원분들이 적극적으로 참여해 주시고, 함께 좋은 분위기를 만들어주셔서 즐겁게 진행할 수 있었습니다.
덕분에 피어세션이 끝난 후에도 오래도록 기억에 남는 경험이 되었습니다.

4. 효과적인 피어세션 진행 방법

피어세션이 단순한 잡담이나 형식적인 모임이 되지 않으려면 몇 가지 중요한 포인트를 지켜야 한다고 생각합니다.

저는 팀장을 맡았던 경험이 있었기 때문에, 어떻게 하면 피어세션을 더 효과적으로 운영할 수 있을지 고민할 기회가 많았습니다.

지금까지의 경험을 바탕으로 보다 원활하고 생산적인 피어세션 운영 방법을 정리해보았습니다.

먼저, 피어세션을 시작할 때는 가벼운 아이스브레이킹이 필요합니다.

처음 만나는 사람들과 어색한 분위기 속에서 이야기를 시작하는 것은 쉽지 않기 때문에, 간단한 질문을 던지는 것이 도움이 됩니다.

예를 들어, 요즘 관심 있는 것, 주말 계획, 최근 본 인상 깊은 콘텐츠 등에 대해 가볍게 이야기를 나누면 자연스럽게 분위기가 풀어지고, 이후의 대화도 원활해질 수 있습니다.

다음으로 중요한 것은 주제를 명확하게 정하는 것입니다.

"오늘은 어떤 이야기를 나눌 것인지?"를 미리 정해두면, 정해진 시간 내에 집중해서 논의할 수 있습니다.

자유 주제를 정할 때도 막연한 이야기보다 구체적인 주제를 정하는 것이 더 효과적이었습니다.

예를 들어, "이력서 피드백 받기", "요즘 관심 있는 AI 트렌드 공유"와 같이 구체적인 주제를 선정하면 참가자들이 각자의 경험을 공유하기가 수월하고, 논의의 흐름도 명확해졌습니다.

또한, 모든 사람이 발언할 기회를 가지도록 하는 것도 중요한 요소입니다.

일부 팀원들만 주도적으로 이야기하고 나머지는 듣기만 하는 경우가 종종 발생하는데, 이를 방지하려면 적절한 참여 유도가 필요합니다.

제가 팀장으로서 진행했던 방법 중 하나는 "한 명씩 돌아가면서 이야기하기"였습니다. 또는 자연스럽게 의견을 나누되, 특정 사람이 너무 오랫동안 이야기할 경우 적절히 균형을 맞추는 것도 필요했습니다.

이러한 과정에서 팀원들이 자신의 생각을 편하게 공유할 수 있도록 배려하는 것이 중요하다는 점을 깨달았습니다.

마지막으로, 회고(리뷰) 시간을 가지는 것이 피어세션의 완성도를 높이는 데 큰 도움이 되었습니다.

단순히 이야기하고 끝내는 것이 아니라, "오늘 피어세션에서 가장 인상 깊었던 내용은 무엇이었는가?"를 정리하는 시간을 가지면 배운 점이 더 명확해집니다.

또한, 앞으로 피어세션을 어떻게 개선할 수 있을지 함께 논의할 기회도 될 수 있습니다.

이러한 과정을 통해 피어세션이 단순한 모임이 아니라 지속적으로 발전하는 학습의 장이 될 수 있었습니다.

이처럼 피어세션을 효과적으로 운영하기 위해서는 분위기를 부드럽게 풀어주는 아이스브레이킹, 명확한 주제 설정, 모든 구성원의 참여 보장, 그리고 회고 과정이 중요하다는 것을 팀장 경험을 통해 깨달았습니다.

5. 앞으로 피어세션을 진행할 후배들에게 전하고 싶은 말

지금까지 진행했던 피어세션을 돌아보면, 처음에는 어색하고 부담스럽게 느껴질 수도 있습니다.

하지만 서로 배우고 성장하는 과정이라는 점을 깨닫게 되면, 피어세션을 더욱 의미 있게 활용할 수 있습니다.

"서로 질문하는 것을 두려워하지 말자."
"다양한 시각을 존중하고 열린 마음으로 듣자."
"단순한 팀 미팅이 아니라, 함께 배우고 성장하는 시간으로 만들어가자."

그외 기타! 매니져님들의 꿀팁 전수!

피어세션을 진행하면서 매니저님들이 남겨주신 한마디나 꿀팁도 정말 큰 도움이 되었습니다.

특히 경진대회나 프로젝트를 진행할 때, 어떤 방향으로 접근해야 할지 막막할 때가 많았는데, 매니저님들의 조언이 방향성을 잡는 데 많은 도움이 되었습니다. 예를 들어, "다양한 가설을 많이 세워볼 것"이라는 조언을 통해 고정적인 사고에서 벗어나 다양한 가능성을 열어두고 접근하는 것이 중요하다는 점을 깨달을 수 있었습니다.

또한, "결국, LLM이 흥수가 등장할 것"이라는 말처럼, 기술적인 부분에서도 미리 대비하고 준비해야 할 요소들을 짚어주셔서 실전에서 시행착오를 줄일 수 있었습니다. Hugging Face를 활용하는 팁이나, GPU 관련 문제를 사전에 대비해야 한다는 등의 실질적인 조언들이 굉장히 유익했습니다.

마지막으로, "가설을 세울 때는 주저하지 말고 실행해보라"는 매니저님의 조언처럼, 주어진 문제를 해결하기 위해 다양한 시도를 해보는 자세가 중요하다는 것을 다시 한번 깨닫게 되었습니다. 피어세션에서 이런 꿀팁들을 공유하면서 더 많은 인사이트를 얻을 수 있었고, 단순한 정보 교류를 넘어서 함께 성장하는 경험을 할 수 있었습니다.

피어세션을 통해 단순한 팀 미팅이 아니라, 함께 배우고 성장하는 과정이 얼마나 중요한지 깨닫게 되었습니다. 처음에는 어색하고 부담스럽게 느껴졌지만, 시간이 지날수록 서로의 생각을 공유하고 배우면서 점점 의미 있는 시간으로 자리 잡았습니다.

특히, 다양한 시각을 접하며 새로운 인사이트를 얻고, 협업과 소통의 중요성을 직접 경험할 수 있었던 점이 인상적이었습니다.

또한, 같은 목표를 가진 사람들과 고민을 나누고 해결해 나가는 과정에서 동기부여와 심리적인 안정감을 얻을 수 있었던 것도 큰 장점이었습니다.

무엇보다도, 피어세션을 단순한 형식적인 모임이 아닌 실질적으로 도움이 되는 시간으로 만들기 위해 노력하는 것이 중요하다는 점을 배웠습니다.

아이스브레이킹으로 분위기를 부드럽게 만들고, 주제를 명확하게 정하며, 모든 팀원이 적극적으로 참여할 수 있도록 배려하는 것이 피어세션의 효과를 극대화하는 방법이라는 것도 알게 되었습니다.

앞으로 부트캠프를 진행하는 후배분들도 피어세션을 적극적으로 활용하셨으면 좋겠습니다.

서로 질문하는 것을 두려워하지 않고, 다양한 시각을 존중하며 열린 마음으로 듣는다면, 단순한 팀 활동을 넘어 함께 성장하는 소중한 경험이 될 것입니다.

저 역시 이 경험을 바탕으로 앞으로도 적극적으로 배우고, 협업하는 자세를 유지하며 성장해 나가고 싶습니다.

피어세션에서 배운 것들을 실전에서도 잘 적용해보며, 더욱 의미 있는 학습과 경험을 쌓아가겠습니다.

데이터 수집시 주의사항

김 도경 — Thu, 6 Mar 2025 16:04:12 +0900

라이선스

저작권과 라이선스
- 인간의 지적 활동을 통하여 얻어진 무형적 재산(intangible property)을 ‘지식재산’이라고 하며 제작자에게 저작권, 특허권, 상표권 등의 ‘지식재산권’을 통해 그 권리를 보호함
- 이 중 ‘저작권(copyright)’은 창작물에 대하여 창작자(저작자)가 창작과 동시에 취득하는 권리를 뜻함
- 저작권법은 저작물의 그 목적, 형태 등에 관계없이 모두 동일한 수준의 독점적 권리를 제공함 … “All right reserved”
- 이러한 점을 보완하여, 법적인 해석이 모호해지거나 의도된 바와 다르게 사용되지 않도록 ‘라이선스(license, 이용허락)’를 통해 다른 사람이 저작물을 이용할 수 있는 권한을 부여함
- 물론 사용자는 저작자가 라이선스를 통해 정한 제약조건을 따라야 함
- 저작자 또한 자신이 의도하는 바를 확실히 하여 라이선스를 결정해야 함
Data-Centric AI에서 고려해야 할 라이선스 두 가지
- 코드 → 오픈 소스 라이선스 (OSL) 일반적인 콘텐츠에 사용되는 CCL은 부적합 단, 일부 CCL은 사용 가능
- CC BY-SA : GPLv3 단방향 호환
- CC0 Public Domain : 소프트웨어에도 사용 가능

- 데이터 → 크리에이티브 커먼즈 라이선스 (CCL)
- 일반적인 콘텐츠에 사용되는 CCL을 사용함
저작권과 CCL
- 저작권 (Copyright) : 시, 소설, 음악, 미술, 영화, 연극, 컴퓨터프로그램 등과 같은 ‘저작물’에 대하여 창작자가 가지는 여러 가지 권리의 전체

- 크리에이티브 커먼즈 라이선스 (Creative Commons License, CCL; 자유이용허락표시) : 비영리기구인 크리에이티브 커먼즈에서 만든 저작물 관련 라이선스

- 침해 사례 - 복제, 배포가 불가능한 창작물을 무단으로 도용하여 모델 학습에 사용
- 이용허락조건 : CCL은 아래의 네 가지 라이선스 요소들을 조합하여 만들어짐
1. 저작자 표시 (Attribution, BY) → 데이터 배포 시 저작자 표시 필요
- 저작자의 이름, 출처 등 저작자를 반드시 표시해야 한다는 필수 조건
- 저작물을 복사하거나 다른 곳에 게시할때도 반드시 저작자와 출처를 표시해야 함
2. 비영리 (Noncommercial, NC) → 연구 등의 비영리적 목적으로만 사용 가능
- 저작물을 영리 목적으로 이용할 수 없으며, 영리목적의 이용을 위해서는 별도의 계약이 필요함
3. 변경금지 (No Derivative Works, ND) → 원시데이터로 사용 불가
- 저작물을 변경하거나 저작물을 이용해 2차 저작물을 만드는 것을 금지
4. 동일조건변경허락(Share Alike, SA) → 동일한 조건으로 데이터를 배포해야 함
- 2차 저작물 창작을 허용하되, 원 저작물과 동일한 라이선스를 적용해야 함
오픈 소스 라이선스란
- 소프트웨어 라이선스 (Software License) : 소프트웨어를 사용, 복제 및 배포할 수 있는 권한과 조건을 규정한 계약 또는 법적인 문서
- 상용 소프트웨어의 경우, 사용자에게 라이선스를 부여하고 사용자는 그 대가를 어떻게 지ༀ할 것인지의 내용으로 구성됨

- 오픈 소스 소프트웨어 (Open Source Software, OSS; 공개SW) : 소스코드가 공개되어 있는 소프트웨어를 말하며, 일반적으로 자유롭게 복제/배포/수정할 수 있음
예) Linux 커널, 아파치 웹서버, Firefox 웹브라우저, MySQL

- 오픈 소스 라이선스 (Open Source License, OSL) : 오픈 소스 소프트웨어를 무료로 사용, 수정, 복제 및 배포할 수 있도록 하는 소프트웨어 라이선스
침해 사례 - Artifex vs. Hancom
- 한컴은 아티팩스가 개발한 오픈 소스 렌더러인 ‘Ghostscript’를 사용하였으나, 라이선스 조건을 준수하지 않음
- 아티팩스는 듀얼 라이선스를 Ghostscript에 적용하였는데, 이는 무료로 사용하되 수정된 소스 코드를 공개하거나 사용료를 내고 구매해야 하는 규정에 속했음
- 한컴은 Ghostscript를 사용한 PDF 변환기를 이용하였으나 소스 코드를 공개하거나 이용료를 지불하지 않음
- 아티팩스는 한컴을 소송하였고(2016.12), 한컴은 205만 달러(약 23억 원)의 합의໿을 지불하고 합의함
- 한컴은 아티팩스에서 요청한 2016년 8월 즉시 해당 코드를 소프트웨어에서 삭제하였으나 그간 사용한 로열티에 상응하는 대가를 지불해야 했음
BSD형 라이선스
- 비교적 오랜 역사를 가진 라이선스들로, 소스코드 제공 의무가 없으며 그 외의 의무사항도 비교적 간단함 라이선스를 만든 기관의 이름을 따 명명함
- BSD(Berkeley Software Distribution) License : 재배포에 대한 제약이 거의 없는 자유로운 라이선스
- Apache License : 특허 문제에 대한 명시적인 규정이 있으며, 아파치 재단에서 만든 소프트웨어들이 이를 사용함
- MIT License : BSD에서 파생된 라이선스로, 문구가 짧으며 상업적 사용에 대한 출처 표시도 의무가 아님
GPL형 라이선스
- 대부분 FSF(Free Software Foundation)에서 주도하여 만든 것으로, 카피레프트 조항과 소스코드 제공 의무를 가지고 있다는 점이 BSD형 라이선스와의 큰 차이점 카피레프트의 적용 범위 및 소스코드 제공 의무에 따라 아래의 세 가지로 나뉨
- GPL : 사용한 소프트웨어를 무조건 동일 라이선스 즉, GPL로 공개해야 함
- AGPL : 소프트웨어를 배포하지 않고 네트워크 서버에 의해 서비스를 제공하는 경우에도 소스코드 제공 의무가 적용됨
- LGPL : 라이브러리가 GPL을 사용할 경우 이를 활용한 모든 소프트웨어가 GPL로 배포되어야 한다는 문제를 해결하기 위해 해당 라이브러리를 이용한 응용프로그램은 소스 코드 공개 의무를 갖지 않도록 만듦
MPL형 라이선스
- 주로 기업들이 주도하는 오픈소스 프로젝트에서 사용하는 라이선스 처음부터 법률가들이 참여하여 만들었기 때문에 정교한 대신 복잡하고 이해하기 어려움
- MPL : GPL과 유사하나 보다 상세하게(파일 단위로) 라이선스의 적용 범위를 결정함
ex) MPL 코드가 사용되지 않은 코드 파일은 MPL 라이선스로 배포할 의무가 없음
- EPL : 프로그램의 모듈 단위로 라이선스의 기여 정도를 따져서 라이선스의 적용 범위를 결정함

개인정보보호

개인정보 1) 살아 있는 2) 개인에 관한 3) 정보로서 4) 개인을 알아볼 수 있는 정보
- 해당 정보만으로는 특정 개인을 알아볼 수 없더라도 5) 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보
1) 사망한 자, 법인, 단체 또는 사물 등에 관한 정보는 개인정보가 아님
2) 여럿이 모여서 이룬 집단의 통계값 등은 개인정보가 아님
3) 정보의 종류, 형태, 성격 등에 관련 없이 모두 개인정보가 될 수 있음
4) 특정 개인을 알아보기 어려운 정보는 개인정보가 아님 : 이 때, ‘알아보기 어려운’의 주체는 해당 정보를 처리하는 모든 사람에 해당함
5) 결합 대상이 될 다른 정보의 입수 가능성과 결합 가능성이 높아야 함
예) 차량번호 : 자동차등록원부 등 다른 정보와 쉽게 결합하여 개인을 알아볼 수 있음
- 만일 결합하는 데에 상당한 시간, 비용 등이 든다면 이는 개인정보에 해당하지 않음
개인정보의 종류
- 개인의 정보는 다양한 법령에 의해, 다양한 방식으로 보호받고 있음
- 고유식별정보 : 개인을 고유하게 구별하기 위해 식별된 정보로, 일반개인정보와 구분⋅관리해야 함 (개인정보 보호법 제24조)
○ 주민등록번호, 여권번호, 운전면허번호, 외국인등록번호
- 민감정보 : 사상⋅신념, 노동조합⋅정당가입⋅탈퇴, 정치적 견해, 건강정보, 성생활 등에 관한 정보 (개인정보 보호법 제23조)
○ 건강정보 : 개인의 건강, 병력 등에 관한 정보
○ 생체정보 : 개인의 신체적, 생리적, 행동적 특징에 관한 정보 (개인정보 보호법 시행령 제18조)
○ 결제정보 : 입금내역, 결제기록 등의 금융 정보 (신용정보법, 전자상거래법 등)
- 개인위치정보 : 개인의 위치에 관한 정보 (위치정보법)
- 개인영상정보 : 영상정보 중 개인의 초상, 행동 등 개인을 식별할 수 있는 정보 (개인정보 보호법 제2조)
개인정보 침해 사례
- 기존에 업체가 서비스했던 연애⋅심리 관련 앱(A)을 통해 수집한 실제 카카오톡 대화 내역을 데이터로 활용하여 챗봇(B)을 제작 → 개인정보를 챗봇에게 물어보면 대답해주는 문제가 발생 → 1억 원 상당의 과징금·과태료 행정 처분
AI 관련 개인정보보호 6대 원칙@ 개인정보위원회

개인정보 비식별화 (De-Identification)
- 개인정보 내에서 개인을 식별할 수 있는 요소를 제거하여 특정 개인을 알아볼 수 없게 하는 조치
도메인별 비식별화 방법
- 수치형 데이터 : 데이터 범주화, 라운딩 등
- 이미지·동영상 데이터 : 모자이크·블러 처리, 크롭(자르기) 등
- 텍스트 데이터 : 이름, 민감정보 키워드 데이터 변환 등
- 음성 데이터 : 크롭(자르기) 등

윤리

인공지능의 사회적 영향력
- 인공지능의 ༀ격한 발전은 사회 전반에 긍정적으로도, 부정적으로도 지대한 영향을 미치고 있음
인공지능의 윤리적 이슈들
→ 향후 어떤 AI⋅로봇 관련 윤리적 이슈가 부상할지 예측하기 위해 빅데이터 분석과 미래연구 기법을 활용해 도출한 이슈들
- 2017년 연구임에도 여전히 해결되지 않은 문제들 산재
- 나아가 실제 인공지능 기반 서비스들이 배포되면서 ‘알고리즘 차별’, ‘선정성’ 등의 이슈도 함께 대두됨
- 대체로 의도하지 않았으나 발생한 문제들
인공지능 윤리 기준
- 이러한 이슈를 미연에 방지하기 위해, 과학기술정보통신부와 정보통신정책연구원에서는‘인공지능(AI) 윤리기준’을 발표 (20.12.23)
- 인공지능 윤리의 기준들 또한 데이터와 밀접한 관계를 맺고 있음
데이터 윤리의 필요성
- MIT Moral Machine : 인간은 자신의 문화권에서 습득한 경험과 지식에 영향을 받음
- Speech2Face : 마찬가지로, 인공지능은 학습에 사용된 데이터에 영향을 받음
데이터 편향성 : 데이터의 분포가 어느 한 쪽으로 치우쳐진 상태 혹은 그러한 정도
- 데이터가 편향되어 있을 경우, 이를 학습에 사용한 딥러닝 모델 또한 의도치 않게 편향된 결과를 도출할 수 있음 ( ∵ 딥러닝 모델 학습의 근간은 베이지안 추론이므로 )
- 이를 그대로 서비스에 적용할 경우, 불공정한 차별을 발생시킬 수 있음
데이터 편향성 사례
- 인종 차별 사례 - 피부색에 따른 얼굴인식시스템의 인식률 차이 발생
- 성별 차별 사례 - 이미지 검색 결과
- 지역 차별 사례 - 범죄 발생 가능 지역 예측
데이터의 편향성을 줄이는 방법
- 데이터 다양성 확보 및 균형 조정 : 다양한 소스에서 데이터 수집, 불균형한 데이터 라벨에 대해서는 분포를 조정
- 편향을 감지 및 수정해주는 모델 사용 : 모델이나 데이터의 편향을 감지하고 수정해주는 robust한 알고리즘 및 모델을 활용
- 투명성과 책임성을 강조하여 서비스 운영 : 인공지능 시스템의 작동 원리와 의사 결정 과정을 투명하게 설명하고 책임을 지는 방안
사회적으로 문제가 될 수 있는 요소들
- 아래와 같은 유해한 요소들을 탐지하는 문제를 ‘Toxicity Detection’ 혹은 ‘Explicit Content Detection’이라고 함
- 특히 텍스트 데이터일 경우는 ‘Hate Speech Detection’이라고 하며, 선정적 요소를 찾는 문제에는 노출의 정도를 찾는 ‘Nudity Detection’ 등이 있음

데이터 수집

김 도경 — Thu, 6 Mar 2025 15:52:37 +0900

데이터 수집 방법 원시 데이터는 기본적으로 아래의 수집 방법들을 통해 수집이 됨

직접 수집
웹사이트로부터 크롤링
오픈 소스 데이터 활용
크라우드 소싱을 통한 데이터 수집

수집하고자 하는 데이터의 특성 및 환경에 따라 서로 다른 방식의 수집 방법이 필요함

따라서, 원하는 데이터를 구축하기 위해 둘 이상의 방식으로 원시 데이터를 수집할 수도 있음

기수집된 데이터의 활용

수집한 데이터의 양을 늘리는 방법 하나 이상의 방법으로 수집된 데이터를 아래의 방법을 통해 가공하여 양을 늘릴 수 있음

데이터 혼합 (Data Blending)
- 둘 이상의 소스에서 확보한 데이터를 합쳐서 하나로 사용하는 방법
- 유사한 종류의 데이터를 합쳐서 하나의 더 큰 데이터로 만드는 방식
- 여러 종류의 데이터를 합쳐서 새로운 문제에 맞는 데이터를 만드는 방식
데이터 증강 (Data Augmentation)
- 확보한 데이터를 변형(transform)하여 새로운 데이터를 생성하는 방법
- 데이터의 도메인에 따라 그에 적합한 데이터 증강 기법들이 다름
데이터 합성 (Data Synthesis)
- 기존의 데이터를 활용하여 가상의 데이터를 새로이 생성하는 방법
- 기학습된 딥러닝 모델을 활용하는 경우가 많아짐

직접 수집

- 본인을 포함한 주변인들로부터 쉽고 간단한 방법으로 데이터를 수집하는 방법
- 주변에서 흔히 접할 수 있는 기기를 이용한 수집이 가능

이미지/영상 데이터 : 스마트폰, 카메라 등을 통해 찍은 사진, 스캐너를 통해 스캔된 문서 등
텍스트/음성 데이터 : 워드 등을 통해 작성된 문서 파일, 녹음기를 통해 녹음한 음성 파일 등
센서 데이터 : 스마트 워치를 통해 수집된 가속도 센서, GPS 등

직접 수집 방식의 한계 : 원시 데이터를 주변으로부터 직접 수집할 경우 아래와 같은 문제가 발생할 수 있음

수량 ○ 딥러닝 모델을 학습하는 데에 충분한 양의 데이터를 확보하지 못할 수 있음
품질 ○ 일정 수준 이상으로 복잡한 데이터를 수집하는 데에 한계가 있음 ○ 데이터를 수집할 수 있는 수단(기기 등)의 종류가 매우 적음
편향 ○ 주변인이 모집단을 대표하지 못하므로, 데이터에도 편향이 생길 수 있음
전문성 ○ 특정 기준을 만족하는 작업자들을 모집한 게 아니므로 전문성이 떨어질 수 있음

크롤링

크롤링 (Crawling); 웹 크롤링(Web Crawling)
- 인터넷에서 정보를 수집하기 위해 자동화된 방식으로 웹페이지를 탐색하는 과정
- 마치 거미가 거미줄 위를 돌아다니는 것처럼, 인터넷 망을 돌아다니면서 정보를 수집한다는 의미를 지님 ‘스파이더링(spydering)’
- 웹 크롤링을 위해 작성된 프로그램을 웹 크롤러(web crawler)라고 함
크롤링의 프로세스
- 크롤링의 전체적인 흐름은 아래와 같으며, HTML을 수집하고 정제하는 과정에서 발생하는 예외들에 대해 지속적으로 검토해야 함
1. 웹사이트 구조 파악 : 크롤링할 웹사이트의 계층 구조, URL 패턴, 페이지 간의 관계 등을 파악
2. 크롤링 도구 선택 : BeautifulSoup, Scrapy, Selenium 등의 파이썬 라이브러리 중 어떤 것을 사용할 것인지 결정
3. URL 수집 : 크롤링할 웹사이트의 주요 페이지 URL을 수집하여 크롤링할 URL 목록을 구성
4. HTTP 요청 및 다운로드 : 선택한 크롤링 도구로 대상 URL에 HTTP GET 요청을 보내고 HTML 소스코드를 다운로드
5. 데이터 추출 : HTML 소스코드를 분석하여 필요한 데이터를 추출
- 이때, CSS 선택자나 XPath를 사용하여 원하는 HTML 요소를 추출함
6. 데이터 가공 : 추출한 데이터를 원하는 형태에 맞게 가공함
7. 데이터 저장 : 가공된 데이터를 크롤링한 데이터를 로컬 파일 또는 데이터베이스에 저장
8. 4 ~ 7번 과정을 반복
크롤링 시 주의사항
- 크롤링 전 주의사항
● 저작권 등의 권리 침해 여부 확인
● API 제공 여부 확인 예) YouTube : 구글에서 제공하는 YouTube Data API를 활용하여 빠르게 다양한 정보를 수집 가능

- 크롤링 소스코드 작성 시 주의사항
● IP 차단 방지 : 지나치게 자주(빠르게) 크롤링할 경우 해당 웹사이트에 대한 공격으로 간주될 수 있음
- 이를 방지하기 위해 코드를 일정 시간 동안 일시정지시키는 time sleep 계열 함수를 활용
도메인별 크롤링 수집하고자 하는 데이터의 도메인에 따라 크롤링이 활용되는 빈도가 다름
- 이미지/영상 … 저작권, 보안, 용량 등의 이슈로 크롤링 하기 가장 어려운 데이터
- 시계열 … 주식과 같은 데이터는 크롤링 방식으로 수집하는 것이 가장 효과적
- 텍스트 … 최근 NLP 분야가 LLM 위주로 발전함에 따라 크롤링을 통한 대용량의 텍스트 수집이 흔히 이루어짐
이미지/영상 데이터
- 크롤링하기 매우 까다로운 데이터
- 저작권 : 영리적 사용이 가능한 경우가 매우 드물며, 특히 Novel AI가 부상한 이후 상당히 민감한 주제가 됨
- 보안 : 웹사이트 내에서 html을 통해 해당 파일에 직접 접근하지 못하는 경우가 상당수
- 크기 : 크롤링을 통해 확보하기에는 각각의 샘플이 차지하는 용량이 큼

따라서, 저작물에 해당하지 않는 경우나 해당 웹사이트로부터 직접적인 허가를 받은 경우 등에만 크롤링이 가능
- 저작물에 해당하지 않는 경우 : 상품 사진, 저작권 보호기간을 지난 명화 사진 등
- 저작물에는 해당하나 특정 조건 하에 허용되는 경우
- 영화 포스터, 브랜드 로고 (비영리적 목적으로 복제권, 상표권 등을 침해하지 않게 사용하는 경우
- 정부부처 로고 저작권법 제24조의2 (공공저작물의 자유이용)
시계열 데이터 … 주식 데이터
- 주식 데이터는 매일 실시간으로 정보가 누적되기 때문에, 오픈 데이터 등을 활용한 수집보다 크롤링 방식을 통해 최신 데이터를 주기적으로 수집하여 누적하는 방식이 효율적
- 주가 예측 관련 연구들을 살펴보면 특정 벤치마크 데이터셋을 활용하는 방식이 아닌, 기존 연구에서 데이터를 수집 및 전처리한 방법을 재현하여 연구 성과를 비교함

- 수집 주기 (대체로 일별 시가/종가/고가/저가/거래량을 사용)
- 학습 및 테스트 데이터 분할 시점 (예. 2022년 12월 31일까지를 학습에 사용)
- 전처리 방식 (예. 5, 20, 60, 120일 이동평균값을 사용)
텍스트 데이터
- 웹사이트에 존재하는 텍스트를 크롤링하여 사용하는 경우, 대개 그 특성이 명확하여 특정 태스크에 사용되는 경우가 많음 (LLM을 사전 학습하기 위해 대량의 텍스트를 크롤링하는 경우 제외)
HTML (Hyper Text Markup Language)
- 웹페이지를 표현하기 위해 사용되는 대표적인 마크업 언어(markup language)
- 아래와 같은 문법을 따르고 있으며, 태그(<>)를 통해 문서의 계층 구조를 표현함
- 인터넷 브라우저에서 제공하고 있는 ‘개발자 모드’를 통해 확인 가능 (윈도우 : Ctrl + Shift + I / 맥 : Command + Option + I)
파이썬 크롤링 라이브러리
- Requests : http 요청(request)을 주고 받기 위해 만들어진 라이브러리
- BeautifulSoup : requests 등을 통해 받은 html 자료에서 데이터를 추출하는 데에 사용되는 라이브러리
- Scrapy : 크롤링을 위해 만들어진 프레임워크로, 다양한 기능 및 플러그인을 지원하는 라이브러리
- Selenium : 웹 자동화 테스트용 도구로, JavaScript를 렌더링하고 동적 페이지를 스크랩할 때 유용한 라이브러리
- PyQuery : jQuery와 유사한 구문을 사용하여 웹 페이지에서 데이터를 추출하는 파이썬 라이브러리

오픈 소스

오픈 소스 소프트웨어 : 누구나 특별한 제한 없이 코드를 보고 사용할 수 있는 오픈 소스 라이선스를 만족하는 소프트웨어
오픈 소스 데이터 :오픈 소스 소프트웨어처럼, 누구나 특별한 제한 없이 접근 및 이용이 가능한 데이터/데이터셋
오픈 소스 데이터의 필요성
- [ 데이터를 활용하는 입장 ] : 데이터 수집 방법 중 오픈 소스 데이터를 사용하는 것이 가장 쉽고 빠른 방법
- 다운로드 버튼을 누르기만 하면 바로 사용할 수 있음
- 사용에 대한 제약이 매우 적은 편
- 수많은 데이터셋이 이미 공개되어 있음 (ex. Kaggle : 25만 개 이상 (23.09.14 기준))
- 연구된 모델 간 성능을 비교하기 적합함 : 대부분의 연구는 오픈 소스 데이터를 벤치마크(benchmark)로 활용하고 있음

[ 데이터를 구축하는 입장 ]
- 이미 존재하는 오픈 데이터셋을 그 자체로 활용하거나 수집된 방식을 참고함으로써, 자신의 목적에 맞는 데이터를 보다 쉽고 효율적으로 구축할 수 있음
오픈 소스 데이터 플랫폼 (국내)
- 통계데이터 개방
- (2007) 국가통계포털(KOSIS, KOrean Statistical Information Service) 홈페이지 오픈
- (2016) 행정자료이용센터 오픈 → (2020) 통계데이터센터로 명칭 변경

- 공공데이터 개방
- (2011) 국가공유자원포털 오픈 → (2013) 공공데이터포털로 명칭 변경
- (2012~) 서울 열린데이터광장, 식품안전나라 등 다양한 국가기관에서 공공데이터 홈페이지 오픈

- AI 인프라 구축
- (2018) AI 허브 홈페이지 오픈
- (2019~) 매년 인공지능 데이터 구축 사업 진행
오픈 소스 데이터 플랫폼 (해외)
- Kaggle
- 데이터 과학 및 머신러닝 관련 대회(competition) 플랫폼
- 다양한 오픈 소스 데이터셋과 경진 대회를 확인할 수 있으며, 사용자들이 Kaggle 내에서 작성한 노트북도 확인 가능함
- PapersWithCode
- 연구 논문과 그에 따른 코드를 함께 제공하는 플랫폼으로, 최신 머신러닝 모델 및 데이터셋에 관한 정보를 확인 가능
- UCI ML Repo
- UCI 대학에서 호스팅하는 머신러닝 관련 데이터 저장소로, 전통 머신러닝과 관련한 데이터셋을 한 번에 확인할 수 있음
- 국가별 공공데이터 포털

크라우드소싱

크라우드소싱 (Crowdsourcing) 기업
- 활동의 일부 과정에서 일반 대중을 참여시키는 것 ⇒ 인공지능 데이터를 구축하는 과정에서 데이터를 수집하거나 라벨링할 때 일반 대중을 작업자로 활용
크라우드 워커 (Crowd Worker)
- 기업의 업무 용역을 대행 수행하고 그에 상응하는 일정 대가를 받는 일반인 작업자
- 집 혹은 재택근무 등의 형태로도 업무 수행이 가능하며, 자유롭게 할당된 과제물을 수행하는 경우가 많음
크라우드소싱 프로세스 예시
- 크라우드웍스
- 셀렉트스타
국내 크라우드소싱 업체 목록
- 딥네츄럴 (DeepNatural)
- 셀렉스타(SELECTSTAR)
- 크라우드웍스(Crowdworks)
- 텍스트넷(TEXTNET)
해외 크라우드소싱 업체 목록
- Amazon Mechanical Turk (MTurk) @ 미국
- Appen Limited @ 호주
- Clickworker GmbH @ 독일
- Figure Eight Inc @ 미국
- Lionbridge AI @ 미국
- Sama AI @ 미국
- Scale AI @ 미국

데이터 구축 기획서

김 도경 — Thu, 6 Mar 2025 15:39:09 +0900

데이터 구축 기획서의 작성

데이터 구축 기획서의 목적
인공지능 학습용 데이터의 기획 인공지능 학습용 데이터를 구축하기 위해서는 여러가지 사항이 고려되어야 함
- 어떤 문제를 해결하기 위한 데이터인가?
- 어떤 방식으로 해당 데이터를 수집할 수 있는가?
- 수집 방식에는 문제가 없는가?
- 얼마나 많은 양의, 그리고 양질의 데이터를 수집해야 문제를 해결할 수 있는가?
- 수집한 데이터를 어떤 방식으로 정제할 것인가?
- 어떤 라벨을 누구로부터 어떻게 수집하는 것이 적절한가?
- 수집하는 데에 얼마나 많은 비용이 드는가?
데이터 구축 기획서의 구조
- 데이터 구축 기획서를 작성하는 이유
  - 명확한 방향 설정 : 기획서를 작성하는 과정에서 현황에 대한 분석이 이루어지고, 해당 데이터의 필요성과 목표 등에 대한 내부 합의를 이뤄낼 수 있음
  - 리소스 및 일정 관리 : 데이터 구축에 필요한 인적⋅물적⋅금전적 자원이 어느 정도인지, 그리고 이를 언제 어떻게 활용하여 마감 내에 완수할지를 결정함
  - 품질 관리 : 데이터의 명세를 작성함으로써 목표하는 품질의 데이터를 수집하기 위한 전처리 방법 등을 미리 모색하고 리스크를 방지할 수 있음
  - 갈등 방지 : 구체적인 기획서를 작성하는 과정에서 예산 및 리소스에 대한 의견을 수합하고 향후 발생할 수 있는 문제들에 대한 사전 논의를 통해 갈등을 방지할 수 있음

데이터 구축 기획서의 구성

데이터 요약
1) 구축 목적, 방법, 규모
- 구축 목적 ○ 연구 분야 ○ 산업 분야
- 구축 방법 ○ 데이터 구성 ○ 데이터 수집장비 & 방법 ○ 데이터 가공방법
- 구축 규모 ○ 데이터 수량 ○ 데이터 형태

2) 데이터 명세서
데이터 구축 개요
1) 요약 : 각 공정의 결과물이 되는 원시, 원천, 라벨링데이터에 대한 요약 표
2) 데이터 구축 공정 : 데이터 수집부터 모델 학습에 이르기까지 모든 단계를 흐름을 요약한 표 또는 그림
데이터 수집
1) 원시데이터 정의 : 데이터 구축 목표를 만족하도록 원시데이터의 유형, 포맷 및 규모에 대해 정의
2) 데이터 수집 절차, 장소 및 도구 : 원시데이터 획득/수집을 위한 대상 및 수집 방법, 필요한 장소 및 도구를 기술
3) 데이터 수집 조직 : 컨소시엄 내 데이터 수집 담당 조직 및 담당자 기술
4) 데이터 수집 기준 : 여러 데이터 품질 기준을 고려하여 수집 기준을 정하고 이를 서술
데이터 전처리
1) 원천데이터 정의 (원시데이터 정의와 유사) 데이터 구축 목표를 만족하도록 원천데이터의 유형, 포맷 및 규모에 대해 정의
2) 데이터 정제 절차 : 데이터 전처리를 어떻게 진행할 것인지 그 절차를 수집할 데이터마다 따로 기술
3) 데이터 정제 방법 : 사용할 전처리 방법을 모두 표시 및 작성
4) 데이터 정제 조직 (데이터 수집 조직과 유사) 컨소시엄 내 데이터 전처리 담당 조직 및 담당자 기술
5) 데이터 정제 기준 (데이터 수집 기준과 유사) 데이터 전처리의 기준 및 가이드라인 첨부
데이터 라벨링
1) 라벨링데이터 정의 : 데이터의 라벨링 수량, 방식, 포맷 등을 기술
2) 데이터 가공 절차 : 어노테이션 포맷 및 라벨링데이터 저장 형식/구조, 라벨링 절차 등에 대한 내용을 구체적으로 제시
3) 데이터 가공 도구 : 데이터 라벨링 방식 및 라벨링 작업을 위한 도구에 대해 서술
4) 데이터 가공 조직 (데이터 수집,정제 조직과 유사) 컨소시엄 내 데이터 전처리 담당 조직 및 담당자 기술
5) 데이터 가공 기준 : 데이터 라벨링의 기준 및 가이드라인 작성
6) 라벨링데이터 저장 : 원천데이터 및 어노테이션을 어떻게 저장할 것인지에 관한 방법 작성
학습모델 적용
1) 학습모델 임무 정의 : 데이터 구축 목표를 만족하는지 확인할 수 있는 학습모델의 임무 종류에 대해 정의
2) 학습모델 후보군 선정 : 데이터 구축 목표를 만족하는지 확인할 수 있는 학습모델의 후보군을 최소 2개에서 최대 5개까지 선정

데이터 구축 프로세스

김 도경 — Tue, 18 Feb 2025 15:03:21 +0900

데이터 구축 프로세스

데이터 구축 파이프라인

데이터 수집 = 원시 데이터 수집 (Raw Data Collection)
- 원시 데이터 수집 방법 : 직접 수집, 웹사이트로부터 크롤링, 오픈 소스 데이터 활용, 크라우드 소싱을 통한 데이터 수집

- 데이터의 타당성 검토
- 저작권을 침해하는 데이터를 포함하고 있는지 여부 검토
- 개인정보를 포함하는 데이터를 포함하는지 여부 검토
- 윤리적인 문제가 발생할 수 있는 데이터인지 여부 검토

- 데이터 다양성 확보 획득하는 데이터가 일부 범주에만 치우치지 않고 가능한 다양한 시간, 공간, 집단 수준 등을 포함하도록 구성해야 함
- 데이터 편향 방지 및 윤리 준수 인공지능 모델이 사회적 윤리를 준수할 수 있도록 비윤리적 내용, 편견, 편향된 데이터의 수집을 지양해야 함
- 사실적 획득/수집 환경 구성 인위적인 환경이나 조건에서 수집해야 하는 경우, 실제 환경이나 상황적 특성을 최대한 반영하여 수집 환경을 구성해야 함
- 법⋅제도 준수 원시 데이터 수집 시 관련 법이나 제도적 규정을 따라 수집해야 함 예) 개인정보가 포함된 데이터 수집 시 수집 및 활용에 동의받은 데이터만을 수집, 허가가 필요한 구역에서는 사전 허가를 받고 데이터를 수집
데이터 전처리
- 수집한 원시 데이터를 원천 데이터로 만들기 위해 가공 및 정제하는 단계

- 데이터의 품질 확보
- 수집된 원시 데이터를 양질의 원천 데이터로 만들기 위해 아래와 같은 전처리 과정을 수행하여 데이터의 품질을 확보
- 품질 기준 마련 : 구축 목적에 알맞은 데이터를 선별하기 위한 명확한 기준을 수립하고, 기준미달의 데이터를 효과적으로 제거해야 함
- 개인정보 비식별화 : 개인정보를 포함한 데이터의 경우, 데이터 내 정보의 손실이 일어나지 않도록 주의하며 해당 정보를 비식별화 처리함
- 중복성 방지 : 유사한 데이터 및 특성이 없는 데이터를 제거하여 양질의 데이터를 추구함

- 데이터 스키마 설계 (Design Data Schema)
- 데이터를 데이터베이스에 어떻게 저장할 것인지의 구조(schema)를 설계하는 과정
- 데이터를 구축하는 관점에서, 이는 어떻게 데이터 라벨링을 진행할지 등에 대해 기획하고 데이터셋이 필요로 하는 정보를 모두 담을 수 있도록 주석(annotation) 작업을 설계하는 과정
- 의미 분할 (semantic segmentation) … 어느 정도 수준으로 분할할 것인지
- 어느 정도의 양으로 정보를 압축할지
- 추출 요약(extractive summarization)을 할 것인지, 추상 요약(abstractive summarization)을 할 것인지
- 자동화할 수 있는 부분(→pseudo-labeling)과 인간이 직접 입력해야 하는 부분(→labeling)을 분리하는 것이 중요
- 문서 요약 (document summarization) … 어느 정도 양으로 정보를 압축할 것인지, 추출 요약 vs. 추상 요약
- 감성 분석 (sentiment analysis) … 전체 텍스트에 대한 한 개의 라벨링 vs. 텍스트에서 언급하는 요소별로 라벨링
데이터 라벨링
- 원천 데이터를 라벨링하기 위한 기준을 마련하고, 이를 바탕으로 체계적이고 통일된 라벨을 부여하는 단계
- 가이드라인 작성 및 작업자 교육
- 데이터 라벨링 체계를 설계하고, 이를 작업자(annotator)들에게 문서화하여 전달하는 단계
- 데이터 구축 목적 정의, 사용 용어 정의, 데이터 구축 시 고려사항 등을 서술해야 함
- 작업자에게 필수로 공개해야 하는 정보와 부가적인 정보가 무엇인지 사전에 고려해야 함
- 라벨링 체계를 설명할 때 구체적인 예시를 첨부하는 것이 중요함
- 구축과 검수 과정을 통해 지속적으로 개정하고, 어떤 것이 변화하였는지 버전 관리가 필요함

- 데이터 라벨링 실시
- 시범 구축 및 본 구축의 2단계로 나누어 진행하는 것이 데이터의 품질 향상에 많은 도움을 줌
- 파일럿 테스트를 통한 소규모 데이터 구축 시 장점
- 데이터 스키마 설계 시 발견하지 못한 이슈 및 문제점을 사전에 파악하고 개선
- 가이드라인을 보완 및 개정한 후, 데이터셋의 구축 목적을 고려하여 작업자를 선정하는 것이 가능
- 잘 설계된 Data Labeling Tool을 통해 데이터를 라벨링 하는 것이 핵심
- Quality Control : 일관성 있고 정확한 데이터를 생성할 수 있는지
- Efficiency : 시간을 단축하여 효율적으로 데이터를 쉽게 구축할 수 있는지
- Scalability : 여러 작업자가 동시에, 대규모 데이터를 처리할 수 있는지
데이터 클렌징
- 라벨링된 데이터의 품질을 검수하고 기준 이하의 데이터를 정제하는 최종 클렌징 단계

- 데이터 내재적 요소 검수
- 최종 데이터가 가이드라인을 잘 따라 만들어졌는지, 작업자들 간 라벨링이 일치하는지를 평가하여
- 이를 만족하지 못하는 데이터를 정제하는 단계
- Inter Annotator Agreement(IAA)라는 평가 지표를 통해 확인 가능

- 데이터 외재적 요소 검수
- 데이터의 외재적 요소들을 확인 및 정제하는 단계
- 데이터 다양성, 신뢰성, 충분성, 윤리 적합성 등 앞서 살펴본 모든 요소들
- 외부 자문위원들을 통해서 진행하는 것이 가장 이상적
- 기관생명윤리위원회 (Institutional Review Board, IRB) : 인간 대상 연구인 경우 IRB 기관 승인이 필요
- 한국정보통신기술협회 (Telecommunications Technology Association, TTA) : 인공지능 학습용 데이터 구축 사업의 일환으로 수집되는 데이터들은 모두 TTA로부터 구축 계획서부터 완료 시점까지 지속적인 품질 검수 절차를 밟음
데이터 스플릿
- 원천 데이터 및 라벨링 데이터를 배포하기 위해 분할하는 단계
- 학습, 검증 및 테스트 데이터로의 분할
- 데이터 샘플링 기법을 활용하여 전체 데이터셋을 학습, 검증, 테스트 데이터로 3분할 진행
데이터 릴리즈
- 데이터의 구축 의도에 맞는 배포처를 정하고, 데이터의 활용에 필요한 정보를 담은 문서를 제작하여 배포하는 단계
- 최종 데이터 배포 : 최종 데이터 산출물을 전달 혹은 배포하는 단계

- 배포할 내용
- 원천 데이터 및 라벨링 데이터
- 버전 관리 체계에 맞는 버전 및 로그 기록
- 데이터셋의 라벨 분포를 비롯한 샘플 데이터의 형태
- 데이터 분석서 및 품질 평가서

- 어디에 배포할 것인지?
- 고객사 or 사내 모델개발팀
- 저널 or 학회
- 오픈소스 플랫폼(허깅페이스(Huggingface), 캐글(Kaggle), ...)

데이터 구축 프로세스의 진행

데이터 구축 사이클
- 소프트웨어 개발 사이클과 유사하게, 데이터 구축에도 데이터의 특성에 맞는 사이클이 존재함

- 폭포수 모델 (Waterfall Model)
- 순차적인 소프트웨어 개발 프로세스로, 개발의 흐름이 마치 폭포수처럼 지속적으로 아래로 향하는 것처럼 보이는 데서 유래됨
- 이전 단계가 마무리되어야 다음 단계로 나아갈 수 있으며, 단계별 정의 및 산출물이 명확함
- 대량의 리소스가 필요하여 빠른 이터레이션을 돌리기에 부적합한 데이터의 경우
- 데이터 구축 과정에서 가이드라인 등의 변화가 생길 가능성이 적은 경우

- 나선형 모델 (Spiral Model)
- 순환적인 소프트웨어 개발 프로세스로, 일련의 개발 과정이 나선형을 그리며 반복된다는 점에서 유래됨
- 단순히 순환하는 것이 아닌, 나선형으로 다루고자 하는 범주를 확장해 나가면서 리스크를 줄임
- 소량의 고품질의 데이터를 만들어 빠르게 이터레이션을 돌리기에 적합한 경우
- 리스크를 최대한 줄여야 하는 중요한 데이터 구축 사업인 경우
- 데이터 구축을 장기간에 걸쳐 진행할 수 있는 경우

- 프로토타입 모델 (Prototype Model)
- 애자일 모델 (Agile Model)
데이터 구축 프로세스의 특징
- 일반적인 소프트웨어 구축 프로세스보다 유연성이 높음
- 이전 프로세스 단계로 돌아가는 과정이 어렵지 않음
- 예외 상황이 발생하기 쉬우며 이에 유연한 자세로 대처할 수 있어야 함

- 어떤 모델을 사용하는지에 관계 없이 모든 데이터 구축 프로세스는 직렬적이지 않은 흐름으로 진행됨
- 전처리를 하다가 충분한 양의 데이터가 확보되지 않으면 다시 데이터 수집 단계로 돌아갈 수도 있고,
- 라벨링을 하다가도 데이터에 문제가 있으면 전처리로 돌아가야할 수도 있고,
- 릴리즈를 했더라도 모델 성능이 낮으면 데이터 추가를 위해 수집 단계부터 재진행 할 수도 있음

Data-Centric AI의 미래

김 도경 — Tue, 18 Feb 2025 14:50:48 +0900

Data-Centric AI의 미래

Foundation Model의 시대
- 2022년 11월 30일 ChatGPT가 세상에 공개된 이후로, Data-Centric AI에서도 LLM을 중심으로 많은 변화가 시작되었음
- 즉, LLM과 같은 Foundation Model에 필요한 데이터들에 집중하기 시작!
Foundation Model
- 라벨링이 되어 있지 않은 대규모 데이터 기반으로 학습된 모델로, 다양한 다운스트림 문제에 적응시켜 사용할 수 있음
Data-Centric AI의 미래
- 이러한 Foundation Model의 시대를 맞이하여, Data-Centric AI에서 유의 깊게 살펴봐야 할 키워드는 다음과 같음

Multilingual

Unilingual LM
- 트랜스포머 이전에는 둘 이상의 언어로 이루어진 데이터나 이를 학습한 모델이 거의 없었음

1) 과거에는 LSTM 기반의 seq2seq 모델이 주를 이루었음
- 여러 언어를 하나로 인코딩하기에는 LSTM 모델의 학습이 매우 오래 걸렸고
- 모델의 사이즈 또한 지금의 트랜스포머만큼 무한정 키울 수 없었음

2) 기계 번역을 제외하고 다중언어에 대한 수요 자체가 적었음
- 데이터 내에 두 언어만 존재해도 충분히 ‘다중언어 데이터’라고 칭할 수 있었음
예) Multi30K: Multilingual English-German Image Descriptions
Multilingual LLM
- 트랜스포머 이후로는 다중언어 모델에 대해 꾸준히 연구되어 왔으나, 여전히 Unilingual이 대세였음
- 그러나 LLM을 통해 Multilingual의 성능이 Unilingual을 뛰어넘기 시작하면서, 점점 Multilingual이 기본이 되어가는 추세임
Multilingual Data
- MLQA (MultiLingual Question Answering)
- Multilingual LibriSpeech
- GEM Benchmark
Multilingual Model
- BLOOM @ BigScience
- PaLM 2 @ Google
- MMS (Massively Multilingual Speech) @ Meta

Multimodal

Unimodal & Multimodal LM
- 과거 대부분의 데이터와 모델은 높은 성능을 담보하기 위해 하나의 태스크 또는 도메인에 집중하여 구축되어 왔음
- 물론 다양한 작업을 수행할 수 있는 Multimodal에 대한 연구도 계속되어 왔으나, 성능이 그리 높지 않았음
- 예) TextVQA : 이미지 내의 텍스트 정보에 대한 질의 응답 데이터
Multimodal LLM
- 하지만 LLM을 기반으로 확장된 Foundation Model들이 등장하면서 상황이 반전되기 시작함
Multimodal Data
- VQA (Visual Question Answering) v2.0
- VidLN (Video Localized Narratives)
- VDialogUE
Multimodal Model
- GPT-4 @ OpenAI
- PaLM-E @ Google
- KOSMOS-2 @ Microsoft

Synthetic Data

Synthetic Data
- 실제 세상으로부터 수집된 것이 아닌 알고리즘이나 시뮬레이션을 통해 생성된 인위적인 데이터
Synthetic Data의 가능성
- GPT-4의 결과를 보면, 다양한 분야의 작업을 사람만큼이나 혹은 사람보다도 더 잘 수행할 수 있다는 것을 확인할 수 있음
- 이는 곧 모델이 생성하는 데이터를 가지고 새로운 모델을 다시 학습할 수 있는 시대가 왔다는 것으로 볼 수 있음
Synthetic Data의 현재
- 이미 ChatGPT를 통해서 생성한 데이터가 사람이 생성한 데이터보다 우수하다는 결과가 나오고 있음
Synthetic Data의 장점
- 현실 데이터와 달리 수집 및 라벨링에 시간이나 비용이 들지 않음
- 이미지 라벨링 비용 : 6 달러, 이미지 합성 비용 : 6 센트
- 합성 데이터는 실제 세계에서 발생하기 어려운 조건이나 아직 확인되지 않은 조건을 대응하는 데에 도움을 줌
- 현실 데이터는 여러 우연에 의해 만들어지기 때문에, 실제 세계에서 가능한 모든 조건을 다 포함하지는 못함
- 개인정보* 침해 문제가 발생하지 않으며, 데이터 편향**으로부터 비교적 자유로움
Synthetic Data의 미래
- 생성 모델의 발전과 더불어 앞으로는 Synthetic Data에 대한 사용 빈도가 점점 더 높아질 것으로 예상됨
합성 데이터 사례
- 자율 주행 시뮬레이션
- 자율주행 분야는 기존에도 합성 데이터가 사용되던 분야로, 이미 가상 환경에서 자율주행 시뮬레이션이 진행되어 왔음
- VQA 데이터 생성
- 이미지-캡션 데이터를 통해 VQA 데이터를 다량 생성하고, 이를 사용하여 VQA 모델의 성능을 높인 연구
- 오디오 데이터 생성
- 이제는 음악이나 음성과 같은 오디오 데이터도 텍스트 입력을 통해 생성하는 것이 가능해짐

Data-Centric AI가 산업에 미친 영향

김 도경 — Tue, 18 Feb 2025 14:39:32 +0900

Pretraining & Fine-Tuning

트랜스포머 기반 언어 모델
- 트랜스포머의 인코더/디코더 구조를 이용한 언어 모델이 기존의 LSTM 계열을 압도하는 성능을 보이면서,
- 웬만한 언어 모델은 모두 트랜스포머 계열로 대체되고 NLP 분야의 연구가 활발히 이루어짐
거대 언어 모델 (Large Language Model, LLM)
- 여러 연구를 통해 트랜스포머 계열은 모델 파라미터가 많을수록 더 일반화된 좋은 성능을 가짐을 실증적으로 보임
- 그러나 이를 위해서 많은 데이터와 연산 자원이 필요하며, 일부 초거대 IT기업만이 이를 가능케 함
파인튜닝 (Fine-Tuning)
- 일반적인 기업, 개인, 연구자들은 이렇게 사전학습된 LLM을 자신의 태스크에 맞게 리폼하는 파인튜닝을 통해 언어 모델을 이용함
파인튜닝용 데이터의 확보
- (사전학습 대비) 소량의 고품질 데이터만 확보하면 원하는 목적에 맞게 LLM을 파인튜닝할 수 있음
LoRA (Low-Rank Adaptation)
- 기존의 파인튜닝 기법 : 사전 학습 모델의 파라미터를 일부/전부 재학습하거나 추가적인 레이어를 붙인 뒤 이를 학습
- LoRA (Low-Rank Adaptation)
- 사전 학습 모델을 완전히 고정(freeze)한 채로 낮은 랭크의 쿼리-값 어텐션 행렬을 추가하여 해당 어텐션 행렬만 학습
- 모델의 크기 및 필요한 데이터 양을 줄일 수 있음
Meta의 LLaMA (Large Language Model Meta AI)
- [23.02.24] Meta의 LLaMA 모델이 연구 목적으로 공개됨 (7B, 13B, 33B, 65B)
- [23.03.03] LLaMA의 체크포인트가 토렌트를 통해 모두 유출됨
- [23.03.13] Stanford HAI 연구실 학생들이 파인튜닝한 Alpaca 모델이 공개됨
- LLaMA를 52000개의 self-instruct 데이터로 파인튜닝한 모델
- 이를 통해 instruction-following 형태의 데이터로 파인튜닝하면 챗GPT와 같은 결과를 얻을 수 있음이 확인됨
- 데이터는 CC-BY-NC 라이선스로 공개되었으나, 모델은 메타의 허락을 받지 못해 연구용으로만 사용가능
- [23.03.14] Alpaca 모델을 LoRA로 파인튜닝하여 Alpaca 모델을 재현한 Alpaca-LoRA 모델이 공개됨
- [23.07.18] Meta의 Llama 2가 공개됨 (7B, 13B, 70B) → 무료로 공개 및 (거의) 상업적 이용 가능
- 월 이용자가 7억 명 이상인 회사의 경우 라이선스 계약이 요구됨

Prompt Engineering

Prompt Engineering 관련 용어
- 프롬프트(Prompt)
- 인공지능이 수행해야 할 작업을 설명하는 자연어 텍스트
- 모델과 최종 사용자 모두가 이해하기 쉽도록 간결하고 명확해야 함
- 지나치게 복잡한 언어를 사용하거나 불필요한 정보를 제공하면 부정확한 결과가 나올 수 있음

- 프롬프트 엔지니어링(Prompt Engineering)
- 생성 모델이 이해할 수 있는 형태로 프롬프트(텍스트)를 구조화하는 과정
- ext-to-text 및 text-to-image 모델에 주로 사용됨

- In-Context Learning
- 모델이 이전에 배운 정보나 컨텍스트를 활용하여 미래의 작업을 수행하거나 이해하는 것
- 이전 대화에서 나온 정보나 질문에 대한 답변을 기억하여 활용하는 것
GPT-3를 통해 알게 된 사실
1) 입력값에 지시문을 포함시키면 그에 맞는 결과를 준다
- 해결하고자 하는 태스크를 텍스트 형태로 입력값에 넣어주면 태스크의 정답에 해당하는 결과를 리턴함
- 지시문에 예제를 많이 포함시킬수록 더 좋은 결과를 보임
- 크기가 큰 LLM일수록 더 좋은 결과를 보이며, 일정 수준을 넘어서면 파인튜닝보다도 나은 결과를 보임

2) 지시가 구체적일수록 의도에 가까운 결과를 준다
- 모델에게 입력값을 구체적으로 지시할수록 더 정확한/의도에 맞는 결과물을 얻을 수 있음 ⇒ 프롬프트 엔지니어링
- 다양한 목적에 맞는 프롬프트 템플릿이 공유되고, 프롬프트 엔지니어(prompt engineer)라는 새로운 직군이 출현함

Data-Centric AI 관련 연구

Data-Centric AI Workshop
- Data-Centric AI 분야의 경우, 특정 학회가 존재하지 않으나 워크샵의 형태로 매년 하나씩 개최되는 중

- DMLR @ ICML'23 (Data-centric Machine Learning Research Workshop at ICML 2023)
- DataPerf Workshop @ ICML 2022
- Data-Centric AI (DCAI) @ NeurIPS2021
- Data Excellence (DEW) @ HCOMP2020
- Machine Learning for Data – Automated Creation, Privacy, Bias @ ICML 2021
- Economics of Privacy and Data Labor @ ICML 2020
- Evaluating Evaluation of AI Systems (Meta-Eval) @ AAAI 2020
- Rigorous Evaluation of AI Systems (REAIS) @ HCOMP 2020 and 2019
- Subjectivity, Ambiguity and Disagreement (SAD) @ WWW 2019 and HCOMP 2018
Data-Centric Machine Learning Research’s Scope
- 데이터셋 및 벤치마크
- 벤치마킹 도구 및 방법
- 데이터의 수집, 생성, 라벨링, 증강, 클렌징, 품질평가, 정렬 등에 대한 방법론 및 평가
- 생성 모델 및 강화 학습 환경
- 데이터의 생성과 사용에 관한 사회 윤리적 연구
- 데이터 품질 (데이터 편향, 분산, 불확실성 등)
- 생성 모델 및 기반 모델을 위한 프롬프트 설계
- 대회 및 벤치마크 설계를 포함한 실험 설계 및 실증적 평가 방법론
- 기존 데이터셋 분석, 기존 데이터셋의 중요한 문제 파악 및 사용을 위한 프레임워크
Data-Centric AI 관련 연구 분야
- Opening Remarks | ML4Data – Automated Creation, Privacy, Bias @ ICML 2021
- Opening Remarks | DCAI @ NeurIPS2021
- DataPerf Benchmark | DataPerf Workshop @ ICML 2022
- Prompting for Small Dataset | DMLR @ ICML 2023
Data-Centric AI 관련 태스크
- 이상 탐지 및 제거 (Anomaly Detection & Removal)
- 오류 감지 및 수정 (Error Detection & Correction)
- 데이터 증강 (Data Augmentation) Chapter 3. 1강 p5-8 참고
- 피쳐 엔지니어링 (Feature Engineering)
- 컨센서스 라벨링 (Consensus Labeling)
- 액티브 러닝 (Active Learning) Chapter 6. 6강에서 다룰 예정
- 커리큘럼 학습 (Curriculum Learning)

Data-Centric AI

김 도경 — Mon, 17 Feb 2025 10:37:20 +0900

Data-Centric AI

데이터의 중요성
- AI System = Code + Data
- 데이터는 곧 모델을 학습하는 데에 필요한 재료
- 동일한 데이터에 대해 서로 다른 어노테이션/라벨을 다는 경우가 발생 ⇒ 노이즈 발생

Data-Centric AI의 정의

- 2020년대에 들어서 주목받기 시작한 AI 접근 방식으로, 개발 및 운용의 관점에서 데이터를 중심으로 접근하는 방식

- Model-Centric AI : 과거 그리고 지금도 여전히 가장 주로 사용되는 AI 접근 방식으로, 개발 및 운용의 관점에서 모델을 중심으로 접근하는 방식

Model-Centric AI vs. Data-Centric AI

코드를 개선하면 Model-Centric AI, 데이터를 개선하면 Data-Centric AI라고 이해할 수 있음

- Model-Centric AI
- 최대한 많은 데이터를 확보한 뒤, 이러한 데이터의 노이즈에 대응할 수 있는 모델을 개발
- 데이터를 고정시킨 상태로 알고리즘/모델을 반복적으로 개선해나감

- Data-Centric AI
- 데이터의 통일성(consistency)를 위해 다양한 도구를 이용하여 체계적으로 데이터의 품질을 향상
- 코드를 고정시킨 상태로 데이터를 반복적으로 개선해나감

AI 서비스 개발 과정

- AI 서비스 개발 과정 - 서비스 출시 전

- AI 서비스 개발 과정 - 서비스 출시 후

MLOps

MLOps (Machine Learning Operations) = ML + DevOps
- 머신러닝 모델을 안정적이고 효율적으로 배포하고 유지 관리하는 것을 목표로 하는 패러다임
MLOps (Machine Learning Operations) ⊃ DataOps
- 데이터셋 구축을 위한 인프라를 만들어 데이터를 체계적이고 효율적으로 관리할 수 있는 시스템이기도 함

[AI 부트캠프] 부트캠프 고민하는 당신을 위해 –7문 7답 솔직하게!

김 도경 — Mon, 17 Feb 2025 10:20:04 +0900

AI 부트캠프를 시작한 지도 벌써 몇 개월이 지났어요. 처음 지원할 때는 정말 고민이 많았고, 내가 이 길을 제대로 가고 있는지 확신이 서지 않았어요.

하지만 지금 돌아보면, 부트캠프를 선택한 것은 제 인생에서 가장 의미 있는 결정 중 하나였다고 자신 있게 말할 수 있어요.

처음에는 단순히 "AI를 배워야겠다"는 생각으로 시작했지만, 시간이 지나면서 이 과정이 단순한 학습이 아니라 진로를 명확히 하고, 실무 경험을 쌓고, 성장하는 과정이었다는 걸 깨달았어요.

부트캠프를 하면서 겪었던 경험과 배운 것들을 정리해보면서, 예비 수강생들에게 도움이 될 만한 이야기를 남겨보려고 해요.

"AI 부트캠프, 나에게 어떤 변화와 기회를 가져다줬을까?"
궁금한 분들을 위해 7문 7답을 통해 자세히 이야기해볼게요.

1. 왜 다른 부트캠프가 아닌 패스트캠퍼스 부트캠프를 선택했나요?

AI라는 점이 잘 맞았고, 진로를 명확히 하기 위해 다양한 경험을 해보고 싶었음

처음 부트캠프를 찾을 때, 정확한 진로를 정하지 못한 상태였어요.

데이터 분석을 계속할지, AI 연구를 해야 할지 고민이 많았죠. 하지만 패스트캠퍼스 AI 부트캠프는 머신러닝, 딥러닝, 자연어 처리(NLP), 컴퓨터 비전(CV) 등 다양한 분야를 다룰 수 있었고, 이 과정을 통해 내게 맞는 방향을 찾아볼 수 있을 거라 생각했어요.

또한, 단순히 AI 개념을 배우는 것이 아니라, 실제 데이터를 다루면서 AI 모델을 구축하고 실습하는 과정이 잘 설계되어 있어서, 연구 중심이었던 석사 과정과는 또 다른 경험을 할 수 있을 것 같았어요. 단순히 배우는 것을 넘어 실무적인 프로젝트를 경험하면서, 내 진로를 더욱 구체화할 수 있을 거라 판단했어요.

국비지원, 비대면, 코딩테스트 없음 등 현실적인 장점이 많았음

국비지원 과정이라 수강료 부담이 없었던 것이 큰 장점이었어요. 석사를 마친 직후라 금전적으로 여유가 없었고, 취업 준비 기간이 얼마나 길어질지도 모르는 상황이었기 때문에, 0원으로 체계적인 교육을 받을 수 있다는 점이 가장 매력적이었어요.
비대면 수업이라는 점도 저에게는 최적이었어요. 대학과 대학원도 비대면으로 했던 터라, 오프라인보다는 온라인 환경이 훨씬 익숙했거든요. 출퇴근 시간이 들지 않아 하루를 효율적으로 사용할 수 있었고, 집중할 수 있는 환경을 직접 만들 수 있었던 점도 좋았어요.
또한, 코딩테스트 없이 지원 가능했던 점도 결정적인 요인이었어요. AI에 대한 관심은 있었지만, 솔직히 코딩 실력에 대한 부담이 있었거든요. 코딩테스트가 필수인 과정이라면 지원조차 망설였을 텐데, 다행히 제가 참여한 기수에는 코딩테스트가 없었고, 부트캠프 안에서 차근차근 코딩 실력을 키울 수 있는 환경이 조성되어 있었어요.

2. 수강 전 기대했던 것과 실제 수업을 비교했을 때 어떤 점이 가장 만족스러웠나요?

다양한 실습 기회를 통해 실무 감각을 익힐 수 있었음

처음에는 부트캠프가 단순히 강의 위주로만 진행될 것 같아서 실습이 부족하지 않을까? 하는 걱정이 있었어요. 하지만 실제로는 강의와 실습이 균형 있게 이루어져 있어서, 배우면서 바로 적용할 수 있는 환경이었어요.

부트캠프에서는 ML 모델 구축, 데이터 전처리, 딥러닝 실습, 경진대회 참여 등 실전 경험을 쌓을 수 있는 기회가 많았어요. 이론을 배우는 즉시 프로젝트나 실습으로 적용하면서, 실무에서 바로 활용할 수 있는 감각을 키울 수 있었어요.

이력서 첨삭 지원이 예상보다 훨씬 만족스러웠음

가장 예상 밖으로 만족스러웠던 부분은 이력서 첨삭이었어요.

처음에는 그냥 일반적인 강의 형태로 "이력서를 이렇게 써야 한다" 정도의 정보만 제공할 줄 알았어요. 하지만 개별적으로 이력서를 피드백해 주고, 1:1 상담을 통해 개선점을 알려주는 과정이 있어서 정말 도움이 됐어요.

내가 어떤 강점을 어필해야 하는지 구체적으로 알게 됐고,
채용 시장에서 어떤 이력서가 잘 뽑히는지 실제 사례를 바탕으로 배울 수 있었어요.

이 과정 덕분에 최종적으로 정말 만족스러운 이력서를 완성할 수 있었어요.

3. 부트캠프 수강 전후로 스스로 가장 크게 변화했다고 느끼는 부분은 무엇인가요?

데이터 분석가로 정확한 진로를 결정한 것

부트캠프를 시작하기 전에는 데이터와 AI에 대한 관심은 있었지만, 정확히 어떤 직무를 목표로 해야 할지 명확하지 않았어요. 데이터 분석, 머신러닝 엔지니어, AI 연구원 등 다양한 길이 있지만, 어떤 방향이 나와 가장 맞는지 확신이 없었어요.

하지만 부트캠프에서 다양한 프로젝트를 경험하면서 데이터 분석가가 내게 가장 적합한 길이라는 확신이 들었어요.
이전에는 연구 중심으로 데이터 분석을 했던 것과 달리, 부트캠프에서는 실무에서 데이터를 다루는 방식과 AI 모델을 적용하는 과정을 배울 수 있었어요.
특히, 팀 프로젝트와 경진대회를 통해 실제 기업에서 사용하는 데이터와 유사한 데이터셋을 분석하는 경험을 하면서, 이 분야에서 계속 성장하고 싶다는 생각을 확실히 하게 되었어요.

실무 경험이 쌓이며 데이터 분석과 AI 모델링에 대한 자신감이 생김

이전에는 데이터 전처리나 기본적인 모델링을 해봤어도, 실무에서 쓰이는 다양한 기법들을 적용해본 경험이 부족했어요. 하지만 부트캠프에서는 EDA(탐색적 데이터 분석), 모델 성능 개선, 하이퍼파라미터 튜닝 등 실전에서 필요한 기술을 다룰 수 있었어요.

처음에는 머신러닝 모델을 구축하는 과정이 막막했지만, 이제는 데이터를 보면 어떤 접근 방식이 효과적인지 감이 잡히기 시작했어요.
프로젝트를 거듭하면서, 모델 성능을 어떻게 개선해야 하는지, 어떤 데이터 전처리 기법이 효과적인지 고민하는 과정이 익숙해졌어요.

이제는 데이터 분석과 AI 모델링을 실무에서 활용할 수 있겠다는 자신감이 생겼어요.

4. 특히 도움이 되었다고 생각하는 강의나 프로젝트는 무엇인가요?

팀 프로젝트를 통해 협업 능력과 실전 경험을 쌓을 수 있었음

이전까지는 혼자 연구하거나 코드를 짜는 일이 많았어요. 하지만 부트캠프에서는 팀 프로젝트를 통해 데이터 분석과 모델링을 팀원들과 협업하면서 진행하는 경험을 할 수 있었어요.

팀원들과 역할을 나누어 프로젝트를 진행하는 과정이 실무 경험과 유사했어요.
단순히 모델을 만드는 것이 아니라, 기획부터 데이터 전처리, 모델링, 결과 분석, 발표까지 전 과정을 경험할 수 있었어요.
혼자 했다면 경험할 수 없었던 다양한 문제 해결 방식과 새로운 접근법을 배울 수 있었어요.

Git을 배우면서 실무 협업 능력이 향상됨

아무것도 없던 제 git에 무언가 쌓이기 시작한 사진! + 팀작업을 통한 레포형성!

이전에는 Git을 거의 다룰 줄 몰랐어요. 하지만 부트캠프에서는 팀 프로젝트를 진행하면서, Git을 통해 코드 버전 관리를 하고 협업하는 법을 익힐 수 있었어요.

브랜치를 나누어 작업하고, PR(Pull Request)을 통해 코드 리뷰를 받는 경험을 했어요.
실무에서는 Git을 필수적으로 사용하기 때문에, 이제는 Git을 능숙하게 활용할 수 있다는 점이 큰 성과라고 생각해요.

5. 부트캠프 수료 이후 예비 수강생들에게 어떤 조언을 해주고 싶나요?

(EX. 이 부분을 더 열심히 할 걸)

코딩테스트 준비를 미리 해두세요!

코딩테스트는 백준이 최고...!

부트캠프에서는 AI와 데이터 분석 관련 내용을 집중적으로 배우지만, 코딩테스트는 직접 공부해야 해요.
취업을 준비하다 보면, 코딩테스트를 요구하는 기업이 많다는 걸 알게 돼요. 그래서 부트캠프를 들으면서도 코딩테스트를 꾸준히 준비하는 것이 중요해요.

알고리즘 문제를 풀어본 경험이 많지 않다면, 백준(Baekjoon)이나 프로그래머스(Programmers) 같은 사이트에서 꾸준히 연습하는 것을 추천해요.
처음에는 쉽지 않지만, 기본적인 자료구조와 알고리즘을 익혀 두면 취업 준비에 훨씬 유리해져요.

부트캠프 외에도 자격증이나 추가 공부를 병행하세요!

부트캠프만으로도 충분히 배울 것이 많지만, 자격증을 병행하는 것도 큰 도움이 돼요.

저는 부트캠프와 병행하면서 ADsP(데이터 분석 준전문가) 자격증을 취득했는데, 이 과정이 나중에 강점으로 작용할 것 같아요.
데이터 분석 직군에서는 SQL, 통계, 데이터 이해 능력이 중요하기 때문에, ADsP, SQLD 같은 자격증을 준비하면 도움이 될 거예요.

또한, 부트캠프 이후에도 자기주도 학습을 꾸준히 하면서 최신 트렌드를 따라가는 것이 중요해요.

6. 부트캠프 수료 후, 커리어 전환이나 취업에 대한 자신감이 얼마나 생겼나요?

이력서와 포트폴리오가 만족스럽게 나와서 취업에 대한 자신감이 생김

처음작성해본 이력서와 포트폴리오

부트캠프를 통해 처음으로 포트폴리오를 만들었어요.
그동안 해온 프로젝트와 연구 경험을 정리하면서, 어떤 역량을 강조해야 하는지, 어떤 프로젝트를 어필해야 하는지 알게 됐어요.

이전에는 이력서를 어떻게 써야 할지 몰랐는데, 이력서 첨삭을 받으면서 강점이 부각되는 구조로 정리할 수 있었어요.

포트폴리오를 만들면서 내가 어떤 프로젝트를 했는지 정리할 수 있었고, 면접에서도 더 자신 있게 이야기할 수 있을 것 같아요.
처음에는 막막했던 이력서와 포트폴리오 작성이, 이제는 취업에 자신감을 줄 수 있는 무기가 된 느낌이에요.

이제는 부트캠

프에서 배운 경험과 포트폴리오를 바탕으로, 데이터 분석가로 취업할 수 있다는 확신이 들어요.

7. 패스트캠퍼스 부트캠프를 한 마디로 표현한다면?

"기회의 장, 그리고 성장의 시간!"

패스트캠퍼스 AI 부트캠프는 단순히 강의를 듣는 곳이 아니라, 실력을 키우고 새로운 기회를 얻을 수 있는 곳이에요.

배움과 실무 경험을 동시에 쌓을 수 있었고, 협업과 프로젝트를 통해 실력을 키울 수 있었어요.
처음에는 두려움이 많았지만, 한 단계 성장할 수 있는 과정이었어요.
지금 돌아보면, 이 과정을 거치지 않았다면 취업 준비가 훨씬 막막했을 것 같아요.

이제는 부트캠프에서 배운 것을 바탕으로 더 큰 도전을 할 준비가 되었어요!

부트캠프를 시작하기 전에는 솔직히 불안한 마음이 컸어요. "내가 잘할 수 있을까?", "이 과정을 끝까지 해낼 수 있을까?"라는 고민이 계속 들었어요.

하지만 직접 경험해보니, 부트캠프는 단순히 기술을 배우는 과정이 아니라, 내 성장의 기반을 다질 수 있는 기회였어요.

처음엔 막연했던 AI와 데이터 분석이라는 분야가 이제는 내가 앞으로 나아가야 할 확실한 방향이 되었어요.

또한, 부트캠프를 통해 이력서를 다듬고, 포트폴리오를 구축하면서 취업에 대한 자신감도 커졌어요.

이 글을 읽고 있는 예비 수강생 분들에게 꼭 전하고 싶은 말이 있어요.

✔ 완벽하지 않아도 괜찮아요. 배우는 과정에서 성장하는 것이 중요해요.
✔ 부트캠프를 최대한 활용하세요. 강의, 프로젝트, 팀워크, 첨삭까지 적극적으로 참여하면 더 많은 걸 얻을 수 있어요.
✔ 주도적으로 배우는 태도를 가지세요. 부트캠프가 끝나도 계속 공부하는 것이 중요해요.

부트캠프를 통해 저처럼 성장하고 싶은 분들이 있다면, 망설이지 말고 도전해보세요!
이 경험이 여러분에게도 **"기회의 장, 그리고 성장의 시간"**이 될 거라 확신합니다.