개발 성장 노트

* 필수 온라인 강의 Part19 Deep Learning CH03 모델 학습법개요딥러닝을 구성하는 필수적인 요소- 데이터 (Data) : 모델을 학습하기 위해 필요 ( MNIST, Fashion MNIST 등)  - 해결하고자 하는 문제(task)에 따라 필요로 하는 데이터의 형태나 구성이 달라짐- 모델 (Model) : 주어진 데이터를 원하는 결과로 변환 (다층 퍼셉트론(MLP), 컨볼루션 신경망(CNN), 순환 신경망(RNN) 등)  - 입력을 원하는 결과로 바꾸어주는 일련의 연산 과정을 구조화한 것 : 딥러닝의 학습 대상- 손실 함수 (Loss Function) : 모델의 결과에 대한 오차를 수치화 ( 평균절대오차(MAE), 평균제곱오차(MSE), 교차 엔트로피(CE) 등)   - 실제 혹은 목표..

첫 경진대회가 끝나고 바로 시작된 MLOps 프로젝트가 드디어 마무리되었습니다.경진대회를 마친 후 약 일주일간 실시간 강의와 온라인 강의를 병행하며 MLOps의 기초를 배우고, 이를 활용한 프로젝트에 참여하게 되었습니다. 경진대회에서 매우 좋은 성과를 거둔 만큼, 프로젝트에서도 같은 팀원들과 함께 좋은 결과를 낼 수 있을 것이라 기대했습니다.하지만 팀원 모두가 다소 지친 상태였고, 프로젝트 진행 중 예상치 못한 어려움이 많았습니다. 배운 내용을 바로 활용하기보다는 스스로 공부해야 할 부분이 많아 도전의 연속이었습니다. 그럼에도 불구하고, 훌륭한 팀원들의 도움과 협업 덕분에 프로젝트를 성공적으로 마무리할 수 있었습니다. 영화 추천 시스템 만들기팀에서 정한 주제로 진행된 프로젝트는 흔히 접할 수 있는 아이디..

* 필수 온라인 강의 Part19 Deep Learning CH02 기본 개념딥러닝 발전 5단계- 시간순- 개발의 방법이 크게 바뀌어서, 단계로 나눈다.- 5단계를 크게 세 단계로 나눠서 SW1.0, SW2.0, SW3.0이라고도 부름 1단계 : 규칙 기반 프로그래밍 (Rule-based programming)   - SW 1.0(사람의 관여가 있음)- 목표 달성에 필요한 연산 방법을 사람이 전부 고안 - 계산을 사람이 설계- 예시) 개,고양이를 구분하는데, 코의 길이/눈의 색상/귀의 길이 등등을 사람이 전부 고민을 해서 설계를 함2단계 : 전통 머신 러닝 기법 (Conventional Machine Learning)   - SW 1.5 (사람의 관여가 있음) - 특징값을 뽑는 방식은 기존처럼 하되, 특..

* 코딩에 대해서 정말 정말 초보기에....공부를 하는 기록을 남길 겸 작성을 하는 부분입니다.* 1000번, 1001번, 10998번, 1008번, 10869번 풀이 문제 인식 a와 b를 불러와야함...! -> a, b = 으로 시작출력은 a+b 이다 -> print(a+b)가 들어감 문제풀이#1000번a, b = map(int, input().split())print(a+b) a, b= : a와 b를 불러오겠다map() : 리스트나 이터러블(iterable)의 각 요소에 주어진 함수를 적용하여 새로운 이터레이터(iterator)를 반환- 리스트나 이터러블(iterable)의 요소에 같은 함수를 적용할 때 편리하게 사용하는 함-  반복 가능한 객체를 순차적으로 하나씩 처리하는 도구- 반복 가능한 객체 ..

AI Upstage 부트캠프에는 4번의 경진대회가 있습니다!경진대회를 한다는 것은 알았으나, 어떤 식으로 평가가 되는 지도 몰랐고, 어떻게 진행이 되는 지도 전혀 몰랐습니다. 이번에 부트캠프에서 진행한 경진대회를 막을 내려서, 회고를 하면서어떤식으로 진행이 되는지..!를 한번 정리를 해볼까 해요. 그리고 이 대회가 얼마나 장점이고, 도움이 되었는지에 대해서 말해볼까 해요. 경진대회 소개첫번째 대회는 서울 아파트 실거래가 예측 경진대회는 주어진 데이터를 활용해 아파트 가격을 예측하는 모델을 개발하는 대회였어요.아파트 위치, 크기, 건축 연도, 주변 교통 및 시설 정보 등 다양한 변수를 포함한 데이터를 바탕으로 모델을 학습하며, 선형 회귀, 랜덤 포레스트, 딥러닝 등 다양한 회귀 알고리즘을 활용할 수 있어요..

* 강의를 듣고 필기한 내용일 이후에 따로 정리한 내용입니다.ML ops머신러닝 파이프라인 데이터 수집 : 다양한 소스에서 데이터를 수집하고 필요한 형식으로 변환.데이터 버전 관리 : 수집된 데이터를 버전 관리하여 재현성과 추적 가능성을 확보. (DVC)데이터 검증 : 데이터의 통계적 특성을 검토하고 이상치를 감지하여 데이터 품질을 확인데이터 전처리 : 데이터를 머신러닝 모델 훈련에 적합한 형태로 변환하고 정제feature engineeringdata engineer ⇒ 수학 X. 연구자 X. 내가 만든 것이 바로 적용이되고, 그로인해 재미를 느끼는 사람DE ⇒ 프리랜서 가능 - Researcher(박사급) - Software 관점이 거의 없음DS ⇒ 프리가 힘들어요. : 연구쪽에 가깝고, 논문/학술 이..

매일 코딩테스트를 공부 하기 위해서, 백준을 시작하려 합니다.그리고 깃허브에 자동으로 잔디심기를 하여 남기려고 해요백준 백준 : https://www.acmicpc.net/회원가입백준 회원가입을 가장 먼저 진행을 합니다.가입 시 적은 이메일로 이메일 인증을 진행해야해요. 문제 풀기문제에서, 단계별로 풀어보기로 문제를 풀기 시작했어요.단계별로 문제 풀기에는 이렇게 나눠져있어서 풀기가 좋아보여요.진행중인 단계에는 이렇게 도전중이라고 뜹니다단계에 들어가면, 이렇게 문제가 나오는데 성공한 건 성공이라고 나오고 성공하지 못한 건, 실패라고 떠요 깃허브에 자동으로 잔디 심기 백준 허브 설치하기 백준허브(BaekjoonHub) - Chrome 웹 스토어Automatically integrate your BOJ sub..

AI Upstage 부트캠프를 시작한 지 6주 차에 돌입하며 시작된 3주간의 경진대회가 드디어 끝을 맺었습니다.많은 것을 배운 값진 첫 경진대회였습니다. 함께한 팀원들은 그만큼 대단한 사람들이어서, “내가 이런 사람들과 함께해도 괜찮을까?”라는 생각이 들 정도였죠.노션, 깃, 인사이트 등 기본적인 부분조차 잘 몰랐던 저도 이번 대회에서 큰 성장을 경험했고,마침내 1등이라는 값진 결과까지 얻었습니다. 이번 경험을 조금 더 정확히 기록하고 싶은 마음에 패리포터 활동에서도 이 경진대회를 남길 예정이지만,먼저 간단히 회고를 작성해 보고자 합니다. AI Upstage에서의 첫번째 경진대회Upstage 부트캠프에서 팀으로 활동하는 4번의 경진대회가 있습니다.각각 주제가 머신러닝, 딥러닝, 그 외에 다양한 주제로 다..

[2024.11.08] 필수 온라인 강의 Part16 Machine Learning Advanced CH08 실전 프로젝트캐글 대회에서 사용하는 팁 (이론) 실험하기 전 고려할 사항들디버깅- 프로그래밍에서 오류를 찾아내고 수정하는 과정 - 머신러닝 프로세스의 경우 한번 실행시 오래 걸리는 경우가 많아서 돌린 후 에러를 확인해서 수정하면 시간 소요가 큼 디버깅모드  - 실험 환경이 잘 설정되었는지 체크하기 위한 과정  - 다양한 방식으로 프로세스를 축소하여 체크     - 방법 1. 샘플 데이터     - 방법 2. 작은 모델     - 방법 3. 하이퍼파라미터 축소시드 고정- 시드 : 난수 생성기의 초기값으로 사용되는 값  - 시드가 고정이 안된 경우 : 같은 코드에서 다른 점수가 발생 (재현에 실패) ..

[2024.11.08] 필수 온라인 강의 Part16 Machine Learning Advanced CH07 데이터 셋 분할이론데이터 분할 - 모델을 학습하기 위해 전체 데이터를 Train, Valid, Test 총 3가지의 데이터로 나누는 과정 - 일반적으로 사용할 수 있는 데이터는 전체 데이터의 일부분 - 학습 데이터의 높은 성능이 실제 미래 데이터에 대한 보장이 되지 않는다 - 이러한 모델의 성능을 보장해 줄 데이터가 필요하며 평가 데이터가 이런 역할-> 데이터는 미래의 데이터나 그 후 단계의 성능은 확인할 수 없는데, 평가셋을 미리 구분하여, 모델이 얼마나 유의미한지 확인할 필요성이 있고, 배포때 확인을 하면 위험성이 많아서, 배포에는 최적의 모델을 보낼 수 있음구성요소- 학습(Train) 데이터..