개발 성장 노트

[2024.10.16] 필수 온라인 강의 Part1 파이썬 라이브러리 활용 프로젝트 CH02 [텍스트] 뉴스기사 3줄 요약하기 프로젝트 개요 1. 메일로 뉴스기사를 받고 base 64로 인코딩 하기2. 디코딩을 거쳐서 사람이 알아볼수 있게 하기3. 텍스트에서 키워드 추출4. 문서 요약해서 리포트 만들기5. html 파일로 저장 * 사용 라이브러리 : base64, textwrap, re, collections, gensim, open, close 바이너리 파일로 문자열 변경 - base64바이너리 파일 (Binary file)- 바이너리 파일이란 ‘0’ 과 ‘1’ 을 이용한 2진수 데이터 만으로만으로 인코딩된 파일- 사람이 직접 읽을 수 없다 : 컴퓨터는 읽을 수 있음- 데이터를 효율적으로 처리, 저장,..

* 특강으로 진행된 부캠 활용방법에 대한 정리입니다.Data Manager인공지능에 필요한 데이터 관련된 모든 업무를 수행    - 학습 데이터 구축 ( 수집, 라벨링, 규칙, 품질 ... )    - 평가 데이터 구축 ( 샘플링, 기준, 점수 ... )    - 데이터 구축에 필요한 라이브러리 개발 ( 전처리, 후처리, 자동화 ... )    - 데이터 구축에 필요한 툴 개발 (수집 툴, 라벨링 툴, 관리 툴 ...)데이터 매니저는 인공지능 + 개발 + 데이터(도메인)에 대한 지식을 골고루 갖추고 있어야 함취업을 목표로 부트캠프 알차게 보내는 법장점단점밀도 높은 수강 기간 (짧고 굵게!) 탄탄한 커리큘럼 네트워크의 확장 (동기, 강사 등) 이력서 한 줄 추가 다양한 포트폴리오 제작 커리어 전환의 기회너..

* 강의를 듣고 필기한 내용일 이후에 따로 정리한 내용입니다. 추천 사이트 : 오픈 소스로 셀프스터디를 할 수 있는 곳 : https://github.com/ossu/computer-science- OSSU(OSSU: Open Source Society University) 컴퓨터 과학(Computer Science)- GitHub 페이지는 누구나 컴퓨터 과학 학위를 무료로 온라인에서 공부할 수 있도록 돕는 학습 로드맵을 제공- 무료 온라인 강의를 통해 컴퓨터 과학의 기초부터 고급 과정까지 배울 수 있도록 설계     - 기초 학습 과정: 수학, 논리, 프로그래밍 기초 등의 기본적인 컴퓨터 과학 지식을 다룹니다.     - 핵심 과정: 데이터 구조, 알고리즘, 운영체제, 컴퓨터 네트워크 등 컴퓨터 과학의..

[2024.10.14~15] 필수 온라인 강의 Part1 컴퓨터 구조 CH01~CH06오리엔테이션 컴퓨터 공학을 공부하는 이유 : 성능&용량&비용 때문에 함 컴퓨터 구조를 배운다고 하면 배우는 것1. 프로그램을 이루는 정보(0과 1로 이루어짐)    - 명령어 : 컴퓨터를 동작시키는 실질적인 정보    - 데이터 : 명령어의 대상(재료) 2. 컴퓨터의 핵심 부품들    - CPU : 명령어 해석, 실행(execute) 담당하는 장치 : 인출(fetcch)                - 레지스터, ALU, 제어장치(제어신호, 명령어 해석)    - 메인 메모리 & 캐시 메모리 : 실행 중인(프로세스) 프로그램 저장하는 장치 (전원이 꺼지면 삭제) : 휘발성  저장장치                - 메인 메..

통계학? 처음엔 막연하게 "통계가 뭐지?"라는 생각이 들었다. 내가 통계를 배운 마지막 기억은 고등학교 때였고, 그 때 배웠던 과목도 '확률과 통계'였다.그래서 이번 강의 내용이 나에게는 생소할 거라고 생각했다. 그런데 강의를 들으면 들을수록 내용이 너무나도 익숙했다.학부 연구생 시절부터 석사 과정까지, 무려 3년 동안 미친 듯이 듣고 혼자 공부하며 밤새워 개념 정리를 하고,그 자료로 발표도 했던 바로 그 내용이었다.이게 바로 통계였다고? 그동안 발표를 할 때는 '통계'라는 단어보다는,머신러닝을 사용하기 전에 어떤 검정을 해야 하고,무엇을 확인해야 한다는 말만 했었다. 익숙하지만 또 새로웠던,통계학의 이해 통계라고 한다면, 가장 먼저 생각나는 것은 수치? 숫자? 확률? 이런 것이 다였다.정확히 무슨 걔념..

* 강의를 듣고 필기한 내용이며, 수업 이후에 따로 정리한 내용입니다.* https://glowdp.tistory.com/24 에서 이어지는 게시물 입니다.ANOVA분산분석- 분산의 원인이 어디에 있는가를 알아보는 통계적 방법- 통계학자이자 생물학자인 로날드 피셔(R. A. Fisher)에 의해서 만들어짐- 두 개 이상 다수의 집단을 서로 비교하고자 할 때 집단 내 분산을 사용   - 집단 간 분산의 비교를 통해 만들어진 𝐹분포를 이용하여 가설검정을 함   -  3개 이상의 집단에 대한 평균의 차이를 검정하는 분석 방법- 집단 간 분산과 집단 내 분산을 확인하여 모집단의 특성을 찾아내기에 적합한 분석 방법 - 평균의 차이를 분석하는 방법임에도 불구하고 분산분석이라고 부르게 된 이유는 분산을 비교하여 평..

* 강의를 듣고 필기한 내용일 이후에 따로 정리한 내용입니다.* https://glowdp.tistory.com/18 에서 이어지는 게시물 입니다. Random Variable & Probability Function 확률변수와 확률함수확률변수- 확률변수란 확률적 시행의 결과(사건)를실수로 대응시키는 함수- 확률변수가 특정값을 가질 확률을 나타내는 함수 - 이산확률변수: 수집한 데이터의 확률변수중에서 셀 수 있는 값들로 구성되거나 일정한 범위로 나타낼 수 있는 확률변수         - 이산확률 변수의 확률 함수: 이 경우 확률함수는“확률질량함수(PMF, Probability Mass Function)”                                                    이산 확률..

[2024.10.08] 필수 온라인 강의 Part3 통계로 데이터분석 능숙해지기 CH05 선형 회귀 분석단순 선형 회귀분석y = b0 +b1*x1회귀 (Regression) : 독립변수(x)로 종속변수(y)를  예측하는 것독립변수 (Independent variable) : 영향을 미칠 것으로 생각되는 변수종속변수 (Dependent variable) : 영향을 받을 것으로 예상되는 변수회귀계수 (Coefficient) 기울기와 절편     다중 선형 회귀분석하나의 결과를 여러 원인으로 설명하기 위한 분석 방법y = b0 + b1*x1 + b2*x2 + b3*x3 + b4*x4 + ....+ bn*xn결정 계수 (R-Squared)        R의 제곱 = 1 - SSE / SST , Adjusted ..

[2024.10.08] 필수 온라인 강의 Part3 통계로 데이터분석 능숙해지기 CH03 기술통계 , CH04 통계실험과 유의성 검정모집단과 표본 모집단(Population)통계를 통해 알고 싶어하는 모든 집단모수(paramenter) : 모집단의 특성 (모평균, 모분산, 모표준편차 등)표본(Sample)모집단의 분포, 특성을 알기 위해 모집단에서 추출된 일부 집단통계량(statistic) : 표본의 특성(표본평균, 표본 분산, 표본 표준편차 등)추출(Sampling)모집단에서 표본을 추출하는 방법확률 표본 추출  - 단순 샘플링 (Simple Random Sampling) : 모든 요소가 동등한 확률로 선택될 수 있도록 무작위   - 층화 샘플링 (Stratified Sampling) : 모집단을 특정..

[2024.10.08] 필수 온라인 강의 Part3 통계로 데이터분석 능숙해지기 CH01 기초통계량(1) 대푯값 , (2) 분산도평균 (mean)산술평균 : 흔히 평균이라고 부르는 값. 주어진 값들의 총합을 그 값들의 개수로 나누어 계산기하평균 : 주어진 값들을 모두 곱한 후, 그 값들의 개수에 해당하는 n제곱근을 취해 계산, 비율이나 성장률을 다룰 때조화평균 : 주어진 값들의 역수들의 산술평균을 구한 후, 그 값을 다시 역수로 변환한 값, 속도나 비율을 다룰 때평균의 함정 : 평균이 모든 상황에서 유용한 통찰을 제공하지는 않으며, 잘못 해석될 가능성이 있음                     - 다른 대표값들도 꼭 확인을 해줘야한다.중앙값 (median)데이터를 크기 순서대로 나열했을 때, 가장 가운데..