개발 성장 노트

Tensor- 데이터 배열 (array)를 의미수학적 연산- 사칙 연산 :원소단위로 연산이 가능- 내적 : 1D 텐서 단위에서만 가능- 행렬 곱 연산 : 두 행렬의 대응하는 행과 열의 원소들을 곱한 뒤 더하는 방식 = 행과 열 단위로 내적      - 계산 상 앞의 행렬의 열과 뒤의 행렬의 행의 길이가 같아야 함 Broadcasting - 차원이 다른 두 텐서 혹은 텐서와 스칼라간 연산을 가능하게 해주는 기능 (※ 단, 불가능한 경우 존재) - 2D 텐서와 1D 텐서의 연산Sparse Tensor - Dense tensor: 배열의 모든 위치에 값을 가지는 텐서    - 생략 가능한 원소까지 모두 저장하여 tensor의 크기와 비례하게 memory 사용 -> Out of memory (OOM) 문제 ..

딥러닝 프레임 워크neural network 구현처음부터 코드로 구현 -> 프레임워크를 사용 - 모든 neural network의 layer를 직접 구현 → 모델을 구성하는데 필요한 모든 구성 요소를 제공  - loss function 구현 → 다양한 loss function 제공  - 모든 layer의 weight, bias에 대해 gradient를 계산 → 자동 미분  - 최적화 알고리즘 구현 → 다양한 optimizer 제공 - 효율적이고 간단함- > 많은 기업에서 딥러닝 프레임워크를 활용하고, 지원 자격으로 능숙한 활용 능력을 요구 프레임워크 트렌드- 이미 많은 딥러닝 프레임워크가 오픈소스로 공개   (TensorFlow(Google) 2. PyTorch(Meta), JAX(Google), MXN..

합성곱 신경망 (Convolutional Neural Networks , CNN)완전 연결 신경망의 한계점- 이미지 데이터를 학습하기 위해선 1차원으로 평탄화 -> 이미지 데이터가 가지고 있던 “형상 정보”가 사라지면서 무시         -  이미지 형상 정보는 “이미지의 가까운 픽셀은 비슷한 값을 가진다”거나 “거리가 먼 픽셀끼리는 큰 연관성이 없다”와 같은 공간적 정보를 의미 → 합성곱 신경망(Convolutional Neural Network, CNN)이 등장    - 이미지 입력 후 합성곱에 해당하는 연산으로 모델 구조를 정해 놓아, 형상 정보를 유지 합성곱 연산   - 입력 데이터에 필터(Filter) 혹은 커널(Kernel)를 적용하여 윈도우(Window)를 일정 간격으로 이동해가며 수행  ..

* 필수 온라인 강의 Part19 Deep Learning CH04 성능 고도화 학습좋은 모델을 학습하기 위한 기초과소적합(Underfitting)이나 과적합(Overfitting)이 아닌 상태가 적합한 상태(Good fitting)- 과적합 (Overfitting) : 학습 데이터 오차가 일반화 오차에 비해서 현격하게 낮아지는 현상    1)학습 데이터는 부족한데, 2)모델의 파라미터가 많은 상황에서 과적합이 발생 - 이런 상태를 모델이 강건하다(Robust)고 표현편향(Bias)와 분산(Variance) 사이의 관계- 편향 : 평균적으로 얼마나 벗어나있냐?- 분산 : 얼마나 퍼져있냐 -> 둘다 낮은 게 좋음 : 모델의 복잡성이 증가하면 분산은 증가하고 편향은 감소하는 경향 : 모델의 복잡성이 감소하면..