용어 정리
###epoch
- One Epoch is when an ENTIRE dataset is passed forward and backward through the neural network only ONCE
###batch
- Total number of training examples present in a single batch.
mini batch 경사하강
- 전체 데이터를 batch_size개씩 나눠 배치로 학습(배치 크기를 사용자가 지정)
- BGD보다 계산량이 적다. (Batch Size에 따라 계산량 조절 가능)
- Shooting이 적당히 발생한다. (Local Minima를 어느정도 회피할 수 있다.)
@ 학습 절차
- 훈련 데이터의 일부를 무작위로 가져옴
- 기울기(gradient) 산출
- 가중치요소 들을 기울기 방향으로 갱신
- 반복
@ 시험 추가
validation set의 추가로 정확한 성능을 체크 할 수 있다.
성능 개선
- 오류 역전파
asdf
미분값을 통해 가중치를 개선하여 fitting 시키는 방법