행렬을 계산할때 400x1000 인풋이 들어오고 히든 노드가 100개라고하면 (400x 1000) (1000x100) 의 dot product를 수행하게 된다.
이것의 문제점
1. 시간 문제
2. 전체 입력데이터 행렬에 대한 개선된 W, b 값을 한꺼번에 구해야 하기때문에 W, b이 결정되기가 쉽지 않다.
데이터 한 행씩 계산을 하게 되면 W, b의 값이 적절하게 선정될 수 있는 가능성이 높아질 수도 있다.
행렬의 크기가 클 때 not batch를 사용하는 방법도 고려해 보도록 하자.
Diabetes_not_batch_class.ipynb
0.04MB
'딥러닝(deep learning) > 인공신경망(Neural Network)' 카테고리의 다른 글
seperate function, normalize function (0) | 2019.07.25 |
---|---|
not batch를 쓸 경우, 마지막 행의 데이터의 loss의 감소추세가 가지는 의미( 중요) (0) | 2019.07.25 |
W2와 W3가 독립적인가? (0) | 2019.07.23 |
오버피팅 해결 기본적 방법 2가지 (0) | 2019.07.23 |
NN_XOR_implementation (0) | 2019.07.22 |