딥러닝(deep learning)/인공신경망(Neural Network)20 행렬의 계산 성능 개선 행렬을 계산할때 400x1000 인풋이 들어오고 히든 노드가 100개라고하면 (400x 1000) (1000x100) 의 dot product를 수행하게 된다. 이것의 문제점 1. 시간 문제 2. 전체 입력데이터 행렬에 대한 개선된 W, b 값을 한꺼번에 구해야 하기때문에 W, b이 결정되기가 쉽지 않다. 데이터 한 행씩 계산을 하게 되면 W, b의 값이 적절하게 선정될 수 있는 가능성이 높아질 수도 있다. 행렬의 크기가 클 때 not batch를 사용하는 방법도 고려해 보도록 하자. 2019. 7. 24. W2와 W3가 독립적인가? hidden layer 하나를 도입하였을 때 W2, b2, W3, b3를 사용하게 된다. 이 때 W2가 바뀜에 따라 W3도 바뀌어 하는가? 정답은 아니다. 왜냐하면 feed forward에서 W2가 변하면서 바뀌는 값은 a2,z2의 값이 바뀌는 것이다. W3는 바뀌지 않아도 되고 바뀌어도 된다. 즉 100퍼센트 영향이 아니기 때문에 독립적이다. 2019. 7. 23. 오버피팅 해결 기본적 방법 2가지 오버피팅을 막을 수 있는 방법 1. 트레이닝 데이터 일부러 누락 시키기. 30퍼센트를 일부러 누락 시키는 방법 2.드랍아웃 :랜덤하게 히든 레이어의 한 노드를 1000번에 한번 0으로 만드는 방법 2019. 7. 23. NN_XOR_implementation 히든 레이어 개수와 각 노드의 개수도 하이퍼파라미터 바뀐 부분은 loss_func이 feed_forward로 변경되었다는 점이다. 미분해서 사용하는 것은 동일하다. 1. 설계 규칙과 2. 코드를 첨부한다. 1. 설계규칙 2. 코드 2019. 7. 22. 이전 1 2 3 4 5 다음
