one hot encoding
MNIST 기준으로 설명함. 정답이 0부터 9까지 10개 이기 때문에 10개로 one hot encoding을 구현. 8이 정답인 경우 -> [0,0,0,0,0,0,0,0,1,0] 정답이 되는 인덱스만 1로 처리하는 방식이다. 실제 구현은 다음과 같이 함. target_data = np.zeros(o_nodes) + 0.01 target_data[label] = 0.99 정답데이터가 확률을 의미하기 때문에 1과 0은 비현실적이다. 1과 0에 근사한 값을 one hot encoding representation에 이용한다. 0.99나 0.9999나 1과 가까운 값을 사용. cross entropy에서 두 변이 다 남아 있긴 하지만 loss가 크게 달라지진 않기 때문에 위와 같이 0, 1 대신에 근사한 소수..
2019. 8. 6.