tensorflow(텐서플로우) reducde_mean 의미

MSE 의 loss

loss = tf.reduce_mean(tf.square(y-T))

 

Cross-Entropy의 loss

loss = -tf.reduce_mean( T*tf.log(y) + (1-T)*tf.log(1-y) )

 

tf.reduce_mean의 의미는 (1/N)Σ[N,i]을 가진다.

cross entropy에는 1/N을 안 해주었지만 해주어도 loss를 줄이는 개념이기 때문에 상관없다. 쓰면 된다.

 

또 cross-entropy는 delta가 필요한데 안 쓰는 것을 통해 텐서플로우 내부적으로 넣어주는 것을 알 수 있다..