아주 작은수 $$\epsilon$$를 더해 주는 이유는?

예시

• log(x)안에는 늘 아주 작은 $$\epsilon = 10^{-8}$$을 더해주자
• 뭔가를 나눌 때는 늘 분모에 아주 작은 $$\epsilon = 10^{-8}$$을 더해주자
• $$\sqrt{x}$$안에도 늘 아주 작은 $$\epsilon = 10^{-8}$$을 더해주자

이유

• 값이 0이 되는 것을 막기 위하여(??)

효과

• NaN, inf값이 나와도 안정적인 훈련을 할 수 있음

$$\prod $$식을 $$\sum$$으로 변환하기

예시

• $$\prod $$ K를 $$-\sum log K$$로 변환

방법

• [곱연산]에 로그를 취하고 부호를 반전한여 [덧셈연산]으로

이유

• 곱셈연산을 덧셈으로 하여 빠른 연산(??)

데이터의 갯수로 나누기 $$\frac{1}{N}$$

예시

• 한개 데이터의 손실 함수(Cross Entropy): $$-\sum_{i=1}^C t_i \log y_i $$
• 여러 데이터의 손실 함수(Cross Entropy): $$-\frac{1}{N}\sumn\sum{i=1}^C t_i \log y_i $$

방법

• 평균으로 나누어줌

이유

• 정규화를 위하여

효과

• 훈련데이터의 수에 상관없이 통일된 지표를 얻을수 있음