Cross-entropy

1. Entropy

불확실성의 척도. 
주머니 안에 두가지 색의 공이 5: 5로 담겨있으면 entropy = log(2) = 0.69
반반이면 어떤 사건이 발생할지 제일 예측이 어렵기 때문에 entropy가 크다.
​
아래 공식으로 엔트로피를 구함. 식에 - 가 붙어있어서 예측이 쉬운 사건보다 예측어려운 사건의 entropy더 높음
H(q): 엔트로피
c: 범주의 갯수(사건의 수)
q: 사건의 확률질량함수( yc 사건이 발생할 확률).

2. Cross-entropy

실제 값의 분포 q를 알고 싶어서 q를 예측하는 p분포를 만들었다면, 예측값과 실제값의 차이를 측정하는데 쓰임.
Cross entropy는 아래 식이다. 실제 분포q와 p가 섞여 있어서 cross entropy라 부름

실제 사건 발생 분포는 [0.8, 0.1, 0.1]인데, [0.2, 0.2, 0.6]라고 예측했다면 entropy와 cross-entropy는 아래처럼 계산됨.
cross-entropy는 손실함수로도 쓰임.

정리 참고: https://3months.tistory.com/436

3. Logistic regression Cross-entropy

logistic regression에서 주로 사용하는 function이다.
binary classification에서 0, 1 로 분류할때
y hat : 1이라 분류할 확률 
1 - yhat : 0이라 분류할 확률 
p, q를 y hat , 1 - yhat으로 바꾸자.
p = [y, 1 - y]   ----> [1인 실제확률, 0인 실제 확률]
q = [yhat, 1- yhat] ----->[1인 예측확률, 0인 예측확률]
cross entropy = -ylog(yhat) - (1-y)log(1-yhat)

logistic regression cross entropy 참고: https://hyunw.kim/blog/2017/10/26/Cross_Entropy.html

4. Logistic regression with python

https://github.com/100shye/logistic-regression/blob/main/cross%20entropy%20in%20logistic%20regression.ipynb