4-2. 소프트맥스 회귀(Softmax Regression)

4.1장의 로지스틱 회귀는 양성 클래스/음성 클래스만을 분류하는 이진 분류기였다. 

 

하지만 로지스틱 회귀 역시 다중 클래스를 분류할 수 있는데, 이를 소프트맥스 회귀 혹은 다항 로지스틱 회귀라고 한다. 

 

소프트맥스 회귀 

 

먼저 샘플 x에 대해서 각 클래스별로 가진 파라미터 행렬을 곱한 뒤, 각 클래스 k에 대한 점수를 계산한다. 

 

소프트맥스 함수

이를 소프트맥스 함수에 통과시켜 표준화시킨다. 그렇게 출력된 값이 각 클래스에 속할 확률이다. 

 

 

 

크로스 엔트로피 비용함수

---

크로스 엔트로피 비용함수

소프트맥스 회귀에서 사용하는 비용함수는 이진 분류기의 비용함수를 다항으로 확장한 것과 같다. 

 

k번째 클래스에 속할 확률 pk를 낮게 측정했는데(log값이 -∞에 가까운데), 실제 타깃확률인 yk가 1일 경우

 

비용함수가 매우 커지게 된다. 반대의 경우 역시 마찬가지이다. 

 

클래스 k에 대한 크로스 엔트로피의 그레디언트 벡터

크로스 엔트로피의 그레디언트 벡터를 경사하강법 등의 최적화 알고리즘에 적용하여

 

올바른 파라미터에 가깝게 업데이트할 수 있다.