4-2. 소프트맥스 회귀(Softmax Regression)

4.1장의 로지스틱 회귀는 양성 클래스/음성 클래스만을 분류하는 이진 분류기였다. 하지만 로지스틱 회귀 역시 다중 클래스를 분류할 수 있는데, 이를 소프트맥스 회귀 혹은 다항 로지스틱 회귀라고 한다. 먼저 샘플 x에 대해서 각 클래스별로 가진 파라미터 행렬을 곱한 뒤, 각 클래스 k에 대한 점수를 계산한다. 이를 소프트맥스 함수에 통과시켜 표준화시킨다. 그렇게 출력된 값이 각 클래스에 속할 확률이다. 크로스 엔트로피 비용함수 소프트맥스 회귀에서 사용하는 비용함수는 이진 분류기의 비용함수를 다항으로 확장한 것과 같다. k번째 클래스에 속할 확률 pk를 낮게 측정했는데(log값이 -∞에 가까운데), 실제 타깃확률인 yk가 1일 경우 비용함수가 매우 커지게 된다. 반대의 경우 역시 마찬가지이다. 크로스 엔트로..

2021.05.02