3-1. 규제 - 릿지 회귀(Ridge Regression)

이전 장에서 살펴봤듯이, 예측 모델이 훈련세트에만 정확하게 예측하도록 훈련되어 검증 세트에서의 효과가 떨어지는 것을 과대 적합이라고 한다. 이러한 과대 적합 문제를 해결하는 방법 중 하나가 '규제'이다. 선형 회귀 모델에서는 가중치에 제한을 둠으로써 규제를 가한다. 이러한 규제의 종류로는 크게 '릿지' 회귀, '라쏘' 회귀, 엘라스틱넷이 있다. 릿지 회귀(Ridge regression) 릿지 회귀는 기존 선형 모델에 규제항을 추가한 회귀 모델이다. 릿지 회귀의 비용함수는 기존 MSE 비용함수에서 가중치 벡터 w 의 L2 norm이 추가된다. 각 가중치의 제곱을 모두 합한 후, 규제의 강도를 결정하는 하이퍼 파라미터 alpha를 추가한다. 1/2는 미분 시 편의를 위한 상수이다. 이 때 첫번째 파라미터(즉..

2021.04.27