3-2. 규제 - 라쏘 회귀, 엘라스틱 넷

2021. 4. 27. 22:50Machine Learning

이전 장에서는 규제의 한가지 방법으로 릿지 회귀를 살펴보았다. 

 

이번 장에서는 규제의 또다른 방법으로 라쏘 회귀 엘라스틱 넷에 대해 알아보자.

 

 

라쏘 회귀(Lasso Regression)


라쏘 회귀(Lasso Regression)이란, 릿지 회귀와 마찬가지로 기존 비용함수에 규제항을 더한 것을 비용함수로 가진다. 

 

릿지 회귀와는 다르게 가중치 벡터의 L1 노름을 사용하는데, 가중치 파라미터의 절대값을 합한 값을 이용한다. 

 

l1 규제와 l2규제의 비용함수식

출처 : www.kaggle.com/achintyatripathi/part-2-l1-l2-regularisation-in-log-regression

 

라쏘 회귀는 덜 중요한 특성의 가중치를 제거함으로써 상대적으로 중요한 가중치만 선택하여 훈련시킬 수

 

있다는 특징을 가지고 있다. 

 

엘라스팃 넷(Elastic Net)


엘라스틱 넷(Elastic net)은 릿지 회귀와 라쏘 회귀를 혼합한 모델이다. 

 

엘라스틱 넷의 비용함수

 

alpha를 통해서 릿지 회귀와 라쏘 회귀의 혼합 비율을 조절할 수 있다. 

 

 

 

릿지 회귀와 라쏘 회귀 비교


 

 

라쏘 회귀와 릿지 회귀 비교

출처 : www.kaggle.com/discussion/222075

 

좌측은 라쏘 회귀, 우측은 릿지 회귀의 파라미터 공간을 나타낸 그림이다. 

 

청색 영역이 L1, L2 손실을 나타내고, 붉은 등고선이 라쏘 회귀, 릿지 회귀의 비용함수를 나타낸다. 

 

파라미터는 L1, L2 손실과 비용함수를 동시에 최소화하는 방향으로 진행하는데, 

 

이 과정에서 라쏘 회귀는 덜 중요한 가중치가 다른 가중치보다 먼저 0에 도달한다. 

 

릿지 회귀는 전역 최적값에 도달하는 과정에서 각 가중치가 동일하게 감소한다.