본 게시글은 한빛미디어 『밑바닥부터 시작하는 딥러닝, 사이토 고키, 2020』의 내용을 참조하였음을 밝힙니다. 과대적합(Overfitting)은 모델의 표현력이 복잡해지거나, 훈련 데이터 수가 적을 때 주로 발생한다. 모델이 과대적합되면 훈련 데이터에 대해서만 정확해지기 때문에 범용적인 모델을 만들 수 없어진다. 이번 장에서는 과대적합을 막기 위한 L1, L2 규제와 드롭아웃(dropout)이라는 방법에 대해서 알아보도록 하자. l1, l2 규제 출처 : https://medium.com/analytics-vidhya/l1-vs-l2-regularization-which-is-better-d01068e6658c L1 규제는 기존 손실값에 (람다(λ)값이 곱해진) 가중치의 절대값을 더한다. 가중치 중에 큰..

이전 장에서는 규제의 한가지 방법으로 릿지 회귀를 살펴보았다. 이번 장에서는 규제의 또다른 방법으로 라쏘 회귀와 엘라스틱 넷에 대해 알아보자. 라쏘 회귀(Lasso Regression) 라쏘 회귀(Lasso Regression)이란, 릿지 회귀와 마찬가지로 기존 비용함수에 규제항을 더한 것을 비용함수로 가진다. 릿지 회귀와는 다르게 가중치 벡터의 L1 노름을 사용하는데, 가중치 파라미터의 절대값을 합한 값을 이용한다. 출처 : www.kaggle.com/achintyatripathi/part-2-l1-l2-regularisation-in-log-regression 라쏘 회귀는 덜 중요한 특성의 가중치를 제거함으로써 상대적으로 중요한 가중치만 선택하여 훈련시킬 수 있다는 특징을 가지고 있다. 엘라스팃 넷(..