비선형 SVM 분류 출처 : ai.plainenglish.io/what-is-deep-learning-and-how-deep-learning-works-6f055125633d 5-1 장에서는 선형 데이터를 SVM으로 분류하는 방법에 대해서 살펴보았다. 비선형 데이터 역시 SVM으로 분류가 가능한데, 선형 회귀에서 비선형 데이터를 처리하던 것과 마찬가지로 기존 데이터에 다항 특성을 추가하여 SVM을 사용할 수 있다. X, y = make_moons(n_samples=100, noise=0.15) polynomial_svm_clf = Pipeline([ ("poly_feathers", PolynomialFeatures(degree=3)), ("scaler", StandardScaler()), ("svm_cl..

서포트 벡터 머신(SVM)은 선형, 비선형 분류, 회귀, 이상치 탐치 등 범용적으로 쓰일 수 있는 머신러닝 모델이다. 출처 : www.researchgate.net/figure/SVM-6-Shows-the-main-concept-of-SVM-Its-margins-and-support-vectors_fig1_343997587 서포트 벡터 머신은 위 그림과 같이 데이터를 클래스로 분류할 때 클래스 간의 가장 넓은 거리(Margin)를 찾는 모델이다. 그래서 라지 마진 분류(Large Margin Classification)라고도 한다. 마진의 끝자락에 위치한 샘플에 의해 마진이 결정되는데, 이러한 샘플을 서포트 벡터라고 한다. 소프트 마진 분류 모든 샘플이 마진의 바깥쪽에 완벽하게 분류되어있다면 이를 하드 ..

4.1장의 로지스틱 회귀는 양성 클래스/음성 클래스만을 분류하는 이진 분류기였다. 하지만 로지스틱 회귀 역시 다중 클래스를 분류할 수 있는데, 이를 소프트맥스 회귀 혹은 다항 로지스틱 회귀라고 한다. 먼저 샘플 x에 대해서 각 클래스별로 가진 파라미터 행렬을 곱한 뒤, 각 클래스 k에 대한 점수를 계산한다. 이를 소프트맥스 함수에 통과시켜 표준화시킨다. 그렇게 출력된 값이 각 클래스에 속할 확률이다. 크로스 엔트로피 비용함수 소프트맥스 회귀에서 사용하는 비용함수는 이진 분류기의 비용함수를 다항으로 확장한 것과 같다. k번째 클래스에 속할 확률 pk를 낮게 측정했는데(log값이 -∞에 가까운데), 실제 타깃확률인 yk가 1일 경우 비용함수가 매우 커지게 된다. 반대의 경우 역시 마찬가지이다. 크로스 엔트로..

시그모이드 함수 출처: medium.com/@msdasila90/logistic-regression-and-its-mathematical-implementation-13f96ee71c8c 로지스틱 회귀는 어떤 입력값 X에 대해 양성 클래스(1)와 음성 클래스(0)으로 구분하는 분류 방법이다. 이를 '이진 분류기'라고 한다. 출처 : laptrinhx.com/machine-learning-using-c-a-beginner-s-guide-to-linear-and-logistic-regression-2294098464/ 로지스틱 회귀 모델에서는 가중치와 input(x0, x1, x2, .... xn)을 곱한 값을 시그모사이드 함수에 통과시키는데, 이 값(hθ(x))이 0.5보다 클 경우, 양성 클래스(1), ..

이전 장에서는 규제의 한가지 방법으로 릿지 회귀를 살펴보았다. 이번 장에서는 규제의 또다른 방법으로 라쏘 회귀와 엘라스틱 넷에 대해 알아보자. 라쏘 회귀(Lasso Regression) 라쏘 회귀(Lasso Regression)이란, 릿지 회귀와 마찬가지로 기존 비용함수에 규제항을 더한 것을 비용함수로 가진다. 릿지 회귀와는 다르게 가중치 벡터의 L1 노름을 사용하는데, 가중치 파라미터의 절대값을 합한 값을 이용한다. 출처 : www.kaggle.com/achintyatripathi/part-2-l1-l2-regularisation-in-log-regression 라쏘 회귀는 덜 중요한 특성의 가중치를 제거함으로써 상대적으로 중요한 가중치만 선택하여 훈련시킬 수 있다는 특징을 가지고 있다. 엘라스팃 넷(..

이전 장에서 살펴봤듯이, 예측 모델이 훈련세트에만 정확하게 예측하도록 훈련되어 검증 세트에서의 효과가 떨어지는 것을 과대 적합이라고 한다. 이러한 과대 적합 문제를 해결하는 방법 중 하나가 '규제'이다. 선형 회귀 모델에서는 가중치에 제한을 둠으로써 규제를 가한다. 이러한 규제의 종류로는 크게 '릿지' 회귀, '라쏘' 회귀, 엘라스틱넷이 있다. 릿지 회귀(Ridge regression) 릿지 회귀는 기존 선형 모델에 규제항을 추가한 회귀 모델이다. 릿지 회귀의 비용함수는 기존 MSE 비용함수에서 가중치 벡터 w 의 L2 norm이 추가된다. 각 가중치의 제곱을 모두 합한 후, 규제의 강도를 결정하는 하이퍼 파라미터 alpha를 추가한다. 1/2는 미분 시 편의를 위한 상수이다. 이 때 첫번째 파라미터(즉..