출처 : docs.paperspace.com/machine-learning/wiki/gradient-boosting 그레이디언트 부스팅(Gradient Boosting)이란 이전 예측기가 만든 잔여 오차(Residual Error)에 새로운 예측기를 학습시키는 기법이다. X = 2*np.random.randn(100,1) y = 2 * X ** 2 + X * 4 + 10 + np.random.randn(100, 1) 노이즈가 섞인 2차 다항식을 결정 트리로 추정하는 모델에 그레이디언트 부스팅을 적용해보겠다. tree_reg1 = DecisionTreeRegressor(max_depth=2) tree_reg1.fit(X,y) 가장 먼저 기초적인 결정 트리를 훈련시켰다. y2 = y - tree_reg1.p..

부스팅(Boosting)이란 약한 학습기 여러 개를 연결하여 강한 학습기로 만드는 기법을 말한다. 대표적으로 에이다부스트, 그레이디언트 부스트가 있다. 에이다부스트(Adaboost) 출처 : vitalflux.com/adaboost-algorithm-explained-with-python-example/ 에이다부스트(Adaboost)의 예측 기법은 다음과 같다. 1. 첫 번째 분류기를 훈련 세트에서 훈련시키고 예측을 만든다. 2. 잘못 분류된 샘플의 가중치를 상대적으로 높인다. 3. 그 다음 예측기에서 업데이트된 가중치를 통해 훈련하고, 예측을 만든다. 4. 반복한다. 상세한 가중치 업데이트의 과정은 아래와 같다. 출처 : stackoverflow.com/questions/55318330/why-is-t..