부스팅(Boosting)이란 약한 학습기 여러 개를 연결하여 강한 학습기로 만드는 기법을 말한다. 대표적으로 에이다부스트, 그레이디언트 부스트가 있다. 에이다부스트(Adaboost) 출처 : vitalflux.com/adaboost-algorithm-explained-with-python-example/ 에이다부스트(Adaboost)의 예측 기법은 다음과 같다. 1. 첫 번째 분류기를 훈련 세트에서 훈련시키고 예측을 만든다. 2. 잘못 분류된 샘플의 가중치를 상대적으로 높인다. 3. 그 다음 예측기에서 업데이트된 가중치를 통해 훈련하고, 예측을 만든다. 4. 반복한다. 상세한 가중치 업데이트의 과정은 아래와 같다. 출처 : stackoverflow.com/questions/55318330/why-is-t..

oob 평가 앙상블 학습에서 훈련 세트를 샘플링할때 중복을 허용하는 배깅 방식을 채택할 경우, 일반적으로 훈련 샘플의 63%만 샘플링이 되는데, 이는 나머지 37%의 데이터는 훈련에 쓰이지 않는다. 이러한 데이터를 oob(out-of-bag)라고 하는데, 앙상블의 평가에 이 oob 샘플을 활용할 수 있다. bag_clf = BaggingClassifier(DecisionTreeClassifier(), n_estimators=500, max_samples=30, bootstrap=True, n_jobs=-1, oob_score=True) bag_clf.fit(X_train, y_train) y_pred = bag_clf.predict(X_valid) BaggingClassifier 객체 생성 시 oob_s..

앙상블 학습(Ensemble Learning) '앙상블 학습은 여러 모델이 전략적으로 생성되고 결합되어 특정 계산 지능 문제를 해결하는 과정이다.' 출처 : www.scholarpedia.org/article/Ensemble_learning Ensemble learning - Scholarpedia Ensemble learning is the process by which multiple models, such as classifiers or experts, are strategically generated and combined to solve a particular computational intelligence problem. Ensemble learning is primarily used to i..