관련 포스트앙상블 학습 머신러닝 지도 학습 분류 회귀

부스팅(Boosting)

•

2026년 11월 08일 발행•2026년 11월 08일 수정

요약

약한 학습기를 순차적으로 학습·결합하여 이전 단계의 오류를 보정하는 앙상블 학습 기법

중급

결정 트리, 손실 함수, 경사 하강법에 대한 이해가 필요하며, 함수 공간에서의 최적화와 하이퍼파라미터 간 상호작용을 이해해야 한다.

태그

앙상블 학습 머신러닝 지도 학습 분류 회귀

#개념

부스팅(Boosting)은 예측 성능이 무작위 추측보다 조금 나은 수준의 약한 학습기(Weak Learner) 여러 개를 순차적으로 학습하고 결합하여 하나의 강한 학습기를 만드는 앙상블 학습(Ensemble Learning) 기법이다. 각 단계의 학습기는 앞선 학습기들이 잘못 예측한 부분을 보완하도록 학습되며, 최종 예측은 학습기 출력의 가중 결합으로 계산한다.

부스팅의 이론적 출발점은 "약하게 학습 가능한 문제는 강하게도 학습 가능한가"라는 계산 학습 이론의 질문이다. Schapire는 1990년 논문에서 약한 학습기를 반복적으로 결합하면 임의로 높은 정확도를 갖는 강한 학습기를 만들 수 있음을 증명하였다. 이후 Freund와 Schapire가 1997년에 발표한 AdaBoost가 실용적인 알고리즘으로 자리 잡으면서 부스팅은 머신러닝의 대표적인 방법론이 되었다.

AdaBoost(Adaptive Boosting)는 학습 데이터의 각 표본에 가중치를 두고, 매 단계마다 잘못 분류된 표본의 가중치를 높여 다음 학습기가 어려운 표본에 집중하도록 만든다. 이진 분류에서 레이블을 $y_i \in \{-1, +1\}$, 단계 $t$의 학습기를 $h_t$, 가중 오류율을 $\epsilon_t$라 하면 학습기 가중치는 $\alpha_t = \frac{1}{2}\ln\frac{1-\epsilon_t}{\epsilon_t}$로 계산한다. 표본 가중치는 $w_i \leftarrow w_i \exp(-\alpha_t y_i h_t(x_i))$로 갱신한 뒤 합이 1이 되도록 정규화한다.

최종 분류기는 $H(x) = \mathrm{sign}\left(\sum_{t} \alpha_t h_t(x)\right)$로 정의되며, 오류율이 낮은 학습기일수록 큰 발언권을 갖는다. AdaBoost는 이후 지수 손실 함수 $\exp(-y f(x))$를 단계적으로 최소화하는 전진 단계별 가법 모형(Forward Stagewise Additive Modeling)으로 해석되었고, 이 해석은 다양한 손실 함수로 부스팅을 일반화하는 기반이 되었다.

그래디언트 부스팅(Gradient Boosting)은 Friedman이 2001년에 제안한 일반화된 부스팅 프레임워크이다. 모형 $F(x)$를 함수 공간의 한 점으로 보고, 손실 함수(Loss Function) $L(y, F(x))$의 음의 기울기 방향으로 새 학습기를 더해 나가는 경사 하강법(Gradient Descent)을 함수 공간에서 수행한다. 단계 $m$에서는 의사 잔차 $r_{im} = -\partial L(y_i, F(x_i)) / \partial F(x_i)$를 계산하고, 이를 목표로 회귀 트리 $h_m$을 학습한다.

모형은 $F_m(x) = F_{m-1}(x) + \nu \, h_m(x)$로 갱신되며, 제곱 오차 손실에서는 의사 잔차가 실제 잔차와 같아진다. 손실 함수만 바꾸면 회귀, 분류, 순위 학습, 분위수 회귀 등 다양한 문제에 같은 절차를 적용할 수 있다는 점이 그래디언트 부스팅의 가장 큰 장점이다. 기본 학습기로는 깊이가 얕은 결정 트리를 주로 사용하며, 이를 그래디언트 부스팅 결정 트리(Gradient Boosted Decision Tree, GBDT)라 부른다.

그래디언트 부스팅의 일반화 성능을 좌우하는 주요 설정은 다음과 같다.

부스팅의 주요 하이퍼파라미터

수축(Shrinkage): 학습률 $\nu$(보통 0.01~0.3)로 각 학습기의 기여를 줄여 과대적합을 늦추는 방법이다. 학습률이 작을수록 더 많은 트리가 필요하지만 일반화 성능이 좋아지는 경향이 있다.
트리 수: 부스팅 단계 수로, 너무 크면 학습 데이터에 과대적합된다. 검증 손실을 기준으로 한 조기 종료로 정하는 것이 일반적이다.
트리 깊이·잎 수: 기본 학습기의 복잡도이며, 특성 간 상호작용을 표현할 수 있는 차수를 결정한다. 보통 3~8 수준의 얕은 트리를 사용한다.
서브샘플링(Subsampling): 각 단계에서 표본이나 특성의 일부만 무작위로 사용하는 방법이다. Friedman이 제안한 확률적 그래디언트 부스팅의 핵심으로, 분산을 줄이고 학습 속도를 높인다.
정칙화 항: 잎 가중치에 L1·L2 벌점을 주거나 분할에 최소 이득을 요구하여 트리의 복잡도를 제한하는 방법이다.

부스팅은 편향(Bias) 감소 관점에서 이해할 수 있다. 개별 학습기는 단순하여 편향이 크지만, 잔차를 순차적으로 보정하면서 전체 모형의 편향이 줄어든다. 반면 독립적으로 학습한 모형을 평균하는 배깅은 주로 분산을 줄인다. 이 때문에 부스팅은 얕은 트리처럼 편향이 큰 학습기와, 배깅은 깊은 트리처럼 분산이 큰 학습기와 잘 맞는다.

부스팅은 순차적으로 오류를 보정하므로 잡음 표본이나 잘못된 레이블에 과도하게 맞춰질 수 있다. 특히 AdaBoost는 지수 손실 때문에 이상치에 민감하다. 실무에서는 조기 종료(Early Stopping), 학습률 축소, 서브샘플링, 잎 가중치 정칙화(Regularization)를 함께 사용하여 과대적합(Overfitting)을 제어한다.

2010년대 이후에는 대규모 데이터에서 빠르고 정확하게 동작하도록 공학적으로 최적화된 그래디언트 부스팅 구현체가 널리 쓰인다. 대표적인 라이브러리의 특징은 다음과 같다.

주요 그래디언트 부스팅 라이브러리

XGBoost: Chen과 Guestrin이 2016년에 발표한 라이브러리로, 2차 테일러 근사 기반 목적 함수와 정칙화 항을 사용한다. 희소 데이터 처리, 가중 분위수 스케치, 캐시 친화적 구조와 분산 학습을 지원한다.
LightGBM: Microsoft가 개발한 라이브러리로, 히스토그램 기반 분할과 잎 단위(leaf-wise) 트리 성장을 사용한다. 기울기 기반 단측 표집(GOSS)과 배타적 특성 묶음(EFB)으로 대용량 데이터의 학습 속도를 높인다.
CatBoost: Yandex가 개발한 라이브러리로, 범주형 특성을 순서형 타깃 통계로 인코딩하고 순서 부스팅(Ordered Boosting)으로 타깃 누수를 줄인다. 대칭(oblivious) 트리를 사용하여 추론이 빠르다.

부스팅 계열 모델은 표 형태의 정형 데이터(Tabular Data)에서 특히 강하다. 이질적인 수치·범주형 특성, 결측값, 단조롭지 않은 관계를 별도의 정규화 없이 다룰 수 있으며, 데이터 과학 경진 대회와 산업 현장에서 여전히 딥러닝 모델과 대등하거나 더 나은 성능을 보이는 경우가 많다. 특성 중요도나 SHAP 값으로 예측 근거를 분석하기도 쉽다.

부스팅의 대표적인 활용 분야는 다음과 같다.

부스팅의 활용 사례

클릭률(CTR) 예측: 광고·추천 시스템에서 사용자·상품·문맥 특성으로 클릭 확률을 예측한다. GBDT의 잎 인덱스를 로지스틱 회귀의 입력 특성으로 쓰는 결합 방식도 알려져 있다.
순위 학습(Learning to Rank): LambdaMART는 LambdaRank의 기울기를 그래디언트 부스팅 트리에 적용한 방법으로, NDCG 같은 순위 지표를 직접 최적화한다. 검색 결과와 추천 후보 재정렬에 널리 쓰인다.
신용 평가·사기 탐지: 금융 거래 기록과 고객 정보처럼 정형화된 특성에서 부도 확률이나 이상 거래 여부를 분류한다.
수요 예측: 시계열에서 추출한 지연 특성과 달력 특성을 입력으로 상품별 판매량을 회귀한다.

부스팅을 적용할 때는 순차 학습 특성상 트리 단위 병렬화가 어렵다는 점을 고려해야 한다. 현대 라이브러리는 분할 탐색과 히스토그램 계산을 병렬화하고 GPU 학습을 지원하여 이 한계를 상당 부분 완화하였다. 또한 학습률과 트리 수, 트리 깊이는 서로 강하게 얽혀 있으므로 하이퍼파라미터 튜닝(Hyperparameter Tuning) 시 조기 종료와 함께 탐색하는 것이 효율적이다.

정리하면 부스팅은 약한 학습기를 순차적으로 더해 편향을 줄이는 앙상블 기법이며, AdaBoost에서 그래디언트 부스팅으로 발전하면서 임의의 미분 가능한 손실 함수를 다룰 수 있게 되었다. XGBoost, LightGBM, CatBoost 같은 구현체 덕분에 정형 데이터 예측, 클릭률 예측, 순위 학습에서 가장 먼저 검토하는 기본 모델로 자리 잡았다.