관련 포스트머신러닝 하이퍼파라미터 최적화 MLOps

하이퍼파라미터 튜닝(Hyperparameter Tuning)

•

2026년 10월 25일 발행•2026년 10월 25일 수정

요약

학습 전에 정하는 하이퍼파라미터의 조합을 탐색하여 검증 성능이 가장 좋은 설정을 찾는 과정

중급

모델 학습과 검증 절차에 대한 이해가 필요하며, 탐색 알고리즘의 원리와 계산 비용·검증 과대적합 사이의 절충을 판단할 수 있어야 한다.

태그

머신러닝 하이퍼파라미터 최적화 MLOps

#개념

하이퍼파라미터 튜닝(Hyperparameter Tuning)은 학습 전에 사람이 정해야 하는 하이퍼파라미터(Hyperparameter)의 조합을 탐색하여 검증 성능이 가장 좋은 설정을 찾는 과정이다. 하이퍼파라미터 최적화(Hyperparameter Optimization, HPO)라고도 하며, 학습률·배치 크기·정칙화 강도·트리 깊이처럼 모델이 데이터로부터 스스로 학습하지 않는 값을 대상으로 한다.

하이퍼파라미터 튜닝은 일종의 블랙박스 최적화 문제다. 하이퍼파라미터 설정 $\lambda$를 입력으로 받아 모델을 학습하고 검증 손실 $f(\lambda)$를 돌려주는 함수를 생각하면, 목표는 탐색 공간 $\Lambda$에서 $\lambda^* = \arg\min_{\lambda \in \Lambda} f(\lambda)$를 찾는 것이다. 이 함수는 기울기를 구할 수 없고, 한 번 평가하는 데 모델 학습 전체가 필요하며, 무작위 초기화 때문에 잡음까지 섞여 있어 평가 횟수를 아끼는 것이 핵심이다.

튜닝은 탐색 공간 정의에서 시작한다. 각 하이퍼파라미터의 유형과 범위를 정하고, 어떤 값이 의미 있게 다른지를 반영한 분포를 지정해야 한다.

탐색 공간 정의 요소

연속형: 학습률, 가중치 감쇠처럼 실수 범위에서 고르는 값이다. 여러 자릿수에 걸치는 값은 $10^{-5}$에서 $10^{-1}$ 사이를 로그 스케일로 균등하게 샘플링한다.
정수형: 층 수, 트리 깊이, 은닉 차원처럼 정수로 고르는 값이다. 범위가 넓으면 2의 거듭제곱처럼 간격을 두어 탐색한다.
범주형: 옵티마이저 종류, 활성화 함수처럼 선택지 중 하나를 고르는 값이다.
조건부: 특정 선택을 했을 때만 의미가 있는 값이다. 예를 들어 SGD를 골랐을 때만 모멘텀 값을 탐색한다.

가장 단순한 방법은 그리드 서치(Grid Search)다. 하이퍼파라미터마다 후보 값을 정해 모든 조합을 평가하므로 구현이 쉽고 재현성이 높지만, 조합 수가 하이퍼파라미터 개수에 대해 지수적으로 늘어난다. 하이퍼파라미터 5개에 후보를 5개씩 두면 3,125번의 학습이 필요하다.

James Bergstra와 Yoshua Bengio는 2012년 논문에서 랜덤 서치(Random Search)가 같은 예산으로 그리드 서치보다 효율적임을 보였다. 실제 문제에서는 성능에 크게 영향을 주는 하이퍼파라미터가 소수인 경우가 많은데, 그리드 서치는 중요하지 않은 축에 평가를 낭비하는 반면 랜덤 서치는 중요한 축에서 더 다양한 값을 시험한다. 이 결과 이후 랜덤 서치는 튜닝의 기본 기준선으로 자리 잡았다.

베이지안 최적화(Bayesian Optimization)는 지금까지의 평가 결과로 목적 함수의 대리 모델을 만들고, 다음에 평가할 지점을 그 모델로 골라 평가 횟수를 줄인다. 대리 모델의 예측 평균과 불확실성을 함께 고려하는 획득 함수(Acquisition Function)로 탐색과 활용의 균형을 맞추며, 대표적인 획득 함수로 기대 개선량(Expected Improvement)이 있다.

대표적인 대리 모델

가우시안 프로세스(Gaussian Process, GP): 함수 값의 평균과 분산을 함께 추정하여 불확실성 표현이 정교하다. 연속형 저차원 공간에 강하지만 관측이 많아지면 계산 비용이 세제곱으로 늘어난다.
TPE(Tree-structured Parzen Estimator): 좋은 결과를 낸 설정과 나쁜 결과를 낸 설정의 분포를 각각 추정하고, 그 비율이 큰 지점을 고른다. 범주형과 조건부 공간을 자연스럽게 다루며 Hyperopt와 Optuna의 기본 알고리즘이다.
랜덤 포레스트: 트리 앙상블로 평균과 분산을 추정하며, 범주형 변수가 많은 공간에서 사용된다. SMAC이 대표적인 구현이다.

베이지안 최적화가 다음 설정을 똑똑하게 고르는 방법이라면, 조기 종료 기반 방법은 가망 없는 설정에 쓰는 자원을 빨리 회수하는 방법이다. 적은 에포크나 일부 데이터로 여러 설정을 짧게 학습해 보고 성적이 나쁜 설정을 일찍 중단하는 원리다.

조기 종료 기반 방법

연속 반감(Successive Halving): 많은 후보에 적은 자원을 배분해 학습한 뒤, 상위 일부만 남기고 남은 후보에 자원을 늘려 주는 과정을 반복한다.
Hyperband: Lisha Li 등이 2018년 제안한 방법으로, 처음 후보 수와 초기 자원의 비율을 다르게 한 연속 반감을 여러 번 실행하여 조기 종료가 너무 공격적일 위험을 분산한다.
ASHA(Asynchronous Successive Halving): 모든 후보가 한 단계를 마칠 때까지 기다리지 않고, 결과가 나오는 대로 승격 여부를 판단하여 대규모 병렬 환경에서 유휴 작업자를 줄인다.
BOHB: Hyperband의 후보 생성을 무작위 대신 TPE 계열 모델로 대체하여 베이지안 최적화와 조기 종료의 장점을 결합한다.

모집단 기반 학습(Population Based Training, PBT)은 여러 모델을 동시에 학습하면서, 주기적으로 성능이 나쁜 모델이 좋은 모델의 가중치를 복사하고 하이퍼파라미터를 조금 변형해 이어서 학습하는 방법이다. 학습 중에 하이퍼파라미터가 바뀌므로 고정값이 아닌 학습률 스케줄 같은 일정을 자연스럽게 찾아내며, 강화 학습과 대규모 신경망 학습에서 활용된다.

튜닝 결과를 신뢰하려면 평가 방식이 중요하다. 데이터가 적을 때는 각 설정을 교차 검증(Cross Validation)으로 평가하여 분할에 따른 우연한 차이를 줄인다. 하지만 수백 개 설정을 같은 검증 데이터로 비교하면 검증 데이터에 우연히 잘 맞는 설정이 선택되는 검증 과대적합(Validation Overfitting)이 일어난다. 따라서 튜닝에 전혀 쓰지 않은 테스트 데이터를 따로 두고 최종 성능은 그 데이터로 한 번만 보고한다.

모델 선택과 성능 추정을 모두 교차 검증으로 하려면 중첩 교차 검증(Nested Cross Validation)을 사용한다. 바깥 루프는 데이터를 학습용과 평가용으로 나누어 성능을 추정하고, 안쪽 루프는 바깥의 학습용 데이터 안에서 다시 교차 검증으로 하이퍼파라미터를 고른다. 튜닝 과정 자체를 하나의 학습 절차로 보고 평가하므로 편향 없는 일반화 성능 추정을 얻지만, 계산 비용이 바깥 폴드 수만큼 곱해진다.

튜닝 비용은 평가 횟수와 한 번의 학습 비용의 곱이다. 그리드 서치와 랜덤 서치는 각 시도가 독립적이라 병렬화가 쉽고, 베이지안 최적화는 이전 결과에 의존하는 순차적 성격이 있어 여러 후보를 한꺼번에 제안하는 배치 방식이나 비동기 방식으로 병렬화한다. 클라우드 환경에서는 GPU 시간이 곧 비용이므로 최대 시도 수, 시간 제한, 조기 종료 기준을 미리 정해 예산을 통제한다.

실무에서는 목적에 맞는 도구를 골라 탐색을 자동화한다.

대표 도구

scikit-learn: GridSearchCV, RandomizedSearchCV, HalvingGridSearchCV를 제공하며, 교차 검증과 결합된 고전적 머신러닝 모델 튜닝에 적합하다.
Optuna: 실행 중에 탐색 공간을 정의하는 define-by-run 방식으로 조건부 공간을 쉽게 표현하며, TPE 샘플러와 가지치기(Pruning)를 기본 제공한다.
Ray Tune: 분산 클러스터에서 대규모 병렬 튜닝을 수행하며, ASHA·PBT 같은 스케줄러와 Optuna·Hyperopt 등 외부 탐색 알고리즘을 통합한다.
Hyperopt: TPE를 처음 대중화한 파이썬 라이브러리로, 조건부 탐색 공간을 중첩 구조로 정의한다.

경험적으로 효과가 큰 실무 원칙도 있다. 신경망에서는 학습률이 가장 중요한 경우가 많으므로 먼저 학습률을 넓은 로그 범위에서 찾고, 그다음 배치 크기와 정칙화 강도를 조정한다. 처음에는 넓은 범위를 낮은 정밀도로 탐색한 뒤 좋은 영역을 좁혀 다시 탐색하며, 최적값이 탐색 범위의 경계에 있으면 범위를 넓혀 재탐색한다.

또한 무작위 시드에 따른 성능 변동보다 작은 차이는 의미 있는 개선으로 보지 않는다. 상위 후보 몇 개는 여러 시드로 다시 학습해 분산을 확인하고, 실험 관리 도구에 모든 시도의 설정과 지표를 기록해 재현 가능하게 만든다. 데이터 분포가 바뀌면 최적 하이퍼파라미터도 달라질 수 있으므로, 재학습 주기에 맞춰 튜닝을 다시 수행할지 판단한다.

하이퍼파라미터 튜닝은 모델 구조를 바꾸지 않고도 성능을 끌어올리는 가장 직접적인 수단이지만, 무분별한 탐색은 계산 비용과 검증 과대적합을 키운다. 탐색 공간을 신중하게 정의하고, 문제 규모에 맞는 탐색 알고리즘과 조기 종료 전략을 조합하며, 독립된 데이터로 최종 성능을 확인하는 절차가 함께 갖춰져야 한다.

#관련 용어

하이퍼파라미터

학습 전에 사람이 지정하며 모델이 데이터로부터 학습하지 않는 설정값

교차 검증

데이터를 여러 폴드로 나누어 학습과 검증을 반복하여 성능을 추정하는 방법

베이지안 최적화

대리 모델과 획득 함수로 다음 평가 지점을 골라 평가 횟수를 줄이는 블랙박스 최적화 기법

학습률

경사 하강법에서 한 번의 갱신으로 파라미터를 이동시키는 크기를 정하는 하이퍼파라미터

과대적합

모델이나 선택 절차가 특정 데이터에 지나치게 맞춰져 일반화 성능이 떨어지는 현상

#직무 연관도

Data Analyst낮음

튜닝 결과와 실험 기록을 해석하여 모델 선택의 근거를 정리

Data Scientist밀접

탐색 공간과 탐색 전략을 설계하고, 검증 절차를 통해 모델의 최적 설정과 일반화 성능을 확인

Data Engineer높음

분산 환경에서 튜닝 작업을 병렬화하고, 실험 기록과 계산 예산을 관리하는 파이프라인을 구축

#사용 사례

전자상거래금융인터넷 서비스광고제조

개요

하이퍼파라미터 튜닝은 머신러닝 모델을 운영 환경에 배포하기 전 거의 모든 산업에서 수행된다. 추천·광고 모델의 클릭률 예측, 금융의 신용 평가와 이상 거래 탐지, 제조의 품질 예측처럼 성능 차이가 비용으로 직결되는 영역에서 특히 중요하며, 정기 재학습 파이프라인에 자동 튜닝 단계로 포함되기도 한다.

사례

전자상거래 추천 모델의 임베딩 차원, 학습률, 음성 샘플 수를 Optuna의 TPE 샘플러와 가지치기로 탐색하여, 같은 GPU 예산 안에서 오프라인 재현율이 가장 높은 설정을 선정한다.