관련 포스트과대적합 과소적합 경사 하강법 딥러닝 머신러닝

정칙화(Regularization)

•

2026년 09월 13일 발행•2026년 09월 13일 수정

요약

모델의 복잡도에 제약이나 벌점을 부여하여 과대적합을 억제하고 일반화 성능을 높이는 기법의 총칭

중급

손실 함수와 경사 하강법, 과대적합과 편향-분산 트레이드오프에 대한 이해가 필요하며, L1·L2 벌점의 기하학적 차이와 옵티마이저에 따른 가중치 감쇠의 동작 차이를 알아야 한다.

태그

과대적합 과소적합 경사 하강법 딥러닝 머신러닝

#개념

정칙화(Regularization)는 학습 데이터에 대한 오차를 줄이는 것 이상으로 모델의 복잡도를 제한하거나 학습 과정에 제약을 가하여, 보지 못한 데이터에 대한 일반화(Generalization) 성능을 향상시키는 모든 기법을 가리킨다. 표현력이 큰 모델은 학습 데이터의 잡음과 우연한 패턴까지 외워 과대적합(Overfitting)에 빠지기 쉬운데, 정칙화는 해가 될 수 있는 매개변수 공간을 좁히거나 단순한 해를 선호하도록 유도하여 이를 막는다.

통계학적으로는 편향-분산 트레이드오프에서 약간의 편향(Bias)을 감수하는 대신 분산을 크게 줄이는 전략이며, 베이지안 관점에서는 매개변수에 사전 분포(prior)를 부여하는 것과 동일하다. 한국어로는 '정규화'로 번역되는 경우도 많지만, 데이터의 척도를 맞추는 정규화(normalization)와 구분하기 위해 정칙화 또는 규제라는 용어를 사용한다.

가장 고전적인 정칙화는 손실 함수(Loss Function)에 매개변수 크기에 대한 벌점 항을 더하는 방식이다. 학습 목표를 $J(\theta) = L(\theta) + \lambda \Omega(\theta)$로 두었을 때, $\lambda$는 벌점의 세기를 조절하는 하이퍼파라미터(Hyperparameter)이고 $\Omega$는 벌점 함수다.

벌점 항 기반 정칙화

L2 정칙화(L2 Regularization) : $\Omega(\theta) = \|\theta\|_2^2 = \sum_i \theta_i^2$로 가중치 제곱합에 벌점을 부여하며, 선형 회귀에 적용한 것을 릿지 회귀(Ridge Regression)라 한다. 모든 가중치를 0 쪽으로 균일하게 수축시키지만 정확히 0으로 만들지는 않으며, 다중공선성이 있는 특징들 사이에서 가중치를 고르게 나누어 해를 안정시킨다. 가우시안 사전 분포를 가정한 최대 사후 확률(MAP) 추정과 동치다.
L1 정칙화(L1 Regularization) : $\Omega(\theta) = \|\theta\|_1 = \sum_i |\theta_i|$로 가중치 절댓값 합에 벌점을 부여하며, 선형 회귀에 적용한 것이 라쏘(Lasso)다. 벌점 영역이 꼭짓점을 갖는 다이아몬드 형태이므로 많은 가중치가 정확히 0이 되는 희소(sparse) 해를 만들며, 자연스럽게 특징 선택 효과를 낸다. 라플라스 사전 분포에 대응한다.
엘라스틱넷(Elastic Net) : L1과 L2 벌점을 $\lambda_1 \|\theta\|_1 + \lambda_2 \|\theta\|_2^2$처럼 함께 사용하는 방식으로, 상관관계가 높은 특징 중 하나만 임의로 고르는 라쏘의 불안정성을 완화하면서도 희소성을 유지한다. 특징 수가 표본 수보다 많은 고차원 문제에서 특히 유용하다.

신경망 학습에는 벌점 항 외에도 다양한 형태의 정칙화가 쓰인다. 대표적인 기법은 다음과 같다.

신경망 학습의 정칙화 기법

드롭아웃(Dropout): 학습 시 각 뉴런을 확률 $p$로 무작위로 비활성화하여 매 반복마다 서로 다른 부분 신경망을 학습시키는 기법으로, 특정 뉴런들이 함께 동작하는 공적응(co-adaptation)을 막고 지수적으로 많은 얇은 신경망을 암묵적으로 앙상블하는 효과를 낸다. 추론 시에는 모든 뉴런을 사용하되 출력 크기를 보정한다.
조기 종료(Early Stopping): 검증 데이터의 손실이 더 이상 감소하지 않고 증가하기 시작하는 시점에 학습을 멈추는 방법으로, 경사 하강법(Gradient Descent)의 반복 횟수를 제한하는 것이 실질적으로 매개변수가 초기값에서 멀리 이동하지 못하게 하는 제약으로 작용하며, 이차 근사 아래에서는 L2 정칙화와 유사한 효과를 갖는다는 것이 알려져 있다.
데이터 증강(Data Augmentation): 회전·자르기·색상 변환, 문장 재구성, 잡음 주입처럼 정답을 바꾸지 않는 변환으로 학습 데이터를 인위적으로 늘려 모델이 불변성을 학습하도록 하는 방식으로, 모델이 아닌 데이터 측면에서 과대적합을 억제한다.

이 밖에도 정답 레이블을 부드럽게 만드는 레이블 스무딩(label smoothing), 층 사이의 입력 분포를 안정화하면서 부수적으로 정칙화 효과를 내는 배치 정규화, 여러 모델의 예측을 결합하는 앙상블 학습(Ensemble Learning), 매개변수를 층 간에 공유하는 합성곱 신경망(Convolutional Neural Network, CNN)의 구조적 제약 등이 넓은 의미의 정칙화에 포함된다.

딥러닝 실무에서 L2 정칙화는 흔히 가중치 감쇠(Weight Decay)라는 이름으로 옵티마이저 옵션에 구현된다. 매 갱신마다 가중치에 $(1 - \eta\lambda)$를 곱해 크기를 줄이는 가중치 감쇠는, 기본 확률적 경사 하강법(SGD)에서는 손실 함수에 $\frac{\lambda}{2}\|\theta\|_2^2$를 더한 L2 정칙화와 수학적으로 동일하다.

그러나 Adam처럼 매개변수마다 학습률을 적응적으로 조절하는 옵티마이저에서는 손실에 더한 L2 벌점의 기울기까지 2차 모멘트로 나누어지므로 기울기가 큰 매개변수일수록 상대적으로 벌점이 약해지는 문제가 생긴다. 이를 해결하기 위해 가중치 감쇠를 기울기 갱신과 분리해 별도로 적용하는 AdamW가 제안되었고, 대규모 트랜스포머(Transformer) 모델 학습에서 표준적인 선택이 되었다.

정칙화 강도를 나타내는 $\lambda$, 드롭아웃 비율, 조기 종료 인내(patience) 등은 모두 하이퍼파라미터이므로 교차 검증(Cross Validation)이나 별도의 검증 세트로 조정해야 한다. 정칙화를 지나치게 강하게 적용하면 모델이 학습 데이터조차 충분히 설명하지 못하는 과소적합(Underfitting)이 발생하므로 학습 곡선과 검증 곡선을 함께 관찰하며 균형을 맞추는 것이 중요하다.

#관련 용어

과대적합

모델이 학습 데이터의 잡음까지 학습하여 새로운 데이터에 대한 성능이 떨어지는 현상

과소적합

모델이 지나치게 단순하거나 제약이 강해 학습 데이터의 패턴조차 충분히 학습하지 못하는 현상

가중치 감쇠

매 갱신마다 가중치의 크기를 일정 비율로 줄여 큰 가중치를 억제하는 정칙화 기법

드롭아웃

학습 중 뉴런을 무작위로 비활성화하여 공적응을 막고 암묵적 앙상블 효과를 얻는 신경망 정칙화 기법

조기 종료

검증 손실이 더 이상 개선되지 않는 시점에 학습을 중단하여 과대적합을 방지하는 기법

교차 검증

데이터를 여러 부분으로 나누어 학습과 검증을 반복함으로써 하이퍼파라미터를 조정하고 일반화 성능을 추정하는 방법

#직무 연관도

Data Analyst보통

릿지·라쏘 회귀를 통해 다중공선성을 다루고 해석 가능한 변수 선택을 수행하는 데 활용된다

Data Scientist밀접

모델의 일반화 성능을 결정하는 핵심 설계 요소로, 정칙화 기법과 강도 선택이 실험 결과를 직접 좌우한다

Data Engineer보통

학습 파이프라인에서 가중치 감쇠·드롭아웃·조기 종료를 구현하고 운영 모델의 안정성을 확보하는 데 필요하다

#사용 사례

금융의료전자상거래인터넷 서비스제조통신

개요

정칙화는 선형 모델의 릿지·라쏘·엘라스틱넷부터 신경망의 드롭아웃·가중치 감쇠·조기 종료·데이터 증강에 이르기까지 과대적합을 억제해야 하는 거의 모든 지도 학습 문제에 사용된다. 특히 특징 수가 많거나 표본이 부족한 고차원 데이터, 그리고 매개변수가 수십억 개에 달하는 대규모 딥러닝 모델에서 일반화 성능을 확보하는 필수 요소다.

사례

금융 신용 평가 모델에서는 수백 개의 고객 특징 중 상당수가 서로 강하게 상관되어 있어 일반 로지스틱 회귀의 계수가 불안정해지기 쉽다. 이때 엘라스틱넷 벌점을 적용하면 불필요한 특징의 계수는 0으로 만들어 해석 가능한 소수의 변수만 남기면서도, 상관된 특징 그룹의 계수를 고르게 유지하여 새로운 고객에 대한 예측이 안정적으로 유지된다. 벌점 강도 $\lambda$는 교차 검증으로 선택한다.