학습률 (Learning Rate)

#개념

학습률(Learning Rate)은 경사 하강법(Gradient Descent) 계열의 최적화 알고리즘에서 손실 함수(Loss Function)의 기울기 방향으로 가중치(Weight)를 한 번에 얼마나 이동시킬지를 결정하는 스칼라 값이다. 매개변수 $\theta$, 손실 $L$, 학습률 $\eta$에 대해 갱신식은 $\theta_{t+1} = \theta_t - \eta \nabla_\theta L(\theta_t)$로 표현되며, 기울기가 이동 방향을 정한다면 학습률은 그 보폭(step size)을 정한다. 학습률은 모델이 데이터로부터 학습하는 값이 아니라 사람이 학습 전에 설정하는 하이퍼파라미터(Hyperparameter)이며, 딥러닝에서 가장 먼저 그리고 가장 신중하게 조정해야 하는 값으로 꼽힌다. 다른 하이퍼파라미터가 성능의 상한을 미세하게 바꾸는 데 그치는 반면, 학습률은 학습이 성공하느냐 실패하느냐 자체를 좌우하기 때문이다.

학습률의 크기는 수렴 속도와 안정성 사이의 균형을 결정한다. 학습률이 너무 작으면 매 단계의 이동량이 미미하여 수렴까지 매우 많은 반복이 필요하고, 얕은 지역 최솟값이나 안장점(saddle point) 근처의 평탄한 영역에 갇혀 빠져나오지 못할 수 있다. 반대로 학습률이 너무 크면 최솟값 주변을 넘나들며 손실이 진동하거나, 계곡의 반대편으로 계속 튕겨 나가면서 손실이 오히려 증가하는 발산(divergence) 현상이 발생한다. 이때 가중치가 기하급수적으로 커져 손실이 NaN이 되는 경우도 흔하다. 이론적으로 기울기가 $L$-립시츠 연속인 볼록 함수에서는 $\eta < 2/L$일 때 수렴이 보장되며, 2차식으로 근사한 손실 곡면에서는 헤시안의 최대 고윳값 $\lambda_{\max}$에 대해 $\eta < 2/\lambda_{\max}$가 안정 조건이 된다. 즉 손실 곡면이 가파르게 휘어진 방향일수록 허용되는 학습률이 작아지며, 방향마다 곡률이 크게 다른(조건수가 나쁜) 문제일수록 하나의 고정 학습률로 모든 방향을 잘 다루기가 어려워진다. 실무에서는 학습 곡선이 완만하게 우하향하면 적절, 거의 평평하면 너무 작음, 진동하거나 상승하면 너무 큼으로 판단하며, 경험적으로 학습률은 $10^{-1}$에서 $10^{-5}$ 사이의 로그 스케일에서 탐색한다.

학습 전 과정에 하나의 학습률을 고정하는 것보다 시점에 따라 값을 바꾸는 학습률 스케줄링(Learning Rate Scheduling)이 일반적으로 더 좋은 결과를 낸다. 학습 초기에는 큰 학습률로 빠르게 좋은 영역으로 이동하고, 후반에는 작은 학습률로 최솟값 근처를 정밀하게 탐색한다는 것이 기본 발상이다.

계단형 감쇠(Step Decay) : 일정 에포크마다 학습률에 상수 $\gamma$(예: 0.1)를 곱해 단계적으로 줄이는 방식으로, ResNet 등 고전적인 이미지 분류 모델에서 널리 사용되었다.
지수 감쇠(Exponential Decay) : 매 스텝마다 $\eta_t = \eta_0 \gamma^t$처럼 지수적으로 줄이는 방식이다.
코사인 어닐링(Cosine Annealing) : 학습률을 코사인 곡선 $\eta_t = \eta_{\min} + \frac{1}{2}(\eta_{\max}-\eta_{\min})(1+\cos(\pi t/T))$를 따라 부드럽게 감소시키며, Loshchilov와 Hutter가 제안한 SGDR은 여기에 주기적으로 학습률을 최댓값으로 되돌리는 웜 리스타트(warm restart)를 결합하여 여러 국소 최솟값을 탐색하게 한다. 현대의 대규모 언어 모델과 비전 모델 대부분이 코사인 스케줄을 기본으로 채택한다.
웜업(Warmup) : 학습 시작 시 학습률을 0 근처에서 목표값까지 수천 스텝에 걸쳐 선형으로 증가시키는 기법이다. 초기 가중치가 무작위 상태이고 적응형 옵티마이저의 2차 모멘트 추정이 불안정한 시점에 큰 학습률을 적용하면 학습이 발산하기 쉬우므로, 이를 완화하기 위해 트랜스포머(Transformer) 학습과 대규모 배치 학습에서 사실상 표준으로 쓰인다. 웜업 후 선형 또는 코사인으로 감쇠하는 웜업 후 감쇠(warmup + decay) 조합이 가장 흔하다.
원사이클(One-Cycle) 정책과 순환 학습률(Cyclical Learning Rate) : Smith는 학습률을 하한과 상한 사이에서 삼각파 형태로 주기적으로 오르내리게 하는 순환 학습률과, 한 번의 큰 상승과 하강으로 학습을 마치는 원사이클 정책을 제안했다. 큰 학습률 구간이 일종의 정칙화 효과를 내어 적은 에포크로도 높은 성능에 도달하는 초수렴(super-convergence) 현상이 보고되었다.
성능 기반 감쇠(ReduceLROnPlateau) : 검증 손실이 일정 에포크 동안 개선되지 않으면 학습률을 줄이는 반응형 방식이다.

고정된 전역 학습률의 한계를 보완하기 위해 매개변수마다 학습률을 자동으로 조절하는 적응형 옵티마이저(Adaptive Optimizer)도 널리 쓰인다. AdaGrad는 각 매개변수의 과거 기울기 제곱합으로 학습률을 나누어 자주 갱신되는 매개변수의 보폭을 줄이지만, 누적값이 계속 커져 학습률이 0에 수렴하는 문제가 있다. RMSProp은 지수 이동 평균으로 이를 완화했고, Adam은 기울기의 1차 모멘트(방향)와 2차 모멘트(크기)를 함께 추정하여 $\theta_{t+1} = \theta_t - \eta \hat{m}_t / (\sqrt{\hat{v}_t} + \epsilon)$ 형태로 갱신한다. 적응형 옵티마이저는 학습률 선택에 덜 민감하여 기본값(Adam의 경우 $10^{-3}$)으로도 잘 동작하는 경우가 많지만, 여기서의 $\eta$는 여전히 실효 보폭의 상한을 정하는 중요한 하이퍼파라미터이며, 스케줄링과 웜업은 적응형 옵티마이저에도 그대로 적용된다. 또한 모멘텀(Momentum)을 사용하면 실효 학습률이 $\eta/(1-\beta)$로 커지므로 학습률과 모멘텀 계수를 함께 고려해야 하고, 배치 크기를 $k$배 늘릴 때 학습률도 비례하여 키우는 선형 스케일링 규칙(linear scaling rule)처럼 배치 크기와의 상호작용도 존재한다.

적절한 초기 학습률을 체계적으로 찾는 대표적인 방법은 Smith가 제안한 학습률 범위 테스트(LR Range Test)다. 매우 작은 학습률(예: $10^{-7}$)에서 시작해 매 반복마다 지수적으로 학습률을 키우며 짧게 학습을 진행하고, 학습률에 대한 손실 곡선을 그린다. 손실이 가장 가파르게 감소하는 구간이 좋은 학습률 범위이며, 손실이 다시 치솟기 시작하는 지점 직전의 값이 사용 가능한 최댓값이 된다. 이 방법은 한 번의 짧은 실행으로 수십 회의 시행착오를 대체할 수 있어 fastai 등의 라이브러리에 기본 도구로 포함되어 있다. 그 밖에도 학습률은 교차 검증(Cross Validation)이나 베이지안 최적화를 통한 하이퍼파라미터 탐색의 핵심 대상이 되며, 이때 로그 균등 분포에서 표본을 뽑는 것이 관례다. 결론적으로 학습률은 단일 숫자에 불과하지만 손실 곡면의 기하, 옵티마이저의 종류, 배치 크기, 학습 길이와 복합적으로 상호작용하므로, 고정값 하나를 정하는 문제가 아니라 학습 전 과정에 걸친 궤적을 설계하는 문제로 이해하는 것이 바람직하다.

#관련 용어

경사 하강법

손실 함수의 기울기 반대 방향으로 매개변수를 반복 갱신하여 최솟값을 찾는 최적화 알고리즘

하이퍼파라미터

모델이 학습하지 않고 사람이 학습 전에 설정하는 값

손실 함수

모델의 예측과 실제값의 차이를 하나의 수치로 나타내는 함수

학습률 스케줄링

학습 진행 시점에 따라 학습률을 계단형, 코사인, 웜업 등의 규칙으로 변화시키는 기법

적응형 옵티마이저

과거 기울기 통계를 이용해 매개변수별로 실효 학습률을 자동 조절하는 최적화 알고리즘

학습률 범위 테스트

학습률을 지수적으로 키우며 손실 변화를 관찰하여 적절한 학습률 구간을 찾는 방법

#직무 연관도

Data Analyst낮음

직접 다룰 일은 적지만 모델 학습 곡선을 해석하고 학습 실패 원인을 이해하는 데 기본 개념이 필요하다

Data Scientist밀접

모델 학습의 성패와 최종 성능을 좌우하는 가장 중요한 하이퍼파라미터로, 스케줄 설계와 옵티마이저 선택에 직접 관여한다

Data Engineer높음

대규모 분산 학습에서 배치 크기와 학습률의 스케일링, 웜업 설정, 학습 안정성 확보에 필수적인 지식이다

#사용 사례

인터넷 서비스전자상거래금융의료자율주행제조

개요

학습률은 이미지 분류, 자연어 처리, 추천 시스템, 시계열 예측 등 경사 기반으로 학습하는 모든 모델에서 조정 대상이 된다. 사전학습 모델을 미세 조정할 때는 사전학습 때보다 훨씬 작은 학습률을 쓰고, 층별로 서로 다른 학습률을 적용하는 등 상황에 맞는 설계가 성능과 학습 비용을 크게 좌우한다.

사례

대규모 언어 모델 사전학습에서는 수천 스텝의 선형 웜업 후 코사인 감쇠로 학습률을 최댓값의 10% 수준까지 낮추는 스케줄이 표준처럼 쓰인다. 웜업 없이 처음부터 최대 학습률을 적용하면 초기에 손실이 급등하며 발산하는 경우가 많고, 감쇠 없이 고정 학습률을 유지하면 후반부 손실이 더 이상 내려가지 않는 정체가 발생한다.