관련 포스트전이 학습 대규모 언어 모델 딥러닝 강화 학습 하이퍼파라미터

미세 조정(Fine-tuning)

•

2026년 09월 19일 발행•2026년 09월 19일 수정

요약

대규모 데이터로 사전 학습된 모델의 가중치를 특정 작업이나 도메인의 데이터로 추가 학습하여 목표 작업에 맞게 적응시키는 기법

중급

신경망 학습 과정과 전이 학습의 기본 개념이 필요하며, 대규모 언어 모델의 사전 학습·정렬 과정과 LoRA 같은 저계수 분해 개념을 알면 이해에 도움이 된다.

태그

전이 학습 대규모 언어 모델 딥러닝 강화 학습 하이퍼파라미터

#개념

미세 조정(Fine-tuning)은 대규모 범용 데이터로 사전 학습(Pre-training)된 모델을 출발점으로 삼아, 비교적 작은 규모의 목표 작업 데이터로 가중치(Weight)를 추가 학습함으로써 모델을 특정 작업이나 도메인에 적응시키는 기법이다. 무작위로 초기화된 모델을 처음부터 학습하는 것과 달리, 사전 학습 과정에서 이미 언어의 문법과 상식, 이미지의 윤곽과 질감 같은 일반적인 표현을 습득한 상태에서 시작하므로 훨씬 적은 데이터와 연산으로 높은 성능에 도달할 수 있다.

이는 전이 학습(Transfer Learning)의 가장 대표적인 실현 방식으로, 사전 학습 모델이 학습한 지식을 새로운 작업으로 옮기는 과정에 해당한다. 컴퓨터 비전에서는 ImageNet으로 학습된 합성곱 신경망(Convolutional Neural Network, CNN)을 의료 영상 분류에 맞게 조정하는 방식으로 오래전부터 활용되어 왔으며, 자연어 처리에서는 BERT와 GPT 계열 트랜스포머(Transformer)의 등장 이후 "사전 학습 후 미세 조정" 패러다임이 표준이 되었다. 오늘날에는 수십억 개 이상의 매개변수를 가진 대규모 언어 모델(Large Language Models, LLM)을 기업 고유의 데이터나 특정 말투, 출력 형식에 맞게 조정하는 핵심 수단으로 자리 잡았다.

미세 조정은 어느 범위의 매개변수를 갱신하느냐에 따라 크게 나뉜다. 전체 미세 조정(Full Fine-tuning)은 모델의 모든 가중치를 학습 대상으로 삼는 방식으로, 표현력이 가장 크지만 모델 전체 크기만큼의 경사 하강법(Gradient Descent)용 기울기와 옵티마이저 상태를 메모리에 유지해야 하므로 대규모 모델에서는 비용이 매우 크고, 작업마다 모델 전체의 사본을 저장해야 하는 부담이 있다.

이에 비해 일부 층 동결(Layer Freezing) 방식은 입력에 가까운 하위 계층(Layer)을 고정하고 출력에 가까운 상위 계층이나 새로 추가한 분류 헤드만 학습한다. 신경망의 하위 계층은 모서리나 어절 같은 범용 특징을, 상위 계층은 작업 특화 특징을 학습한다는 관찰에 근거한 것으로, 데이터가 적을 때 과대적합(Overfitting)을 억제하는 효과가 있다.

이 두 접근의 절충으로 등장한 것이 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT)이다. PEFT는 원본 가중치는 동결한 채 소수의 추가 매개변수만 학습하여, 전체 미세 조정에 근접한 성능을 훨씬 적은 메모리로 달성한다.

대표적인 방법으로 LoRA(Low-Rank Adaptation)는 가중치 갱신량 $\Delta W$를 두 개의 작은 저계수 행렬의 곱 $\Delta W = BA$ ($B \in \mathbb{R}^{d \times r}$, $A \in \mathbb{R}^{r \times k}$, $r \ll \min(d, k)$)로 분해하여 학습하며, 순전파는 $h = W_0 x + BAx$로 계산된다. 학습되는 매개변수 수가 원본의 1% 미만으로 줄어들고, 추론 시 $BA$를 $W_0$에 합산하면 추가 지연 시간이 없다는 장점이 있다. QLoRA는 동결된 원본 가중치를 4비트로 양자화한 상태에서 LoRA 어댑터를 학습하여 단일 GPU에서도 수백억 매개변수 모델의 미세 조정을 가능하게 했다. 이 외에도 다음과 같은 PEFT 방법이 있다.

그 밖의 PEFT 방법

어댑터(Adapter): 트랜스포머 블록 사이에 작은 병목 신경망을 삽입한다.
프롬프트 튜닝(Prompt Tuning): 모델 가중치는 전혀 건드리지 않고 입력 앞에 학습 가능한 연속 벡터를 덧붙인다.
프리픽스 튜닝: 각 층의 어텐션에 학습 가능한 접두 벡터를 추가한다.

대규모 언어 모델에서 미세 조정은 목적에 따라 단계적으로 수행된다.

대규모 언어 모델의 미세 조정 단계

지시 조정(Instruction Tuning) 또는 지도 미세 조정(Supervised Fine-Tuning, SFT): "지시문-응답" 쌍으로 구성된 데이터로 모델을 학습시켜, 다음 단어를 예측하도록 사전 학습된 모델이 사용자의 요청을 이해하고 그에 맞는 형식으로 답하도록 만드는 과정이다.
인간 피드백 기반 강화 학습(Reinforcement Learning from Human Feedback, RLHF): 그 다음 단계로, 사람이 여러 응답 중 선호하는 것을 고른 비교 데이터로 보상 모델을 학습하고, 이 보상을 최대화하도록 강화 학습(Reinforcement Learning) 알고리즘인 PPO로 언어 모델을 추가 조정하여 유용성과 안전성을 높인다. InstructGPT 연구는 이 방식으로 조정한 13억 매개변수 모델의 응답이 1,750억 매개변수 GPT-3보다 사람에게 더 선호되었다고 보고했다.
직접 선호 최적화(Direct Preference Optimization, DPO): 별도의 보상 모델과 강화 학습 루프 없이, 선호 응답과 비선호 응답의 로그 확률 비율을 직접 비교하는 분류 형태의 손실 함수(Loss Function)로 동일한 목표를 달성하여 구현이 단순하고 학습이 안정적이다.

이러한 정렬(alignment) 단계는 모델이 이미 가진 지식을 바꾸기보다 그 지식을 꺼내 쓰는 방식과 태도를 조정하는 데 초점을 둔다.

미세 조정을 수행할 때 가장 주의해야 할 현상은 파국적 망각(Catastrophic Forgetting)이다. 새로운 작업의 데이터로 가중치를 갱신하는 과정에서 사전 학습으로 얻은 범용 능력이나 이전 작업의 성능이 급격히 손상되는 현상으로, 학습률이 크거나 데이터가 좁은 분포에 치우칠수록 심해진다. 이를 완화하기 위해 사전 학습 가중치에서 멀어지는 것을 억제하는 정칙화(Regularization), 범용 데이터를 일부 섞어 학습하는 리플레이, 원본 가중치를 동결하는 PEFT 방법이 활용된다.

실무에서는 하이퍼파라미터(Hyperparameter) 설정도 결과를 크게 좌우한다. 학습률(Learning Rate)은 사전 학습 때보다 훨씬 작은 값(전체 미세 조정 기준 $10^{-5}$ 안팎, LoRA는 그보다 큰 $10^{-4}$ 안팎)을 사용하고 워밍업과 감쇠 스케줄을 함께 적용하는 것이 일반적이며, 너무 크면 망각과 발산이, 너무 작으면 적응 부족이 발생한다.

에폭(epoch) 수는 보통 1~3회 정도로 짧게 가져가며, 작은 데이터셋을 여러 번 반복하면 특정 문장을 통째로 암기하는 과대적합이 쉽게 발생하므로 검증 손실을 관찰하며 조기 종료한다. 무엇보다 데이터 품질이 데이터 양보다 중요하다는 것이 반복적으로 확인되었는데, 정제되지 않은 대량의 데이터보다 정확하고 일관된 소수의 고품질 예시가 더 나은 결과를 내며, 데이터에 담긴 오류와 편향(Bias)은 그대로 모델에 학습된다.

미세 조정은 만능이 아니며, 특히 언어 모델에서는 검색 증강 생성(Retrieval-Augmented Generation, RAG)과의 역할 분담을 이해하는 것이 중요하다. 미세 조정은 모델의 말투, 출력 형식, 도메인 용어 사용 방식, 특정 작업 수행 능력처럼 "행동 양식"을 바꾸는 데 효과적이지만, 자주 바뀌는 사실 정보를 주입하는 데는 비효율적이고 그 정보의 출처를 추적하기도 어렵다.

반면 RAG는 외부 문서를 임베딩(Embedding)하여 검색한 뒤 프롬프트에 포함시키므로 모델 재학습 없이 최신 정보와 비공개 문서를 반영할 수 있고 근거를 제시할 수 있지만, 모델의 근본적인 응답 스타일이나 추론 방식을 바꾸지는 못한다. 따라서 도메인 문체와 형식은 미세 조정으로, 시시각각 변하는 지식은 RAG로 다루는 결합 전략이 널리 쓰인다. 미세 조정을 시작하기 전에는 프롬프트 엔지니어링과 소수 예시 제공(few-shot)만으로 충분한지 먼저 검토하고, 그래도 부족할 때 목표를 명확히 정의한 평가 지표와 함께 미세 조정에 착수하는 것이 바람직하다.

#관련 용어

전이 학습

한 작업에서 학습한 지식을 다른 관련 작업의 학습에 활용하는 기법

매개변수 효율적 미세 조정(PEFT)

원본 가중치를 동결한 채 소수의 추가 매개변수만 학습하여 모델을 적응시키는 미세 조정 기법군

저계수 적응(LoRA)

가중치 갱신량을 두 개의 저계수 행렬의 곱으로 분해하여 학습하는 매개변수 효율적 미세 조정 방법

인간 피드백 기반 강화 학습(RLHF)

사람의 선호 비교 데이터로 보상 모델을 학습하고 이를 최대화하도록 언어 모델을 조정하는 정렬 기법

파국적 망각

새로운 작업을 학습하면서 이전에 습득한 지식이나 능력이 급격히 손상되는 현상

학습률

경사 하강법에서 한 번의 갱신으로 가중치를 얼마나 이동시킬지 결정하는 하이퍼파라미터

#직무 연관도

Data Analyst낮음

미세 조정과 RAG, 프롬프트 엔지니어링의 적용 범위 차이를 이해하면 도메인 특화 모델 도입의 타당성을 판단하는 데 도움이 된다

Data Scientist밀접

사전 학습 모델을 목표 작업에 적응시키는 핵심 기법으로, PEFT 방법 선택과 하이퍼파라미터 설계, 정렬 데이터 구축과 평가에 직접 관여한다

Data Engineer높음

GPU 메모리 제약 안에서 학습 파이프라인을 구성하고, 어댑터 가중치 관리와 미세 조정 모델의 서빙·버전 관리를 담당한다

#사용 사례

인터넷 서비스전자상거래금융의료법률통신

개요

미세 조정은 도메인 특화 챗봇과 고객 상담 자동화, 의료·법률 문서 분류와 요약, 코드 생성 모델의 사내 코딩 규약 적용, 의료 영상 분류 모델의 병원별 적응, 그리고 대규모 언어 모델의 지시 이행 능력과 안전성을 높이는 정렬 과정에 폭넓게 활용된다.

사례

전자상거래 기업이 오픈소스 언어 모델을 자사 상품 문의 응대 데이터 수천 건으로 LoRA 미세 조정하면, 브랜드 말투와 답변 형식을 일관되게 유지하는 상담 모델을 단일 GPU로 만들 수 있으며, 수시로 바뀌는 재고와 배송 정보는 RAG로 검색해 프롬프트에 넣어 결합한다.