관련 포스트대규모 언어 모델 미세 조정 전이 학습 저랭크 적응

매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning)

•

2026년 11월 08일 발행•2026년 11월 08일 수정

요약

사전 학습 모델의 대부분 파라미터를 고정하고 소수의 파라미터만 학습해 새 작업에 적응시키는 미세 조정 방법

중급

트랜스포머 구조와 미세 조정 과정을 이해하고, 어댑터·저랭크 분해 같은 기법의 구조적 차이를 파악할 수 있어야 한다.

태그

대규모 언어 모델 미세 조정 전이 학습 저랭크 적응

#개념

매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT)은 사전 학습된 대규모 모델의 파라미터 대부분을 고정하고, 소수의 파라미터만 추가하거나 선택해 학습하는 미세 조정 방법의 총칭이다. 전체 파라미터를 갱신하는 전체 미세 조정(Full Fine-Tuning)에 가까운 성능을 유지하면서 학습 메모리와 저장 공간을 크게 줄이는 것을 목표로 한다.

모델 규모가 수십억에서 수천억 파라미터로 커지면서 전체 미세 조정의 비용은 급격히 증가했다. 모든 파라미터의 기울기와 옵티마이저 상태를 GPU 메모리에 올려야 하고, Adam을 쓰면 파라미터 하나당 모멘트 두 개를 추가로 저장해야 한다. 또한 작업마다 모델 전체 사본을 따로 저장하고 배포해야 하므로, 작업 수가 늘어날수록 저장과 서빙 비용이 선형으로 증가한다.

PEFT는 사전 학습 모델이 이미 범용적인 표현을 갖추고 있으므로, 새 작업에 적응하는 데 필요한 변화는 작은 부분 공간으로 충분하다는 가정에 기반한다. 그 결과 학습 대상 파라미터는 보통 전체의 1% 미만으로 줄어들고, 작업별로는 수 MB에서 수백 MB 크기의 작은 가중치만 저장하면 된다. 이 작은 가중치를 흔히 어댑터라고 부르며, 하나의 기반 모델에 여러 어댑터를 교체해 붙여 쓸 수 있다.

PEFT 기법은 학습할 파라미터를 어떻게 정하는지에 따라 몇 가지 계열로 나뉜다. 연구마다 세부 구분은 조금씩 다르지만, 새 파라미터를 추가하는지, 기존 파라미터 일부를 고르는지, 변화량을 압축된 형태로 표현하는지를 기준으로 대체로 다음과 같이 분류한다.

PEFT 기법의 분류

가산형(Additive): 원래 모델에 없는 새 모듈이나 벡터를 추가하고 그것만 학습한다. 어댑터, 프리픽스 튜닝, 프롬프트 튜닝, P-tuning이 대표적이다.
선택형(Selective): 기존 파라미터 중 일부만 골라 학습한다. 편향 항만 학습하는 BitFit, 특정 층만 학습하는 방식이 여기에 속한다.
재매개변수형(Reparameterization): 가중치 변화량을 저랭크 행렬처럼 적은 파라미터로 표현해 학습한다. LoRA와 그 변형인 QLoRA, DoRA가 대표적이다.
혼합형(Hybrid): 여러 계열을 결합해 각 방식의 장점을 취한다. 어댑터와 프리픽스 튜닝을 함께 쓰는 구성 등이 연구되었다.

가산형의 출발점은 Houlsby 등(2019)이 제안한 어댑터(Adapter)다. 트랜스포머 각 층에 차원을 줄였다가 다시 늘리는 작은 병목 신경망을 삽입하고 이 모듈만 학습한다. 원 논문은 GLUE 벤치마크에서 작업당 약 3.6%의 파라미터만 추가해 전체 미세 조정과 0.4%p 이내의 성능 차이를 보였다. 다만 추론 시 순차적으로 계산되는 층이 추가되므로 지연 시간이 다소 늘어난다.

프리픽스 튜닝(Prefix Tuning)은 각 층의 어텐션 키와 값 앞에 학습 가능한 연속 벡터를 붙이는 방식으로, Li와 Liang(2021)은 생성 작업에서 약 0.1%의 파라미터로 전체 미세 조정에 견줄 만한 결과를 보고했다. 프롬프트 튜닝(Prompt Tuning)은 이를 단순화해 입력 임베딩 앞에만 학습 가능한 소프트 프롬프트를 붙인다. P-tuning은 소프트 프롬프트를 별도의 작은 인코더로 생성해 학습 안정성을 높인 변형이다.

Lester 등(2021)은 프롬프트 튜닝의 성능이 모델 규모에 크게 의존한다는 점을 보였다. 작은 모델에서는 전체 미세 조정보다 뒤처지지만, 파라미터가 수십억 개를 넘어서면 그 격차가 거의 사라진다. 소프트 프롬프트는 입력 길이를 차지하므로 사용할 수 있는 문맥 길이가 줄어든다는 점은 고려해야 한다.

선택형의 대표인 BitFit은 모델의 편향 항만 학습하는 매우 단순한 방법으로, 학습 파라미터가 전체의 0.1% 미만이다. 중소 규모 모델의 분류 작업에서는 경쟁력 있는 성능을 보이지만, 복잡한 생성 작업이나 대형 모델에서는 표현력이 부족한 경우가 많다. 구현이 쉽고 추가 모듈이 없어 기준선으로 자주 활용된다.

재매개변수형의 중심은 저랭크 적응(Low-Rank Adaptation, LoRA)이다. LoRA는 가중치 변화량을 $\Delta W = BA$처럼 랭크 $r$인 두 작은 행렬의 곱으로 표현하고 $A$와 $B$만 학습한다. 학습 후에는 $W + BA$로 원래 가중치에 병합할 수 있어 추론 지연이 늘지 않는다는 장점이 있으며, 현재 가장 널리 쓰이는 PEFT 기법이다.

QLoRA는 기반 모델을 4비트 NF4 형식으로 양자화해 고정하고 그 위에서 LoRA를 학습해, 650억 파라미터 모델도 48GB GPU 한 장에서 미세 조정할 수 있게 했다. DoRA는 가중치를 크기와 방향으로 분해한 뒤 방향 성분에 LoRA를 적용해, 같은 랭크에서 LoRA보다 전체 미세 조정에 더 가까운 학습 양상을 보이도록 설계되었다.

기법을 고를 때는 학습 파라미터 수뿐 아니라 추론 지연, 문맥 길이 소비, 모델 규모에 따른 성능 변화를 함께 고려해야 한다. 학습 파라미터 비율은 모델 크기와 설정에 따라 달라지므로 대략적인 수준으로 이해하는 것이 좋으며, 주요 기법의 특징을 실무 관점에서 정리하면 다음과 같다.

주요 PEFT 기법의 특징

어댑터: 수 % 수준의 파라미터를 추가하며, 성능은 안정적이지만 추론 시 층이 늘어 지연이 생긴다.
프리픽스·프롬프트 튜닝: 0.1% 이하의 파라미터로 동작하지만, 대형 모델에서 효과가 크고 문맥 길이를 일부 소비한다.
BitFit: 추가 모듈 없이 편향만 학습하므로 가장 가볍지만, 표현력이 제한적이다.
LoRA 계열: 랭크에 따라 0.1~1% 수준의 파라미터를 학습하고, 병합하면 추론 비용이 늘지 않는다.

PEFT에도 한계가 있다. 학습 가능한 파라미터가 적기 때문에 새로운 지식을 대량으로 주입하거나 도메인이 크게 다른 작업에 적응할 때는 전체 미세 조정보다 성능이 낮을 수 있다. 랭크, 삽입 위치, 학습률 같은 하이퍼파라미터에 민감하다는 점도 있다. 반면 원래 가중치를 고정하므로 사전 학습 지식을 잊는 파국적 망각(Catastrophic Forgetting)은 상대적으로 덜 발생한다.

PEFT의 실무적 장점은 다중 작업 서빙에서 두드러진다. 하나의 기반 모델을 메모리에 올려 두고 작업이나 고객별 어댑터만 바꿔 끼우면, 모델 사본을 여러 개 띄우지 않고도 다양한 작업을 처리할 수 있다. vLLM 같은 추론 엔진은 서로 다른 LoRA 어댑터를 사용하는 요청을 한 배치에서 함께 처리하는 기능을 제공한다.

구현 측면에서는 Hugging Face의 PEFT 라이브러리가 사실상 표준으로 쓰인다. LoRA, 프리픽스 튜닝, 프롬프트 튜닝, P-tuning, IA³ 등 다양한 기법을 설정 객체 하나로 기존 Transformers 모델에 적용할 수 있고, 학습 가능한 파라미터 수를 확인하거나 어댑터를 저장·병합하는 기능을 제공한다. AdapterHub의 Adapters 라이브러리도 어댑터 계열 기법을 폭넓게 지원한다.

대규모 언어 모델을 특정 목적에 맞출 때는 PEFT만이 선택지가 아니다. 가중치를 얼마나 바꿔야 하는지, 학습 데이터와 GPU 자원이 얼마나 있는지, 반영할 정보가 얼마나 자주 바뀌는지에 따라 적합한 접근 방식이 달라진다. 일반적인 선택 기준은 다음과 같다.

적응 방식의 선택 기준

전체 미세 조정: 충분한 GPU 자원과 대량의 학습 데이터가 있고, 도메인 차이가 커서 모델 전체를 바꿔야 할 때 적합하다.
PEFT: 자원이 제한적이거나 작업별 모델을 여러 개 운영해야 하며, 출력 형식·말투·작업 수행 방식을 학습시키려 할 때 적합하다.
검색 증강 생성(RAG): 자주 바뀌는 사실 정보나 사내 문서를 근거로 답해야 할 때 적합하며, 모델 가중치를 바꾸지 않는다.

실제로는 이들 방식을 함께 쓰는 경우가 많다. 예를 들어 RAG로 최신 문서를 제공하고, LoRA로 문서를 인용하는 답변 형식과 도메인 용어 사용을 학습시키는 구성이 흔하다. PEFT는 대규모 모델을 적은 비용으로 여러 목적에 맞추는 기본 도구로 자리 잡았다.

#관련 용어

미세 조정

사전 학습된 모델을 특정 작업의 데이터로 추가 학습해 적응시키는 과정

저랭크 적응(LoRA)

가중치 변화량을 두 저랭크 행렬의 곱으로 표현해 학습하는 재매개변수형 PEFT 기법

어댑터

트랜스포머 층 사이에 삽입해 학습하는 작은 병목 구조의 신경망 모듈

프롬프트 튜닝

입력 앞에 학습 가능한 연속 벡터를 붙이고 그 벡터만 학습하는 가산형 PEFT 기법

양자화

모델 가중치나 활성값을 더 적은 비트로 표현해 메모리와 연산량을 줄이는 기법

파국적 망각

새 작업을 학습하면서 이전에 학습한 지식을 급격히 잃는 현상

#직무 연관도

Data Analyst낮음

도메인 특화 모델 도입 시 비용과 기대 성능을 판단하는 배경 지식

Data Scientist밀접

제한된 자원으로 대규모 모델을 작업에 맞게 적응시키고 기법별 성능을 비교·실험

Data Engineer밀접

어댑터 학습 파이프라인을 구축하고 하나의 기반 모델에 여러 어댑터를 붙여 서빙

#사용 사례

금융의료전자상거래인터넷 서비스통신

개요

PEFT는 대규모 모델을 자체 데이터에 맞추되 GPU 자원과 저장 비용을 줄여야 하는 환경에서 널리 사용된다. 금융과 의료에서는 도메인 용어와 문서 형식에 맞춘 언어 모델을 만들고, 전자상거래와 인터넷 서비스에서는 작업별 어댑터를 하나의 기반 모델에 붙여 다양한 기능을 서빙하는 데 활용된다.

사례

전자상거래 기업이 하나의 오픈 대규모 언어 모델을 기반으로 상품 설명 생성, 고객 문의 분류, 리뷰 요약용 LoRA 어댑터를 각각 학습하고, 추론 서버에서 요청 유형에 따라 어댑터를 바꿔 적용한다.