관련 포스트딥러닝 미세 조정 컴퓨터 비전 자연어 처리 대규모 언어 모델

전이 학습(Transfer Learning)

•

2026년 09월 19일 발행•2026년 09월 19일 수정

요약

한 과제나 도메인에서 학습한 지식을 다른 과제나 도메인의 학습에 재사용하여 적은 데이터와 연산으로 높은 성능을 얻는 머신러닝 기법

중급

신경망의 학습 과정과 계층 구조, 과대적합에 대한 이해가 필요하며, 사전 학습 모델과 미세 조정의 실무적 활용 맥락을 알면 이해에 도움이 된다.

태그

딥러닝 미세 조정 컴퓨터 비전 자연어 처리 대규모 언어 모델

#개념

전이 학습(Transfer Learning)은 어떤 원천 과제(source task)에서 학습한 모델의 지식(가중치, 표현, 구조)을 목표 과제(target task)의 학습에 재사용하는 머신러닝(Machine Learning) 기법이다. 전통적인 지도 학습(Supervised Learning)은 학습 데이터와 테스트 데이터가 같은 분포에서 나오고 각 과제마다 모델을 처음부터 새로 학습한다고 가정하지만, 현실에서는 목표 과제의 레이블 데이터가 부족하거나 분포가 달라지는 경우가 대부분이다.

전이 학습은 사람이 자전거를 탈 줄 알면 오토바이를 더 빨리 배우듯, 관련된 과제에서 얻은 지식을 활용하여 학습 데이터 요구량과 학습 시간을 크게 줄이고 초기 성능과 최종 성능을 함께 높이는 것을 목표로 한다. Pan과 Yang(2010)의 분류에 따르면 전이 학습은 원천과 목표의 도메인(입력 분포)과 과제(레이블 공간)가 같은지, 그리고 목표 도메인에 레이블이 있는지에 따라 귀납적(inductive), 전도적(transductive), 비지도(unsupervised) 전이 학습으로 나뉘며, 전이되는 내용에 따라 데이터 인스턴스, 특징 표현, 모델 매개변수, 관계 지식의 전이로 구분된다.

딥러닝(Deep Learning)에서 전이 학습은 사전 학습(Pre-training) → 전이라는 두 단계 흐름으로 정착되었다. 먼저 대규모 데이터로 범용 표현을 학습한 사전 학습 모델(Pre-trained Model)을 만들고, 이를 목표 과제에 맞게 적응시키는 것이다. 적응 방식은 크게 두 가지다.

특징 추출(Feature Extraction)은 사전 학습 모델의 가중치(Weight)를 고정(freeze)한 채 고정된 특징 벡터 위에 새로운 분류기만 학습하는 방식으로, 데이터가 매우 적거나 연산 자원이 제한될 때 적합하고 과대적합(Overfitting) 위험이 낮다. 미세 조정(Fine-tuning)은 사전 학습 가중치를 초기값으로 삼아 모델 전체 또는 상위 계층(Layer) 일부를 목표 데이터로 다시 학습하는 방식으로, 목표 데이터가 충분하고 원천 도메인과 차이가 클 때 더 높은 성능을 낸다.

미세 조정에서는 학습된 지식이 파괴되는 것을 막기 위해 작은 학습률(Learning Rate)을 사용하고, 하위 계층은 낮은 학습률, 상위 계층은 높은 학습률을 적용하거나 계층을 점진적으로 해동(gradual unfreezing)하는 전략이 쓰인다. Yosinski 등(2014)은 합성곱 신경망의 하위 계층이 에지·색상처럼 과제와 무관한 일반적 특징을 학습하고 상위 계층으로 갈수록 과제 특화적으로 변한다는 사실을 실험으로 보였으며, 이는 어느 계층까지 고정하고 어디서부터 재학습할지를 결정하는 근거가 된다.

최근에는 수십억 개의 매개변수를 가진 모델을 통째로 미세 조정하는 대신 LoRA, 어댑터(Adapter), 프롬프트 튜닝처럼 소수의 추가 매개변수만 학습하는 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT)이 널리 사용된다.

전이 학습의 대표적 성공 사례는 컴퓨터 비전(Computer Vision)의 ImageNet 사전 학습이다. 약 120만 장의 이미지와 1,000개 클래스(ILSVRC)로 학습한 ResNet, EfficientNet 같은 합성곱 신경망(Convolutional Neural Network, CNN)과 Vision Transformer 같은 비전 트랜스포머의 가중치는 의료 영상 판독, 위성 이미지 분석, 제조 불량 검출처럼 레이블이 수백 장에 불과한 과제에서도 강력한 초기값이 되며, 객체 탐지(Object Detection)와 이미지 분할(Image Segmentation) 모델도 ImageNet 사전 학습 백본(backbone) 위에 구축되는 것이 표준이 되었다.

자연어 처리(Natural Language Processing)에서는 Word2Vec과 GloVe 같은 사전 학습 임베딩(Embedding)의 전이에서 출발하여, ELMo와 ULMFiT를 거쳐 2018년 BERT가 등장하면서 전이 학습이 주류가 되었다. BERT는 레이블 없는 대량의 텍스트로 마스크된 단어를 맞히는 자기지도(self-supervised) 사전 학습을 수행한 트랜스포머(Transformer) 인코더로, 출력층만 바꿔 미세 조정하는 것만으로 문장 분류, 질의응답, 개체명 인식(Named Entity Recognition) 등 11개 벤치마크에서 당시 최고 성능을 갱신하며 "사전 학습 후 미세 조정" 패러다임을 확립했다.

GPT 계열도 같은 원리로 다음 단어 예측을 사전 학습한 뒤 지시 데이터로 미세 조정된다. 음성 인식의 wav2vec, 단백질 구조 예측, 시계열 예측 등 거의 모든 분야로 이 패러다임이 확산되었다.

원천과 목표 도메인의 입력 분포가 다르지만 과제는 같은 경우를 다루는 것이 도메인 적응(Domain Adaptation)이다. 예를 들어 낮에 촬영한 이미지로 학습한 자율주행 인식 모델을 야간이나 우천 환경에 적용하거나, 합성 데이터로 학습한 모델을 실제 데이터에 적용하는 상황이 여기에 해당한다. 목표 도메인의 레이블이 없는 비지도 도메인 적응에서는 다음과 같은 방법이 사용된다.

비지도 도메인 적응의 주요 방법

분포 거리 최소화: 두 도메인의 특징 분포 차이를 MMD(Maximum Mean Discrepancy) 같은 거리로 측정하여 최소화한다.
적대적 학습: DANN처럼 도메인 판별기를 속이도록 특징 추출기를 적대적으로 학습하여 도메인을 구분할 수 없는 표현을 만든다.
이미지 변환: 생성적 적대 신경망(Generative Adversarial Network)으로 원천 이미지를 목표 도메인 스타일로 변환한다.

한편 전이 학습이 항상 도움이 되는 것은 아니다. 원천 과제와 목표 과제의 관련성이 낮으면 사전 학습 지식이 오히려 학습을 방해하여 처음부터 학습한 모델보다 성능이 낮아지는 부정적 전이(Negative Transfer)가 발생할 수 있다.

부정적 전이를 피하려면 원천 데이터와 목표 데이터의 유사도를 사전에 평가하고, 여러 사전 학습 모델 중 전이 가능성이 높은 것을 선택하며, 미세 조정 중 원래 가중치에서 지나치게 벗어나지 않도록 정칙화(Regularization)하거나 목표 데이터를 충분히 확보한 뒤 전이하는 등의 대책이 필요하다. 사전 학습 데이터에 포함된 사회적 편향(Bias)과 개인정보가 목표 모델로 함께 전이될 수 있다는 점도 유의해야 한다.

오늘날 파운데이션 모델(Foundation Model)은 전이 학습이 극단적으로 확장된 형태로 볼 수 있다. GPT, Claude, LLaMA 같은 대규모 언어 모델(Large Language Models, LLM)과 CLIP, SAM 같은 멀티모달·비전 모델은 방대한 데이터로 한 번 사전 학습된 뒤 미세 조정, 지시 튜닝(instruction tuning), 인간 피드백 기반 강화학습(RLHF), 그리고 매개변수를 전혀 바꾸지 않고 프롬프트의 예시만으로 새 과제를 수행하는 인-컨텍스트 학습(in-context learning)을 통해 수많은 하류 과제에 전이된다.

즉 파운데이션 모델은 "하나의 사전 학습 모델을 많은 과제에 전이한다"는 전이 학습의 이상을 실현한 것이며, 전이 방식이 가중치 갱신에서 프롬프트와 검색 증강 같은 비매개변수적 적응으로까지 넓어졌다. 실무에서 전이 학습을 적용할 때 고려할 사항은 다음과 같다.

실무 적용 시 고려 사항

적응 방식 선택: 목표 데이터의 양과 원천 도메인과의 유사도를 기준으로 특징 추출·부분 미세 조정·전체 미세 조정·PEFT 중 적절한 방식을 고른다.
사전 학습 규약 준수: 사전 학습 모델의 라이선스와 입력 전처리 규약(이미지 정규화 값, 토크나이저 등)을 그대로 따른다.
부정적 전이 확인: 소량의 검증 데이터로 처음부터 학습한 기준선과 비교하여 부정적 전이 여부를 확인한다.

전이 학습은 데이터와 연산이 제한된 대부분의 현실 문제에서 딥러닝을 실용화한 핵심 기법이며, 사전 학습 모델의 공유 생태계와 결합하여 AI 개발의 기본 방식이 되었다.

#관련 용어

사전 학습 모델

대규모 데이터로 미리 학습되어 다른 과제의 초기값이나 특징 추출기로 재사용되는 모델

미세 조정

사전 학습된 가중치를 초기값으로 삼아 목표 과제의 데이터로 모델을 추가 학습하는 과정

특징 추출

사전 학습 모델의 가중치를 고정하고 그 출력 표현 위에 새로운 분류기만 학습하는 전이 방식

도메인 적응

과제는 같지만 입력 분포가 다른 목표 도메인에 모델이 잘 동작하도록 적응시키는 기법

부정적 전이

원천 과제의 지식이 목표 과제 학습을 방해하여 성능이 오히려 저하되는 현상

대규모 언어 모델

방대한 텍스트로 사전 학습되어 다양한 언어 과제에 전이되는 대규모 파운데이션 모델

#직무 연관도

Data Analyst낮음

사전 학습 모델 기반 텍스트·이미지 분류를 분석 업무에 적용할 때 개념적 이해가 필요하다

Data Scientist밀접

적은 데이터로 높은 성능의 모델을 만들기 위한 표준 접근으로, 사전 학습 모델 선택과 미세 조정 전략 설계에 핵심적이다

Data Engineer높음

사전 학습 모델의 로딩·서빙, PEFT 기반 학습 파이프라인 구축, 모델 라이선스와 전처리 규약 관리에 활용된다

#사용 사례

의료제조자율주행금융전자상거래인터넷 서비스농업

개요

전이 학습은 의료 영상 판독, 제조 불량 검출, 위성·드론 영상 분석처럼 레이블 데이터가 희소한 분야와, BERT·GPT 계열 사전 학습 모델을 미세 조정하는 감성 분석, 문서 분류, 챗봇, 검색 등 자연어 처리 응용 전반, 그리고 낮·밤이나 국가별 환경 차이에 대응해야 하는 자율주행 인식 모델의 도메인 적응에 폭넓게 활용된다.

사례

의료 영상 분야에서는 레이블이 붙은 흉부 X선 영상이 수천 장에 불과하더라도, ImageNet으로 사전 학습된 합성곱 신경망의 가중치를 초기값으로 미세 조정하면 처음부터 학습한 모델보다 훨씬 빠르게 수렴하고 더 높은 폐렴 판별 정확도를 얻을 수 있다.

#참고 자료

How transferable are features in deep neural networks?

Transfer Learning for Computer Vision Tutorial

Transfer Learning

Transfer learning and fine-tuning

PEFT

A Survey on Transfer Learning

timm (PyTorch Image Models)

Hugging Face Transformers

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

#추천 포스트

이전 포스트