관련 포스트딥러닝 신경망 미세 조정 전이 학습지속 학습

파국적 망각(Catastrophic Forgetting)

•

2026년 11월 08일 발행•2026년 11월 08일 수정

요약

신경망이 새로운 작업을 순차적으로 학습할 때 이전에 학습한 지식을 급격히 잃어버리는 현상

고급

신경망 학습과 경사 하강법, 전이 학습과 미세 조정에 대한 이해가 필요하며, 정칙화·리플레이 기반 지속 학습 기법의 원리를 알아야 한다.

태그

딥러닝 신경망 미세 조정 전이 학습지속 학습

#개념

파국적 망각(Catastrophic Forgetting)은 인공 신경망이 새로운 작업이나 데이터를 순차적으로 학습할 때, 이전에 학습한 지식을 급격하게 잃어버리는 현상이다. 재앙적 망각 또는 파국적 간섭(Catastrophic Interference)이라고도 하며, 신경망이 사람처럼 지식을 계속 쌓아 가는 지속 학습(Continual Learning)을 어렵게 만드는 핵심 장애물이다.

이 현상은 McCloskey와 Cohen이 1989년에 연결주의(Connectionist) 네트워크의 순차 학습 문제를 다룬 연구에서 처음 체계적으로 보고하였다. 이들은 덧셈 문제를 단계적으로 학습시키는 실험에서, 새로운 덧셈 사실을 학습하자 이전에 맞히던 문제의 정답률이 크게 떨어지는 것을 관찰하였다. 이듬해 Ratcliff도 재인 기억 모형에서 유사한 결과를 보고하면서, 파국적 망각은 신경망 기반 학습의 근본적 한계로 인식되었다.

파국적 망각의 원인은 신경망의 표현 방식에 있다. 신경망은 지식을 특정 위치에 따로 저장하지 않고, 모든 작업이 동일한 가중치(Weight) 집합을 공유하는 분산 표현으로 저장한다. 새로운 작업의 손실 함수(Loss Function)만을 최소화하도록 경사 하강법(Gradient Descent)으로 가중치를 갱신하면, 이전 작업에 중요했던 가중치도 아무런 제약 없이 바뀌게 된다.

그 결과 새 작업의 기울기가 이전 작업의 해를 벗어나는 방향으로 파라미터를 이동시키고, 이전 작업의 입력에 대한 내부 표현까지 덮어쓰는 간섭이 발생한다. 학습 데이터가 독립 동일 분포(i.i.d.)로 섞여 있을 때는 여러 작업의 기울기가 균형을 이루지만, 데이터가 작업별로 순차 도착하면 이 균형이 깨진다.

파국적 망각은 안정성-가소성 딜레마(Stability-Plasticity Dilemma)로도 설명된다. 안정성은 기존 지식을 유지하는 능력이고, 가소성은 새로운 지식을 받아들이는 능력이다. 가중치 변화를 강하게 억제하면 망각은 줄지만 새 작업을 잘 배우지 못하고, 자유롭게 허용하면 새 작업은 잘 배우지만 이전 작업을 잊는다. 지속 학습 기법은 결국 이 두 성질의 균형점을 찾는 방법이라 할 수 있다.

지속 학습 연구에서는 망각을 평가하는 상황을 다음과 같이 구분한다.

지속 학습 시나리오

작업 증분(Task-Incremental): 작업이 순차적으로 주어지고, 추론 시 입력이 어느 작업에 속하는지 알려 주는 설정이다. 작업별 출력 헤드를 둘 수 있어 상대적으로 쉽다.
도메인 증분(Domain-Incremental): 문제의 형태와 출력 공간은 같지만 입력 분포가 바뀌는 설정이다. 예를 들어 같은 분류 문제를 다른 조명이나 장비에서 수집한 데이터로 이어서 학습하는 경우다.
클래스 증분(Class-Incremental): 새로운 클래스가 순차적으로 추가되고, 추론 시 작업 정보 없이 지금까지 본 모든 클래스 중에서 하나를 골라야 하는 설정이다. 이전 클래스와 새 클래스를 구분하는 경계를 함께 학습할 기회가 없어 가장 어렵다.

파국적 망각을 완화하는 기법은 크게 정칙화 기반, 리플레이 기반, 구조 기반으로 나눈다. 각 계열의 대표 기법은 다음과 같다.

정칙화 기반 기법

EWC(Elastic Weight Consolidation): Kirkpatrick 등이 2017년에 제안한 기법으로, 피셔 정보 행렬로 이전 작업에 대한 각 가중치의 중요도 $F_i$를 추정한다. 새 작업의 손실에 $\frac{\lambda}{2}\sum_i F_i(\theta_i - \theta^{*}_{A,i})^2$ 항을 더해 중요한 가중치가 이전 값에서 멀어지지 않도록 묶는다.
SI·MAS: 학습 경로에서 누적된 손실 감소 기여도(SI)나 출력 민감도(MAS)로 가중치 중요도를 추정한다. EWC와 같은 이차 벌점 구조를 사용하지만 중요도 계산 방식이 다르다.
LwF(Learning without Forgetting): Li와 Hoiem이 제안한 기법으로, 이전 데이터 없이 새 데이터에 대한 이전 모델의 출력을 소프트 타깃으로 보존한다. 지식 증류(Knowledge Distillation) 손실을 함께 최소화하여 기존 작업의 출력 분포를 유지한다.

리플레이 및 구조 기반 기법

경험 리플레이(Experience Replay): 이전 작업 데이터의 일부를 메모리 버퍼에 저장해 두었다가 새 데이터와 섞어 학습한다. 단순하지만 효과가 커서 강력한 기준선으로 쓰이며, iCaRL처럼 대표 표본을 선택하는 방법도 있다.
생성 리플레이(Generative Replay): 원본 데이터를 저장하는 대신 생성 모델로 이전 작업의 유사 표본을 만들어 함께 학습한다. 개인정보나 저장 공간 제약으로 원본 데이터를 보관할 수 없을 때 유용하다.
파라미터 격리: PackNet처럼 작업마다 사용할 가중치 부분 집합을 마스크로 나누어 고정하거나, 작업별 어댑터를 따로 둔다. 다른 작업의 파라미터를 건드리지 않아 망각을 원천적으로 줄인다.
동적 확장: Progressive Neural Networks처럼 새 작업마다 열(column)이나 뉴런을 추가하고 기존 부분은 고정한다. 망각은 거의 없지만 작업 수에 비례하여 모델 크기가 커진다.

파국적 망각은 대규모 언어 모델(Large Language Model)의 미세 조정(Fine-tuning)에서도 중요한 문제이다. 특정 도메인이나 지시 데이터로 전체 파라미터를 미세 조정하면 사전 학습에서 얻은 일반 지식, 추론 능력, 안전성 정렬이 약해지는 현상이 보고된다. 미세 조정 데이터가 좁고 학습률이 크며 학습 단계가 길수록 망각이 심해지는 경향이 있다.

LLM에서는 기존 가중치를 고정하고 일부 파라미터만 학습하는 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning)이 망각을 줄이는 수단으로 자주 쓰인다. LoRA처럼 저랭크 행렬만 학습하면 원래 모델을 그대로 보존할 수 있고, 작업별 어댑터를 교체하여 여러 작업을 서빙할 수 있다. 다만 PEFT도 망각을 완전히 없애지는 못하므로, 사전 학습 분포의 일반 데이터를 일정 비율 섞는 데이터 혼합(리플레이), 작은 학습률, 짧은 학습 단계를 함께 사용한다.

파국적 망각의 정도는 작업을 순차 학습한 후의 성능 행렬로 측정한다. 작업 $j$까지 학습한 뒤 작업 $i$의 정확도를 $a_{j,i}$라 할 때 주요 지표는 다음과 같다.

망각 평가 지표

평균 정확도(Average Accuracy): 마지막 작업 $T$까지 학습한 후 모든 작업에 대한 정확도의 평균 $\frac{1}{T}\sum_{i=1}^{T} a_{T,i}$이다. 지속 학습 성능을 요약하는 가장 기본적인 지표이다.
역전이(Backward Transfer, BWT): 이후 작업을 학습한 것이 이전 작업 성능에 준 영향 $\frac{1}{T-1}\sum_{i=1}^{T-1}(a_{T,i} - a_{i,i})$이다. 값이 음수이면 망각이 일어났음을 뜻한다.
전방 전이(Forward Transfer, FWT): 이전 작업에서 학습한 지식이 아직 학습하지 않은 작업의 성능을 얼마나 높이는지 측정한다.
망각 측정(Forgetting Measure): 각 작업에서 과거 최고 정확도와 최종 정확도의 차이를 평균하여 망각의 크기를 직접 나타낸다.

실무에서 파국적 망각은 모델을 주기적으로 재학습하는 서비스에서 자주 나타난다. 추천이나 검색 모델을 최근 데이터로만 증분 학습하면 장기적인 선호나 드문 패턴을 잊을 수 있고, 반대로 데이터 드리프트(Data Drift)에 대응하려면 새 데이터에 빠르게 적응해야 한다. 따라서 과거 데이터 표본 유지, 전체 재학습과 증분 학습의 병행, 이전 작업 평가셋의 회귀 검증을 운영 절차에 포함하는 것이 좋다.

정리하면 파국적 망각은 공유 파라미터를 순차적으로 갱신하는 신경망의 구조에서 비롯되는 현상이며, 안정성과 가소성의 균형 문제로 귀결된다. EWC, LwF, 리플레이, 파라미터 격리 같은 기법이 제안되어 왔고, LLM 시대에는 PEFT와 데이터 혼합이 실용적인 완화책으로 쓰인다.

#관련 용어

지속 학습

이전 지식을 유지하면서 새로운 작업이나 데이터를 순차적으로 학습하는 학습 패러다임

안정성-가소성 딜레마

기존 지식 유지와 새로운 지식 수용 사이의 상충 관계

탄력적 가중치 통합(EWC)

피셔 정보로 추정한 가중치 중요도에 따라 이전 값에서의 이탈을 벌하는 정칙화 기법

경험 리플레이

이전 작업의 데이터 일부를 저장해 새 데이터와 함께 다시 학습하는 기법

매개변수 효율적 미세 조정(PEFT)

사전 학습 가중치를 고정하고 소수의 추가 파라미터만 학습하는 미세 조정 방식

지식 증류

교사 모델의 출력을 소프트 타깃으로 삼아 학생 모델을 학습하는 기법

#직무 연관도

Data Analyst낮음

모델 재학습 후 기존 지표 저하 원인을 해석하는 데 참고하는 개념

Data Scientist밀접

지속 학습·미세 조정 실험 설계와 망각 완화 기법 연구에 직접 관련

Data Engineer높음

증분 재학습 파이프라인, 어댑터 기반 서빙, 회귀 평가 체계 설계에 필요한 지식

#사용 사례

인터넷 서비스전자상거래자율주행의료금융

개요

파국적 망각은 모델을 새로운 데이터로 계속 갱신해야 하는 모든 산업에서 고려 대상이다. 인터넷 서비스와 전자상거래에서는 추천·검색 모델의 증분 학습과 LLM 도메인 미세 조정에서, 자율주행에서는 새로운 주행 환경 데이터의 추가 학습에서, 의료와 금융에서는 기관·시기별 데이터 분포 변화에 대응하는 모델 갱신에서 문제가 된다.

사례

범용 LLM을 사내 고객 상담 데이터로 미세 조정할 때 LoRA 어댑터만 학습하고 일반 지시 데이터를 일정 비율 섞어, 도메인 응답 품질을 높이면서 기존 일반 질의 응답 성능 저하를 억제