디퓨전 모델 (Diffusion Model)

#개념

디퓨전 모델(Diffusion Model)은 데이터에 노이즈를 조금씩 더해 완전한 잡음으로 만드는 순방향 과정(Forward Process)을 정의하고, 이를 거꾸로 되돌리는 역방향 과정(Reverse Process)을 신경망으로 학습하여 순수한 가우시안 노이즈로부터 이미지·오디오·비디오 같은 새로운 데이터를 만들어 내는 생성 모델이다. 비평형 열역학의 확산 현상에서 이름을 따왔으며, Sohl-Dickstein 등(2015)이 처음 제안하고 Ho 등(2020)의 잡음 제거 확산 확률 모델(Denoising Diffusion Probabilistic Models, DDPM)이 고품질 이미지 생성을 입증하면서 생성적 적대 신경망(Generative Adversarial Network, GAN)을 대체하는 주류 생성 기법으로 자리 잡았다. 순방향 과정은 원본 데이터 $x_0$에 대해 $T$단계에 걸쳐 분산 스케줄 $\beta_t$만큼 노이즈를 더하는 마르코프 연쇄 $q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)$로 정의된다. $\alpha_t = 1-\beta_t$, $\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s$로 두면 임의의 시점 $t$의 노이즈 데이터를 한 번에 $x_t = \sqrt{\bar{\alpha}_t}\,x_0 + \sqrt{1-\bar{\alpha}_t}\,\epsilon$ ($\epsilon \sim \mathcal{N}(0, I)$)으로 샘플링할 수 있어 학습이 효율적이다. $T$가 충분히 크면 $x_T$는 표준 정규 분포에 가까워지며, 이 지점이 생성의 출발점이 된다.

역방향 과정 $p_\theta(x_{t-1} \mid x_t)$는 순방향 과정의 조건부 분포를 근사하는 가우시안 분포로 모델링하며, 그 평균을 신경망으로 예측한다. DDPM은 변분 하한(Variational Lower Bound, VLB)을 유도한 뒤, 이를 단순화하면 각 단계에서 신경망 $\epsilon_\theta(x_t, t)$가 더해진 노이즈 $\epsilon$을 예측하도록 훈련하는 것과 같아진다는 점을 보였다. 즉 학습 목적 함수는 $L_{simple} = \mathbb{E}_{t, x_0, \epsilon}\left[\|\epsilon - \epsilon_\theta(\sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon, t)\|^2\right]$로, 무작위 시점 $t$와 노이즈를 뽑아 손실 함수(Loss Function)인 평균 제곱 오차로 노이즈를 회귀하는 단순한 형태다. 이 노이즈 예측 신경망으로는 스킵 연결을 가진 U-Net 구조가 오랫동안 표준이었으며, 시점 $t$는 사인·코사인 위치 인코딩으로 주입된다. 최근에는 트랜스포머(Transformer) 기반의 DiT(Diffusion Transformer)가 대규모 모델에서 U-Net을 대체하고 있다. 생성 시에는 $x_T \sim \mathcal{N}(0, I)$에서 출발하여 예측된 노이즈로 $x_{t-1}$의 평균을 계산하고 약간의 무작위성을 더하는 과정을 $T$번 반복해 $x_0$를 얻는다. 노이즈 예측은 스코어 기반 관점(Score-based View)에서 로그 확률 밀도의 기울기 $\nabla_{x_t}\log q(x_t)$를 추정하는 것과 동등하며($\epsilon_\theta \approx -\sqrt{1-\bar{\alpha}_t}\,\nabla_{x_t}\log q(x_t)$), Song 등(2021)은 순방향·역방향 과정을 확률 미분 방정식(SDE)으로 통합하여 DDPM과 스코어 매칭이 같은 틀의 두 표현임을 보였다. 이 관점에서 생성은 스코어를 따라 확률이 높은 영역으로 데이터를 이동시키는 랑주뱅 동역학(Langevin dynamics)으로 해석된다.

DDPM의 큰 단점은 $T=1000$과 같은 수많은 단계를 순차적으로 거쳐야 해 GAN보다 생성이 훨씬 느리다는 점이다. 잡음 제거 확산 암묵 모델(Denoising Diffusion Implicit Models, DDIM)은 마르코프 가정을 완화한 비마르코프 순방향 과정을 정의하여, 같은 학습 목적 함수로 훈련한 모델을 그대로 사용하면서도 단계를 건너뛰어 10~50배 빠르게 샘플링할 수 있음을 보였다. DDIM은 무작위성을 제거한 결정론적 샘플링도 가능하게 하여 잠재 변수와 이미지 사이의 일관된 대응(inversion)을 제공하며, 이는 이미지 편집에 활용된다. 이 밖에도 역방향 SDE를 상미분 방정식(ODE)으로 바꾸어 고차 수치 해법으로 푸는 DPM-Solver, 여러 단계의 디노이징을 한 번에 근사하도록 학습하는 점진적 증류(progressive distillation), ODE 궤적의 임의 지점을 원점으로 직접 사상하는 일관성 모델(consistency model) 등이 샘플링 단계를 수 회에서 한 회까지 줄이는 데 기여했다. 한편 픽셀 공간에서 직접 확산을 수행하면 고해상도 이미지의 연산 비용이 막대하므로, Rombach 등(2022)의 잠재 디퓨전 모델(Latent Diffusion Model, LDM)은 사전 학습한 오토인코더로 이미지를 압축한 저차원 잠재 공간에서 확산 과정을 수행하고, 생성된 잠재 벡터를 디코더로 복원한다. 이 구조를 대규모 이미지·텍스트 쌍으로 학습한 것이 Stable Diffusion이며, 지각적으로 무의미한 세부 정보를 오토인코더가 흡수함으로써 소비자용 GPU에서도 고해상도 생성이 가능해졌다.

실용적인 생성에는 텍스트나 클래스 레이블과 같은 조건 $c$를 반영하는 조건부 생성(Conditional Generation)이 필수적이다. 텍스트 조건은 CLIP이나 T5 같은 텍스트 인코더의 임베딩(Embedding)을 U-Net의 교차 어텐션(cross-attention) 계층으로 주입하는 방식이 일반적이다. 조건을 더 강하게 따르도록 만드는 기법으로 Dhariwal과 Nichol(2021)의 분류기 유도(classifier guidance)가 있었으나, 별도의 노이즈 강건 분류기가 필요했다. Ho와 Salimans(2022)의 분류기 없는 유도(Classifier-Free Guidance, CFG)는 학습 중 일정 확률로 조건을 비워 조건부 모델과 무조건부 모델을 하나의 신경망으로 함께 학습한 뒤, 샘플링 시 두 예측을 $\tilde{\epsilon} = \epsilon_\theta(x_t, \varnothing) + w\,(\epsilon_\theta(x_t, c) - \epsilon_\theta(x_t, \varnothing))$처럼 외삽하여 조건 방향을 증폭한다. 유도 척도 $w$를 키우면 텍스트 충실도는 높아지지만 다양성이 줄고 색이 과포화되는 절충이 있다. 이러한 요소가 결합되어 DALL·E 2, Imagen, Stable Diffusion, Midjourney 같은 텍스트-이미지 생성(Text-to-Image Generation) 모델이 등장했고, 시간 축을 추가한 비디오 생성(Sora, Stable Video Diffusion), 스펙트로그램이나 파형에 확산을 적용한 음성·음악 생성(AudioLDM, Stable Audio), 단백질 구조 설계(RFdiffusion), 로봇 제어 정책(Diffusion Policy), 초해상도·인페인팅·이미지 편집(ControlNet, InstructPix2Pix) 등으로 응용이 확장되었다.

GAN과 비교하면 디퓨전 모델은 판별자와의 적대적 게임 없이 안정적인 회귀 손실로 학습되므로 모드 붕괴(Mode Collapse)가 없고 학습 데이터 분포를 더 넓게 포괄하며, 우도 기반 해석이 가능하고 조건 제어와 확장이 용이하다는 장점이 있다. 반면 생성이 반복적 과정이어서 지연 시간과 연산 비용이 크고, 대규모 모델은 막대한 학습 자원이 필요하며, 학습 데이터의 저작권과 유해·편향 콘텐츠 생성, 딥페이크 악용과 같은 사회적 문제도 제기된다. 이러한 한계를 보완하기 위해 샘플링 가속과 증류, 노이즈 대신 속도 벡터를 회귀하는 흐름 매칭(flow matching)과 정류 흐름(rectified flow)처럼 학습·추론을 단순화하는 변형, 안전 필터와 워터마킹 연구가 활발히 이루어지고 있다. 결론적으로 디퓨전 모델은 "노이즈를 예측하라"는 단순한 목적 함수 위에 스코어 이론, 잠재 공간 압축, 조건부 유도가 결합되어 현대 생성형 AI의 핵심 기반이 되었다.