멀티헤드 어텐션(Multi-Head Attention)

•
2026년 11월 15일 발행•2026년 11월 15일 수정
요약

여러 개의 어텐션 헤드가 서로 다른 표현 부분공간에서 병렬로 어텐션을 계산하고 결과를 결합하는 트랜스포머의 핵심 구조

중급
선형대수의 행렬 곱과 소프트맥스, 어텐션 메커니즘에 대한 이해가 필요하며, 텐서 차원 변환과 추론 효율 개념을 알아야 한다.

#개념

멀티헤드 어텐션(Multi-Head Attention, MHA)은 하나의 어텐션 연산을 여러 개의 헤드(Head)로 나누어 병렬로 수행하고, 그 결과를 이어 붙여 다시 투영하는 어텐션 구조이다. 2017년 Vaswani 등이 발표한 논문 "Attention Is All You Need"에서 트랜스포머(Transformer)의 핵심 구성 요소로 제안되었다. 각 헤드가 서로 다른 표현 부분공간(Representation Subspace)에서 토큰 간 관계를 학습하도록 설계된 것이 특징이다.
멀티헤드 어텐션의 기본 단위는 스케일드 닷프로덕트 어텐션(Scaled Dot-Product Attention)이다. 쿼리 행렬 $Q$, 키 행렬 $K$, 값 행렬 $V$가 주어지면 $\mathrm{Attention}(Q,K,V)=\mathrm{softmax}(QK^\top/\sqrt{d_k})V$로 계산한다. 쿼리와 키의 내적으로 유사도를 구하고, 소프트맥스로 정규화한 가중치를 값 벡터에 곱해 가중합을 얻는다. $\sqrt{d_k}$로 나누는 이유는 차원이 커질수록 내적 값이 커져 소프트맥스가 포화되고 기울기가 매우 작아지는 문제를 완화하기 위해서이다.
단일 어텐션은 모든 관계를 하나의 가중치 분포로 평균 내기 때문에 여러 종류의 관계를 동시에 포착하기 어렵다. 멀티헤드 어텐션은 $\mathrm{MultiHead}(Q,K,V)=\mathrm{Concat}(\mathrm{head}_1,\dots,\mathrm{head}_h)W^O$로 정의되며, 각 헤드는 $\mathrm{head}_i=\mathrm{Attention}(QW_i^Q,KW_i^K,VW_i^V)$로 계산된다. 헤드마다 별도의 학습 가능한 투영 행렬을 두고, 마지막에 출력 투영 행렬 $W^O$로 결과를 합친다. 연산 과정은 다음과 같다.
연산 단계
  • 선형 투영: 입력 표현에 헤드별 투영 행렬 $W_i^Q$, $W_i^K$, $W_i^V$를 곱해 $h$개의 쿼리·키·값 집합을 만든다. 실제 구현에서는 하나의 큰 행렬 곱으로 계산한 뒤 텐서를 헤드 수만큼 분할한다.
  • 헤드별 어텐션: 각 헤드에서 스케일드 닷프로덕트 어텐션을 독립적으로 계산한다. 헤드끼리는 의존성이 없으므로 GPU에서 배치 연산으로 병렬 처리된다.
  • 결합: $h$개 헤드의 출력 벡터를 특징 차원 방향으로 이어 붙여 원래 모델 차원으로 되돌린다.
  • 출력 투영: 결합한 벡터에 $W^O$를 곱해 헤드 간 정보를 섞고 다음 계층으로 전달한다.
원 논문의 기본 모델은 모델 차원 $d_{model}=512$, 헤드 수 $h=8$을 사용하며, 헤드당 차원은 $d_k=d_v=d_{model}/h=64$이다. 헤드 차원을 헤드 수만큼 줄이기 때문에 전체 연산량은 전체 차원을 쓰는 단일 헤드 어텐션과 비슷하게 유지된다. 즉 멀티헤드 구조는 연산 비용을 크게 늘리지 않고 관계를 바라보는 관점의 수를 늘리는 방법이다. 쿼리·키·값·출력 투영의 파라미터 수도 헤드 수와 무관하게 편향을 제외하면 $4d_{model}^2$이다.
다만 어텐션 점수 행렬은 시퀀스 길이 $n$에 대해 $n\times n$ 크기이므로, 한 층의 자기 어텐션 연산량은 $O(n^2 \cdot d)$로 시퀀스 길이의 제곱에 비례한다. 헤드 수를 늘려도 이 이차 복잡도는 변하지 않으며, 헤드마다 별도의 점수 행렬이 만들어지므로 긴 문맥에서는 메모리 사용량이 빠르게 늘어난다. 이 문제는 이후 효율적 어텐션 연구와 구현 최적화의 주요 동기가 되었다.
헤드를 여러 개 두는 이유는 각 헤드가 서로 다른 유형의 관계에 집중할 수 있기 때문이다. 예를 들어 어떤 헤드는 인접 토큰 같은 짧은 범위의 관계를, 다른 헤드는 멀리 떨어진 토큰 간 의존 관계를 포착하는 경향을 보인다. 그러나 모든 헤드가 고르게 중요한 것은 아니며, 학습된 헤드 중 상당수는 중복되거나 기여도가 낮다는 연구 결과도 있다.
Michel 등은 2019년 논문 "Are Sixteen Heads Really Better than One?"에서 학습이 끝난 모델의 헤드를 테스트 시점에 제거하는 실험을 수행했다. 그 결과 많은 헤드를 제거해도 성능 저하가 거의 없었고, 일부 층은 헤드 하나만 남겨도 성능이 유지되었다. 탐욕적 가지치기로 WMT 번역 모델은 헤드의 최대 20%, BERT는 최대 40%를 눈에 띄는 성능 저하 없이 제거할 수 있었다. 또한 BERT 헤드의 50%를 제거하면 큰 배치 크기에서 추론 처리량이 약 17.5% 향상되었다.
멀티헤드 어텐션 자체는 쿼리·키·값을 입력으로 받는 범용 연산이므로, 세 입력을 어디서 가져오는지와 마스크를 적용하는지에 따라 역할이 달라진다. 같은 모듈이라도 인코더 내부, 디코더 내부, 인코더와 디코더 사이에서 서로 다른 정보 흐름을 담당한다. 트랜스포머 구조에서 대표적인 사용 방식은 다음과 같다.
사용 방식
  • 자기 어텐션(Self-Attention): 쿼리·키·값이 모두 같은 시퀀스에서 나온다. 문장 안의 각 토큰이 다른 모든 토큰을 참조해 문맥이 반영된 표현을 만든다.
  • 교차 어텐션(Cross-Attention): 쿼리는 디코더에서, 키와 값은 인코더 출력에서 가져온다. 번역 모델의 디코더가 원문의 어느 부분을 참고할지 결정하는 데 쓰인다.
  • 마스크드 어텐션(Masked Attention): 미래 위치의 점수를 $-\infty$로 가려 소프트맥스 이후 가중치가 0이 되게 한다. 자기회귀 생성 모델이 아직 생성하지 않은 토큰을 참조하지 못하도록 막는 인과 마스크가 대표적이다.
대규모 언어 모델의 추론에서는 이전 토큰의 키와 값을 저장해 재사용하는 KV 캐시(KV Cache)가 필수적이다. 그런데 표준 멀티헤드 어텐션은 헤드마다 키와 값을 따로 가지므로, 시퀀스가 길어지고 배치가 커질수록 KV 캐시의 메모리와 이를 읽어 오는 메모리 대역폭이 디코딩 속도의 병목이 된다. 이를 줄이기 위해 키·값 헤드 수를 줄이는 변형이 제안되었으며, 헤드 구성별 차이는 다음과 같다.
어텐션 헤드 구성 비교
  • 멀티헤드 어텐션(MHA): 쿼리·키·값 헤드 수가 모두 $h$로 같다. 표현력이 가장 높지만 KV 캐시 크기도 가장 크다.
  • 멀티쿼리 어텐션(Multi-Query Attention, MQA): 2019년 Shazeer가 제안한 방식으로, 모든 쿼리 헤드가 하나의 키·값 헤드를 공유한다. KV 캐시가 크게 줄어 디코딩이 빨라지지만 품질이 다소 떨어질 수 있다.
  • 그룹 쿼리 어텐션(Grouped-Query Attention, GQA): 2023년 Ainslie 등이 제안한 방식으로, 쿼리 헤드를 여러 그룹으로 나누고 그룹마다 키·값 헤드 하나를 공유한다. 멀티헤드에 가까운 품질과 멀티쿼리에 가까운 속도를 함께 얻는다.
GQA는 키·값 그룹 수를 1로 두면 MQA, 쿼리 헤드 수와 같게 두면 MHA가 되는 일반화된 형태이다. Ainslie 등은 기존 멀티헤드 체크포인트를 원래 사전 학습 연산량의 5% 수준만 추가로 학습하는 업트레이닝(Uptraining)으로 MQA나 GQA 구조로 변환할 수 있음을 보였다. 이러한 장점 덕분에 GQA는 이후 여러 공개 대규모 언어 모델에 채택되었다.
구현 측면에서는 플래시어텐션(FlashAttention)이 어텐션의 속도와 메모리 효율을 크게 개선했다. 2022년 Dao 등이 제안한 이 방법은 점수 행렬 전체를 GPU 고대역폭 메모리(HBM)에 기록하지 않고, 블록 단위로 나누어 온칩 SRAM에서 계산하는 타일링(Tiling) 기법을 사용한다. 근사 없이 정확한 어텐션을 계산하면서 메모리 입출력을 줄여, 논문에서는 시퀀스 길이 1K의 GPT-2 학습에서 3배의 속도 향상을 보고했다.
PyTorch는 torch.nn.MultiheadAttention 모듈을 제공하며, 전체 차원 embed_dim과 헤드 수 num_heads를 지정하면 각 헤드는 embed_dim을 num_heads로 나눈 차원을 사용한다. batch_first 옵션으로 입력 텐서의 배치 축 위치를 정할 수 있고, need_weights를 False로 두면 최적화된 scaled_dot_product_attention 경로를 사용해 성능을 높일 수 있다. 직접 구현할 때는 투영 결과를 (배치, 헤드, 길이, 헤드 차원) 형태로 재배열해 모든 헤드를 한 번의 배치 행렬 곱으로 계산하는 것이 일반적이다.
멀티헤드 어텐션은 자연어 처리뿐 아니라 이미지 패치를 토큰으로 다루는 비전 트랜스포머, 음성 인식, 추천 시스템의 사용자 행동 시퀀스 모델링 등 거의 모든 트랜스포머 계열 모델에 쓰인다. 헤드 수는 모델 차원을 나누어떨어지게 정하는 것이 일반적이며, 헤드 수를 지나치게 늘리면 헤드당 차원이 작아져 각 헤드의 표현력이 제한될 수 있다. 따라서 헤드 수, 헤드 차원, 키·값 헤드 수는 품질과 추론 비용을 함께 고려해 정하는 설계 요소이다.

#관련 용어

스케일드 닷프로덕트 어텐션
쿼리와 키의 내적을 키 차원의 제곱근으로 나눈 뒤 소프트맥스로 정규화해 값 벡터를 가중합하는 어텐션 연산
교차 어텐션
디코더의 쿼리가 인코더 출력의 키와 값을 참조하는 어텐션 방식
KV 캐시
자기회귀 디코딩에서 이전 토큰의 키와 값을 저장해 재사용하는 메모리 구조
그룹 쿼리 어텐션(GQA)
쿼리 헤드를 그룹으로 나누고 그룹마다 키·값 헤드 하나를 공유하는 멀티헤드 어텐션 변형
플래시어텐션
타일링으로 GPU 메모리 입출력을 줄여 정확한 어텐션을 빠르게 계산하는 구현 기법

#직무 연관도

DA
Data Analyst
낮음
어텐션 가중치 시각화로 모델의 판단 근거를 해석할 때 참고하는 개념
DS
Data Scientist
밀접
트랜스포머 계열 모델의 구조를 설계하고 헤드 수·차원·변형 구조를 실험하는 데 필수적인 개념
DE
Data Engineer
밀접
KV 캐시 크기, GQA 적용, 플래시어텐션 커널 선택 등 추론 비용과 지연 시간 최적화에 직접 연관

#사용 사례

인터넷 서비스전자상거래금융의료미디어
개요
멀티헤드 어텐션은 대규모 언어 모델 기반 챗봇과 검색, 기계 번역, 문서 요약, 의료 영상과 기록 분석, 금융 텍스트 분류, 추천 시스템의 시퀀스 모델링 등 트랜스포머를 사용하는 거의 모든 서비스에 쓰인다. 대규모 서비스 환경에서는 GQA와 플래시어텐션을 적용해 추론 비용과 응답 지연을 줄이는 것이 일반적이다.
사례
전자상거래 추천 시스템에서 사용자의 최근 클릭·구매 상품 시퀀스에 멀티헤드 자기 어텐션을 적용해, 헤드별로 카테고리 선호와 최근 관심사 같은 서로 다른 관계를 함께 반영한 사용자 표현을 생성

#참고 자료

#추천 포스트

© 2024 diki All rights reserved.