멀티헤드 어텐션(Multi-Head Attention)
•
2026년 11월 15일 발행•2026년 11월 15일 수정
요약
여러 개의 어텐션 헤드가 서로 다른 표현 부분공간에서 병렬로 어텐션을 계산하고 결과를 결합하는 트랜스포머의 핵심 구조
중급
#개념
#관련 용어
#직무 연관도
DAData Analyst낮음
어텐션 가중치 시각화로 모델의 판단 근거를 해석할 때 참고하는 개념
DSData Scientist밀접
트랜스포머 계열 모델의 구조를 설계하고 헤드 수·차원·변형 구조를 실험하는 데 필수적인 개념
DEData Engineer밀접
KV 캐시 크기, GQA 적용, 플래시어텐션 커널 선택 등 추론 비용과 지연 시간 최적화에 직접 연관
#사용 사례
#참고 자료
#추천 포스트
© 2024 diki All rights reserved.