합성곱(Convolution)

•
2026년 11월 15일 발행•2026년 11월 15일 수정
요약

커널을 입력 위에서 이동시키며 국소 영역과의 가중합을 계산해 특징 맵을 만드는 연산

초급
행렬 연산과 기본적인 신경망 구조에 대한 이해가 필요하며, 커널·스트라이드·패딩에 따른 출력 크기와 파라미터 수를 계산할 수 있어야 한다.

#개념

합성곱(Convolution)은 두 함수 중 하나를 뒤집어 이동시키면서 다른 함수와 곱한 값을 적분하거나 합산해 새로운 함수를 만드는 수학 연산이다. 딥러닝에서는 작은 크기의 커널(Kernel)을 입력 위에서 이동시키며 국소 영역과의 가중합을 계산하는 연산을 가리키며, 합성곱 신경망(Convolutional Neural Network, CNN)의 핵심 구성 요소이다.
연속 함수 $f$와 $g$의 합성곱은 $(fg)(t)=\int_{-\infty}^{\infty} f(\tau)g(t-\tau)\,d\tau$로 정의된다. 이산 신호에서는 적분이 합으로 바뀌어 $(fg)[n]=\sum_{m} f[m]g[n-m]$이 되고, 2차원 이미지 $I$와 커널 $K$에 대해서는 $S(i,j)=\sum_m\sum_n I(m,n)K(i-m,j-n)$로 확장된다. 합성곱은 교환법칙이 성립하며, 신호 처리에서는 선형 시불변 시스템의 출력을 입력과 임펄스 응답의 합성곱으로 표현한다.
딥러닝 프레임워크가 계산하는 연산은 엄밀히 말해 커널을 뒤집지 않는 교차상관(Cross-Correlation), 즉 $S(i,j)=\sum_m\sum_n I(i+m,j+n)K(m,n)$이다. PyTorch의 Conv2d 문서도 이 연산자를 유효한(valid) 2차원 교차상관 연산자로 설명한다. 커널 값은 학습으로 정해지므로 뒤집기 여부는 모델의 표현력에 영향을 주지 않으며, 관례적으로 이를 합성곱이라 부른다. 합성곱 계층의 동작은 몇 가지 하이퍼파라미터로 결정된다. 주요 하이퍼파라미터는 다음과 같다.
주요 하이퍼파라미터
  • 커널 크기(Kernel Size): 한 번에 보는 국소 영역의 크기로, 3×3이나 5×5처럼 홀수 크기를 주로 쓴다. 커널이 클수록 넓은 영역을 보지만 파라미터와 연산량이 늘어난다.
  • 스트라이드(Stride): 커널을 한 번에 이동시키는 간격이다. 스트라이드가 2이면 출력의 공간 크기가 대략 절반으로 줄어 다운샘플링 효과를 낸다.
  • 패딩(Padding): 입력 가장자리에 0 등의 값을 덧대는 것이다. 출력 크기를 입력과 같게 유지하거나 가장자리 정보가 소실되는 것을 막는 데 쓴다.
  • 팽창(Dilation): 커널 원소 사이에 간격을 두어 같은 파라미터 수로 더 넓은 영역을 보게 하는 설정이다. 팽창률이 1이면 일반 합성곱과 같다.
입력 크기 $W$, 커널 크기 $F$, 패딩 $P$, 스트라이드 $S$일 때 출력 크기는 $\lfloor (W-F+2P)/S \rfloor+1$이다. 팽창률 $D$를 고려하면 커널이 실제로 덮는 크기가 $D(F-1)+1$이 되므로 출력 크기는 $\lfloor (W+2P-D(F-1)-1)/S \rfloor+1$로 일반화되며, 이는 PyTorch Conv2d 문서의 공식과 같다. 예를 들어 227×227 입력에 11×11 커널, 스트라이드 4, 패딩 0을 적용하면 $(227-11)/4+1=55$로 55×55 출력이 나온다.
합성곱이 이미지 같은 격자 데이터에서 효과적인 이유는 구조적 특성에 있다. 같은 수의 파라미터를 쓰는 완전 연결 계층과 비교하면 합성곱 계층은 공간 구조를 보존하면서 훨씬 적은 연산으로 국소 패턴을 학습한다. Goodfellow 등의 「Deep Learning」은 합성곱의 장점을 다음과 같은 특성으로 설명한다.
합성곱의 구조적 특성
  • 지역 연결(Local Connectivity): 각 출력 값은 입력 전체가 아니라 커널 크기만큼의 국소 영역에만 연결된다. 완전 연결 계층보다 연결 수가 크게 줄고, 가장자리나 질감 같은 지역 패턴을 효율적으로 포착한다.
  • 가중치 공유(Weight Sharing): 같은 커널을 입력의 모든 위치에 재사용한다. 파라미터 수가 입력 크기와 무관해지고, 한 위치에서 학습한 패턴을 다른 위치에서도 탐지할 수 있다.
  • 평행이동 등변성(Translation Equivariance): 입력이 이동하면 출력 특징 맵도 같은 만큼 이동한다. 이 성질은 가중치 공유에서 비롯되며, 풀링과 결합하면 작은 위치 변화에 대한 불변성으로 이어진다.
실제 합성곱 계층은 여러 채널을 다룬다. 입력 채널 수가 $C_{in}$, 출력 채널 수가 $C_{out}$, 커널 크기가 $K\times K$이면 각 출력 채널은 $K\times K\times C_{in}$ 크기의 커널을 가지므로, 파라미터 수는 편향을 포함해 $K\cdot K\cdot C_{in}\cdot C_{out}+C_{out}$이다. CS231n 강의 노트의 예시에서 AlexNet 첫 합성곱 계층은 11×11×3 커널 96개로 고유 가중치 34,848개와 편향 96개, 총 34,944개의 파라미터를 가진다. 가중치를 공유하지 않는다면 같은 출력에 105,705,600개의 파라미터가 필요하다.
표준 합성곱은 모든 입력 채널과 공간 위치를 한꺼번에 결합하므로, 채널 수가 많아지면 연산량과 파라미터가 빠르게 늘어난다. 이를 줄이거나 출력 해상도를 바꾸기 위해 다양한 변형 연산이 목적에 따라 쓰인다. 대표적인 변형은 다음과 같다.
합성곱의 변형
  • 1×1 합성곱(Pointwise Convolution): 공간 방향으로는 섞지 않고 채널만 선형 결합한다. 채널 수를 줄이거나 늘려 연산량을 조절하는 병목 구조에 자주 쓰인다.
  • 깊이별 분리 합성곱(Depthwise Separable Convolution): 채널마다 독립적으로 공간 합성곱을 수행하는 깊이별 합성곱과 1×1 합성곱을 차례로 적용한다. MobileNet의 기본 구성 요소이다.
  • 전치 합성곱(Transposed Convolution): 합성곱의 입출력 관계를 뒤집어 공간 해상도를 키우는 연산이다. 분할 모델의 디코더나 생성 모델의 업샘플링에 쓰인다.
  • 팽창 합성곱(Dilated Convolution): 팽창률을 1보다 크게 두어 해상도를 줄이지 않고 수용 영역을 넓힌다. 아트러스 합성곱(Atrous Convolution)이라고도 한다.
Howard 등의 MobileNet 논문에 따르면 출력 특징 맵 크기 $D_F$, 커널 크기 $D_K$, 입력 채널 $M$, 출력 채널 $N$일 때 표준 합성곱의 연산 비용은 $D_K\cdot D_K\cdot M\cdot N\cdot D_F\cdot D_F$이다. 깊이별 분리 합성곱의 비용은 $D_K\cdot D_K\cdot M\cdot D_F\cdot D_F+M\cdot N\cdot D_F\cdot D_F$이므로 표준 대비 비율은 $1/N+1/D_K^2$가 된다. 3×3 커널에서는 표준 합성곱보다 8~9배 적은 연산을 쓰면서 정확도 감소가 작아, 모바일 환경의 경량 모델에 널리 쓰인다.
Yu와 Koltun은 ICLR 2016 논문에서 팽창 합성곱이 해상도나 커버리지의 손실 없이 수용 영역을 지수적으로 확장할 수 있음을 보였다. 3×3 커널의 팽창률을 층마다 두 배씩 키우면 $i+1$번째 층 원소의 수용 영역은 한 변 길이가 $2^{i+2}-1$인 정사각형이 된다. 층마다 파라미터 수는 그대로이면서 넓은 문맥을 반영할 수 있어 의미론적 분할 같은 밀집 예측(Dense Prediction) 작업에 적합하다.
합성곱은 입력의 차원에 따라 여러 형태로 쓰인다. 1차원 합성곱(1D Convolution)은 시간 축을 따라 커널을 이동시키며 음성 파형, 센서 시계열, 텍스트 토큰 시퀀스 처리에 쓰인다. 2차원 합성곱은 이미지의 높이와 너비 방향으로 이동하는 가장 일반적인 형태이다. 3차원 합성곱(3D Convolution)은 높이·너비에 시간이나 깊이 축을 더해 동영상의 동작 인식이나 CT·MRI 같은 의료 영상 볼륨 분석에 활용된다. 합성곱은 연산량이 많기 때문에 이를 효율적으로 계산하는 여러 구현 기법이 사용된다. 주요 구현 방식은 다음과 같다.
구현 방식
  • im2col: 커널이 닿는 입력 영역을 펼쳐 행렬의 열로 만든 뒤, 합성곱을 하나의 큰 행렬 곱(GEMM)으로 바꾼다. 최적화된 행렬 곱 라이브러리를 활용할 수 있지만 겹치는 영역이 복제되어 메모리를 더 쓴다.
  • FFT 기반 합성곱: 합성곱 정리에 따라 주파수 영역에서 원소별 곱으로 계산한다. 커널이 클 때 유리하지만 3×3처럼 작은 커널에서는 이점이 적다.
  • Winograd 알고리즘: Winograd의 최소 필터링 알고리즘으로 작은 타일 단위의 곱셈 횟수를 줄인다. Lavin과 Gray는 이를 3×3 커널 CNN에 적용해 배치 크기 1~64에서 높은 처리량을 보고했다.
CS231n 노트의 im2col 예시에서 227×227×3 입력에 11×11×3 커널을 스트라이드 4로 적용하면, 각 영역을 길이 363의 열로 펼쳐 363×3025 행렬을 만든다. 이를 96×363 가중치 행렬과 곱하면 96×3025 결과가 나오고, 이를 55×55×96으로 재배열하면 합성곱 출력과 같아진다. 이처럼 합성곱은 행렬 곱으로 환원되므로 GPU와 전용 가속기에서 높은 효율로 실행된다.
수용 영역(Receptive Field)은 출력의 한 원소가 영향을 받는 입력 영역의 크기를 뜻한다. 스트라이드 1인 3×3 합성곱을 두 번 쌓으면 수용 영역은 5×5, 세 번 쌓으면 7×7이 되며, 같은 수용 영역을 더 적은 파라미터와 더 많은 비선형성으로 얻을 수 있다. 층이 깊어질수록 수용 영역이 넓어져 초기 층은 가장자리·질감 같은 저수준 특징을, 깊은 층은 물체의 부분이나 전체 같은 고수준 특징을 표현하게 된다.
합성곱은 이미지 분류, 객체 탐지, 이미지 분할 같은 컴퓨터 비전 작업의 기본 연산이며, 음성 인식과 시계열 예측에서도 지역 패턴을 추출하는 데 쓰인다. 트랜스포머가 널리 쓰이는 지금도 합성곱은 적은 데이터에서 유리한 귀납적 편향(Inductive Bias)과 높은 연산 효율 덕분에 경량 모델, 하이브리드 구조, 패치 임베딩 계층 등에 계속 활용되고 있다.

#관련 용어

커널
입력의 국소 영역과 가중합을 계산하는 학습 가능한 작은 가중치 행렬
스트라이드
합성곱 커널을 입력 위에서 한 번에 이동시키는 간격
패딩
출력 크기 조절과 가장자리 정보 보존을 위해 입력 가장자리에 값을 덧대는 처리
수용 영역
출력의 한 원소가 영향을 받는 입력 영역의 크기
합성곱 신경망(CNN)
합성곱 계층을 쌓아 격자 형태 데이터의 특징을 학습하는 신경망
풀링
특징 맵의 국소 영역을 최댓값이나 평균값으로 요약해 공간 크기를 줄이는 연산

#직무 연관도

DA
Data Analyst
낮음
이미지 기반 모델의 동작 원리와 특징 맵을 해석할 때 참고하는 기본 개념
DS
Data Scientist
밀접
비전·음성·시계열 모델의 구조를 설계하고 커널 구성과 변형 합성곱을 선택하는 데 필수적인 개념
DE
Data Engineer
높음
합성곱 연산량과 메모리 사용을 고려해 모델을 경량화하고 추론 환경에 맞게 최적화하는 데 활용

#사용 사례

제조의료자율주행전자상거래미디어
개요
합성곱은 제조 분야의 외관 결함 검사, 의료 분야의 X선·CT 영상 판독 보조, 자율주행의 객체 탐지와 차선 인식, 전자상거래의 상품 이미지 분류와 유사 이미지 검색, 미디어의 영상 분석 등에서 이미지와 신호의 지역 특징을 추출하는 데 사용된다. 모바일 기기나 엣지 장비에서는 깊이별 분리 합성곱 같은 경량 구조가 주로 쓰인다.
사례
제조 공정의 외관 검사에서 제품 이미지에 합성곱 신경망을 적용해 긁힘·찍힘 같은 국소 결함 패턴을 탐지하고 불량품을 자동으로 분류

#참고 자료

#추천 포스트

© 2024 diki All rights reserved.