풀링(Pooling)

•
2026년 11월 15일 발행•2026년 11월 15일 수정
요약

입력의 국소 영역이나 집합 전체를 최댓값·평균 등 하나의 대푯값으로 요약해 표현 크기를 줄이는 연산

초급
합성곱 신경망의 특징 맵 구조와 출력 크기 계산을 이해하고, 풀링 방식에 따른 정보 손실과 연산량 절충을 판단할 수 있어야 한다.

#개념

풀링(Pooling)은 입력의 국소 영역이나 집합 전체를 하나의 대푯값으로 요약해 표현의 크기를 줄이는 연산이다. 합성곱 신경망에서는 특징 맵을 공간 방향으로 줄이는 층으로 쓰이고, 그래프 신경망과 문장 임베딩에서는 가변 개수의 노드·토큰 벡터를 하나의 고정 길이 벡터로 모으는 데 쓰인다.
풀링 층은 합성곱(Convolution) 층과 달리 학습 파라미터가 없다. 정해진 크기의 창(window)을 일정한 간격으로 이동시키며 창 안의 값에 최댓값·평균 같은 고정된 집계 함수를 적용할 뿐이다. 다채널 입력에서는 채널마다 독립적으로 적용하므로 출력의 채널 수는 입력과 같고, 높이와 너비만 줄어든다.
합성곱 신경망에 풀링을 넣는 이유는 크게 세 가지로 정리된다. 각 목적은 서로 연결되어 있으며, 초기 합성곱 신경망 구조에서 합성곱 층과 풀링 층을 번갈아 쌓는 설계의 근거가 되었다.
풀링의 목적
  • 다운샘플링: 특징 맵의 해상도를 줄여 이후 층이 더 넓은 입력 영역을 보게 한다. 같은 크기의 커널이라도 풀링 뒤에서는 수용 영역(Receptive Field)이 빠르게 커진다.
  • 작은 이동에 대한 불변성: 창 안에서 특징이 조금 움직여도 최댓값이나 평균이 크게 변하지 않으므로, 국소적인 위치 변화에 덜 민감한 표현을 얻는다.
  • 연산량과 메모리 감소: 2×2 창과 스트라이드 2를 쓰면 공간 크기가 가로세로 절반, 원소 수가 4분의 1로 줄어 이후 층의 연산과 활성값 메모리가 함께 줄어든다.
집계 함수에 따라 풀링은 여러 종류로 나뉜다. 실무에서 가장 많이 쓰는 것은 최대 풀링과 평균 풀링이며, 분류 헤드 직전에는 전역 평균 풀링이 표준처럼 쓰인다.
풀링의 주요 종류
  • 최대 풀링(Max Pooling): 창 안의 최댓값을 출력한다. 가장 강하게 반응한 특징만 남기므로 경계·질감 같은 국소 패턴의 존재 여부를 잘 보존한다.
  • 평균 풀링(Average Pooling): 창 안의 평균을 출력한다. 정보를 고르게 섞어 부드러운 요약을 만들지만 강한 반응이 주변 값에 희석될 수 있다.
  • 전역 평균 풀링(Global Average Pooling, GAP): 특징 맵 전체를 채널별 평균 하나로 줄여 $C \times H \times W$ 텐서를 길이 $C$ 벡터로 만든다.
  • Lp 풀링과 확률적 풀링: Lp 노름으로 최대와 평균 사이를 조절하거나, 값에 비례한 확률로 원소를 골라 정칙화 효과를 노리는 변형이다.
출력 크기는 합성곱과 같은 방식으로 계산한다. 입력 높이를 $H_{in}$, 창 크기를 $k$, 스트라이드를 $s$, 패딩을 $p$라 하면 출력 높이는 $H_{out} = \lfloor (H_{in} + 2p - k) / s \rfloor + 1$이다. PyTorch의 nn.MaxPool2d는 스트라이드를 지정하지 않으면 창 크기와 같게 두므로, 창이 겹치지 않는 풀링이 기본 동작이다.
예를 들어 $112 \times 112$ 특징 맵에 $k=2, s=2, p=0$인 최대 풀링을 적용하면 출력은 $56 \times 56$이 된다. 창을 겹치게 하려면 $k=3, s=2$처럼 스트라이드를 창 크기보다 작게 잡는다. 패딩과 내림·올림 처리 방식(ceil_mode)에 따라 경계에서 한 칸 차이가 생기므로, 구조를 설계할 때 각 층의 출력 크기를 직접 확인하는 것이 안전하다.
풀링 층은 파라미터가 없지만 역전파(Backward Propagation)에서 기울기를 입력 쪽으로 전달해야 한다. 최대 풀링은 순전파 때 최댓값이 나온 위치를 기억해 두고, 출력 기울기를 그 위치에만 그대로 보내며 나머지 위치에는 0을 보낸다. 평균 풀링은 출력 기울기를 창 크기로 나누어 창 안의 모든 위치에 고르게 나눠 준다.
Lin et al.(2013)은 Network in Network에서 마지막 완전 연결층 대신 전역 평균 풀링을 제안했다. 마지막 합성곱 층이 클래스 수만큼의 특징 맵을 내고, 각 맵의 평균을 바로 클래스 점수로 쓰는 방식이다. 이 방식은 완전 연결층의 많은 파라미터를 없애 과대적합(Overfitting)을 줄이고, 특징 맵과 클래스의 대응이 직접적이어서 해석이 쉽다는 장점이 있다.
전역 평균 풀링은 이후 ResNet 등 대부분의 이미지 분류 백본에 기본 구성으로 들어갔다. 공간 크기를 평균으로 없애기 때문에 입력 해상도가 학습 때와 달라도 같은 길이의 벡터를 얻을 수 있고, 이 벡터를 그대로 이미지 임베딩으로 쓰는 경우도 많다. 특징 맵 단위의 클래스 활성 지도(CAM) 같은 시각화 기법도 이 구조를 전제로 한다.
한편 풀링이 꼭 필요한지에 대한 반론도 있다. Springenberg et al.(2014)은 Striving for Simplicity에서 최대 풀링 층을 스트라이드 2인 합성곱 층으로 바꾼 All Convolutional Net을 제안했고, 여러 이미지 인식 벤치마크에서 정확도 손실 없이 동작함을 보였다. 다운샘플링 방식 자체를 학습하게 하는 이 접근은 이후 ResNet의 스트라이드 합성곱, 생성 모델의 판별기 등으로 널리 퍼졌다.
현재 구조에서는 초기 층의 다운샘플링을 스트라이드 합성곱이나 패치 임베딩이 맡고, 풀링은 마지막 전역 풀링 정도로만 남는 경우가 많다. 다만 연산이 단순하고 파라미터가 없다는 장점 때문에 경량 모델, 분할 모델의 인코더, 오디오·시계열의 1차원 신경망에서는 여전히 국소 풀링을 자주 쓴다.
입력 크기가 제각각인 상황을 다루기 위해 고안된 풀링도 있다. 이들은 출력 격자 크기를 고정하고 그에 맞춰 창 크기를 거꾸로 정하는 방식으로, 임의 크기 입력에서 고정 길이 벡터를 만든다.
고정 길이 출력을 위한 풀링
  • 공간 피라미드 풀링(Spatial Pyramid Pooling, SPP): He et al.(2014)이 SPP-net에서 제안했다. 특징 맵을 1×1, 2×2, 4×4처럼 여러 크기의 격자로 나눠 칸마다 최대 풀링한 뒤 이어 붙이며, 이 예에서는 채널 수의 21배 길이 벡터가 된다.
  • RoI 풀링(Region of Interest Pooling): Fast R-CNN에서 쓰인 방식으로, 특징 맵 위의 후보 영역마다 고정 격자(예: 7×7)로 나눠 최대 풀링한다. 이후 좌표 반올림 오차를 없앤 RoI Align이 Mask R-CNN에서 제안되었다.
  • 적응형 풀링(Adaptive Pooling): PyTorch의 AdaptiveAvgPool2d처럼 원하는 출력 크기만 지정하면 창 크기와 스트라이드를 자동으로 계산한다.
풀링 개념은 이미지 밖에서도 쓰인다. 문장이나 그래프처럼 원소 개수가 가변인 집합을 하나의 벡터로 요약해야 할 때, 집합 원소의 순서에 영향을 받지 않는 집계 함수를 적용하는 단계를 풀링이라 부른다. 이때 풀링 방식은 하위 작업 성능에 직접 영향을 준다.
시퀀스·그래프 임베딩 풀링
  • 평균 풀링(Mean Pooling): 패딩을 제외한 토큰 벡터의 평균을 문장 임베딩으로 쓴다. Sentence-BERT 계열 모델의 기본 설정이다.
  • CLS 풀링: BERT 계열에서 입력 앞에 붙인 특수 토큰 [CLS]의 마지막 은닉 상태를 문장 표현으로 쓴다.
  • 어텐션 풀링(Attention Pooling): 학습 가능한 질의 벡터로 각 원소의 가중치를 계산해 가중 합을 구한다. 중요한 토큰이나 노드에 더 큰 비중을 둘 수 있다.
  • 그래프 읽기(Readout): 그래프 신경망에서 노드 임베딩을 합·평균·최대로 모아 그래프 단위 표현을 만든다. 노드를 군집으로 묶어 단계적으로 줄이는 계층적 풀링도 있다.
풀링은 단순하고 효율적이지만 정보를 버린다는 근본적인 한계가 있다. 최대 풀링은 창 안의 위치 정보를 잃기 때문에 정밀한 위치가 필요한 분할·검출 작업에서는 풀링 인덱스를 저장해 복원하거나 스킵 연결로 고해상도 정보를 보충한다. 또한 창이 이동하는 격자에 맞춰 출력이 정해지므로 입력이 한 픽셀만 이동해도 결과가 달라질 수 있어, 평행이동 불변성이 생각보다 약하다는 분석도 있다.
정리하면 풀링은 파라미터 없이 표현을 요약하는 가장 기본적인 집계 연산이다. 이미지 모델에서는 국소 풀링의 역할이 스트라이드 합성곱으로 많이 옮겨 갔지만, 전역 평균 풀링과 RoI 계열 풀링, 임베딩을 만드는 평균·어텐션 풀링은 여전히 핵심 구성 요소다. 어떤 집계 함수를 쓰고 어디서 해상도를 줄일지는 작업의 위치 민감도와 연산 예산을 함께 고려해 정한다.

#관련 용어

최대 풀링
창 안의 최댓값을 출력하는 풀링 방식
전역 평균 풀링(GAP)
특징 맵 전체를 채널별 평균 하나로 줄여 고정 길이 벡터를 만드는 풀링
합성곱
커널을 이동시키며 국소 영역의 가중 합을 계산하는 연산
공간 피라미드 풀링(SPP)
여러 크기의 격자로 나눠 풀링한 결과를 이어 붙여 임의 크기 입력에서 고정 길이 벡터를 만드는 기법
임베딩
데이터를 의미를 보존하는 저차원 연속 벡터로 표현한 것
역전파
출력의 오차 기울기를 연쇄 법칙으로 입력 쪽 층에 전달하는 학습 알고리즘

#직무 연관도

DA
Data Analyst
희박
임베딩 기반 분석 결과를 해석할 때 벡터가 어떤 풀링으로 만들어졌는지 참고
DS
Data Scientist
높음
모델 구조 설계에서 다운샘플링 위치와 풀링 방식, 임베딩 풀링 전략을 선택하고 실험
DE
Data Engineer
보통
풀링 층의 출력 크기와 연산량을 고려해 모델을 구현하고 임베딩 추출 파이프라인을 구성

#사용 사례

전자상거래의료제조자율주행인터넷 서비스
개요
풀링은 이미지·텍스트·그래프 모델에서 표현을 요약하는 기본 연산으로 쓰인다. 전자상거래와 인터넷 서비스에서는 이미지·문장 임베딩을 만드는 마지막 단계로, 의료와 제조 분야에서는 영상 분류·결함 검출 모델의 다운샘플링 층으로, 자율주행에서는 객체 검출 모델의 RoI 풀링과 특징 피라미드 구성에 활용된다.
사례
전자상거래에서 상품 이미지를 CNN 백본에 통과시킨 뒤 전역 평균 풀링으로 얻은 벡터를 이미지 임베딩으로 저장해 유사 상품 검색에 활용

#참고 자료

#추천 포스트

© 2024 diki All rights reserved.