특징 추출(Feature Extraction)

•
2026년 11월 15일 발행•2026년 11월 15일 수정
요약

원시 데이터를 작업에 유용한 정보를 담은 수치 특징 벡터로 변환하는 과정

초급
머신러닝의 입력 표현과 차원 축소 개념을 이해하고, 수작업 특징과 사전 학습 모델 특징 중 상황에 맞는 방식을 고를 수 있어야 한다.

#개념

특징 추출(Feature Extraction)은 이미지·텍스트·음성처럼 그대로는 모델에 넣기 어려운 원시 데이터를, 작업에 유용한 정보를 담은 수치 벡터로 변환하는 과정이다. 원시 데이터의 차원을 줄이면서 판별에 필요한 구조를 드러내는 것이 목표이며, 고전적인 머신러닝 파이프라인부터 딥러닝 기반 임베딩까지 거의 모든 모델링의 출발점이 된다.
예를 들어 224×224 크기의 컬러 이미지는 픽셀 값만 15만 개가 넘지만, 이 픽셀을 그대로 나열한 벡터는 조명이나 위치가 조금만 바뀌어도 크게 달라진다. 특징 추출은 이런 원시 값 대신 경계의 방향, 질감, 단어의 중요도, 주파수 성분처럼 의미 있는 변화에는 민감하고 불필요한 변화에는 둔감한 표현을 만든다.
특징 추출은 비슷한 이름의 여러 개념과 자주 혼동된다. scikit-learn 문서는 특징 추출을 "텍스트나 이미지 같은 임의의 데이터를 머신러닝에 쓸 수 있는 수치 특징으로 변환하는 것"으로, 특징 선택을 "이렇게 얻은 특징에 적용하는 머신러닝 기법"으로 구분한다. 관련 개념의 차이는 다음과 같다.
관련 개념과의 구분
  • 특징 추출: 원시 데이터나 기존 특징을 변환해 새로운 특징 공간을 만든다. 결과 특징은 원래 변수와 일대일로 대응하지 않을 수 있다.
  • 특징 선택(Feature Selection): 이미 있는 특징 가운데 유용한 부분집합을 고른다. 각 특징의 의미는 그대로 유지된다.
  • 특성 공학(Feature Engineering): 도메인 지식으로 특징을 설계·가공하는 작업 전반을 가리키며, 특징 추출과 특징 선택을 모두 포함하는 넓은 개념이다.
딥러닝 이전에는 연구자가 데이터의 성질을 분석해 특징을 직접 설계했다. 이런 수작업 특징(Hand-crafted Feature)은 계산이 가볍고 의미가 명확해 지금도 데이터가 적거나 해석이 중요한 환경에서 쓰인다. 분야별 대표 기법은 다음과 같다.
대표적인 수작업 특징
  • SIFT(Scale-Invariant Feature Transform): Lowe(2004)가 제안한 기법으로, 크기와 회전에 불변인 키포인트를 찾고 주변 기울기 방향을 4×4 격자와 8개 방향 구간으로 집계해 128차원 기술자를 만든다.
  • HOG(Histogram of Oriented Gradients): Dalal과 Triggs(2005)가 보행자 검출에 제안한 기법으로, 작은 셀마다 기울기 방향 히스토그램을 구하고 블록 단위로 정규화한다.
  • MFCC(Mel-Frequency Cepstral Coefficients): 음성 신호를 짧은 구간으로 나눠 멜 척도 필터뱅크 에너지를 구하고 로그와 이산 코사인 변환을 적용한 계수로, 음성 인식과 화자 인식의 표준 특징이었다.
  • TF-IDF(Term Frequency-Inverse Document Frequency): 문서 안의 단어 빈도에 전체 문서에서의 희소성을 곱해 단어 중요도를 계산한다. 단어 주머니 표현과 함께 텍스트 분류·검색에 쓰인다.
수작업 특징은 사람이 이해할 수 있는 구조를 갖지만, 설계자가 예상하지 못한 패턴은 담지 못한다. 또한 분야마다 전문 지식이 필요하고, 같은 이미지 특징이라도 작업이 바뀌면 다시 설계해야 하는 경우가 많다. 이 한계가 학습된 특징으로 넘어가는 동기가 되었다.
통계적 변환으로 특징을 만드는 방법도 있다. 주성분 분석(Principal Component Analysis, PCA)은 데이터의 분산이 가장 큰 방향을 찾아 원래 변수의 선형 결합으로 이루어진 저차원 축에 투영한다. 레이블을 쓰지 않으므로 비지도 방식이며, 상관이 높은 변수를 압축하고 잡음을 줄이는 데 유용하다.
선형 판별 분석(Linear Discriminant Analysis, LDA)은 클래스 레이블을 이용해 클래스 간 분산은 크고 클래스 내 분산은 작아지는 방향을 찾는다. 클래스 수가 $K$이면 최대 $K-1$개의 축만 얻을 수 있다. 이 밖에 독립 성분 분석, 커널 PCA, 오토인코더의 병목층도 차원 축소(Dimensionality Reduction) 기반 특징 추출에 속한다.
딥러닝은 특징을 데이터에서 직접 학습한다. 합성곱 신경망의 앞쪽 층은 경계와 색 같은 저수준 패턴을, 뒤쪽 층은 부품과 물체 같은 고수준 개념을 표현하도록 학습되며, 분류층 직전의 출력이 범용 특징 벡터 역할을 한다. 학습된 특징의 주요 형태는 다음과 같다.
학습된 특징의 형태
  • CNN 백본 특징: ImageNet 등으로 사전 학습한 ResNet·EfficientNet의 전역 풀링 출력이나 중간 층 특징 맵을 쓴다.
  • 사전 학습 언어 모델 임베딩: BERT 계열 인코더의 토큰 출력을 풀링하거나 문장 임베딩 전용 모델로 텍스트를 벡터화한다.
  • 멀티모달 임베딩: CLIP처럼 이미지와 텍스트를 같은 공간에 정렬해 학습한 모델로, 서로 다른 형식의 데이터를 비교할 수 있는 특징을 만든다.
  • 자기 지도 학습 특징: 레이블 없이 대조 학습이나 마스킹 복원으로 학습한 인코더의 출력으로, 레이블이 부족한 분야에서 특히 유용하다.
Razavian et al.(2014)은 "CNN Features off-the-shelf"에서 ImageNet으로 학습한 OverFeat 신경망의 특징에 선형 SVM만 붙여도 여러 인식 작업에서 당시의 정교한 수작업 특징 기반 방법과 대등하거나 더 나은 결과를 얻음을 보였다. 이 결과는 사전 학습 신경망을 범용 특징 추출기로 쓰는 관행을 확산시켰다.
전이 학습(Transfer Learning)에서 특징 추출은 사전 학습 모델의 가중치를 고정하고 출력만 새 모델의 입력으로 쓰는 방식을 뜻한다. 이와 대비되는 미세 조정(Fine-tuning)은 사전 학습 가중치에서 출발해 일부 또는 전체 층을 새 데이터로 계속 학습한다. PyTorch 전이 학습 튜토리얼도 두 방식을 각각 고정 특징 추출기와 미세 조정으로 나눠 설명한다.
두 방식의 선택은 데이터 규모와 도메인 차이에 달려 있다. 데이터가 적고 사전 학습 도메인과 비슷하면 특징 추출만으로 충분하고 과대적합 위험도 낮다. 반대로 데이터가 충분하거나 의료 영상처럼 도메인 차이가 크면 미세 조정이 유리하다. 특징 추출 방식은 백본을 한 번만 통과시켜 특징을 캐시해 둘 수 있어 학습 비용이 훨씬 적다는 실무적 장점도 있다.
산업 현장에서는 추출한 특징을 여러 모델과 서비스가 재사용하는 경우가 많다. 전자상거래에서는 상품 이미지와 상품명에서 추출한 임베딩을 유사 상품 검색과 추천 후보 생성에 쓰고, 제조에서는 정상 제품 이미지의 특징 분포에서 벗어난 샘플을 결함으로 판정한다. 금융에서는 거래 로그에서 집계 특징과 시퀀스 임베딩을 뽑아 이상 거래 탐지에 활용한다.
도구 측면에서 scikit-learn의 sklearn.feature_extraction 모듈은 딕셔너리를 벡터로 바꾸는 DictVectorizer, 해싱 기법의 FeatureHasher, 텍스트용 CountVectorizer와 TfidfVectorizer, 이미지 패치 추출 함수를 제공한다. torchvision의 create_feature_extractor는 torch.fx로 모델 그래프를 다시 작성해, 지정한 중간 노드의 출력을 딕셔너리로 반환하는 모델을 만든다.
특징 추출을 운영 환경에 적용할 때는 학습과 서빙에서 같은 추출 로직과 같은 모델 버전을 써야 한다. 전처리나 백본 버전이 어긋나면 학습-서빙 불일치가 생기고, 백본을 교체하면 기존에 저장한 임베딩 전체를 다시 계산해야 한다. 추출한 특징의 버전을 명시해 관리하고 특징 저장소에 보관하면 이런 문제를 줄일 수 있다.

#관련 용어

특성 공학
도메인 지식으로 모델 입력 특징을 설계·가공·선택하는 작업 전반
주성분 분석(PCA)
분산이 가장 큰 방향으로 데이터를 투영해 저차원 특징을 얻는 선형 변환 기법
전이 학습
한 작업에서 학습한 모델의 지식을 다른 작업에 재사용하는 학습 방법
미세 조정
사전 학습 가중치에서 출발해 새 데이터로 모델 일부 또는 전체를 추가 학습하는 방법
임베딩
데이터를 의미를 보존하는 저차원 연속 벡터로 표현한 것
풀링
국소 영역이나 집합 전체를 하나의 대푯값으로 요약하는 연산

#직무 연관도

DA
Data Analyst
보통
TF-IDF·PCA 등으로 텍스트와 고차원 데이터를 분석 가능한 형태로 변환해 탐색
DS
Data Scientist
밀접
작업과 데이터에 맞는 특징 표현과 사전 학습 백본을 선택하고 특징 추출과 미세 조정을 비교 실험
DE
Data Engineer
높음
특징 추출 파이프라인과 임베딩 저장·갱신 체계를 구축하고 학습과 서빙의 추출 로직을 일치시킴

#사용 사례

전자상거래제조금융의료통신
개요
특징 추출은 원시 데이터를 모델이 다룰 수 있는 형태로 바꾸는 단계로 거의 모든 산업에서 쓰인다. 전자상거래에서는 상품 이미지·텍스트 임베딩을, 제조에서는 외관 검사 이미지 특징을, 금융에서는 거래 패턴 특징을, 의료에서는 영상과 생체 신호 특징을, 통신에서는 음성과 네트워크 트래픽 특징을 추출해 분류·검색·이상 탐지 모델에 활용한다.
사례
전자상거래에서 사전 학습 이미지 모델로 상품 이미지 임베딩을 일괄 추출해 저장하고, 유사 상품 검색과 추천 후보 생성 모델이 이 특징을 공통 입력으로 재사용

#참고 자료

#추천 포스트

© 2024 diki All rights reserved.