피처 스토어 (Feature Store)

#개념

피처 스토어(Feature Store)는 특징 엔지니어링(Feature Engineering)으로 만들어진 특징(feature)을 중앙에서 정의하고 계산·저장·제공하는 데이터 플랫폼으로, 학습 데이터셋을 만드는 배치 조회와 실시간 예측을 위한 저지연 조회를 동일한 특징 정의에서 제공하는 것을 핵심 목표로 한다. 이 개념은 Uber가 2017년 자사 머신러닝(Machine Learning) 플랫폼 Michelangelo를 공개하면서 널리 알려졌다. Uber는 여러 팀이 같은 특징(예: 지난 7일간 특정 지역의 평균 승차 대기 시간)을 각자 다시 구현하고, 학습 시점의 파이썬·SQL 코드와 서빙 시점의 서비스 코드가 서로 다르게 작성되어 결과가 어긋나는 문제를 겪었다. 이를 해결하기 위해 Michelangelo는 Hive 기반의 오프라인 스토어와 Cassandra 기반의 온라인 스토어를 갖춘 중앙 피처 스토어를 구축하고, 특징을 표준 이름으로 등록해 모델 설정에서 이름만으로 참조하도록 했으며, 학습과 예측에서 동일한 변환을 수행하는 DSL을 두어 두 경로의 계산이 일치하도록 했다. Sculley 등(2015)이 지적했듯 실제 머신러닝 시스템에서 모델 코드는 극히 일부이고 데이터 수집과 특징 추출, 서빙 인프라가 대부분을 차지하는데, 피처 스토어는 바로 이 특징 계층을 재사용 가능한 인프라로 끌어올린 것이다.

피처 스토어의 기본 구조는 오프라인 스토어(Offline Store)와 온라인 스토어(Online Store)의 이중 저장소다. 오프라인 스토어는 수개월에서 수년 치의 특징 이력을 시계열 형태로 보관하는 저장소로, 데이터 레이크(Data Lake)의 Parquet·Delta Lake·Iceberg 테이블이나 BigQuery·Snowflake 같은 데이터 웨어하우스(Data Warehouse)가 사용되며, 학습 데이터셋 생성과 배치 추론(Batch Inference)처럼 대량 스캔이 필요한 작업에 최적화된 열 지향 저장 방식을 취한다. 온라인 스토어는 각 엔티티(사용자, 상품 등)의 가장 최신 특징 값만을 키-값 형태로 보관하여 예측 요청 시 밀리초 단위로 조회하는 저장소로, Redis나 그 오픈소스 포크인 Valkey, DynamoDB, Cassandra, Bigtable, RonDB 같은 행 지향 저지연 데이터베이스가 쓰인다. 오프라인 스토어에서 계산된 특징 값을 온라인 스토어로 적재하는 과정을 머티리얼라이제이션(Materialization)이라 하며, 일정 주기로 최신 값을 복사하는 배치 방식과 Kafka·Flink·Spark Structured Streaming 등으로 이벤트가 도착할 때마다 갱신하는 스트리밍 방식이 함께 사용된다. 특징의 신선도(freshness) 요구에 따라 일 단위 배치 특징(누적 구매 금액), 스트리밍 특징(최근 10분간 클릭 수), 그리고 요청 시점의 입력으로만 계산할 수 있어 저장하지 않고 즉시 계산하는 온디맨드(on-demand) 특징(현재 위치와 매장 사이의 거리)으로 데이터 파이프라인(Data Pipeline)을 구분해 설계한다.

피처 스토어가 해결하는 가장 중요한 문제는 학습-서빙 편차(Training-Serving Skew)와 시점 정합성이다. 학습-서빙 편차는 학습 시점에 사용한 특징 값이나 계산 로직이 서빙 시점과 달라져 오프라인 평가에서는 좋았던 모델이 프로덕션에서 성능이 떨어지는 현상으로, 같은 특징을 두 번 구현하는 데서 비롯되는 경우가 많다. 피처 스토어는 특징 정의를 한 곳에 두고 오프라인·온라인 스토어 모두 그 정의로부터 값을 생성하므로 로직 불일치를 구조적으로 막는다. 시점 정합성 문제는 학습 데이터셋을 만들 때 발생한다. 레이블이 발생한 시점(예: 3월 1일 구매 여부)에 대해 그 이후에 계산된 특징(3월 5일 기준 누적 구매 금액)을 결합하면 미래 정보가 새어 들어가 데이터 누수(data leakage)가 생기고, 모델은 실제 서빙에서는 얻을 수 없는 정보로 학습되어 과대평가된다. 이를 막기 위해 피처 스토어는 시점 정합 조인(Point-in-Time Join)을 제공한다. 엔티티 키와 이벤트 시각으로 구성된 엔티티 데이터프레임을 주면, 각 행마다 그 시각 이전에 유효했던 가장 최신 특징 값만을 찾아 결합하는 이른바 AS OF 조인을 수행하며, 특징의 유효 기간(TTL)을 넘긴 오래된 값은 결측으로 처리한다. Feast의 get_historical_features()가 대표적인 구현으로, 나중에 백필(backfill)되어 생성 시각이 이벤트 시각보다 늦은 값을 제외하는 옵션까지 두어 "그 시점에 실제로 알 수 있었던 값"만 학습에 쓰이도록 한다.

세 번째 축은 특징 레지스트리(Feature Registry)를 통한 재사용과 거버넌스다. 레지스트리는 엔티티, 특징 뷰(feature view), 데이터 소스, 소유자, 설명, 데이터 타입, 갱신 주기 같은 메타데이터를 중앙 카탈로그로 관리하여 다른 팀이 이미 만든 특징을 검색하고 그대로 가져다 쓸 수 있게 한다. 여러 모델이 같은 특징을 공유하면 계산 비용이 줄고, 특징이 어떤 원천 테이블에서 어떤 변환을 거쳐 어떤 모델의 학습에 쓰였는지를 추적하는 리니지(Lineage)가 확보되어 장애 원인 분석, 규제 감사, 데이터 거버넌스(Data Governance)의 기반이 된다. 스키마 검증과 값 범위 검사로 잘못된 특징이 유입되는 것을 막고, 특징 분포의 변화를 모니터링하여 데이터 드리프트(Data Drift)를 조기에 탐지하는 기능도 여기에 결합된다. 결과적으로 피처 스토어는 단순한 저장소라기보다 특징의 정의·계산·저장·제공·감시를 아우르는 MLOps 파이프라인의 중심 구성 요소이며, Google의 MLOps 성숙도 모델에서도 파이프라인 자동화 단계의 핵심 요소로 제시된다.

도구 생태계는 오픈소스와 관리형 서비스로 나뉜다. Feast는 Gojek과 Google이 시작한 오픈소스 피처 스토어로, 오프라인·온라인 스토어 추상화와 시점 정합 조회, 머티리얼라이제이션, 특징 서버를 제공하며 Redis·DynamoDB·Bigtable·Snowflake·BigQuery 등 다양한 백엔드를 플러그인으로 지원한다. Tecton은 Michelangelo를 만든 팀이 창업한 관리형 특징 플랫폼으로 배치·스트리밍·온디맨드 특징 파이프라인의 정의와 운영까지 포괄하고, Hopsworks는 특징 그룹과 특징 뷰 추상화, RonDB 기반 온라인 스토어를 갖춘 플랫폼으로 그 설계가 SIGMOD 2024에 발표되었다. 관리형 서비스로는 Unity Catalog와 통합되어 특징 테이블·특징 뷰의 리니지 추적과 모델 서빙 시 자동 특징 조회(automatic feature lookup)를 지원하는 Databricks Feature Store, 특징 그룹 단위로 온라인·오프라인 스토어를 선택적으로 활성화하고 두 저장소를 동기화하는 Amazon SageMaker Feature Store, Google Cloud의 Vertex AI Feature Store 등이 있다. 피처 스토어를 도입할 때는 실시간 서빙 요구가 있는지, 여러 모델과 팀이 특징을 공유하는지, 시점 정합성 문제가 실제로 발생하는지를 먼저 따져야 한다. 단일 모델의 배치 예측만 수행하는 조직이라면 데이터 웨어하우스의 잘 관리된 테이블만으로 충분할 수 있으며, 반대로 추천·이상 거래 탐지·실시간 개인화처럼 스트리밍 특징과 밀리초 조회가 필요한 서비스에서는 피처 스토어가 모델 서빙(Model Serving) 계층과 결합되어 온라인 추론 품질과 개발 생산성을 동시에 끌어올린다. 최근에는 임베딩(Embedding) 벡터를 특징으로 저장하고 유사도 검색을 결합하는 방향으로 벡터 데이터베이스와의 경계도 좁혀지고 있다.

#관련 용어

특징 엔지니어링

원시 데이터로부터 모델 입력으로 사용할 특징을 설계하고 변환하는 과정

학습-서빙 편차

학습 시점과 서빙 시점의 특징 값이나 계산 로직이 달라져 프로덕션 성능이 저하되는 현상

시점 정합 조인

각 레이블의 발생 시각 이전에 유효했던 특징 값만 결합하여 미래 정보 누수를 막는 조인 방식

데이터 파이프라인

원천 데이터를 수집·변환하여 특징을 계산하고 오프라인·온라인 스토어에 적재하는 자동화된 처리 흐름

MLOps

모델의 개발·배포·운영 전 과정을 자동화하고 표준화하는 실천 체계로, 피처 스토어가 그 핵심 구성 요소

모델 서빙

학습된 모델을 예측 요청에 노출하는 계층으로, 온라인 스토어에서 특징을 조회하여 실시간 추론에 사용

#직무 연관도

Data Analyst낮음

레지스트리에 등록된 특징의 정의와 리니지를 확인하고, 특징 분포 변화를 비즈니스 관점에서 해석하는 데 활용된다

Data Scientist높음

시점 정합성이 보장된 학습 데이터셋을 생성하고 기존 특징을 재사용하여 실험 속도를 높이며, 학습-서빙 편차 없이 모델을 프로덕션에 전달하는 데 활용된다

Data Engineer밀접

배치·스트리밍 특징 파이프라인, 머티리얼라이제이션, 온라인 스토어 운영과 서빙 연동 등 피처 스토어 인프라 구축과 운영의 핵심 영역

#사용 사례

전자상거래금융인터넷 서비스모빌리티통신게임

개요

피처 스토어는 실시간 추천과 개인화, 이상 거래·사기 탐지, 신용 평가, 이탈 예측, 수요 예측, 배차·도착 시간 예측처럼 여러 모델이 특징을 공유하고 학습과 실시간 서빙 사이의 일관성이 중요한 머신러닝 서비스에 활용된다.

사례

전자상거래 추천 시스템에서 사용자의 최근 30일 구매 카테고리 분포는 매일 새벽 배치로, 최근 10분간 클릭한 상품 수는 스트리밍으로 계산되어 온라인 스토어(Valkey)에 적재된다. 추천 모델 서버는 요청마다 사용자 ID로 이 특징들을 밀리초 안에 조회해 추론하고, 데이터 과학자는 같은 특징 정의에 시점 정합 조인을 적용하여 과거 클릭 로그 기준의 학습 데이터셋을 누수 없이 생성한다.