관련 포스트데이터 거버넌스 데이터 리니지 데이터 레이크하우스메타데이터 관리

데이터 카탈로그(Data Catalog)

•

2026년 10월 18일 발행•2026년 10월 18일 수정

요약

조직의 데이터 자산에 대한 메타데이터를 수집해 검색·이해·관리할 수 있게 하는 시스템

초급

데이터베이스와 데이터 웨어하우스의 기본 구조를 이해하고, 메타데이터와 데이터 거버넌스의 개념을 알아야 한다.

태그

데이터 거버넌스 데이터 리니지 데이터 레이크하우스메타데이터 관리

#개념

데이터 카탈로그(Data Catalog)는 조직이 보유한 데이터 자산의 메타데이터를 한곳에 모아 검색하고 이해하고 관리할 수 있게 하는 시스템이다. 테이블, 파일, 대시보드, 스트림, 머신러닝 모델 같은 자산마다 위치와 스키마, 의미, 소유자, 사용 현황을 기록하여 사람이 원하는 데이터를 빠르게 찾고 믿고 쓸 수 있도록 돕는다.

데이터 카탈로그가 필요한 이유는 데이터의 양보다 데이터를 찾고 해석하는 비용이 더 빠르게 커지기 때문이다. 데이터 레이크(Data Lake)와 데이터 웨어하우스(Data Warehouse)에 수만 개의 테이블이 쌓이면 어떤 테이블이 최신인지, 컬럼이 무엇을 뜻하는지, 누구에게 물어야 하는지를 알기 어렵다. 그 결과 같은 지표를 팀마다 다르게 계산하거나, 이미 있는 데이터를 다시 만드는 중복 작업이 생긴다. 데이터 카탈로그는 이 문제를 메타데이터로 해결한다. 메타데이터(Metadata)는 데이터에 대한 데이터로, 성격에 따라 보통 다음과 같이 세 가지로 나눈다.

메타데이터의 유형

기술 메타데이터(Technical Metadata): 스키마, 컬럼 타입, 파티션, 저장 위치, 파일 포맷처럼 시스템이 데이터를 읽고 쓰는 데 필요한 정보다. 주로 크롤러나 커넥터가 자동으로 수집한다.
비즈니스 메타데이터(Business Metadata): 테이블과 컬럼의 업무적 의미, 지표 정의, 용어집 연결, 소유 부서처럼 사람이 데이터를 해석하는 데 필요한 정보다. 대부분 도메인 담당자가 직접 작성하고 검토한다.
운영 메타데이터(Operational Metadata): 적재 시각, 갱신 주기, 행 수, 파이프라인 실행 이력, 조회 빈도처럼 데이터가 실제로 어떻게 만들어지고 쓰이는지를 보여 주는 정보다. 작업 스케줄러와 쿼리 로그에서 수집된다.

메타데이터 수집 방식은 크게 풀(Pull)과 푸시(Push)로 나뉜다. 풀 방식은 카탈로그가 주기적으로 데이터베이스나 저장소에 접속해 스키마를 긁어오는 크롤러 방식으로, 구성은 단순하지만 변경이 늦게 반영된다. 푸시 방식은 파이프라인이나 서비스가 변경 이벤트를 카탈로그로 보내는 방식으로, 실시간성이 높아 최근 도구들이 선호한다.

카탈로그의 가장 기본적인 가치는 데이터 발견(Data Discovery)이다. 사용자는 키워드나 용어로 자산을 검색하고, 스키마와 샘플, 설명, 최근 갱신 시각을 확인해 쓸 만한지 판단한다. Lyft의 Amundsen처럼 쿼리 빈도와 사용자 수를 기반으로 검색 순위를 매기면 자주 쓰이는 신뢰할 만한 테이블이 위로 올라와 탐색 시간이 크게 줄어든다.

비즈니스 용어집(Business Glossary)은 매출, 활성 사용자, 이탈처럼 조직에서 쓰는 핵심 용어의 정의를 관리하는 사전이다. 용어를 실제 테이블과 컬럼에 연결하면 같은 이름이 서로 다른 의미로 쓰이는 혼란을 줄일 수 있고, 지표 정의가 바뀌었을 때 영향을 받는 자산도 함께 파악할 수 있다. 데이터 카탈로그는 기술적 검색 도구를 넘어 거버넌스 활동이 실제로 이루어지는 작업 공간 역할을 한다. 카탈로그에서 다루는 거버넌스 관련 구성 요소는 다음과 같다.

거버넌스 관련 구성 요소

소유자와 스튜어드(Owner and Steward): 소유자는 자산의 생성과 변경에 책임을 지는 사람이나 팀이고, 스튜어드는 정의와 품질, 접근 승인을 관리하는 담당자다. 담당자가 명시되어야 질문과 장애 대응의 창구가 생긴다.
태깅과 분류(Tagging and Classification): 도메인, 중요도, 보존 기간 같은 태그를 붙이고 주민등록번호, 전화번호 같은 개인 식별 정보(Personally Identifiable Information, PII)를 자동 탐지해 분류한다. 분류 결과는 마스킹과 접근 통제의 근거가 된다.
접근 정책(Access Policy): 누가 어떤 자산과 컬럼을 읽을 수 있는지를 역할이나 태그 기준으로 정의한다. 일부 카탈로그는 정책을 조회 엔진에 직접 적용해 행·컬럼 단위 보안을 강제한다.
품질과 사용 통계(Quality and Usage Statistics): 널 비율, 신선도, 검증 규칙 통과 여부와 조회 빈도, 주요 사용자를 함께 보여 준다. 사용자는 이를 근거로 자산의 신뢰도를 판단한다.

카탈로그는 데이터 리니지(Data Lineage)와 결합할 때 효과가 커진다. 리니지는 데이터가 어떤 원천에서 어떤 변환을 거쳐 어느 테이블과 대시보드로 흘러가는지를 그래프로 보여 준다. 원천 컬럼의 정의를 바꾸기 전에 영향을 받는 하위 자산을 확인하거나, 지표 이상이 생겼을 때 상위 원인을 역추적하는 데 쓰이며, 컬럼 단위 리니지를 지원하는 도구도 늘고 있다.

최근에는 능동형 메타데이터(Active Metadata)라는 개념이 주목받고 있다. 기존 카탈로그가 사람이 찾아와 읽는 수동적 문서 저장소였다면, 능동형 메타데이터는 수집한 메타데이터를 다른 시스템으로 다시 흘려보내 자동화에 활용한다. 예를 들어 PII 태그가 붙으면 자동으로 마스킹 정책을 적용하거나, 원천 스키마 변경 이벤트가 발생하면 하위 소유자에게 알림을 보내는 식이다.

능동형 메타데이터는 대규모 언어 모델과 에이전트의 등장으로 더욱 중요해졌다. 자연어 질문을 SQL로 바꾸는 도구나 데이터 분석 에이전트는 테이블 설명, 컬럼 의미, 조인 키, 용어 정의를 참고해야 정확한 쿼리를 만들 수 있다. 잘 관리된 카탈로그는 이러한 도구에 신뢰할 수 있는 맥락을 제공하는 기반이 된다.

데이터 카탈로그 도구는 오픈소스 플랫폼과 클라우드 관리형 서비스로 나뉘며, 지원하는 커넥터 범위와 메타데이터 모델, 수집 방식, 권한 통합 수준, 운영 부담이 서로 다르다. 조직의 데이터 플랫폼 구성과 거버넌스 요구 수준에 맞춰 선택해야 하며, 대표적인 도구는 다음과 같다.

대표적인 데이터 카탈로그 도구

DataHub: LinkedIn이 개발해 공개한 메타데이터 플랫폼이다. 이벤트 기반 푸시 수집과 메타데이터 그래프 모델을 갖추고 있으며 리니지와 거버넌스 기능을 폭넓게 제공한다.
OpenMetadata: 통합 메타데이터 스키마와 많은 커넥터를 제공하는 오픈소스 플랫폼이다. 데이터 품질 테스트, 컬럼 단위 리니지, 용어집, 데이터 계약을 한 화면에서 다룬다.
Amundsen: Lyft가 공개한 데이터 발견 도구로, 사용량 기반 검색 순위를 대중화했다. 2026년 9월 저장소가 보관(archived) 상태로 전환되어 신규 도입보다는 사례 참고용으로 보는 것이 좋다.
Unity Catalog: Databricks가 개발하고 오픈소스로도 공개한 카탈로그로, 테이블과 파일, 함수, 모델을 하나의 권한 체계로 관리한다. 데이터 레이크하우스(Data Lakehouse) 환경의 거버넌스 계층으로 많이 쓰인다.
AWS Glue Data Catalog: AWS의 관리형 메타데이터 저장소로, 크롤러가 S3 등의 스키마를 수집하고 Athena, EMR, Redshift Spectrum이 이를 공유한다. 비즈니스 메타데이터 기능은 상대적으로 제한적이다.

도구를 고를 때는 기술 메타데이터 저장소와 비즈니스 카탈로그를 구분하는 것이 좋다. Hive 메타스토어나 Glue Data Catalog처럼 조회 엔진이 테이블 위치와 스키마를 읽어 가는 저장소는 시스템 운영에 필수인 반면, DataHub나 OpenMetadata는 그 위에서 검색과 협업, 거버넌스를 제공한다. 실제 환경에서는 두 계층을 함께 운영하는 경우가 많다.

데이터 카탈로그는 데이터 거버넌스(Data Governance)를 실행하는 핵심 도구다. 거버넌스가 데이터의 품질, 보안, 규정 준수에 대한 원칙과 책임을 정한다면, 카탈로그는 그 원칙이 자산 단위로 기록되고 확인되는 장소다. 개인정보 보호 규제 대응에서 어떤 테이블에 개인정보가 있는지 답할 수 있는 근거도 카탈로그의 분류 정보에서 나온다.

데이터 메시(Data Mesh)에서도 카탈로그는 중요한 역할을 한다. 데이터 메시는 도메인 팀이 데이터를 제품으로 직접 소유하고 제공하는 분산형 조직 모델인데, 각 도메인이 만든 데이터 제품을 다른 팀이 찾고 이해하려면 공통의 발견 계층이 필요하다. 카탈로그는 데이터 제품의 설명, 소유자, 품질 지표, 이용 방법을 노출하는 셀프서비스 플랫폼의 창구가 된다.

데이터 카탈로그 도입이 실패하는 가장 흔한 이유는 도구를 설치한 뒤 메타데이터가 채워지지 않거나 금세 낡는 것이다. 설명이 비어 있거나 틀린 카탈로그는 사용자의 신뢰를 잃고, 신뢰를 잃은 카탈로그는 다시 방문되지 않아 악순환에 빠진다. 성공적인 도입을 위해 고려할 사항은 다음과 같다.

도입 시 고려 사항

자동 수집 우선: 스키마, 리니지, 사용 통계처럼 자동으로 얻을 수 있는 메타데이터를 먼저 채워 초기 가치를 빠르게 보여 준다. 수작업 입력에만 의존하면 유지되기 어렵다.
핵심 자산부터 큐레이션: 모든 테이블을 문서화하려 하기보다 자주 쓰이는 상위 자산과 핵심 지표부터 설명과 소유자를 채운다. 사용량 통계가 우선순위를 정하는 근거가 된다.
업무 흐름과의 통합: 쿼리 에디터, BI 도구, 코드 리뷰, 메신저 알림에서 카탈로그 정보가 바로 보이도록 연결한다. 사용자가 별도로 방문해야 하는 카탈로그는 잘 쓰이지 않는다.
책임 체계 정립: 소유자와 스튜어드를 지정하고 설명 갱신을 배포 절차의 일부로 만든다. 메타데이터 품질도 데이터 품질처럼 측정하고 관리해야 한다.

정리하면 데이터 카탈로그는 흩어진 데이터 자산을 찾을 수 있고 이해할 수 있으며 믿을 수 있게 만드는 메타데이터 기반 시스템이다. 데이터 엔지니어에게는 리니지와 운영 정보를 관리하는 수단이고, 분석가와 과학자에게는 데이터를 찾는 출발점이며, 조직 전체에게는 거버넌스와 AI 활용의 공통 기반이 된다.

#관련 용어

메타데이터

데이터의 구조, 의미, 생성 과정, 사용 현황 등을 설명하는 데이터

비즈니스 용어집

조직에서 사용하는 핵심 업무 용어와 지표의 정의를 관리하는 사전

데이터 리니지

데이터가 원천에서 변환을 거쳐 최종 산출물에 이르는 흐름을 추적한 기록

데이터 거버넌스

데이터의 품질, 보안, 규정 준수를 위한 원칙과 책임, 절차의 체계

개인 식별 정보(PII)

이름, 전화번호, 주민등록번호처럼 특정 개인을 식별할 수 있는 정보

데이터 메시

도메인 팀이 데이터를 제품으로 소유하고 제공하는 분산형 데이터 아키텍처 및 조직 모델

#직무 연관도

Data Analyst높음

지표 정의와 용어집을 참고해 올바른 테이블을 선택하고 일관된 분석을 수행하는 데 활용

Data Scientist보통

학습과 분석에 필요한 데이터를 찾고 컬럼 의미와 신뢰도를 확인하는 출발점으로 활용

Data Engineer밀접

메타데이터 수집 파이프라인, 리니지, 접근 정책을 구축하고 운영하는 핵심 인프라

#사용 사례

금융의료전자상거래통신인터넷 서비스

개요

데이터 카탈로그는 데이터 자산이 많고 규제가 엄격한 산업에서 널리 쓰인다. 금융과 의료에서는 개인정보와 민감 정보의 위치를 파악하고 접근을 감사하는 데 활용되며, 전자상거래와 인터넷 서비스에서는 분석가와 데이터 과학자가 필요한 데이터를 빠르게 찾고 지표 정의를 통일하는 데 쓰인다. 통신 분야에서는 대규모 이력 데이터의 리니지와 보존 정책을 관리하는 데 활용된다.

사례

전자상거래 기업이 수만 개의 테이블을 데이터 카탈로그에 등록하고 사용량 기반 검색과 개인정보 자동 분류를 적용하여, 분석가의 데이터 탐색 시간을 줄이고 개인정보 컬럼 접근을 정책으로 통제한다.