데이터 거버넌스 (Data Governance)

#개념

데이터 거버넌스(Data Governance)는 조직이 보유한 데이터의 가용성, 무결성, 보안, 활용 가능성을 보장하기 위해 누가 어떤 데이터에 대해 어떤 결정을 내릴 권한과 책임을 갖는지 정하고, 그 결정을 정책·표준·절차로 명문화하여 집행하는 체계다. Khatri와 Brown(2010)은 데이터 거버넌스를 데이터 원칙, 데이터 품질, 메타데이터, 데이터 접근, 데이터 수명주기라는 다섯 가지 의사결정 영역으로 정리했고, Abraham 등(2019)은 145편의 문헌을 종합하여 데이터 거버넌스를 "데이터 관리에 대한 권한과 통제의 행사"로 정의하면서 조직의 데이터 가치를 극대화하고 위험과 비용을 줄이는 것을 목표로 제시했다. 데이터 관리(Data Management)가 데이터를 실제로 저장·처리·전달하는 실행 활동이라면, 거버넌스는 그 활동이 어떤 규칙 아래 이루어져야 하는지를 정하는 상위의 의사결정 구조다. DAMA 국제협회의 DMBOK(Data Management Body of Knowledge)은 데이터 거버넌스를 데이터 품질, 메타데이터, 보안, 아키텍처, 마스터 데이터 등 모든 데이터 관리 지식 영역의 중심에 두고 있다. 데이터 거버넌스가 중요해진 배경에는 데이터 양과 출처의 폭발적 증가, GDPR 같은 규제 강화, 그리고 신뢰할 수 없는 데이터로 학습한 머신러닝(Machine Learning) 모델이 잘못된 의사결정을 내리는 위험이 있다.

데이터 거버넌스의 조직적 기반은 데이터 소유권(Data Ownership)과 데이터 스튜어드십(Data Stewardship)이다. 데이터 오너(Data Owner)는 특정 데이터 영역에 대한 최종 책임과 의사결정 권한을 가진 사업 부서의 책임자로, 데이터의 용도와 접근 정책, 품질 기준을 승인한다. 데이터 스튜어드(Data Steward)는 오너를 대신하여 일상적으로 데이터 정의를 관리하고 품질 문제를 조사하며 표준 준수를 감독하는 실무 담당자로, 사업 용어를 정의하는 비즈니스 스튜어드와 스키마·저장소를 관리하는 기술 스튜어드로 나뉘기도 한다. 이들 위에는 전사 정책과 우선순위를 결정하는 데이터 거버넌스 위원회와, 최근 많은 조직이 신설한 최고 데이터 책임자(Chief Data Officer, CDO)가 있다. 이러한 역할 체계 위에서 데이터 품질(Data Quality) 관리가 이루어진다. 데이터 품질은 일반적으로 정확성(accuracy), 완전성(completeness), 일관성(consistency), 적시성(timeliness), 유효성(validity), 유일성(uniqueness)의 차원으로 측정되며, 각 차원에 대한 규칙(예: 고객 이메일은 형식이 유효하고 중복되지 않아야 한다)을 정의하고 데이터 파이프라인(Data Pipeline) 안에서 자동으로 검증한다. 데이터 표준은 명명 규칙, 코드 값 체계, 날짜·통화 형식, 사업 용어의 정의를 통일하여 부서마다 "활성 고객"의 의미가 다른 문제를 방지한다. 메타데이터(Metadata)는 데이터에 대한 데이터로, 스키마와 데이터 타입 같은 기술 메타데이터, 사업 용어 정의와 소유자 같은 비즈니스 메타데이터, 갱신 주기와 접근 이력 같은 운영 메타데이터로 구분된다. 이 메타데이터를 한곳에 모아 검색 가능하게 만든 것이 데이터 카탈로그(Data Catalog)이며, 사용자는 카탈로그에서 필요한 데이터셋을 찾고 그 의미, 품질, 소유자, 사용 조건을 확인한 뒤 접근을 요청한다.

접근 제어(Access Control)와 프라이버시(Privacy)는 데이터 거버넌스의 보안 축이다. 접근 제어는 역할 기반(Role-Based Access Control, RBAC)이나 속성 기반(Attribute-Based Access Control, ABAC) 정책으로 최소 권한 원칙을 구현하며, 테이블 단위를 넘어 열(column) 수준 마스킹과 행(row) 수준 필터링으로 같은 테이블이라도 사용자에 따라 민감한 열이 가려지도록 한다. 이를 위해서는 먼저 데이터를 공개, 내부, 기밀, 개인정보 등으로 분류(classification)하고 개인식별정보(Personally Identifiable Information, PII)가 어디에 있는지 탐지·태깅해야 한다. 프라이버시 보호 기법으로는 식별자를 삭제하거나 대체하는 익명화·가명화, 토큰화, 암호화, 그리고 통계적 보장을 제공하는 차등 프라이버시(differential privacy)가 사용된다. 규제 측면에서 EU의 일반 개인정보 보호법(General Data Protection Regulation, GDPR)은 처리의 적법 근거, 목적 제한, 데이터 최소화, 정보 주체의 열람·정정·삭제(잊힐 권리)·이동권, 72시간 내 유출 통지, 개인정보 영향평가 등을 요구하며 위반 시 전 세계 매출의 최대 4%까지 과징금을 부과할 수 있다. 한국의 개인정보 보호법은 수집·이용 시 정보 주체의 동의와 목적 명시, 목적 달성 후 파기, 안전성 확보 조치, 가명정보의 통계·연구 목적 활용 근거, 국외 이전 요건 등을 규정하고 있으며, 미국 캘리포니아의 CCPA/CPRA, 의료 분야의 HIPAA, 금융 분야의 규제도 각각 데이터 처리 방식을 제약한다. 이러한 요구를 충족하려면 어떤 개인정보가 어디에 저장되어 있고 어디로 흘러가는지를 알아야 하므로, 규제 준수는 결국 카탈로그·분류·리니지 같은 거버넌스 기반 위에서만 가능하다.

마스터 데이터 관리(Master Data Management, MDM)는 고객, 상품, 공급업체, 조직처럼 여러 시스템에서 공유되는 핵심 엔티티에 대해 하나의 신뢰할 수 있는 원천(single source of truth), 즉 골든 레코드(golden record)를 유지하는 활동이다. 영업 시스템과 배송 시스템의 고객 정보가 서로 다르면 분석 결과도 어긋나므로, MDM은 중복 레코드를 식별·병합하는 엔티티 해소(entity resolution), 표준화, 계층 관리, 변경 배포를 수행한다. 데이터 리니지(Data Lineage)는 데이터가 원천 시스템에서 ETL 파이프라인과 데이터 레이크(Data Lake), 데이터 웨어하우스(Data Warehouse)를 거쳐 대시보드나 모델에 이르기까지 어떤 변환을 거쳤는지를 그래프로 추적한 기록이다. 리니지가 있으면 상류 테이블의 변경이 어떤 보고서와 모델에 영향을 미치는지(영향 분석), 잘못된 수치가 어디에서 비롯됐는지(근본 원인 분석)를 신속히 파악할 수 있고, OpenLineage 같은 표준은 Spark, Airflow, dbt 등 다양한 도구에서 리니지 메타데이터를 일관된 형식으로 수집하게 한다. 감사(Audit)는 누가 언제 어떤 데이터에 접근하고 변경했는지를 기록하여 보안 사고 조사와 규제 대응의 증거를 제공하며, 접근 로그와 정책 변경 이력은 변조가 불가능하게 보관되어야 한다.

데이터 거버넌스는 전통적으로 중앙 조직이 모든 정책을 정하고 집행하는 방식이었으나, 데이터 출처와 활용 사례가 늘어나면서 중앙 팀이 병목이 되는 문제가 나타났다. Dehghani가 제안한 데이터 메시(Data Mesh)는 도메인별 분산 소유권, 제품으로서의 데이터, 셀프서비스 데이터 플랫폼, 연합 계산 거버넌스(Federated Computational Governance)의 네 원칙으로 이를 해결한다. 여기서 거버넌스는 각 도메인 대표가 참여하는 연합체가 상호운용성, 보안, 프라이버시 같은 전사 규칙을 합의하고, 그 규칙을 플랫폼이 코드로 자동 검증·집행하는 방식으로 재구성된다. 즉 데이터 메시는 거버넌스를 없애는 것이 아니라 정책 결정은 분산하고 집행은 자동화하는 방향으로 거버넌스를 진화시킨 것이다. 도구 측면에서는 LinkedIn에서 시작된 DataHub, Lyft의 Amundsen, Apache Atlas, OpenMetadata 같은 오픈소스 메타데이터 플랫폼이 카탈로그·리니지·소유권·분류를 통합 관리하고, Databricks의 Unity Catalog는 테이블·파일·모델·함수를 하나의 카탈로그 아래 두고 접근 제어, 리니지, 감사, 데이터 공유를 제공하며 오픈소스로도 공개되었다. AWS Lake Formation, Google Cloud Dataplex, Microsoft Purview, Collibra, Alation 등도 같은 영역의 관리형 제품이다. 데이터 품질 검증에는 Great Expectations, Soda, dbt tests가 널리 사용된다. 데이터 거버넌스는 MLOps와도 밀접하다. 학습 데이터의 출처와 품질, 개인정보 포함 여부를 알 수 없는 모델은 재현할 수도 감사할 수도 없으므로, 모델 리니지와 피처 스토어의 거버넌스는 데이터 거버넌스의 자연스러운 확장이며, 최근에는 AI 모델과 프롬프트, 생성 결과까지 거버넌스 대상으로 포함하는 AI 거버넌스로 범위가 넓어지고 있다. 결론적으로 데이터 거버넌스는 도구 도입이 아니라 역할과 책임, 정책과 문화를 갖추는 조직적 과제이며, 데이터를 자산으로 다루려는 모든 조직의 분석·AI 활용을 위한 기반이다.

#관련 용어

데이터 스튜어드

데이터 오너를 대신하여 데이터 정의, 품질, 표준 준수를 일상적으로 관리하는 실무 담당자

데이터 카탈로그

데이터 자산의 메타데이터를 수집·검색 가능하게 정리하여 사용자가 데이터를 찾고 이해하도록 돕는 시스템

데이터 리니지

데이터가 원천에서 소비 지점까지 거친 변환과 이동 경로를 추적한 기록

마스터 데이터 관리(MDM)

고객·상품 등 핵심 엔티티에 대해 하나의 신뢰할 수 있는 골든 레코드를 유지하는 활동

데이터 파이프라인

데이터를 수집·변환·적재하는 자동화된 처리 흐름으로, 품질 검증과 리니지 수집이 이루어지는 지점

MLOps

머신러닝 모델의 개발·배포·운영을 자동화하는 체계로, 모델 리니지와 재현성에서 데이터 거버넌스와 연결된다

#직무 연관도

Data Analyst높음

신뢰할 수 있는 데이터를 찾고 지표 정의를 일관되게 유지하며, 규제에 맞게 데이터를 다루는 데 직접적으로 관련된다

Data Scientist보통

학습 데이터의 출처·품질·개인정보 포함 여부를 확인하고 모델의 재현성과 감사 가능성을 확보하는 데 필요한 개념

Data Engineer밀접

데이터 카탈로그, 접근 제어, 리니지 수집, 품질 검증을 파이프라인과 플랫폼에 구현하는 핵심 영역

#사용 사례

금융의료전자상거래통신공공제조

개요

데이터 거버넌스는 개인정보·금융·의료 규제 준수, 전사 지표 정의의 통일, 마스터 데이터 관리, 데이터 품질 모니터링, 셀프서비스 분석을 위한 데이터 카탈로그 구축, 그리고 AI 모델 학습 데이터의 출처·품질 관리에 활용된다.

사례

금융 회사가 고객 데이터를 데이터 카탈로그에 등록하고 각 열을 개인정보 여부에 따라 분류하면, 분석가는 카탈로그에서 데이터셋과 소유자, 품질 점수를 확인한 뒤 접근을 요청하고, 승인 후에도 주민등록번호와 계좌번호 열은 자동으로 마스킹된 상태로 조회된다. 고객이 개인정보 삭제를 요청하면 리니지를 따라 해당 고객 데이터가 복제된 모든 테이블과 모델 학습 데이터셋을 찾아 삭제하고, 그 이력은 감사 로그에 남는다.