비즈니스 인텔리전스 (Business Intelligence)

#개념

비즈니스 인텔리전스(Business Intelligence, BI)는 조직 내외부에 흩어진 데이터를 수집·통합·정제하고, 이를 분석하여 경영진과 실무자가 사실에 근거한 의사결정을 내릴 수 있도록 지표, 리포트, 대시보드 형태로 전달하는 기술, 프로세스, 조직 역량의 총체다. "비즈니스 인텔리전스"라는 용어는 IBM 연구원 Hans Peter Luhn이 1958년 IBM Journal of Research and Development에 발표한 논문 "A Business Intelligence System"에서 처음 기술적 의미로 사용되었다.

Luhn은 문서를 자동으로 요약·색인하고 조직 구성원의 관심사(action point)에 맞춰 적절한 정보를 선별적으로 전달하는 시스템을 구상했으며, 이는 오늘날의 정보 검색과 BI의 개념적 뿌리로 평가된다. 이후 1970~80년대의 의사결정 지원 시스템(Decision Support System, DSS)과 경영 정보 시스템(Management Information System, MIS)을 거쳐, 1989년 훗날 Gartner 애널리스트가 된 Howard Dresner가 "사실 기반 지원 시스템을 활용해 비즈니스 의사결정을 개선하는 개념과 방법의 포괄적 용어"로 BI를 다시 정의하면서 현재의 의미로 정착했다.

1990년대에는 Bill Inmon과 Ralph Kimball이 각각 정규화된 전사 데이터 웨어하우스(Data Warehouse)와 차원 모델링(dimensional modeling) 기반 접근을 체계화했고, Edgar F. Codd가 1993년 온라인 분석 처리(Online Analytical Processing, OLAP)라는 용어를 제안하면서 BI는 데이터 웨어하우징과 OLAP를 양대 축으로 하는 독립된 산업으로 성장했다.

전통적인 BI 아키텍처는 여러 계층으로 구성된다. 먼저 ETL(Extract, Transform, Load) 또는 ELT 파이프라인이 거래 시스템, 로그, 외부 데이터 등 원천으로부터 데이터를 추출하여 데이터 웨어하우스에 적재한다. 데이터 웨어하우스는 분석에 최적화된 주제 지향적·통합적·시계열적 저장소이며, 그 안에서 측정값을 담은 사실 테이블(fact table)과 분석 관점을 담은 차원 테이블(dimension table)을 별 모양으로 연결하는 스타 스키마(star schema)가 널리 사용된다. 특정 부서나 주제 영역에 맞춰 웨어하우스의 일부를 잘라낸 것이 데이터 마트(Data Mart)다.

OLAP는 이렇게 구조화된 데이터를 다차원 큐브(cube)로 바라보며 집계 수준을 올리는 롤업(roll-up), 세부로 내려가는 드릴다운(drill-down), 특정 차원 값으로 자르는 슬라이스(slice)와 다이스(dice), 축을 바꾸는 피벗(pivot) 같은 연산을 빠르게 수행하는 기술로, 사전 집계를 저장하는 MOLAP와 관계형 DB 위에서 질의를 생성하는 ROLAP로 나뉜다. 그 위의 표현 계층에서는 다음과 같은 기능이 제공된다.

표현 계층의 구성

리포팅(Reporting): 정기적으로 생성·배포되는 정형 보고서다.
대시보드(Dashboard): 핵심 지표를 한 화면에서 실시간에 가깝게 보여준다.
애드혹(ad hoc) 분석: 사용자가 직접 데이터를 탐색하는 분석이다.

2000년대 후반 Tableau, QlikView 등이 주도한 셀프서비스 BI(Self-Service BI)는 IT 부서에 리포트를 요청하고 기다리던 방식에서 벗어나 현업 사용자가 드래그 앤 드롭으로 직접 시각화와 분석을 수행하는 패러다임 전환을 가져왔다. Chaudhuri 등(2011)은 BI 기술 스택을 데이터 원천, 데이터 이동·스트리밍 엔진, 데이터 웨어하우스 서버, 중간 계층 서버(OLAP·보고·검색·데이터 마이닝), 프런트엔드 응용으로 정리했다.

BI의 성패를 좌우하는 것은 핵심 성과 지표(Key Performance Indicator, KPI) 설계와 지표 정의의 일관성이다. 좋은 KPI는 조직의 전략 목표와 직접 연결되고, 담당자가 행동으로 영향을 미칠 수 있으며(actionable), 측정 방법이 명확하고, 해석을 왜곡하는 허영 지표(vanity metric)가 아니어야 한다. 전자상거래라면 매출(GMV), 전환율, 객단가, 재구매율, 고객 획득 비용(CAC), 고객 생애 가치(LTV) 같은 지표가 대표적이며, 선행 지표(leading indicator)와 후행 지표(lagging indicator)를 함께 설계하는 것이 중요하다.

그런데 같은 "활성 사용자"라도 팀마다 집계 기간이나 필터 조건이 다르면 회의마다 숫자가 달라지는 문제가 생긴다. 이를 해결하기 위해 등장한 것이 시맨틱 레이어(Semantic Layer)다. 시맨틱 레이어는 물리적 테이블과 조인 조건을 비즈니스 용어로 추상화하여 사용자가 "매출", "지역", "월"처럼 친숙한 개념으로 질의하도록 하는 계층으로, Business Objects의 유니버스나 Looker의 LookML이 대표적인 구현이다.

최근에는 지표의 계산 로직 자체를 코드로 한 번만 정의하고 모든 BI 도구와 노트북, API가 이를 공유하도록 하는 메트릭 레이어(Metrics Layer) 또는 헤드리스 BI(headless BI) 개념이 확산되었으며, dbt Semantic Layer(MetricFlow), Cube, Looker 등이 이를 구현한다. 메트릭 레이어는 지표 정의의 단일 진실 공급원(single source of truth)을 만들어 조직 전체의 지표 불일치를 줄이고, 지표 정의 변경을 버전 관리할 수 있게 한다.

BI 도구 시장은 상용 제품과 오픈소스가 공존한다. 대표적인 도구는 다음과 같다.

주요 BI 도구

Tableau: 직관적인 시각적 탐색과 VizQL 기반의 인터랙티브 분석으로 셀프서비스 BI를 대중화했다.
Microsoft Power BI: Excel·Azure 생태계와의 통합과 DAX 기반 데이터 모델링, 저렴한 가격으로 가장 넓은 사용자층을 확보했다.
Looker: LookML로 시맨틱 모델을 코드로 정의하고 웨어하우스에 직접 질의하는 거버넌스 중심 접근을 취한다.
Apache Superset: Airbnb에서 시작된 오픈소스로, 다양한 SQL 데이터베이스에 연결하여 차트와 대시보드를 구성하는 엔터프라이즈급 플랫폼이다.
Metabase: 설치와 사용이 간편하여 SQL을 모르는 사용자도 질문 빌더로 데이터를 탐색할 수 있는 오픈소스 도구다.
Redash: SQL 질의를 작성하고 결과를 시각화·공유하는 데 초점을 둔 오픈소스 도구다.

2010년대 후반에는 Snowflake, BigQuery, Databricks 같은 클라우드 웨어하우스와 Fivetran·Airbyte(수집), dbt(변환), Airflow(오케스트레이션), Great Expectations(품질 검증)로 구성되는 모던 데이터 스택(Modern Data Stack)이 확산되면서, BI 도구는 더 이상 데이터를 자체 서버에 복제하지 않고 웨어하우스에 직접 질의하는 구조로 바뀌었다. 이 흐름 속에서 데이터 분석가(Data Analyst)는 리포트 생산자를 넘어 지표 정의, 데이터 모델링, 실험 분석을 담당하게 되었고, SQL과 dbt로 변환 로직을 코드화하는 애널리틱스 엔지니어(analytics engineer)라는 역할이 분화되었다.

BI와 애널리틱스(Analytics), 데이터 과학(Data Science)은 종종 혼용되지만 초점이 다르다. BI는 "무엇이 일어났는가"와 "왜 일어났는가"를 답하는 기술적(descriptive)·진단적(diagnostic) 분석에 집중하여 신뢰할 수 있는 지표를 반복적으로 제공하는 데 목적이 있고, 고급 애널리틱스와 데이터 과학은 머신러닝(Machine Learning)과 통계 모델로 "무엇이 일어날 것인가"(predictive)와 "무엇을 해야 하는가"(prescriptive)를 다룬다.

두 영역은 데이터 웨어하우스와 데이터 레이크(Data Lake)를 공유하며 상호 보완적이고, 예측 모델의 출력이 BI 대시보드에 지표로 노출되는 경우도 흔하다. BI 프로젝트가 실패하는 주된 원인은 기술보다 데이터 품질, 지표 정의의 불일치, 현업의 낮은 채택률이므로 데이터 거버넌스(Data Governance)와 데이터 리터러시 교육이 함께 추진되어야 한다.

최근의 가장 큰 변화는 대규모 언어 모델(Large Language Models, LLM)의 도입이다. 사용자가 자연어로 질문하면 시맨틱 레이어를 바탕으로 SQL을 생성하고 적절한 차트로 답하는 자연어 질의(Natural Language Query, NLQ)와 텍스트-투-SQL(text-to-SQL), 지표 변동의 원인을 자동으로 설명하는 증강 분석(augmented analytics), 대시보드 요약과 이상 징후 알림 등이 Power BI Copilot, Tableau Agent, Looker, Databricks AI/BI Genie 등 주요 도구에 통합되고 있다.

이러한 대화형 BI는 분석가에게 쏠리던 반복 질의 부담을 줄이지만, 생성된 SQL의 정확성을 보장하기 위해서는 잘 정의된 시맨틱 레이어와 지표 정의가 전제 조건이며, 이 때문에 메트릭 레이어의 중요성이 다시 부각되고 있다.

#관련 용어

데이터 웨어하우스

여러 원천의 데이터를 분석 목적에 맞게 통합·보관하는 주제 지향적 중앙 저장소

데이터 마트

특정 부서나 주제 영역의 분석을 위해 데이터 웨어하우스의 일부를 추출한 소규모 저장소

온라인 분석 처리(OLAP)

다차원 큐브 형태의 데이터에 롤업·드릴다운·슬라이스 등의 연산을 빠르게 수행하는 분석 기술

ETL

원천 시스템에서 데이터를 추출·변환하여 데이터 웨어하우스에 적재하는 과정

데이터 시각화

데이터를 차트와 그래프로 표현하여 패턴과 추세를 직관적으로 전달하는 기법

데이터 분석가

데이터를 질의·분석하여 지표와 리포트를 만들고 비즈니스 인사이트를 도출하는 직무

#직무 연관도

Data Analyst밀접

KPI 설계, 대시보드와 리포트 작성, 셀프서비스 BI 도구 활용과 지표 거버넌스를 담당하는 데이터 분석가의 중심 업무

Data Scientist보통

모델 결과를 비즈니스 지표와 연결하여 전달하고, 분석에 사용할 지표 정의와 데이터 웨어하우스 구조를 이해하는 데 필요하다

Data Engineer높음

ETL/ELT 파이프라인, 데이터 웨어하우스 모델링, 시맨틱 레이어와 BI 도구 연동 등 BI 인프라를 구축·운영하는 핵심 영역

#사용 사례

전자상거래금융유통제조통신인터넷 서비스

개요

비즈니스 인텔리전스는 매출·재고·고객 분석 대시보드, 재무 보고와 예산 관리, 마케팅 캠페인 성과 측정, 공급망과 생산 현황 모니터링, 고객 이탈과 서비스 품질 추적 등 조직의 운영 현황을 지표로 파악하고 의사결정을 지원하는 거의 모든 영역에 활용된다.

사례

전자상거래 기업에서 주문·결제·마케팅 데이터를 매시간 데이터 웨어하우스에 적재하고, 메트릭 레이어에 "순매출", "전환율", "재구매율"의 정의를 한 번만 코드로 선언하면, 경영진은 Tableau 대시보드에서 카테고리별·지역별 매출 추이를 드릴다운하고 마케팅 팀은 같은 지표 정의를 공유하는 Superset 차트로 캠페인 효과를 비교하며, 전환율이 전주 대비 급락하면 자동 알림이 발송된다.