관련 포스트머신러닝 비지도 학습 오토인코더 시계열 예측 모델 평가 지표

이상 탐지(Anomaly Detection)

•

2026년 10월 09일 발행•2026년 10월 09일 수정

요약

데이터의 대다수가 따르는 정상 패턴에서 크게 벗어난 관측값을 식별하는 기술

중급

확률 분포·표준편차·분위수 같은 기초 통계와 거리·밀도 개념, 분류 모델의 평가 지표를 이해해야 하며, 트리 앙상블과 오토인코더 등 머신러닝 모델의 동작 원리를 알면 이해에 도움이 된다.

태그

머신러닝 비지도 학습 오토인코더 시계열 예측 모델 평가 지표

#개념

이상 탐지(Anomaly Detection)는 데이터의 대다수가 따르는 정상 패턴에서 크게 벗어난 관측값, 즉 이상치(Anomaly, Outlier)를 식별하는 기술이다. 통계학자 Hawkins는 이상치를 "다른 메커니즘에 의해 생성되었다고 의심할 만큼 나머지 관측값과 크게 다른 관측값"으로 정의했으며, 사기 거래·설비 고장·네트워크 침입·시스템 장애처럼 드물지만 비용이 큰 사건을 조기에 발견하는 데 쓰인다. 문헌에 따라 이상값 탐지(outlier detection), 특이 탐지(novelty detection)라는 이름으로도 불린다.

이상 탐지가 일반적인 분류(Classification)와 다른 점은 문제의 구조에 있다. 이상 사례는 전체의 0.1%에도 못 미칠 만큼 극히 드물어 데이터가 심하게 불균형하고, 이상의 형태가 미리 정해져 있지 않으며 새로운 유형이 계속 등장하고, 이상 레이블을 얻는 데 전문가의 검토가 필요해 비용이 크다. 그래서 대부분의 방법은 정상 패턴을 모델링한 뒤 각 관측값이 그로부터 얼마나 벗어났는지를 이상 점수(Anomaly Score)로 수치화하고, 임계값으로 이상 여부를 판정하는 구조를 취한다.

Chandola 등(2009)의 조사 논문은 이상을 다음 세 가지 유형으로 구분하며, 유형에 따라 적합한 탐지 방법이 달라진다.

이상의 유형

점 이상(Point Anomaly): 개별 관측값 하나가 나머지 데이터와 동떨어진 경우로, 평소 1만 원 안팎을 쓰는 카드로 갑자기 500만 원이 결제되는 상황이 해당하며 가장 단순하고 연구가 많이 된 유형이다.
문맥적 이상(Contextual Anomaly): 값 자체는 정상 범위에 있지만 시간·위치 같은 문맥을 고려하면 비정상인 경우로, 한여름의 기온 30도는 정상이지만 한겨울의 30도는 이상이며 시계열과 공간 데이터에서 흔히 나타난다.
집단 이상(Collective Anomaly): 관측값 하나하나는 정상이지만 그 연속이나 집합이 함께 나타나는 것이 비정상인 경우로, 심전도에서 평탄한 구간이 비정상적으로 길게 이어지거나 로그에서 특정 요청 순서가 반복되는 상황이 해당한다.

어떤 레이블을 사용할 수 있는지에 따라 접근 방식도 나뉜다. 실무에서는 레이블이 거의 없는 경우가 많아 비지도·준지도 방식이 주로 쓰이며, 확보된 소량의 이상 레이블은 모델 학습보다 평가와 임계값 조정에 활용되는 경우가 많다.

레이블 가용성에 따른 접근

지도 학습(Supervised Learning) 기반: 정상과 이상 레이블이 모두 있을 때 불균형 분류 문제로 다루며, 클래스 가중치나 오버샘플링을 함께 적용한다. 정확도가 높지만 학습 데이터에 없던 새로운 유형의 이상은 잡지 못한다.
준지도 학습 기반: 정상 데이터만으로 정상의 경계를 학습하고 그 밖의 관측값을 이상으로 보는 방식으로, 단일 클래스 분류(one-class classification)라고도 하며 정상 데이터는 풍부하지만 이상 사례가 거의 없는 상황에 적합하다.
비지도 학습(Unsupervised Learning) 기반: 레이블 없이 이상이 소수이고 정상과 다른 영역에 분포한다는 가정만으로 이상 점수를 계산하며, 가장 널리 쓰이지만 학습 데이터에 섞인 이상치가 정상으로 학습될 위험이 있다.

가장 오래된 방법은 통계적 접근이다. 데이터가 정규 분포를 따른다고 가정하면 평균 $\mu$와 표준편차 $\sigma$에 대해 $z = \frac{x - \mu}{\sigma}$로 계산한 Z-점수(Z-score)의 절댓값이 3을 넘는 관측값을 이상으로 본다. 분포 가정이 약한 사분위수 범위(Interquartile Range, IQR) 방법은 1사분위수 $Q_1$과 3사분위수 $Q_3$에 대해 $[Q_1 - 1.5\,\mathrm{IQR},\ Q_3 + 1.5\,\mathrm{IQR}]$ 바깥의 값을 이상으로 판정하며, 상자 그림(box plot)의 수염이 이 규칙을 따른다.

평균과 표준편차는 이상치 자체에 영향을 받아 이상치가 많을수록 기준이 느슨해지는 마스킹 문제가 있으므로, 중앙값과 중앙값 절대 편차(MAD)를 사용하는 로버스트 Z-점수가 선호된다. 다변량 데이터에는 공분산 행렬 $\Sigma$를 고려한 마할라노비스 거리(Mahalanobis Distance) $\sqrt{(x - \mu)^\top \Sigma^{-1} (x - \mu)}$가 쓰이며, 변수 간 상관 구조를 반영하므로 각 변수는 정상 범위인데 조합이 비정상인 경우를 잡을 수 있다.

거리·밀도 기반 접근은 분포 가정 없이 이웃과의 관계로 이상을 정의한다. k-최근접 이웃(k-Nearest Neighbors, kNN) 방법은 $k$번째로 가까운 이웃까지의 거리를 이상 점수로 삼아 주변이 비어 있는 관측값을 찾는다. Breunig 등(2000)의 국소 이상치 요인(Local Outlier Factor, LOF)은 관측값의 국소 밀도를 이웃들의 국소 밀도와 비교한 비율을 점수로 사용하여, 조밀한 군집 옆의 가까운 이상치와 희박한 군집의 정상 관측값을 구분할 수 있다는 점에서 전역 거리 기준보다 우수하다. 다만 거리 계산 비용이 크고, 고차원에서는 모든 점 사이의 거리가 비슷해져 성능이 떨어진다.

Liu 등(2008)의 고립 숲(Isolation Forest)은 정상을 모델링하는 대신 이상치가 "적은 수의 분할로 고립된다"는 성질을 이용한다. 특징과 분할 값을 무작위로 골라 데이터를 재귀적으로 나누는 트리를 여러 개 만들면, 밀집 영역의 정상 관측값은 고립되기까지 많은 분할이 필요하지만 이상치는 몇 번의 분할만으로 홀로 남는다. 관측값 $x$의 평균 경로 길이 $E[h(x)]$를 표본 크기 $n$에서의 기대 경로 길이 $c(n)$으로 정규화한 $s(x, n) = 2^{-E[h(x)]/c(n)}$이 이상 점수로, 1에 가까울수록 이상이다. 거리 계산이 없어 선형 시간에 동작하고 작은 서브샘플(기본 256개)로도 성능이 유지되어, 실무에서 가장 먼저 시도하는 기준 모델로 자리 잡았다.

Schölkopf 등(2001)의 단일 클래스 서포트 벡터 머신(One-Class SVM)은 커널 공간에서 정상 데이터를 원점과 최대 마진으로 분리하는 초평면을 학습하고, 초평면 반대편에 떨어지는 관측값을 이상으로 판정한다. 하이퍼파라미터 $\nu$는 학습 데이터 중 이상으로 허용할 비율의 상한이자 서포트 벡터 비율의 하한으로, 경계의 엄격함을 조절한다. 커널 선택에 민감하고 데이터가 수십만 건을 넘으면 학습이 느려진다는 한계가 있다.

오토인코더(Autoencoder) 기반 방법은 정상 데이터만으로 입력을 저차원 잠재 표현으로 압축했다가 복원하도록 신경망을 학습한 뒤, 복원이 잘 되지 않는 관측값을 이상으로 본다. 이상 점수는 재구성 오차(Reconstruction Error) $\|x - \hat{x}\|^2$이며, 정상 패턴의 다양체(manifold)만 학습했으므로 이를 벗어난 입력은 큰 오차를 낸다. 변분 오토인코더는 재구성 확률을 점수로 쓰며, 잠재 공간에서 정상 데이터를 감싸는 최소 초구를 학습하는 Deep SVDD도 널리 인용된다.

이미지의 산업 결함 검출에서는 사전 학습된 합성곱 신경망(Convolutional Neural Network)의 특징을 정상 이미지에서 추출해 메모리 뱅크에 저장하고, 검사 이미지의 패치 특징이 가장 가까운 정상 특징과 얼마나 떨어져 있는지로 결함 위치까지 지도화하는 PatchCore 계열 방법이 널리 쓰인다. 몇 장의 정상 이미지만으로도 동작하므로 결함 샘플을 모으기 어려운 제조 현장에 적합하다.

시계열 이상 탐지는 문맥적·집단 이상이 주를 이루므로 시간 구조를 명시적으로 다룬다. 가장 직관적인 방법은 예측 잔차(Forecast Residual) 기반으로, ARIMA·Prophet·LSTM 같은 시계열 예측(Time Series Forecasting) 모델로 다음 값을 예측한 뒤 실제 값과의 차이가 잔차 분포의 정상 범위를 벗어나면 이상으로 판정한다. 계절성과 추세를 예측 모델이 흡수하므로 "그 시점에 기대되는 값"을 기준으로 삼는 문맥적 이상 탐지가 자연스럽게 이루어진다.

STL 분해로 추세·계절 성분을 제거한 잔차에 로버스트 통계를 적용하는 방법, 슬라이딩 윈도를 오토인코더로 재구성하는 방법, 평균 수준이 바뀌는 시점을 찾는 변화점 탐지(Change Point Detection)도 함께 쓰인다. 수백 개의 센서를 동시에 감시하는 다변량 시계열에서는 변수 간 상관을 모델링하는 방법과 이상의 원인 변수를 짚어 주는 근본 원인 분석이 중요해진다.

평가는 극단적인 클래스 불균형을 고려해야 한다. 이상이 0.1%라면 모든 관측값을 정상으로 예측해도 정확도가 99.9%이므로 정확도는 무의미하며, 혼동 행렬(Confusion Matrix)에 기반한 정밀도와 재현율(Precision and Recall), F1 점수를 본다. ROC 곡선은 음성이 압도적으로 많으면 거짓 양성이 늘어도 거짓 양성률 변화가 미미해 낙관적으로 보이므로, 양성 클래스에 집중하는 정밀도-재현율 곡선 아래 면적(PR-AUC)이 더 적합한 지표로 권장된다. 레이블이 극히 적을 때는 점수 상위 $k$건을 전문가가 검토한 정밀도(precision@k)로 실용적 가치를 측정하고, 시계열에서는 구간 단위 탐지 여부와 탐지 지연 시간을 함께 본다.

이상 점수를 경보로 바꾸는 임계값(Threshold) 설정은 모델 선택만큼 중요하다. 비지도 설정에서는 예상 이상 비율(contamination)에 해당하는 분위수를 임계값으로 쓰거나, 점수의 꼬리 분포를 극값 이론(Extreme Value Theory)으로 적합해 통계적 근거가 있는 임계값을 구한다. 레이블이 있으면 거짓 양성 1건의 조사 비용과 거짓 음성 1건의 손실을 비교해 기대 비용을 최소화하는 지점을 고르며, 운영 중에는 분석가가 처리할 수 있는 일일 경보 건수를 제약으로 두어 경보 피로(alert fatigue)를 막는다.

운영 단계에서는 데이터 드리프트(Data Drift)로 정상 패턴 자체가 이동하면 기존 임계값이 오경보를 쏟아내므로 모델과 임계값을 주기적으로 재보정해야 한다. 또한 왜 이상으로 판정했는지를 특징 기여도로 설명하는 기능이 분석가의 조사 효율을 크게 높인다.

이상 탐지의 대표적인 적용 영역은 다음과 같다.

대표 활용 사례

사기 탐지(Fraud Detection): 카드 결제·송금·보험 청구에서 금액, 시간대, 위치, 가맹점 유형, 최근 거래 빈도 같은 특징으로 평소 패턴과 다른 거래를 실시간으로 걸러내며, 사기 수법이 계속 바뀌므로 지도 모델과 비지도 점수를 함께 운영한다.
장비 이상 탐지와 예지 보전: 진동·온도·전류 센서의 다변량 시계열에서 고장 전조를 탐지해 계획 정비로 전환하며, 오토인코더 재구성 오차나 예측 잔차를 건강 지표로 추적한다.
로그·지표 모니터링: 서버 지연 시간, 오류율, 트래픽 같은 운영 지표의 계절성을 고려해 장애를 조기 감지하고, 로그 메시지를 템플릿으로 변환한 뒤 비정상적인 순서를 찾는 AIOps 영역으로 확장되었다.

실무에서는 scikit-learn의 Isolation Forest·LOF·One-Class SVM 구현과 수십 가지 알고리즘을 공통 인터페이스로 제공하는 PyOD가 출발점으로 쓰이며, 단일 모델보다 서로 다른 원리의 모델 점수를 결합한 앙상블(Ensemble Learning)이 안정적인 경우가 많다. 그러나 어떤 방법도 "정상"이 무엇인지에 대한 도메인 정의를 대신할 수 없으므로, 탐지 결과를 전문가가 검토해 레이블로 되돌려주는 피드백 루프를 갖추는 것이 이상 탐지 시스템의 성능을 지속적으로 끌어올리는 핵심이다.

#관련 용어

고립 숲

무작위 분할 트리에서 이상치가 짧은 경로로 고립된다는 성질을 이용해 이상 점수를 계산하는 앙상블 알고리즘

국소 이상치 요인(LOF)

관측값의 국소 밀도를 이웃의 밀도와 비교한 비율로 이상 정도를 측정하는 밀도 기반 알고리즘

오토인코더

정상 데이터만으로 압축·복원을 학습하여 재구성 오차가 큰 입력을 이상으로 판정하는 신경망

비지도 학습

레이블 없이 이상이 소수이고 정상과 다른 영역에 분포한다는 가정만으로 이상을 찾는 학습 방식

정밀도와 재현율

불균형한 이상 탐지 결과에서 정확도 대신 사용하는 핵심 평가 지표

시계열 예측

예측값과 실제값의 잔차를 이상 점수로 사용하는 시계열 이상 탐지의 기반 기술

#직무 연관도

Data Analyst높음

매출·트래픽 지표의 급변과 데이터 오류를 조기에 발견하고, 탐지된 이상의 원인을 조사하여 비즈니스 영향을 해석하는 데 활용된다

Data Scientist밀접

불균형·무레이블 데이터에 맞는 탐지 알고리즘 선택, 이상 점수 설계, 평가 지표와 임계값 전략을 수립하는 핵심 모델링 영역

Data Engineer높음

실시간 사기 탐지와 시스템 지표 모니터링, 데이터 파이프라인 품질 검사에 탐지 모델을 통합하고 경보 체계를 운영하는 데 직접 활용된다

#사용 사례

금융제조인터넷 서비스전자상거래통신보안의료

개요

이상 탐지는 신용카드·보험 사기 탐지, 설비 센서 기반 예지 보전과 제조 결함 검사, 서버·네트워크 침입과 장애 모니터링, 데이터 파이프라인 품질 검사, 의료 영상과 생체 신호의 비정상 패턴 발견 등 드물지만 비용이 큰 사건을 조기에 발견해야 하는 모든 분야에 활용된다.

사례

전자상거래 결제 시스템에서 거래 금액, 시간대, 배송지 변경 여부, 최근 1시간 주문 횟수 등의 특징으로 고립 숲 모델이 이상 점수를 계산하고, 확인된 사기 레이블로 학습한 그래디언트 부스팅 분류기의 확률과 결합하여 상위 점수 거래만 수동 심사로 보낸다. 심사 결과는 레이블로 축적되어 주간 재학습에 사용되고, 프로모션 기간에는 정상 거래 분포가 바뀌므로 임계값을 자동으로 재보정한다.