관련 포스트머신러닝 차원 축소 임베딩 일반화

차원의 저주(Curse of Dimensionality)

•

2026년 10월 25일 발행•2026년 10월 25일 수정

요약

차원이 늘어날수록 공간이 지수적으로 커져 데이터가 희소해지고 거리 기반 방법과 학습 성능이 급격히 나빠지는 현상

중급

확률·선형대수와 거리 척도에 대한 이해를 바탕으로 고차원 공간의 기하학적 특성이 학습 알고리즘에 미치는 영향을 해석할 수 있어야 한다.

태그

머신러닝 차원 축소 임베딩 일반화

#개념

차원의 저주(Curse of Dimensionality)는 데이터의 차원, 즉 특징의 수가 늘어날수록 공간의 부피가 기하급수적으로 커져 데이터가 희소해지고, 거리·밀도 기반 방법과 학습 알고리즘의 성능이 급격히 나빠지는 현상을 통틀어 이르는 말이다. 동적 계획법을 연구하던 Richard Bellman이 차원에 따라 계산량이 지수적으로 폭증하는 문제를 가리켜 붙인 이름으로, 1961년 저서 『Adaptive Control Processes』를 통해 널리 알려졌다.

Bellman이 마주한 문제는 격자 탐색이었다. 단위 구간을 0.1 간격으로 나누면 1차원에서는 10개의 칸이면 충분하지만, 10차원 단위 초입방체를 같은 간격으로 덮으려면 $10^{10}$개의 칸이 필요하다. 함수 값을 표로 저장하거나 공간을 고르게 탐색하는 방법은 차원이 하나 늘 때마다 비용이 일정 배수로 곱해지므로, 차원이 조금만 커져도 현실적으로 계산할 수 없게 된다.

같은 원리가 데이터 분석에서는 데이터 희소성으로 나타난다. 표본 수를 고정한 채 차원을 늘리면 각 칸에 들어가는 점의 수가 급격히 줄어, 대부분의 공간이 비어 있게 된다. 일정한 밀도를 유지하려면 표본 수도 차원에 대해 지수적으로 늘어나야 한다. 고차원 공간은 저차원에서의 직관과 다른 기하학적 특성을 보이며, 대표적인 예는 다음과 같다.

고차원 공간의 기하학적 특성

부피의 껍질 집중: 반지름 1인 $d$차원 초구에서 반지름 $1-\epsilon$ 안쪽이 차지하는 부피 비율은 $(1-\epsilon)^d$이다. $d$가 커지면 이 값이 0에 가까워져 부피 대부분이 표면 근처 얇은 껍질에 몰린다.
모서리로의 쏠림: 단위 초입방체에 내접하는 초구의 부피 비율은 차원이 커질수록 0으로 수렴한다. 균일하게 뽑은 점들은 대부분 중심에서 먼 모서리 영역에 놓인다.
넓어지는 이웃: 단위 초입방체에 균일하게 분포한 데이터의 10%를 담는 부분 초입방체의 한 변 길이는 $0.1^{1/d}$이다. $d=10$이면 약 0.8로, 국소 이웃이라 부르기 어려울 만큼 범위가 넓어진다.
무작위 벡터의 직교성: 고차원에서 무작위로 뽑은 두 벡터는 거의 직교한다. 코사인 유사도가 0 근처에 몰리므로 유사도 값의 차이로 관계를 구분하기 어려워진다.

머신러닝에서 가장 직접적인 영향은 거리 집중(Distance Concentration) 현상이다. Beyer 등(1999)은 각 차원이 독립적으로 생성되는 등 넓은 조건에서 차원 $d$가 커질수록 질의점에서 가장 먼 점까지의 거리 $D_{max}$와 가장 가까운 점까지의 거리 $D_{min}$의 상대적 차이 $(D_{max} - D_{min}) / D_{min}$이 0으로 확률 수렴함을 보였다. 모든 점이 비슷하게 멀어지면 "가장 가까운 이웃"이라는 개념 자체가 의미를 잃는다.

Aggarwal 등(2001)은 이 현상이 거리 척도에 따라 정도가 다르다는 점을 분석했다. $L_k$ 노름에서 $k$가 클수록 거리의 대비가 더 빨리 사라지므로, 고차원에서는 유클리드 거리($L_2$)보다 맨해튼 거리($L_1$)나 $k$가 1보다 작은 분수 거리가 상대적으로 더 의미 있는 대비를 유지한다. 이는 고차원 데이터에서 거리 척도 선택 자체가 중요한 설계 결정임을 보여준다.

필요한 표본 수의 증가는 비모수 추정에서 수식으로 드러난다. 커널 밀도 추정의 평균 제곱 오차는 최적 대역폭을 써도 $O(n^{-4/(4+d)})$의 속도로만 줄어든다. 1차원에서 얻은 정확도를 10차원에서 얻으려면 훨씬 많은 표본이 필요하며, 이 차이는 차원이 커질수록 지수적으로 벌어진다.

차원의 저주는 과대적합(Overfitting)과도 밀접하다. 특징 수 $p$가 표본 수 $n$보다 훨씬 많은 $p \gg n$ 상황에서는 우연히 목표 변수와 맞아떨어지는 특징 조합이 많아져, 모델이 학습 데이터의 잡음까지 외우기 쉽다. 표본 수를 고정한 채 특징을 계속 추가하면 분류 성능이 처음에는 오르다가 어느 지점부터 떨어지는데, 이를 휴즈 현상(Hughes Phenomenon)이라 부른다.

이러한 효과는 거리나 국소 이웃에 의존하는 방법일수록 크게 나타난다. 주요 알고리즘별 영향은 다음과 같다.

방법별 영향

k-최근접 이웃(kNN): 이웃이 질의점과 실제로 비슷하다는 전제가 무너진다. 가까운 이웃을 확보하려면 표본이 지수적으로 필요하다.
커널 방법: RBF 커널처럼 거리에 기반한 커널은 모든 쌍의 거리가 비슷해지면 커널 값도 비슷해져 대역폭 선택이 까다로워진다.
밀도 추정: 히스토그램과 커널 밀도 추정은 칸이나 이웃 안의 점 개수로 밀도를 추정하므로 희소성의 영향을 가장 직접적으로 받는다.
거리 기반 군집화: K-평균과 DBSCAN은 점 사이 거리 차이가 줄어들면 군집 경계나 적절한 반경 ε을 정하기 어려워진다.
공간 인덱스: kd-트리 같은 트리 인덱스는 차원이 수십을 넘으면 가지치기가 거의 일어나지 않아 전수 탐색과 비슷한 비용이 든다.

차원의 저주에 대응하는 방법은 크게 차원을 줄이거나, 모델의 복잡도를 제한하거나, 데이터의 구조를 활용하는 것으로 나뉜다. 실무에서 자주 쓰는 방법은 다음과 같다.

대응 방법

차원 축소: 주성분 분석(Principal Component Analysis, PCA)이나 오토인코더로 정보를 최대한 보존하는 저차원 표현을 만든다. t-SNE와 UMAP은 주로 시각화에 쓴다.
특징 선택: 상관계수·상호정보량 같은 필터 방식, 모델 성능 기반 래퍼 방식, L1 정칙화 같은 임베디드 방식으로 불필요한 특징을 제거한다.
정칙화: L1·L2 페널티로 가중치를 제약해 고차원에서 모델이 잡음에 맞춰지는 것을 막는다.
임베딩: 원-핫 인코딩처럼 희소한 초고차원 표현 대신 의미를 담은 밀집 저차원 벡터를 학습해 사용한다.

차원의 저주에도 불구하고 수만 차원의 이미지나 텍스트에서 딥러닝이 잘 작동하는 이유는 다양체 가설(Manifold Hypothesis)로 설명된다. 실제 고차원 데이터는 공간 전체에 고르게 퍼져 있지 않고, 훨씬 낮은 내재 차원(Intrinsic Dimension)을 갖는 다양체 근처에 모여 있다는 가설이다. 모델이 이 저차원 구조를 학습하면 명목상 차원이 높더라도 실질적으로 필요한 표본 수는 크게 줄어든다.

고차원 벡터 검색은 차원의 저주가 실무에서 가장 뚜렷하게 드러나는 분야이다. 언어 모델과 추천 모델이 만드는 임베딩은 보통 수백에서 수천 차원이어서, 트리 인덱스로 정확한 최근접 이웃을 찾는 것은 사실상 전수 탐색과 다르지 않다. 그래서 벡터 데이터베이스(Vector Database)는 정확도를 조금 양보하는 근사 최근접 이웃(Approximate Nearest Neighbor, ANN) 탐색을 쓴다. 지역 민감 해싱(LSH), 역파일 인덱스(IVF), 곱 양자화(PQ), 그래프 기반 HNSW가 대표적이며 FAISS 같은 라이브러리로 구현된다.

한편 고차원이 오히려 유리하게 작용하는 측면을 차원의 축복(Blessing of Dimensionality)이라 부른다. 고차원에서는 측도 집중(Concentration of Measure) 덕분에 많은 무작위 양이 평균 근처에 안정적으로 모이고, 저차원에서 선형 분리가 불가능한 데이터도 고차원으로 사상하면 선형 분리가 쉬워진다. 존슨-린덴스트라우스 보조정리(Johnson-Lindenstrauss Lemma)에 따르면 무작위 투영만으로도 점 사이 거리를 거의 보존한 채 차원을 줄일 수 있다.

실무에서는 먼저 특징 수 대비 표본 수를 점검하고, 거리 기반 모델을 쓸 경우 점 사이 거리 분포를 히스토그램으로 그려 값이 좁은 범위에 몰려 있는지 확인하는 것이 좋다. 특징 선택이나 차원 축소는 반드시 교차 검증의 각 학습 폴드 안에서 수행해야 데이터 누수로 성능을 과대평가하지 않는다. 또한 특징을 무작정 늘리기보다 도메인 지식으로 의미 있는 특징을 설계하는 것이 차원의 저주를 피하는 가장 확실한 방법이다.

#관련 용어

거리 집중

차원이 커질수록 가장 가까운 점과 가장 먼 점의 거리 차이가 상대적으로 사라지는 현상

차원 축소

정보를 최대한 보존하면서 데이터의 특징 수를 줄이는 기법

과대적합

모델이 학습 데이터의 잡음까지 학습해 새 데이터에 대한 성능이 떨어지는 현상

다양체 가설

고차원 데이터가 실제로는 낮은 내재 차원의 다양체 근처에 분포한다는 가설

근사 최근접 이웃(ANN)

정확도를 일부 양보하는 대신 고차원 벡터의 최근접 이웃을 빠르게 찾는 탐색 기법

정칙화

모델의 복잡도에 페널티를 부여해 과대적합을 억제하는 기법

#직무 연관도

Data Analyst보통

특징 수 대비 표본 수를 점검하고 군집·유사도 분석 결과가 고차원 효과로 왜곡되지 않았는지 해석

Data Scientist밀접

특징 설계, 차원 축소, 모델 선택 과정에서 고차원 데이터의 희소성과 거리 집중을 고려해 일반화 성능을 확보

Data Engineer높음

임베딩 기반 검색·추천 시스템에서 근사 최근접 이웃 인덱스와 차원 수를 결정해 정확도와 지연 시간을 조율

#사용 사례

전자상거래인터넷 서비스의료금융미디어

개요

차원의 저주는 특징이 많은 데이터를 다루는 거의 모든 산업에서 고려 대상이다. 전자상거래·인터넷 서비스·미디어에서는 고차원 임베딩 기반 검색과 추천의 인덱스 설계에, 의료에서는 표본은 적고 유전자 특징은 수만 개인 유전체 데이터 분석에, 금융에서는 수많은 파생 변수를 쓰는 신용평가 모델의 특징 선택에 영향을 준다.

사례

전자상거래 추천 시스템에서 1,024차원 상품 임베딩의 kNN 검색 지연 시간이 길어지자, PCA로 256차원으로 줄이고 HNSW 기반 근사 최근접 이웃 인덱스를 적용해 추천 품질을 유지하면서 검색 지연 시간을 줄인다.