관련 포스트회귀 지도 학습 머신러닝통계 모형

선형 회귀(Linear Regression)

•

2026년 10월 18일 발행•2026년 10월 18일 수정

요약

입력 변수와 연속형 출력 변수의 관계를 선형 결합으로 모형화하는 회귀 기법

초급

선형대수(행렬 곱, 역행렬)와 기초 통계(분산, 가설 검정)에 대한 이해가 필요하다.

태그

회귀 지도 학습 머신러닝통계 모형

#개념

선형 회귀(Linear Regression)는 하나 이상의 입력 변수와 연속형 출력 변수 사이의 관계를 직선(또는 초평면)으로 모형화하는 회귀 기법이다. 계산이 빠르고 계수를 직접 해석할 수 있어 통계학과 머신러닝 모두에서 가장 기본이 되는 모델로 쓰인다.

입력 변수가 하나면 단순 선형 회귀(Simple Linear Regression), 여러 개면 다중 선형 회귀(Multiple Linear Regression)라고 한다. 행렬로 쓰면 모형은 $y = X\beta + \varepsilon$이며, $y$는 $n$개의 관측값 벡터, $X$는 절편 열을 포함한 설계 행렬(Design Matrix), $\beta$는 회귀 계수, $\varepsilon$은 평균이 0인 오차항이다. 목표는 관측 데이터로부터 $\beta$를 추정하는 것이다.

가장 널리 쓰이는 추정 방법은 잔차 제곱합 $\sum_i (y_i - x_i^\top \beta)^2$을 최소화하는 최소제곱법(Ordinary Least Squares, OLS)이다. 이 목적 함수를 $\beta$로 미분해 0으로 두면 정규방정식(Normal Equation) $X^\top X \beta = X^\top y$를 얻고, $X^\top X$가 역행렬을 가지면 해는 $\hat\beta = (X^\top X)^{-1} X^\top y$로 닫힌 형태가 된다. 실제 구현에서는 수치 안정성을 위해 역행렬 대신 QR 분해나 특잇값 분해(SVD)를 사용한다.

특징 수가 매우 많거나 데이터가 메모리에 다 들어가지 않으면 닫힌 해 대신 경사 하강법(Gradient Descent)으로 계수를 구한다. 평균 제곱 오차의 기울기는 $\frac{2}{n} X^\top (X\beta - y)$이므로, $\beta \leftarrow \beta - \eta \cdot \frac{2}{n} X^\top (X\beta - y)$를 반복해 갱신한다. 목적 함수가 볼록(Convex)하므로 적절한 학습률이면 전역 최솟값에 수렴하며, 입력을 표준화하면 수렴이 빨라진다.

최소제곱 추정량이 좋은 성질을 갖고 통계적 추론이 타당하려면 다음 가정이 필요하다. 가우스-마르코프(Gauss-Markov) 정리에 따르면 정규성을 제외한 가정(오차의 평균이 0이고 서로 상관되지 않으며, 설계 행렬이 완전 계수를 가짐) 아래에서 OLS는 선형 불편 추정량 중 분산이 가장 작은 최량 선형 불편 추정량(BLUE)이다.

선형 회귀의 기본 가정

선형성(Linearity): 입력과 출력의 기댓값 사이 관계가 계수에 대해 선형이다.
독립성(Independence): 오차항이 서로 독립이다. 시계열처럼 양의 자기상관이 있으면 표준오차가 과소평가된다.
등분산성(Homoscedasticity): 오차의 분산이 입력값에 관계없이 일정하다.
정규성(Normality): 오차가 정규분포를 따른다. 표본이 작을 때 신뢰구간과 검정의 정확성에 필요하다.
다중공선성 없음(No Multicollinearity): 입력 변수끼리 강한 선형 관계가 없어 $X^\top X$가 안정적으로 역행렬을 가진다.

가정이 지켜지는지는 주로 잔차로 진단한다. 예측값 대비 잔차도(Residual Plot)에 곡선 패턴이 보이면 선형성 위반, 깔때기 모양이면 이분산성을 의심하며, Q-Q 플롯으로 정규성을 확인한다. 다중공선성은 분산 팽창 계수(Variance Inflation Factor, VIF) $VIF_j = 1/(1 - R_j^2)$로 측정하며, 보통 5나 10을 넘으면 문제로 본다.

모델의 설명력은 결정 계수(Coefficient of Determination) $R^2 = 1 - SS_{res}/SS_{tot}$로 나타내며, 출력 변동 중 모델이 설명하는 비율을 뜻한다. 다만 $R^2$는 변수를 추가하기만 해도 줄지 않으므로, 변수 수 $p$를 반영한 조정 결정 계수 $\bar R^2 = 1 - (1 - R^2)\frac{n-1}{n-p-1}$로 모델을 비교한다. 예측 성능은 별도의 검증 데이터에서 RMSE나 MAE로 함께 확인해야 한다.

계수 $\beta_j$는 다른 변수를 고정했을 때 $x_j$가 1 단위 늘면 $y$의 기댓값이 $\beta_j$만큼 변한다는 뜻이다. 각 계수에는 표준오차가 계산되어 신뢰구간 $\hat\beta_j \pm t \cdot SE(\hat\beta_j)$와 귀무가설 $\beta_j = 0$에 대한 t 검정의 p값을 얻는다. p값은 효과의 크기가 아니라 우연으로 설명될 가능성을 나타내며, 상관관계가 곧 인과관계를 뜻하지는 않는다는 점에 유의한다.

선형 회귀의 "선형"은 계수에 대한 선형을 의미하므로, 입력을 변환하면 비선형 관계도 표현할 수 있다. $x^2$, $x^3$ 같은 항을 추가하면 다항 회귀(Polynomial Regression), $x_1 x_2$ 같은 곱 항을 넣으면 한 변수의 효과가 다른 변수에 따라 달라지는 상호작용(Interaction)을 모형화한다. 로그 변환을 쓰면 비율 변화를 다룰 수 있지만, 차수와 항이 늘수록 과대적합 위험도 커진다.

변수가 많거나 공선성이 클 때는 손실 함수에 계수 크기에 대한 벌점을 더하는 정칙화(Regularization)를 사용한다. 벌점의 세기 $\lambda$는 하이퍼파라미터로, 교차 검증으로 선택하며 벌점이 계수 크기에 의존하므로 입력을 미리 표준화해야 한다. 대표적인 정칙화 선형 회귀는 다음과 같다.

정칙화 선형 회귀

릿지 회귀(Ridge Regression): L2 벌점 $\lambda \lVert \beta \rVert_2^2$을 더한다. 해는 $(X^\top X + \lambda I)^{-1} X^\top y$로 항상 존재하며, 계수를 0 쪽으로 줄여 공선성에 강하다.
라쏘 회귀(Lasso Regression): L1 벌점 $\lambda \lVert \beta \rVert_1$을 더한다. 일부 계수를 정확히 0으로 만들어 변수 선택 효과가 있다.
엘라스틱넷(Elastic Net): L1과 L2 벌점을 섞는다. 상관된 변수 묶음을 함께 선택하면서 희소성도 얻을 수 있다.

선형 회귀는 더 넓은 모델 계열의 출발점이기도 하다. 출력이 확률이나 횟수처럼 연속적인 실수 전체가 아닐 때는 선형 예측자 $X\beta$를 그대로 쓰지 않고, 출력 범위에 맞는 연결 함수(Link Function)를 씌워 확장한다. 관련 모델과의 관계는 다음과 같다.

선형 회귀와 관련된 모델

로지스틱 회귀(Logistic Regression): 선형 결합 $X\beta$를 시그모이드 함수에 통과시켜 이진 분류 확률을 예측한다. 이름과 달리 분류 모델이다.
일반화 선형 모형(Generalized Linear Model, GLM): 연결 함수와 지수족 분포를 선택해 선형 회귀, 로지스틱 회귀, 포아송 회귀를 하나의 틀로 묶는다. 선형 회귀는 항등 연결과 정규분포를 쓰는 특수한 경우다.
신경망(Neural Network): 활성화 함수 없이 층을 하나만 둔 신경망은 선형 회귀와 같으며, 출력층의 선형 변환도 같은 구조를 가진다.

실무에서 선형 회귀는 수요 예측, 매출 요인 분석, 가격 탄력성 추정 등에 널리 쓰인다. 특히 판매량과 가격에 모두 로그를 취한 log-log 모형에서 가격 계수는 가격이 1% 오를 때 판매량이 몇 % 변하는지를 나타내는 가격 탄력성(Price Elasticity)으로 바로 해석된다. 마케팅 믹스 모델링(Marketing Mix Modeling)처럼 채널별 기여도를 설명해야 하는 분석에서도 기본 골격으로 사용된다.

또한 선형 회귀는 복잡한 모델을 도입하기 전의 베이스라인(Baseline)으로 중요하다. 그래디언트 부스팅이나 딥러닝 모델이 선형 회귀보다 의미 있게 나아지지 않는다면 복잡도를 감수할 이유가 적다. 학습과 추론이 빠르고 결과를 설명하기 쉬우므로, 해석 가능성이 중요한 규제 산업이나 지연 시간이 엄격한 서비스에서는 최종 모델로 채택되기도 한다.

#관련 용어

최소제곱법(OLS)

잔차 제곱합을 최소화하는 계수를 찾는 추정 방법

정규방정식

최소제곱 문제의 해를 닫힌 형태로 구하는 방정식

결정 계수

출력 변수의 전체 변동 중 모델이 설명하는 비율을 나타내는 지표

분산 팽창 계수(VIF)

한 변수가 다른 변수들로 얼마나 설명되는지를 통해 다중공선성을 측정하는 지표

정칙화

계수 크기에 벌점을 주어 과대적합을 줄이는 기법

경사 하강법

손실 함수의 기울기 반대 방향으로 계수를 반복 갱신하는 최적화 알고리즘

#직무 연관도

Data Analyst밀접

매출·수요 요인 분석과 가격 탄력성 추정 등 비즈니스 질문에 해석 가능한 답을 제공

Data Scientist밀접

베이스라인 모델로 사용하고 계수 추정과 가정 진단으로 변수의 효과를 해석

Data Engineer보통

가볍고 빠른 예측 모델로 서빙하며 정칙화 회귀를 대규모 특징에 적용

#사용 사례

전자상거래유통금융부동산에너지

개요

선형 회귀는 해석 가능성과 계산 효율 덕분에 여러 산업에서 기본 분석 도구로 쓰인다. 전자상거래와 유통에서는 가격·프로모션이 판매량에 미치는 영향을 추정하고, 금융에서는 위험 요인과 수익률의 관계를 분석한다. 부동산에서는 면적·입지 변수로 가격을 추정하며, 에너지 산업에서는 기온과 시간대 변수로 전력 수요를 예측한다.

사례

전자상거래 플랫폼에서 상품별 판매량과 가격에 로그를 취한 log-log 선형 회귀로 가격 탄력성을 추정하고, 할인율 결정과 수요 예측의 베이스라인으로 활용한다.