편향(Bias)은 머신러닝 모델, 특히 인공 신경망(Artificial Neural Network, ANN)에서 예측값을 조정하는 데 사용되는 매개변수다. 가중치(Weight)와 함께 모델의 학습 가능한 매개변수의 중요한 부분을 구성하며, 입력값에 상관없이 모델의 출력에 더해지는 상수 값이다. 편향은 모델이 데이터를 올바르게 학습하고 예측하는 데 필수적인 요소로, 가중치만으로는 표현하기 어려운 데이터의 특성을 반영하는 데 도움을 준다.편향은 신경망의 각 뉴런(노드)마다 존재하며, 뉴런의 출력값을 계산할 때 가중치가 적용된 입력값의 합에 더해진다. 이러한 방식으로 편향은 모델이 입력값이 모두 0일 때에도 0이 아닌 값을 출력할 수 있도록 한다. 이는 모델이 데이터의 특성을 보다 유연하게 학습하고, 다양한 패턴을 표현할 수 있게 해준다. 또한, 편향은 일반적으로 0 또는 작은 상수로 초기화되며(가중치는 보통 무작위로 초기화된다), 학습 과정 동안 역전파(Backpropagation) 알고리즘과 경사 하강법(Gradient Descent)과 같은 최적화 알고리즘을 통해 가중치와 함께 업데이트된다. 모델의 예측값과 실제값 사이의 오차를 최소화하는 방향으로 편향값이 조정되며, 이를 통해 모델의 성능을 향상시킨다. 편향은 모델의 학습 과정에서 모델이 데이터를 일반화하고, 복잡한 패턴을 학습하는 데 중요한 역할을 한다.편향의 역할은 선형 모델에서 더욱 직관적으로 이해할 수 있다. 예를 들어, 선형 회귀 모델에서 편향은 회귀 직선의 절편에 해당하며, 데이터를 잘 설명하는 직선을 찾는 데 중요한 역할을 한다. 편향은 회귀 직선을 원점에서 벗어나 상하로 이동시켜 데이터의 전반적인 수준(오프셋)을 반영하게 하며, 데이터의 특성에 따라 양수 또는 음수 값을 가질 수 있다. 편향이 없으면 직선이 항상 원점을 지나야 하므로, 모델이 학습 데이터의 특성을 제대로 반영하지 못하고 과소적합(Underfitting)될 수 있다. 한편, 통계학과 머신러닝의 편향-분산 트레이드오프(Bias-Variance Tradeoff)에서 말하는 '편향'은 모델의 예측이 실제값에서 체계적으로 벗어나는 정도를 뜻하는 별개의 개념이므로 혼동하지 않아야 한다.편향은 딥러닝 모델에서 더욱 중요한 역할을 한다. 딥러닝 모델은 여러 개의 계층으로 구성되어 있으며, 각 층의 뉴런마다 편향이 존재한다. 이러한 편향은 모델이 복잡한 데이터 패턴을 학습하고, 비선형적인 관계를 모델링하는 데 도움을 준다. 편향이 없으면 각 층의 변환이 원점을 지나도록 제한되어(입력이 모두 0이면 출력도 0), 활성화 함수의 동작 지점을 옮길 수 없게 되고 표현할 수 있는 함수의 범위가 크게 줄어든다. 한편, 정칙화(Regularization) 기법인 가중치 감쇠(Weight Decay)는 일반적으로 가중치에만 적용하고 편향은 제외하는 경우가 많은데, 편향의 개수가 상대적으로 적어 과대적합에 미치는 영향이 작고, 편향을 억제하면 오히려 과소적합을 유발할 수 있기 때문이다.머신러닝 모델의 예측 성능을 높이기 위해서는 편향에 대한 이해가 필수적이다. 편향은 모델의 가중치와 함께 모델의 학습 과정을 결정하는 중요한 요소이며, 모델의 성능을 향상시키기 위해서는 가중치와 편향 모두 적절하게 학습되어야 한다. 편향은 모델의 예측 성능뿐만 아니라 안정성에도 영향을 미치므로, 편향을 조절하는 것은 머신러닝 모델을 개발하는 데 있어서 중요한 고려 사항 중 하나다.