관련 포스트인공지능 머신러닝 딥러닝 신경망

활성화 함수(Activation Function)

•

2025년 01월 25일 발행•2025년 01월 25일 수정

요약

신경망에서 비선형성을 추가하는 함수

초급

기본적인 미분 및 선형대수 개념에 대한 이해가 필요하며, 신경망 모델의 작동 원리를 이해해야 한다.

태그

인공지능 머신러닝 딥러닝 신경망

#개념

활성화 함수(Activation Function)는 인공 신경망(Artificial Neural Network, ANN)에서 각 뉴런의 출력값을 결정하는 비선형 함수다. 신경망의 각 계층에서 가중치(Weight)와 편향(Bias)을 적용한 선형 변환 결과에 활성화 함수를 적용함으로써, 네트워크에 비선형성(non-linearity)을 추가하는 역할을 수행한다. 만약 활성화 함수가 없다면, 신경망은 여러 계층을 쌓아도 결국 하나의 선형 변환으로 표현될 수밖에 없어, 복잡한 패턴을 학습할 수 없게 된다. 따라서 활성화 함수는 신경망이 복잡한 문제에 대한 해법을 학습할 수 있도록 하는 핵심적인 구성 요소다.

활성화 함수는 주로 두 가지 주요 기능을 수행한다. 첫째, 입력 신호에 대한 비선형 변환을 수행하여 신경망이 다양한 패턴을 학습할 수 있도록 한다. 선형 변환만으로는 복잡한 데이터 분포를 모델링할 수 없기 때문에, 비선형 활성화 함수를 사용함으로써 신경망은 비선형적인 결정 경계(Decision boundary)를 만들고 복잡한 데이터 패턴을 효과적으로 학습할 수 있다.

둘째, 뉴런의 출력값을 특정 범위 내로 제한하는 역할을 한다. 예를 들어, 시그모이드 함수(Sigmoid function)는 출력값을 $0$과 $1$ 사이로 제한하고, 하이퍼볼릭 탄젠트 함수(Hyperbolic tangent function, tanh)는 출력값을 $-1$과 $1$ 사이로 제한한다. 이렇게 출력값을 제한하는 것은 값이 무한히 커지는 것을 막아 수치적 안정성을 높이고, 출력을 확률이나 정규화된 값으로 해석할 수 있게 한다.

이렇듯 다양한 종류의 활성화 함수가 존재하며, 각각 다른 특징과 장단점을 가지고 있다. 대표적인 활성화 함수는 다음과 같다.

대표적인 활성화 함수

시그모이드 함수(Sigmoid function): $0$과 $1$ 사이의 값을 출력하며, 로지스틱 회귀(Logistic regression) 모델에서 자주 사용된다. 하지만 입력값이 크거나 작을 때 기울기가 $0$에 가까워지는 기울기 소실(Vanishing Gradient) 문제가 발생할 수 있다.
하이퍼볼릭 탄젠트 함수(Hyperbolic tangent function, tanh): $-1$과 $1$ 사이의 값을 출력하며, 시그모이드 함수와 유사하지만 출력이 $0$을 중심으로 분포하여 학습이 더 안정적이고 기울기 소실 문제도 다소 덜하다.
ReLU(Rectified Linear Unit): 입력값이 0보다 작으면 0을 출력하고, 0보다 크면 입력값 그대로를 출력하는 간단한 형태의 함수다. 다른 함수들에 비해 계산 속도가 빠르고 기울기 소실 문제를 완화하여 딥러닝 모델에서 널리 사용되지만, 입력값이 $0$보다 작을 때 기울기가 $0$이 되어 학습이 멈추는 죽은 ReLU(Dying ReLU) 문제가 발생할 수 있다.
Leaky ReLU: ReLU 함수의 단점을 보완하기 위해 만들어진 함수로, 입력값이 $0$보다 작을 때 $0$이 아닌 작은 기울기를 갖도록 한다.

이 외에도 ELU(Exponential Linear Unit) 함수, GELU(Gaussian Error Linear Unit) 함수, Swish 함수 등 다양한 활성화 함수들이 개발되어 사용되고 있다. 활성화 함수를 선택할 때는 문제의 특성, 신경망 구조, 학습 속도, 수렴 안정성 등 다양한 요소를 고려해야 한다. 일반적으로, ReLU 함수는 다양한 딥러닝 모델에서 좋은 성능을 보여주지만, 필요에 따라 Leaky ReLU, ELU, GELU, Swish 등의 다른 활성화 함수를 사용해 볼 수 있다.

특히 깊은 신경망에서는 기울기 소실 문제를 완화할 수 있는 활성화 함수를 선택하는 것이 중요하다. 활성화 함수는 신경망 학습의 효율성과 성능에 큰 영향을 미치기 때문에, 적절한 활성화 함수를 선택하는 것은 딥러닝 모델 개발에서 중요한 과정이다.