관련 포스트딥러닝 순환 신경망 시계열 예측 자연어 처리

장단기 메모리(Long Short-Term Memory)

•

2026년 10월 18일 발행•2026년 10월 18일 수정

요약

게이트와 셀 상태로 정보 흐름을 조절해 긴 시퀀스의 장기 의존성을 학습하는 순환 신경망 구조

중급

순환 신경망과 역전파, 기울기 소실 문제에 대한 이해가 필요하며, 게이트 수식과 시퀀스 데이터 학습 과정을 해석할 수 있어야 한다.

태그

딥러닝 순환 신경망 시계열 예측 자연어 처리

#개념

장단기 메모리(Long Short-Term Memory, LSTM)는 순환 신경망의 은닉 유닛을 게이트와 셀 상태로 구성해, 긴 시퀀스에서도 과거 정보를 오래 보존하고 학습할 수 있도록 설계한 순환 신경망 구조다. 1997년 호흐라이터(Sepp Hochreiter)와 슈미트후버(Jürgen Schmidhuber)가 제안했으며, 트랜스포머가 등장하기 전까지 음성 인식·기계 번역·시계열 예측에서 사실상 표준 모델로 쓰였다.

일반적인 순환 신경망(Recurrent Neural Network, RNN)은 매 시점 $h_t = \tanh(W_{hh} h_{t-1} + W_{xh} x_t + b)$처럼 같은 가중치를 반복 적용한다. 이 구조를 시간 축으로 펼쳐 역전파하면 기울기가 시점마다 같은 행렬과 활성화 함수의 미분값을 거듭 곱하게 되어, 수십 시점만 떨어져도 기울기가 0에 가깝게 줄어드는 기울기 소실(Vanishing Gradient)이나 반대로 발산하는 기울기 폭주가 일어난다. 그 결과 단순 RNN은 먼 과거의 입력과 현재 출력 사이의 장기 의존성을 거의 학습하지 못한다.

LSTM은 이 문제를 셀 상태(Cell State) $c_t$라는 별도의 기억 통로로 해결한다. 셀 상태는 곱셈 대신 덧셈 위주로 갱신되므로 정보와 기울기가 여러 시점을 큰 감쇠 없이 흐를 수 있다. 셀 상태에 무엇을 지우고 더하고 내보낼지는 시그모이드 출력(0~1)을 갖는 게이트가 원소별로 조절하며, 시점 $t$에서의 게이트와 상태 계산은 다음과 같다.

LSTM의 게이트와 상태

망각 게이트(Forget Gate): $f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)$로, 이전 셀 상태 $c_{t-1}$의 각 원소를 얼마나 유지할지 결정한다. 값이 1에 가까우면 기억을 보존하고 0에 가까우면 지운다.
입력 게이트(Input Gate): $i_t = \sigma(W_i [h_{t-1}, x_t] + b_i)$로, 새로 만든 후보 정보 중 얼마를 셀 상태에 기록할지 결정한다.
후보 셀 상태(Candidate Cell State): $\tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)$로, 현재 입력과 이전 은닉 상태로부터 셀 상태에 더할 새 정보를 만든다.
셀 상태 갱신: $c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t$로, 남길 기억과 새 정보를 원소별 곱($\odot$)과 덧셈으로 합친다.
출력 게이트(Output Gate): $o_t = \sigma(W_o [h_{t-1}, x_t] + b_o)$이며, 은닉 상태는 $h_t = o_t \odot \tanh(c_t)$로 계산된다. 셀 상태 중 현재 시점의 출력과 다음 시점 게이트 계산에 드러낼 부분을 고른다.

정보 흐름 관점에서 핵심은 셀 상태 갱신식의 덧셈 구조다. 게이트 값을 상수로 보면 $\partial c_t / \partial c_{t-1} = f_t$이므로, 망각 게이트가 1에 가깝게 열려 있는 동안에는 기울기가 거의 그대로 먼 과거까지 전달된다. 원 논문은 가중치 1의 자기 연결로 오차를 그대로 흘려보내는 이 구조를 상수 오차 회전목마(Constant Error Carousel, CEC)라 불렀다. 이후 망각 게이트가 더해지면서, 같은 행렬을 반복해서 곱하는 단순 RNN과 달리 감쇠 정도를 데이터에 따라 학습할 수 있게 된 점이 장기 의존성 학습의 비결이다.

1997년의 원래 LSTM에는 망각 게이트가 없어 셀 상태가 계속 누적되는 문제가 있었고, 2000년 게르스(Felix Gers) 등이 망각 게이트를 추가하면서 오늘날의 표준 형태가 완성되었다. 실무에서는 학습 초기에 기억을 잘 보존하도록 망각 게이트의 편향을 1 정도로 초기화하는 기법이 자주 쓰인다. 이후 LSTM은 용도에 따라 여러 방향으로 확장되었으며, 대표적인 변형과 구성 방식은 다음과 같다.

주요 변형과 구성 방식

피프홀 연결(Peephole Connection): 게이트가 은닉 상태뿐 아니라 셀 상태 $c_{t-1}$도 직접 참조하도록 연결을 추가한 변형이다. 정밀한 타이밍 학습에 도움이 되지만 일반적인 과제에서는 이득이 크지 않다.
게이트 순환 유닛(Gated Recurrent Unit, GRU): 2014년 조경현 등이 제안한 단순화 구조로, 셀 상태와 은닉 상태를 합치고 업데이트 게이트와 리셋 게이트 두 개만 사용한다.
양방향 LSTM(Bidirectional LSTM): 정방향과 역방향 LSTM을 각각 실행해 은닉 상태를 이어 붙인다. 문장 전체를 미리 볼 수 있는 개체명 인식이나 품사 태깅에 유리하다.
적층 LSTM(Stacked LSTM): 아래층 LSTM의 은닉 상태 시퀀스를 위층의 입력으로 쓰는 다층 구조다. 층이 깊어질수록 더 추상적인 시간 패턴을 표현할 수 있다.

GRU는 파라미터가 LSTM보다 약 25% 적고 계산이 가벼우며, 많은 과제에서 비슷한 성능을 보인다. 다만 셀 상태와 출력 게이트가 따로 없으므로 기억 내용을 외부에 노출하는 정도를 세밀하게 조절하기 어렵고, 매우 긴 의존성이나 정밀한 계수가 필요한 과제에서는 LSTM이 더 낫다는 보고도 있다. 둘 중 무엇이 우월하다는 일반적인 결론은 없으므로 데이터 규모와 지연 시간 요구에 맞춰 실험으로 고르는 것이 보통이다.

LSTM의 대표적 응용 구조는 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq)다. 인코더 LSTM이 입력 문장을 고정 길이 벡터로 요약하고 디코더 LSTM이 이를 바탕으로 출력 문장을 한 토큰씩 생성하는 방식으로, 2014년 기계 번역에서 큰 성과를 냈다. 고정 길이 벡터의 병목을 줄이기 위해 디코더가 인코더의 모든 은닉 상태를 참조하는 어텐션 메커니즘이 덧붙여졌고, 이 아이디어가 이후 트랜스포머로 이어졌다.

LSTM은 시간 축으로 펼친 그래프에 역전파를 적용하는 시간 역전파(Backpropagation Through Time, BPTT)로 학습한다. 긴 시퀀스 전체를 펼치면 메모리 사용량이 커지므로, 일정 길이 구간으로 잘라 역전파하는 절단 BPTT(Truncated BPTT)를 흔히 쓴다. LSTM은 기울기 소실을 크게 완화하지만 기울기 폭주까지 막아 주지는 않으므로, 학습을 안정적으로 만들기 위한 실무 기법이 함께 쓰이며 주요 항목은 다음과 같다.

LSTM 학습의 실무 기법

기울기 클리핑(Gradient Clipping): 전체 기울기 노름이 임계값을 넘으면 비율을 유지한 채 줄여 폭주를 막는다. 임계값은 보통 1~5 범위에서 정한다.
드롭아웃 적용 위치: 순환 연결에 매 시점 다른 마스크를 쓰면 기억이 손상되므로, 층 사이 입력·출력에만 적용하거나 시점마다 같은 마스크를 쓰는 변분 드롭아웃을 사용한다.
패딩과 패킹: 길이가 다른 시퀀스를 배치로 묶을 때 패딩 위치가 상태에 섞이지 않도록 길이 정보를 넘겨 패킹하거나 마스크를 적용한다.
최적화된 커널 사용: cuDNN 같은 융합 커널은 게이트 행렬곱을 묶어 계산하므로, 프레임워크 기본 LSTM 층을 쓰면 직접 구현보다 훨씬 빠르다.

LSTM은 2010년대 중반 다양한 산업 서비스에 적용되었다. 음성 인식에서는 양방향 LSTM과 CTC 손실을 결합한 모델이 상용 음성 비서의 성능을 크게 끌어올렸고, 구글 신경망 기계 번역(GNMT)은 8층 LSTM 인코더·디코더로 구현되었다. 이 밖에도 전력 수요·판매량 같은 시계열 예측, 필기 인식, 센서 기반 이상 탐지, 사용자 행동 시퀀스를 이용한 세션 기반 추천 등에 널리 쓰였다.

2017년 트랜스포머가 등장한 뒤 자연어 처리의 주류는 셀프 어텐션으로 넘어갔다. LSTM은 시점을 순서대로 계산해야 해서 학습 시 시퀀스 방향으로 병렬화하기 어렵고, 아주 먼 위치 사이의 관계를 직접 연결하는 어텐션보다 장거리 정보 전달에 불리하기 때문이다. 그럼에도 추론 시 시점당 계산량과 메모리가 일정하다는 장점 덕분에 스트리밍 음성 처리, 온디바이스 모델, 소규모 시계열 예측에서는 여전히 실용적인 선택지다.

최근에는 순환 구조의 효율성이 다시 주목받으면서 LSTM을 현대화하려는 시도가 이어지고 있다. 2024년 호흐라이터 연구진이 발표한 xLSTM은 지수 함수 기반 게이트와 정규화·안정화 기법을 도입하고, 메모리 혼합이 가능한 스칼라 메모리의 sLSTM과 완전 병렬 학습이 가능한 행렬 메모리의 mLSTM을 잔차 블록으로 쌓았다. 논문은 10억 파라미터대 규모의 언어 모델링에서 트랜스포머 및 상태 공간 모델과 경쟁할 만한 성능과 확장성을 보고했다.

실무에서 LSTM을 도입할지 판단하려면 데이터의 시퀀스 길이, 학습 데이터 규모, 추론 환경의 지연 시간·메모리 제약을 함께 따져야 한다. 데이터가 적고 시퀀스가 짧은 시계열 예측에서는 LSTM이 트랜스포머보다 안정적인 경우가 많고, 대규모 텍스트에서는 트랜스포머가 유리하다. 이러한 판단의 근거가 되는 LSTM의 구조적 장점과 한계는 다음과 같다.

LSTM의 장점과 한계

장점: 게이트로 기억을 선택적으로 유지해 단순 RNN보다 훨씬 긴 의존성을 학습한다. 시점당 고정된 상태 크기로 추론하므로 스트리밍 입력과 긴 시퀀스 추론의 메모리 효율이 좋다.
한계: 시퀀스 방향 병렬화가 어려워 대규모 학습 속도가 느리다. 상태 벡터 하나에 과거를 압축하므로 수천 토큰 이상 떨어진 정보를 정확히 꺼내는 능력은 어텐션보다 약하다.

정리하면 LSTM은 기울기 소실이라는 순환 신경망의 근본 문제를 셀 상태와 게이트라는 단순한 장치로 해결해 딥러닝 기반 시퀀스 모델링의 시대를 연 구조다. 게이트로 정보 흐름을 제어한다는 발상은 GRU, 하이웨이 네트워크, 잔차 연결, 그리고 최근의 선형 순환 모델까지 이어지고 있어, 현대 시퀀스 모델을 이해하는 데 여전히 필수적인 기초 개념이다.

#관련 용어

순환 신경망(RNN)

이전 시점의 은닉 상태를 다음 시점 입력과 함께 처리해 시퀀스를 모델링하는 신경망

기울기 소실

역전파 과정에서 기울기가 지수적으로 작아져 앞쪽 층이나 먼 과거 시점이 학습되지 않는 현상

셀 상태

게이트의 조절을 받아 덧셈 위주로 갱신되며 장기 기억을 전달하는 LSTM 내부 상태

게이트 순환 유닛(GRU)

업데이트 게이트와 리셋 게이트만으로 LSTM을 단순화한 순환 신경망 구조

시간 역전파(BPTT)

순환 신경망을 시간 축으로 펼친 뒤 역전파를 적용해 기울기를 계산하는 학습 방법

트랜스포머

순환 없이 셀프 어텐션으로 시퀀스 내 관계를 병렬 계산하는 신경망 구조

#직무 연관도

Data Analyst낮음

수요·매출 등 시계열 예측 모델의 결과를 해석하고 기존 통계 모델과 비교

Data Scientist높음

시계열·시퀀스 데이터 모델링과 순환 구조 연구의 기반이 되는 핵심 모델

Data Engineer보통

스트리밍·온디바이스 추론에서 지연 시간과 메모리를 고려해 LSTM 모델을 배포하고 최적화

#사용 사례

에너지금융제조인터넷 서비스통신

개요

LSTM은 순서가 중요한 데이터를 다루는 산업 전반에서 활용된다. 에너지 분야에서는 전력 수요 예측, 금융 분야에서는 거래 시계열 기반 이상 거래 탐지, 제조 분야에서는 설비 센서 데이터의 고장 예측에 쓰인다. 인터넷 서비스와 통신 분야에서는 음성 인식, 기계 번역, 사용자 행동 시퀀스 기반 추천과 트래픽 예측에 적용된다.

사례

전력 회사가 과거 수 주간의 시간대별 전력 사용량과 기온·요일 정보를 적층 LSTM에 입력해 다음 날 24시간의 전력 수요를 예측하고 발전 계획을 수립한다.