관련 포스트대규모 언어 모델 프롬프트 엔지니어링 자연어 처리추론

사고의 사슬(Chain-of-Thought)

•

2026년 11월 08일 발행•2026년 11월 08일 수정

요약

언어 모델이 최종 답 이전에 중간 추론 단계를 자연어로 생성하도록 유도해 다단계 추론 성능을 높이는 기법

중급

대규모 언어 모델의 프롬프트 방식과 퓨샷 학습 개념에 대한 이해가 필요하다.

태그

대규모 언어 모델 프롬프트 엔지니어링 자연어 처리추론

#개념

사고의 사슬(Chain-of-Thought, CoT)은 언어 모델이 최종 답을 바로 내놓는 대신, 문제를 푸는 중간 추론 단계를 자연어로 먼저 생성하도록 유도하는 기법이다. Wei 등(2022)이 퓨샷 프롬프트에 단계별 풀이 예시를 넣는 방식으로 제안했으며, 산술·상식·기호 추론 문제에서 대규모 언어 모델(Large Language Model, LLM)의 정확도를 크게 높여 프롬프트 엔지니어링(Prompt Engineering)의 대표 기법이 되었다.

일반적인 퓨샷 프롬프트는 "질문-답" 쌍만 예시로 보여준다. 이 경우 모델은 여러 단계의 계산이나 논리를 한 번의 출력 토큰 예측 안에서 처리해야 하므로, 다단계 문제에서 오답을 내기 쉽다. CoT는 예시에 "질문-추론 과정-답"을 넣어 모델이 비슷한 형식으로 중간 단계를 먼저 쓰도록 만든다.

중간 단계를 생성하는 것이 효과적인 이유는 몇 가지로 설명된다. 복잡한 문제를 작은 단계로 분해하면 각 단계는 모델이 학습 중 자주 본 쉬운 형태가 되고, 앞서 생성한 토큰이 다음 단계의 입력이 되므로 추가 연산을 쓰는 효과가 생긴다. 또한 추론 과정이 텍스트로 드러나 사람이 오류 위치를 파악하기 쉬워진다.

Wei 등은 수학 서술형 문제 벤치마크 GSM8K에서 8개의 CoT 예시만으로 PaLM 540B가 당시 미세 조정된 모델을 능가하는 성능을 냈다고 보고했다. 동시에 이 효과는 모델 규모에 크게 의존해, 작은 모델에서는 오히려 그럴듯하지만 틀린 추론을 만들어 성능이 떨어지기도 했다. 논문은 약 1,000억 파라미터 규모 이상에서 효과가 뚜렷해진다고 보고하며 CoT 추론을 규모에 따른 출현 능력(Emergent Ability)의 예로 제시했다.

Kojima 등(2022)은 예시 없이도 CoT를 끌어낼 수 있음을 보였다. 질문 뒤에 "Let's think step by step"이라는 문장을 붙이는 것만으로 모델이 단계별 추론을 생성했고, 이를 제로샷 사고의 사슬(Zero-shot CoT)이라 부른다. 논문은 추론을 생성하는 단계와 생성된 추론에서 최종 답을 추출하는 단계로 나눈 2단계 프롬프트를 사용했다.

제로샷 CoT는 InstructGPT 계열 모델에서 MultiArith 정확도를 17.7%에서 78.7%로, GSM8K 정확도를 10.4%에서 40.7%로 끌어올렸다고 보고되었다. 과제별 예시를 직접 만들 필요가 없어 적용이 쉽다는 것이 가장 큰 장점이다. 다만 잘 설계된 퓨샷 CoT보다는 대체로 성능이 낮아, 두 방식은 준비 비용과 성능 사이에서 선택하게 된다.

CoT 이후 추론 경로를 더 잘 활용하려는 여러 변형 기법이 제안되었다. 대표적인 기법은 다음과 같다.

CoT의 주요 확장 기법

자기 일관성(Self-Consistency): Wang 등(2022)이 제안한 방법으로, 하나의 탐욕적 추론 대신 샘플링으로 여러 추론 경로를 만들고 최종 답을 다수결로 정한다. 정답에 이르는 경로는 여러 갈래여도 답이 모이는 경향을 이용하며, GSM8K 등에서 CoT 대비 큰 향상을 보였다.
Least-to-Most 프롬프팅: 문제를 쉬운 하위 문제로 먼저 분해한 뒤, 앞 하위 문제의 답을 이용해 다음 하위 문제를 차례로 푼다. 예시보다 어려운 문제로 일반화해야 하는 과제에서 효과가 보고되었다.
생각의 나무(Tree of Thoughts, ToT): Yao 등(2023)이 제안한 방법으로, 중간 생각을 트리의 노드로 보고 모델이 각 상태를 평가하며 너비 우선·깊이 우선 탐색과 되돌아가기를 수행한다. 숫자 조합 퍼즐인 Game of 24에서 GPT-4의 성공률을 CoT의 4%에서 74%로 높였다고 보고했다.

CoT는 외부 행동과 결합되며 AI 에이전트(AI Agent)의 기반이 되기도 했다. ReAct(Yao 등, 2022)는 추론(Reasoning)과 행동(Acting)을 번갈아 생성하도록 해, 모델이 생각을 적은 뒤 검색이나 도구 호출을 실행하고 그 관찰 결과를 다시 추론에 반영하게 한다. 이는 내부 지식만으로 추론할 때 생기는 사실 오류를 외부 정보로 보완하는 구조다.

최근에는 CoT를 프롬프트가 아니라 학습으로 내재화한 추론 모델(Reasoning Model)이 등장했다. OpenAI o1(2024)이나 DeepSeek-R1(2025) 같은 모델은 강화 학습(Reinforcement Learning) 등으로 답하기 전에 긴 사고 과정을 생성하도록 훈련되었으며, 추론 시 더 많은 토큰을 생각에 쓸수록 성능이 오르는 추론 시간 연산 확장(test-time compute scaling) 경향이 보고되었다. 이런 모델에 대해서는 별도의 CoT 지시가 불필요하거나 효과가 작다는 안내도 있다.

CoT의 중요한 한계는 충실성(Faithfulness) 문제다. 모델이 출력한 추론 과정이 실제로 답을 결정한 내부 계산을 정확히 반영한다는 보장이 없다. 연구들은 프롬프트에 편향된 단서를 넣으면 모델이 그 단서에 영향을 받아 답을 바꾸면서도 추론 설명에서는 단서를 언급하지 않는 경우가 있음을 보였다. 따라서 CoT 출력은 설명이라기보다 그럴듯한 서술일 수 있다는 점을 인지해야 한다.

CoT의 장점과 한계를 정리하면 다음과 같다.

CoT의 장점

정확도 향상: 산술, 논리, 다단계 질의응답처럼 중간 단계가 필요한 과제에서 성능이 크게 오른다.
적용 용이성: 모델 재학습 없이 프롬프트만 바꿔 적용할 수 있다.
검토 가능성: 중간 단계를 보고 오류 지점을 찾거나 사람이 결과를 검증하기 쉽다.

CoT의 한계

비용과 지연 증가: 출력 토큰이 많아져 API 비용과 응답 시간이 늘어나며, 자기 일관성처럼 여러 번 샘플링하면 비용이 배수로 커진다.
규모 의존성: 작은 모델에서는 효과가 작거나 오히려 성능이 떨어질 수 있다.
오류 전파: 초반 단계의 실수가 이후 단계로 이어져 확신에 찬 오답을 만들 수 있다.

비용 측면에서 CoT는 정확도와 토큰 사용량의 절충이다. 단순 분류나 추출처럼 한 단계로 풀리는 과제에서는 효과가 거의 없이 비용과 지연만 늘어나므로, 과제 난이도에 따라 CoT 사용 여부를 선택하는 것이 좋다. 실시간 응답이 중요한 서비스에서는 추론 과정을 숨기고 최종 답만 짧게 출력하도록 하거나, 어려운 요청에만 추론을 활성화하는 라우팅을 고려한다.

실무에서 CoT를 적용할 때 주의할 점은 다음과 같다.

적용 시 주의점

출력 형식 분리: 추론과 최종 답을 구분된 형식으로 출력하게 해 후처리에서 답만 안정적으로 추출한다.
예시 품질 관리: 퓨샷 예시의 추론에 오류가 있으면 모델이 그 패턴을 따라 하므로 예시를 검증한다.
평가 기준 설정: 최종 답 정확도와 함께 추론 단계의 타당성도 표본 검토해 우연히 맞힌 답을 걸러낸다.
추론 모델과 구분: 이미 내부 추론을 수행하는 모델에는 과도한 단계 지시보다 목표와 제약을 명확히 주는 편이 나을 수 있다.

사고의 사슬은 LLM이 단순한 다음 토큰 예측기를 넘어 다단계 문제를 푸는 도구로 쓰일 수 있음을 보여준 전환점이었다. 프롬프트 기법에서 출발해 탐색 기반 추론, 도구를 사용하는 에이전트, 강화 학습으로 훈련된 추론 모델로 이어지는 흐름의 출발점이므로, 자연어 처리(Natural Language Processing) 시스템을 설계하는 데이터 전문가라면 그 효과와 한계를 함께 이해해야 한다.