Chain-of-Thought (CoT)

Chain-of-Thought(CoT, 사고의 사슬)는 AI 모델에게 최종 답을 바로 내놓는 대신, 문제를 해결하는 중간 과정을 단계별로 보여달라고 유도하는 프롬프팅 기법입니다. 복잡한 추론이 필요한 문제에서 정확도를 크게 향상시킵니다.

2022년 Google 연구팀이 발표한 논문에서 CoT의 효과가 입증되었습니다. 수학 문제 벤치마크에서 정확도가 약 2배 향상되었고, 이후 거의 모든 LLM이 CoT를 기본 지원하도록 발전했습니다. 모델이 커질수록 CoT의 효과는 더 커집니다.

사용 방법은 두 가지입니다. Zero-shot CoT는 프롬프트에 '단계별로 생각해보세요'라는 한 줄만 추가하는 방식이고, Few-shot CoT는 예시에 풀이 과정을 함께 보여주는 방식입니다. 간단한 작업에는 Zero-shot, 복잡한 작업에는 Few-shot이 더 효과적입니다.

CoT가 효과적인 이유는 모델이 중간 계산 공간을 확보하기 때문입니다. 복잡한 수학 문제나 논리 퍼즐을 풀 때, 사람도 머릿속에서 단계를 밟아가며 생각합니다. AI 모델도 마찬가지로 한 번에 답을 추론하면 중간 오류를 잡기 어렵지만, 단계별로 출력하면 각 단계를 검증하면서 전체 정확도가 높아집니다. 모델이 자신의 추론 과정을 명시적으로 텍스트로 생성하는 행위 자체가 더 정교한 처리를 유도합니다.

CoT는 여러 발전된 형태로 확장되었습니다. Tree-of-Thought(ToT)는 하나의 사고 흐름이 아니라 여러 가지 추론 경로를 동시에 탐색하고 최적의 경로를 선택합니다. Self-Consistency는 같은 문제에 대해 여러 번 CoT를 실행한 뒤 가장 많이 나온 답을 채택합니다. ReAct(Reasoning + Acting)는 추론과 외부 도구 사용을 교차하며 문제를 해결합니다. 이런 변형들은 더 복잡한 문제를 해결하는 데 사용됩니다.

최신 추론 모델들은 CoT를 내재화했습니다. OpenAI의 o1, o3 시리즈와 Anthropic의 Claude 3.7 Sonnet, Google의 Gemini 2.0 Flash Thinking 같은 모델들은 응답을 생성하기 전에 내부적으로 긴 사고 과정을 거칩니다. 사용자가 프롬프트에 별도로 '단계별로 생각해'라고 적지 않아도 모델이 스스로 추론 과정을 밟습니다. 이를 내부 Chain-of-Thought 또는 확장된 사고(Extended Thinking)라고 부릅니다.

실무에서 CoT를 적용할 때 효과가 큰 작업 유형이 있습니다. 수학 계산이 포함된 문제, 다단계 논리 추론, 복잡한 코드 디버깅, 법률이나 계약서 분석처럼 여러 조건을 동시에 고려해야 하는 작업에서 특히 유용합니다. 반면 간단한 사실 확인이나 짧은 번역처럼 단순한 작업에서는 CoT가 오히려 불필요하게 응답을 길게 만드는 단점이 있습니다.

CoT의 한계도 알아두어야 합니다. 추론 과정이 길어지면 토큰 사용량이 늘어나고 비용과 응답 시간이 증가합니다. 모델이 그럴듯해 보이는 잘못된 추론 단계를 생성하고 최종 답도 틀리게 내는 경우도 있습니다. 이를 그럴듯한 오류(plausible but wrong reasoning)라고 하며, 중요한 결정에 CoT 결과를 사용할 때는 반드시 검토가 필요합니다.

실제로 CoT 프롬프트를 작성할 때 유용한 문구들이 있습니다. '단계별로 생각해보세요', '풀이 과정을 보여주세요', '각 단계를 하나씩 설명하면서 답을 구해주세요', '먼저 문제를 분석하고 그 다음에 풀어주세요' 같은 표현들이 CoT를 유도하는 데 효과적입니다. 영어로는 'Let's think step by step'이 가장 잘 알려진 CoT 유도 문구입니다. 작업의 복잡도에 따라 적절한 수준의 단계 세분화를 요청하는 것이 좋습니다.

CoT와 관련 있는 개념으로 메타인지(metacognition) 능력이 있습니다. 사람이 자신의 사고 과정을 점검하고 오류를 발견하는 능력처럼, CoT는 AI가 자신의 추론을 외부에 드러내어 검증 가능하게 만듭니다. 사용자는 모델의 사고 과정을 보면서 어디서 잘못되었는지 파악하고 수정을 요청할 수 있습니다. 이 투명성은 AI를 더 신뢰하고 안전하게 사용하는 데도 도움이 됩니다. 특히 의료, 법률, 금융처럼 결론뿐 아니라 근거가 중요한 분야에서 CoT는 설명 가능한 AI(Explainable AI)를 향한 중요한 한 걸음입니다.