테스트 타임 컴퓨트

테스트 타임 컴퓨트(Test-Time Compute)는 모델을 학습시킬 때가 아니라, 사용자의 질문에 답을 만들어 내는 추론(inference) 시점에 연산을 더 써서 성능을 끌어올리는 방식입니다. 같은 모델이라도 답하기 전에 더 오래 생각하거나, 여러 개의 답을 만들어 그중 제일 좋은 것을 고르게 하면 정답률이 올라갑니다. 핵심은 모델 자체를 바꾸지 않고도, 응답을 생성하는 단계에서 시간과 계산을 더 투입해 더 나은 결과를 얻는다는 점에 있습니다.

이 개념이 주목받은 배경에는 사전학습(pre-training) 확장의 한계가 있습니다. 그동안 AI는 모델을 더 크게 만들고 더 많은 데이터로 학습시킬수록 똑똑해졌지만, 어느 순간부터 비용 대비 성능 향상이 둔해졌습니다. 그러자 연구자들은 학습 대신 답하는 순간에 연산을 더 쓰는 새로운 축을 발견했습니다. OpenAI는 o1을 공개하며 "생각하는 시간을 늘릴수록 성능이 꾸준히 좋아진다"고 밝혔고, 이후 o3, 딥시크 R1 같은 모델이 이 방식을 본격적으로 사용했습니다. 그래서 테스트 타임 컴퓨트는 모델 크기 키우기에 이은 두 번째 스케일링 축으로 불립니다.

연산을 더 쓰는 방법은 크게 두 갈래입니다. 하나는 답을 내기 전에 단계별 풀이를 길게 펼치는 사고 토큰(thinking token)을 더 생성하는 것이고, 다른 하나는 여러 개의 답을 동시에 만든 뒤 투표하거나 검증기로 골라내는 다중 샘플링입니다. 예를 들어 어려운 수학 문제를 열 번 풀게 한 뒤 가장 많이 나온 답을 정답으로 채택하면, 한 번만 풀 때보다 적중률이 올라갑니다. 둘 다 공통적으로, 한 번에 직감으로 답하지 않고 더 많은 계산을 거쳐 답의 품질을 높입니다. 흥미로운 점은 작은 모델이라도 생각할 시간을 충분히 주면, 빠르게 답하는 큰 모델을 따라잡는 경우가 있다는 것입니다.

비유하자면 시험 시간을 늘려 주는 것과 같습니다. 똑같은 학생(모델)이라도 5분 만에 답을 내라고 하면 실수가 잦지만, 30분을 주고 풀이를 적어 가며 검산까지 하라고 하면 정답률이 올라갑니다. 학생을 더 똑똑하게 가르치는 대신(사전학습), 문제를 푸는 시간을 넉넉히 주는 셈입니다. 답이 여럿 나오면 그중 가장 일관된 답을 고르는 것도, 한 문제를 여러 번 풀어 보고 제일 자신 있는 답을 제출하는 학생과 닮았습니다.

여기서 추론(inference)과의 관계를 짚어 둘 필요가 있습니다. 추론은 학습이 끝난 모델이 실제로 답을 만들어 내는 과정 전체를 가리키는 넓은 말이고, 테스트 타임 컴퓨트는 그 추론 단계에 의도적으로 연산을 더 쏟는 전략입니다. 추론 모델은 바로 이 전략을 훈련으로 내장한 모델 계열입니다. 예를 들어 어떤 챗봇에서 "더 깊이 생각하기" 같은 옵션을 켜면 응답은 느려지지만 답이 정교해지는데, 그 옵션이 바로 테스트 타임 컴퓨트를 더 쓰겠다는 선택입니다. 같은 모델, 같은 질문이라도 이 양을 조절하는 것만으로 결과 품질이 달라집니다. 결국 추론이라는 무대 위에서, 테스트 타임 컴퓨트라는 방법을 추론 모델이 적극적으로 활용하는 구조입니다. 다만 연산을 많이 쓰는 만큼 응답이 느려지고 비용도 오르기 때문에, 어려운 문제에는 넉넉히 쓰고 쉬운 문제에는 아끼는 균형이 중요합니다. 생각을 무작정 길게 시킨다고 항상 좋아지는 것도 아니어서, 쉬운 문제를 과하게 곱씹다 오히려 틀리는 현상도 보고됐습니다. 최근 모델은 질문 난이도에 따라 생각하는 양을 알아서 조절하는 방향으로 발전하고 있습니다. 결국 테스트 타임 컴퓨트는 더 똑똑한 모델을 새로 만드는 대신, 가진 모델을 더 잘 쓰는 길을 열어 준 셈입니다.