추측 디코딩 (Speculative Decoding)

추측 디코딩(Speculative Decoding)은 가벼운 보조 모델 등이 다음 토큰 후보를 미리 만들고, 목표 모델이 여러 후보를 한꺼번에 검증해 생성을 빠르게 하는 방법입니다. 목표 모델을 매번 한 토큰씩 실행할 때 생기는 지연을 줄이는 데 목적이 있습니다.

후보를 먼저 만들고 한꺼번에 확인한다

자동회귀 언어 모델은 보통 앞서 생성한 토큰을 바탕으로 다음 토큰을 정합니다. 긴 답변을 쓰려면 이 과정을 여러 번 이어가야 하므로, 큰 모델을 순서대로 실행하는 시간이 쌓입니다. 추측 디코딩은 보조 모델 등이 짧은 후보 구간을 먼저 만든 뒤 목표 모델에 넘깁니다. 목표 모델은 후보가 주어진 상태에서 각 위치의 다음 토큰 확률을 병렬로 계산할 수 있습니다. 검증을 통과한 부분이 길수록 한 번의 실행으로 더 많이 진행합니다.

이 방법을 제시한 Fast Inference from Transformers via Speculative Decoding은 보조 모델의 예측과 목표 모델의 검증을 결합해 순차적인 대형 모델 호출을 줄입니다. 후보는 최종 답변으로 확정된 내용이 아닙니다. 목표 모델의 기준에 맞는 부분만 받아들이고, 거절된 지점에서는 정해진 보정 절차에 따라 토큰을 다시 선택합니다. 앞부분이 바뀌면 그 뒤에 이어질 내용도 달라질 수 있으므로, 거절 이후의 후보를 그대로 확정해서는 안 됩니다.

가령 보조 모델이 후보 네 개를 제시했고 앞의 세 개만 받아들여졌다고 가정해 보겠습니다. 시스템은 세 개까지 진행하고 다음 지점에서 목표 모델의 검증 결과를 반영해 이어갑니다. 여기서 네 개라는 수는 동작을 설명하기 위한 예시입니다. 실제 후보 길이는 구현과 설정에 따라 고정되거나 조절될 수 있습니다. 후보를 많이 만든다고 항상 유리하지는 않습니다. 받아들여지지 않을 부분까지 길게 계산하면 그만큼 보조 모델의 작업이 낭비됩니다.

같은 확률 분포와 같은 문장은 다르다

정확한 추측 샘플링에서는 후보를 받아들이는 확률과 거절 뒤의 재선택 규칙을 함께 설계합니다. Accelerating Large Language Model Decoding with Speculative Sampling은 수정된 거절 샘플링으로 하드웨어 수치 정밀도 범위에서 목표 모델의 출력 분포를 보존한다고 설명합니다. 보조 모델이 자주 고르는 단어가 최종 답변에 과도하게 남지 않도록 보정하는 과정입니다. 보조 모델의 답을 목표 모델이 대충 검토하는 방식과는 다릅니다.

출력 분포를 보존한다는 말은 확률적으로 어떤 출력이 얼마나 자주 나오는지를 유지한다는 뜻입니다. 샘플링을 사용하는 개별 실행에서 매번 같은 문장이 나온다는 보장은 아닙니다. 생성 방식, 난수 사용, 수치 정밀도와 구현 조건을 함께 봐야 합니다. 또한 목표 모델의 분포를 유지해도 그 모델의 환각이나 지식 오류가 사라지지는 않습니다. 생성 속도를 바꾸는 원리와 답변 내용이 사실인지 판단하는 문제는 구분해야 합니다.

추측 디코딩이라는 이름 아래 분포 보존 조건을 완화한 변형도 있습니다. Hugging Face의 보조 디코딩 문서는 목표 모델과 보조 모델의 분포를 섞어 검증하는 선택지를 일반적인 분포 보존 방식과 구분합니다. 따라서 “추측 디코딩을 썼으니 원래 모델과 품질이 완전히 같다”고만 설명하면 부족합니다. 어떤 검증 알고리즘을 사용했고, 목표 분포를 그대로 유지하는 설정인지까지 확인해야 합니다.

지식 증류나 모델 라우팅과도 역할이 다릅니다. 지식 증류는 큰 모델의 신호로 다른 모델을 학습시키는 과정입니다. 모델 라우팅은 요청을 처리할 모델을 선택합니다. 추측 디코딩은 선택된 목표 모델의 생성 과정 안에서 후보 제안과 검증을 나눕니다. 보조 모델이 있다는 이유만으로 작은 모델이 전체 요청을 대신 처리한다고 이해하면, 목표 모델이 최종 분포를 결정하는 역할을 놓치게 됩니다.

빨라지는 조건과 구현 차이를 살핀다

실제 이득은 보조 모델이 얼마나 빠르고 후보가 얼마나 자주 받아들여지는지에 달려 있습니다. 목표 모델과 예측 성향이 너무 다르면 거절이 늘어나고, 보조 모델 자체가 무거우면 후보를 만드는 시간도 커집니다. 짧은 답변에서는 준비 비용의 비중이 클 수 있습니다. 논문이나 제품이 제시한 배속을 다른 모델, 하드웨어, 요청 길이에 그대로 적용하지 말고 실제 사용 조건에서 판단해야 합니다.

Hugging Face의 보조 생성 원리 설명은 큰 모델의 가중치를 계산 장치로 읽어 오는 메모리 대역폭이 지연의 원인이 되는 상황을 다룹니다. 한 번 읽어 온 가중치로 여러 후보를 확인하면 이런 조건에서 이득을 얻을 수 있습니다. 그렇다고 계산해야 할 연산의 총량이 반드시 줄어드는 것은 아닙니다. 보조 모델 실행과 거절된 후보 계산이 더해질 수 있으므로, 응답 지연 감소와 총 연산량 감소를 같은 의미로 쓰면 안 됩니다.

보조 모델을 따로 쓰면 모델 가중치와 캐시를 위한 메모리가 추가로 필요할 수 있습니다. 같은 모델의 중간 층에서 후보를 만드는 자기 추측 디코딩 같은 방식은 자원을 공유할 수 있지만, 이를 지원하는 학습과 구현이 필요합니다. Hugging Face 문서는 토크나이저가 다른 두 모델을 연결하는 방법도 별도로 설명합니다. 따라서 “반드시 같은 토크나이저가 필요하다”거나 “어떤 작은 모델이든 바로 연결된다”는 설명 모두 지원 방식과 조건을 빠뜨린 것입니다.

운영에서는 사용자가 답을 받기까지의 시간과 서버가 여러 요청을 처리하는 양을 나누어 봅니다. 한 요청의 생성이 빨라져도 추가 메모리 때문에 동시에 처리할 요청 수가 줄 수 있습니다. 후보 수락률, 출력 길이, 메모리 사용량, 처리량을 함께 살펴야 실제 이득을 알 수 있습니다. 추측 디코딩은 목표 모델의 생성 지연을 줄이는 선택지이며, 얼마나 빨라지는지는 실행 조건에 따라 달라집니다.