양자화

양자화(Quantization)는 AI 모델의 가중치, 활성값, 때로는 KV 캐시를 더 적은 비트로 표현해 저장 공간과 메모리 이동량을 줄이는 최적화 기법입니다. FP32나 FP16 값의 범위를 INT8, INT4 같은 제한된 값으로 근사하므로 모델을 더 작은 장비에 올릴 수 있지만, 어떤 값을 낮은 정밀도로 바꾸는지와 실행 커널이 무엇인지에 따라 품질과 속도가 달라집니다.

무엇을 몇 비트로 바꾸는지 봅니다

가중치 양자화는 모델 파일과 추론 중 상주 메모리를 줄이는 가장 흔한 방식입니다. 4비트 가중치는 이상적으로 값 하나당 4비트를 쓰지만, 실제 파일에는 스케일, 영점, 블록 메타데이터와 일부 높은 정밀도 텐서가 더해집니다. 그래서 표시된 "4비트"를 전체 모델 크기가 정확히 4분의 1이라는 뜻으로 읽으면 안 됩니다.

활성값은 입력이 각 층을 통과하며 생기는 중간 계산값입니다. 가중치만 양자화하고 활성값은 부동소수점으로 둘 수 있으며, 반대로 가중치와 활성값 모두를 낮은 비트로 바꾸는 방식도 있습니다. 긴 대화를 생성하는 언어 모델에서는 이전 토큰의 키와 값을 저장하는 KV 캐시가 커질 수 있어, 이 캐시를 양자화하는 설계도 별도로 검토합니다. Hugging Face의 양자화 개념 안내는 가중치와 활성값을 낮은 정밀도로 표현하는 원리와 4비트 가중치 패킹을 설명합니다.

초보자는 사진을 제한된 색 수로 저장하는 경우를 떠올리면 이해하기 쉽습니다. 색 수를 줄이면 파일은 작아지지만, 세밀한 색 차이는 같은 값으로 뭉칠 수 있습니다. 모델도 작은 수치 차이가 사라질 수 있으므로, 비트 수만이 아니라 행렬별 범위와 스케일을 어떻게 잡는지가 중요합니다.

PTQ와 QAT의 선택 조건이 다릅니다

훈련 후 양자화(PTQ, Post-Training Quantization)는 이미 학습된 모델을 변환하거나 보정 데이터로 범위를 측정해 양자화하는 방법입니다. 추가 훈련이 적거나 없어서 적용이 빠르지만, 낮은 비트에서 오차가 커지면 품질 저하를 회복할 기회가 적습니다. 새 모델을 빠르게 배포해야 하고 목표 과제의 평가에서 손실이 허용 범위라면 먼저 검토할 수 있습니다.

양자화 인식 훈련(QAT, Quantization-Aware Training)은 학습 중 가중치와 필요하면 활성값에 반올림·범위 제한을 흉내 낸 가짜 양자화를 넣습니다. PyTorch의 QAT 설명에 따르면 이 과정은 실제 낮은 비트로 항상 연산하는 것과 다르며, 모델이 예상되는 양자화 오차에 적응하도록 돕습니다. 대신 추가 학습, 데이터, 시간과 메모리가 필요합니다.

예를 들어 PTQ한 고객지원 분류 모델이 짧은 문의에서는 맞지만 숫자가 많은 긴 문의에서 오답을 낸다면, 먼저 어떤 층과 입력 길이에서 오차가 늘어나는지 측정합니다. 더 높은 비트나 혼합 정밀도로 충분하면 QAT까지 갈 필요가 없을 수 있습니다. 요구 정확도가 높고 PTQ 손실이 반복된다면, 목표 장치와 같은 양자화 설정으로 QAT를 평가하는 선택지가 생깁니다.

저장 비트와 속도는 같은 말이 아닙니다

4비트 가중치를 저장해도 실행 중에는 값을 풀어 BF16이나 FP16으로 계산할 수 있습니다. Transformers의 bitsandbytes 문서도 4비트 가중치의 계산 데이터 형식을 별도로 설정합니다. 그래서 낮은 저장 비트는 메모리 절감에는 직접 도움이 되지만, 항상 같은 비율의 연산 속도 향상을 보장하지는 않습니다.

속도는 하드웨어가 해당 비트폭의 행렬 연산을 지원하는지, 패킹을 풀고 다시 양자화하는 비용이 얼마나 되는지, 모델이 메모리 대역폭에 묶였는지에 좌우됩니다. 작은 배치나 짧은 입력에서는 변환 비용이 상대적으로 커질 수 있고, 긴 문맥에서는 KV 캐시와 메모리 이동이 병목이 될 수 있습니다. 같은 모델이라도 CPU, GPU, 모바일 칩에서 측정한 지연 시간과 초당 토큰 수가 다르게 나옵니다.

품질 저하는 비트를 더 낮출수록, 값 분포에 큰 이상치가 있을수록, 긴 문맥이나 수치 계산처럼 작은 차이가 누적될수록 눈에 띌 수 있습니다. 일반 대화 몇 건만 확인하고 배포하지 말고, 실제 언어, 입력 길이, 안전 요구, 숫자·코드·도메인 질문을 포함한 평가 세트에서 원본과 비교해야 합니다. 양자화 방식과 비트 수, 가중치·활성값·KV 캐시의 범위, 실행 장치와 측정 조건을 함께 기록해야 다음 변경도 같은 기준으로 판단할 수 있습니다.