Temperature

Temperature(온도)는 LLM이 다음 토큰을 선택할 때의 무작위성을 조절하는 하이퍼파라미터입니다. 값이 0에 가까울수록 가장 확률 높은 토큰을 선택해 결정적(deterministic) 출력을 만들고, 1 이상이면 낮은 확률의 토큰도 선택될 가능성이 높아져 더 창의적이고 다양한 출력이 나옵니다.

Temperature가 동작하는 원리는 소프트맥스(softmax) 함수에 temperature 값을 나누는 방식입니다. 값이 낮으면 확률 분포가 가장 높은 토큰에 집중되고, 값이 높으면 분포가 평탄해져 다양한 토큰이 선택됩니다. API를 호출할 때 일반적으로 정확성이 중요한 코드 생성·사실 질의에는 0~0.3, 창의적 글쓰기·브레인스토밍에는 0.7~1.2를 권장합니다.

Claude Opus 4.6의 기본 temperature는 약 1.0이며, API 호출 시 0~1 범위에서 조정할 수 있습니다. GPT-5.4와 Gemini 3.1 Pro도 동일한 파라미터를 지원합니다. Top-p(핵 샘플링)와 함께 사용하면 출력 다양성을 더 세밀하게 제어할 수 있지만, 두 파라미터를 동시에 극단값으로 설정하면 품질이 저하될 수 있습니다.

Temperature를 올바르게 사용하려면 작업의 성격을 먼저 파악해야 합니다. 단 하나의 정답이 있는 작업에는 낮은 temperature가 적합합니다. 예를 들어 수학 계산, SQL 쿼리 작성, 코드 버그 수정 같은 작업은 temperature를 0이나 0.1로 설정하면 항상 가장 신뢰도 높은 답변을 얻을 수 있습니다. 반면 창의성이 필요한 작업에는 높은 temperature가 더 적합합니다. 마케팅 카피 작성, 소설 대화문 생성, 아이디어 브레인스토밍 등에서는 0.8~1.2 범위가 예상치 못한 흥미로운 결과를 만들어 냅니다.

Temperature와 자주 혼동하는 파라미터가 Top-p(핵 샘플링)입니다. Top-p는 누적 확률이 p에 도달할 때까지의 토큰 집합에서만 선택하는 방식입니다. temperature가 전체 분포의 '온도'를 바꾼다면, top-p는 후보 집합의 크기를 제한합니다. 두 파라미터는 독립적으로 작용하며, 일반적으로 하나만 조정하는 것을 권장합니다. 두 값을 동시에 극단으로 설정하면 출력 품질이 크게 불안정해질 수 있습니다.

흔한 오해는 temperature를 높이면 AI가 '더 스마트해진다'는 생각입니다. 사실은 그 반대입니다. Temperature를 높이면 더 다양하고 예측 불가능한 답변이 나오지만, 정확도와 일관성은 낮아질 수 있습니다. '더 스마트한 AI'를 원한다면 temperature보다는 더 나은 모델을 선택하거나 프롬프트를 개선하는 것이 올바른 접근입니다. Temperature는 창의성과 정확성 사이의 균형을 맞추는 조절 도구일 뿐입니다.

실무 팁으로는, 동일한 프롬프트에 대해 여러 temperature 값으로 실험해 보고 결과를 비교하는 것을 권장합니다. 특히 프로덕션 환경에서는 temperature를 고정값으로 설정하고 재현 가능성을 높이는 것이 중요합니다. A/B 테스트를 통해 사용자 만족도와 비용 효율을 함께 고려한 최적 temperature를 찾는 것이 장기적으로 더 나은 서비스 품질로 이어집니다.

Temperature가 0일 때 AI는 항상 같은 결과를 반환할까요? 꼭 그렇지는 않습니다. 내부 부동소수점 연산의 미세한 차이나 병렬 처리 순서 때문에 완전히 동일한 출력이 보장되지 않을 수 있습니다. 완전한 재현성이 필요하다면 temperature 외에도 시드(seed) 값을 고정하는 옵션을 함께 사용해야 합니다. Anthropic API와 OpenAI API 모두 seed 파라미터를 지원하며, 같은 seed와 temperature 조합이면 동일한 결과가 나올 가능성이 높아집니다.

Temperature 설정은 비즈니스 맥락에 따라 크게 달라집니다. 고객 서비스 챗봇처럼 정확하고 일관된 답변이 중요한 서비스는 temperature를 0.1~0.3으로 낮게 유지합니다. 반면 콘텐츠 생성 도구처럼 매번 새로운 아이디어나 다양한 표현이 필요한 서비스는 0.8~1.0을 사용합니다. 교육 서비스에서는 개념 설명은 낮은 temperature로 정확성을 유지하고, 예시 생성은 높은 temperature로 다양한 사례를 만드는 혼합 전략을 씁니다.

마지막으로 temperature를 조정할 때 주의해야 할 점은, 이 파라미터가 모델의 지식이나 능력 자체를 바꾸지는 않는다는 것입니다. Temperature는 이미 학습된 모델이 가진 확률 분포에서 어떻게 샘플링할지를 바꿀 뿐입니다. 모델이 모르는 정보는 temperature를 아무리 높여도 생성되지 않습니다. 높은 temperature에서 나오는 '창의적인 답변'이 사실과 다른 내용을 포함할 위험도 높아지므로, 사실 정확도가 중요한 분야에서는 낮은 temperature를 유지하고 별도의 검증 단계를 두는 것이 안전합니다.