프롬프트 캐싱

프롬프트 캐싱(Prompt Caching)은 동일한 시스템 프롬프트나 긴 컨텍스트가 반복될 때, 그 처리 결과를 임시로 저장해 두었다가 이후 요청에서 재사용하는 기술입니다. LLM 서비스 제공자가 서버 측에서 처리하며, 호출 비용과 응답 지연 시간을 동시에 줄여 줍니다.

LLM API를 실제 서비스에 적용하면 매 요청마다 같은 시스템 프롬프트가 전송됩니다. 예를 들어 고객 지원 챗봇이라면 수백 줄에 달하는 지침과 회사 정책 문서를 매번 모델에 입력해야 합니다. 프롬프트 캐싱이 없으면 이 입력 토큰 전체가 매 호출마다 요금으로 청구됩니다.

Anthropic은 Claude API에서 프롬프트 캐싱을 공식 지원합니다. 캐시할 위치를 cache_control 파라미터로 지정하면, 해당 블록이 캐시 히트 시 캐시 읽기 토큰으로 처리됩니다. 캐시 읽기 비용은 일반 입력 토큰 대비 최대 90% 저렴하며, 응답 시간도 최대 85% 단축됩니다.

프롬프트 캐싱이 실무에서 의미 있는 이유는 비용 절감 효과가 매우 구체적이기 때문입니다. 예를 들어 5,000 토큰짜리 시스템 프롬프트를 하루 1,000번 호출하는 서비스가 있다고 하면, 캐싱 없이는 매일 5,000,000 토큰 분량의 입력 비용이 청구됩니다. 캐싱을 적용하면 첫 호출에서만 정규 비용이 발생하고, 이후 캐시 히트 시에는 90% 할인된 요금이 적용됩니다. 하루 단위로도 수십 달러 규모의 절감이 가능하며, 대규모 서비스에서는 그 효과가 훨씬 큽니다.

캐싱이 특히 유용한 패턴은 세 가지입니다. 첫 번째는 긴 시스템 프롬프트 반복 사용입니다. 회사 정책, 제품 카탈로그, 지식베이스 등을 시스템 프롬프트에 포함하는 경우가 대표적입니다. 두 번째는 문서 분석 반복 요청입니다. 같은 PDF나 긴 문서를 여러 각도에서 질문할 때, 문서 내용을 캐시해두면 매번 재처리하지 않아도 됩니다. 세 번째는 멀티턴 대화 유지입니다. 대화 히스토리가 쌓일수록 입력 토큰이 늘어나는데, 캐싱으로 이 비용을 절감할 수 있습니다.

캐싱의 한계와 주의 사항도 있습니다. Claude API의 경우 캐시 유효 기간은 기본 5분이며, 캐시 미스 시에는 처음 처리 비용 외에 별도의 캐시 쓰기 비용이 추가 청구됩니다. 또한 캐시되는 내용은 프롬프트의 앞부분부터 지정된 위치까지이며, 변동되는 사용자 입력 부분은 캐시되지 않습니다. 따라서 자주 변하는 내용을 시스템 프롬프트 앞부분에 두면 캐시 효과가 감소합니다. 캐시 효율을 높이려면 변하지 않는 내용을 앞에 배치하고 변하는 내용을 뒤에 두는 구조로 프롬프트를 설계해야 합니다.

Anthropic 외에도 OpenAI와 Google도 유사한 캐싱 기능을 지원합니다. OpenAI API는 자동 프롬프트 캐싱을 지원하며 캐시 히트 시 50% 할인을 제공합니다. Google Gemini API 역시 Context Caching 기능을 통해 긴 컨텍스트 반복 처리 비용을 줄여 줍니다. 프롬프트 캐싱은 이제 LLM API 생태계 전반에서 표준적인 비용 절감 도구로 자리잡고 있습니다.

프롬프트 캐싱은 단순한 비용 절감 기법을 넘어 새로운 애플리케이션 설계 방식을 가능하게 합니다. 캐싱이 없었다면 경제적으로 구현하기 어려웠던 긴 컨텍스트 기반 서비스를 현실적인 비용 구조로 만들 수 있습니다. 예를 들어 수천 페이지 분량의 법률 문서나 기술 매뉴얼을 항상 컨텍스트에 유지하면서 질문에 답하는 서비스, 혹은 고객별 상세한 프로필과 이력을 항상 시스템 프롬프트에 포함하는 개인화 서비스가 가능해집니다.

프롬프트 캐싱을 도입할 때 고려해야 할 실무 체크리스트가 있습니다. 우선 현재 서비스에서 반복되는 긴 입력 패턴이 있는지 파악합니다. 시스템 프롬프트가 1,000 토큰 이상이고 하루 수백 건 이상의 API 호출이 발생한다면 캐싱 도입 효과가 즉각적입니다. 다음으로 프롬프트 구조를 캐싱 친화적으로 재설계합니다. 변하지 않는 컨텍스트를 앞에, 사용자 입력처럼 매번 바뀌는 내용을 뒤에 배치하는 방식입니다. 결국 프롬프트 캐싱은 LLM 기반 서비스를 운영 비용 측면에서 지속 가능하게 만드는 핵심 최적화 도구 중 하나입니다.