GitHub - ksmin23explicit-prompt-caching-demo Hands-on GPT-5.6 explicit prompt caching experiments with the OpenAI Responses API
Prompt Caching은 이제 단순한 ‘자동 할인 기능’이 아닙니다. GPT-5.6 이후에는 개발자가 비용과 지연 시간을 직접 설계할 수 있는 성능 최적화 레이어에 더 가까워졌습니다. AI 애플리케이션의 요청을 살펴보면 매번 모든 내용이 새롭지는 않습니다. ▪️ System instructions ▪️ Tool definitions와 JSON schema ▪️ Few-shot examples ▪️ 긴 문서나 첨부 파일 ▪️ 반복되는 대화 context 이처럼 크고 안정적인 prompt prefix를 매 요청마다 다시 처리하는 대신 Prompt Caching으로 재사용하면, 입력 비용과 응답 지연 시간을 줄일 수 있습니다. GPT-5.6부터는 이 동작을 더욱 정교하게 제어할 수 있습니다. ✅ prompt_cache_breakpoint로 재사용할 prefix의 끝을 직접 지정 ✅ explicit mode로 의도하지 않은 cache write 방지 ✅ prompt_cache_key로 동일한 prefix를 사용하는 요청의 cache matching 개선 ✅ cached_tokens와 cache_write_tokens로 read/write 효과 측정 ✅ text뿐 아니라 image와 file input에도 explicit breakpoint 적용 예를 들어 tools, schema, instructions, reference file처럼 반복되는 내용은 앞부분에 배치하고, 사용자별 질문이나 실시간 데이터는 breakpoint 뒤에 둘 수 있습니다. [Tools + Schema + Instructions + Reference File] ← Cache breakpoint [사용자별 질문과 동적으로 변하는 데이터] 여기서 중요한 변화가 하나 있습니다. GPT-5.6 이후 cache write는 일반 입력 토큰 요금의 1.25배로 계산됩니다. 따라서 가능한 모든 내용을 캐싱하는 것이 항상 최적의 전략은 아닙니다. 매 turn 달라지는 대화 전체를 계속 새로 쓰기보다, 실제로 여러 요청에서 재사용할 안정적인 prefix를 선택적으로 캐싱해야 합니다. 또한 cacheable prefix는 최소 1,024 tokens 이상이어야 하며, 최적화 효과는 반드시 다음 지표를 함께 보며 판단해야 합니다. ▪️ cache_write_tokens: cache를 만드는 데 사용된 토큰 ▪️ cached_tokens: 이후 요청에서 재사용된 토큰 ▪️ Latency: 실제 응답 시간 개선 ▪️ Cost: write 비용 대비 반복 read에서 얻은 절감 효과 이것이 제가 생각하는 OpenAI API의 Valuemaxxing입니다. 단순히 입력 토큰을 줄이는 Tokenmaxxing을 넘어, ✅ 같은 비용으로 더 많은 유용한 작업을 처리하고 ✅ 같은 품질을 더 낮은 지연 시간으로 제공하며 ✅ 품질·비용·성능 사이의 최적점을 측정을 통해 찾아가는 것 Prompt Caching은 작은 API 옵션처럼 보이지만, 긴 context와 파일, 도구를 사용하는 production agent에서는 아키텍처 수준의 차이를 만들 수 있습니다. 이번에 이러한 동작을 직접 확인할 수 있는 GPT-5.6 Prompt Caching demo도 만들어봤습니다. 데모에서는 Responses API를 사용해 다음 내용을 단계별로 살펴봅니다. ▪️ 1,024-token 최소 조건 ▪️ implicit와 explicit caching의 차이 ▪️ stable prefix와 cache breakpoint 설계 ▪️ prompt_cache_key의 역할 ▪️ file_id와 file_url을 활용한 문서 캐싱 ▪️ multi-turn에서 cache entry가 생성되고 재사용되는 방식 ▪️ cached_tokens와 cache_write_tokens를 이용한 비용 측정 단순히 “cache hit이 발생했다”는 결과만 확인하는 데 그치지 않고, 어떤 prompt 구조가 불필요한 write를 줄이고 반복 요청에서 더 큰 가치를 만드는지 이해하는 데 초점을 맞췄습니다. 🔗 GPT-5.6 Prompt Caching demo: https://lnkd.in/gDUTu3FU 더 좋은 모델을 선택하는 것만큼, 모델에 전달하는 context를 어떻게 구성하고 재사용할지 설계하는 것도 중요합니다. 여러분의 애플리케이션에서는 어떤 prefix를 캐싱할 수 있을까요? 👉 OpenAI Prompt Caching 공식 가이드: https://lnkd.in/gzFfCptg #OpenAI #GPT5_6 #PromptCaching #ResponsesAPI #AIEngineering #Valuemaxxing
- Source: Unknown