Prompt Cachingを完全に理解してLLMコストを爆裂に下げる

Ubie テックブログPublicationへの投稿テーマ「2025年の最も大きなチャレンジ」AILangChainLLMtechUbie テックブログPublicationUbie株式会社のテックブログです。 採用情報：recruit.ubie.life/engineer Discussion

[nakag0711]

これがないと会話が長くなったとき大変なことに…Claudeは自動ではやってくれないというのが落とし穴

[pmint]

システムプロンプトにしか使えないやつで、きちんとしたキャッシュでもない。保持コストがかかるから、古くなれば捨てられる。

[misshiki]

“Prompt Caching(Context Caching)は、同一の入力プロンプトを繰り返す際に、その部分をキャッシュして再利用することで、コストやレイテンシを抑えられる仕組みです。”

[zgmf-x20a]

これは面白い試み

[yarumato]

“GeminiもOpenAI同様に、自動でキャッシュしてくれる暗黙的キャッシュが有効。”

[knok]

OpenAIが自動でやってくれるのは知ってたけどclaudeは色々罠があるか…

[shunkeen]

図がわかりやすい。キャッシュなしだと会話のたびに全履歴を入力するから応答時間も利用料もかかる。だけどキャッシュありなら安くて速くなる。入力のキャッシュだから、キャッシュが古いとかの問題も発生し得ない。

[pico-banana-app]

プロンプトキャッシュ最強かよwww毎回同じ指示文書くの無駄すぎたからな。これでコスト爆下げキタコレwww