Algomatic Tech Blog

こんにちは。NEO(x) の宮脇（@catshun_）です。 本記事はなつやすみ特集として、これから LLM プロダクトを開発する方に向けて『LLMプロダクト開発のことはじめ』をテーマとした 5分で読める コラムを紹介します🌻 ゆるく書くつもりなので、役に立つかどうかは分かりません 🙏 続きを読む LLM APIの最強の一角であるAnthropic Claudeにprompt cachingが実装されました。簡単に言うとプロンプトの先頭から指定の位置までをキャッシュしてくれて、キャッシュを利用できた場合はAPI使用料金と、APIでかかる処理時間が大幅に改善するというものです。 キャッシュ書き込みではコストが1.25倍（つまり25%アップ）になってしまいますが、キャッシュ読み込みではコストが1/10（ただしHaikuの場合だけは$0.25/1Mtokensが$0.03になるので厳密には違