エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Claudeのprompt cachingを活用する - Algomatic Tech Blog
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Claudeのprompt cachingを活用する - Algomatic Tech Blog
LLM APIの最強の一角であるAnthropic Claudeにprompt cachingが実装されました。簡単に言うとプロンプト... LLM APIの最強の一角であるAnthropic Claudeにprompt cachingが実装されました。簡単に言うとプロンプトの先頭から指定の位置までをキャッシュしてくれて、キャッシュを利用できた場合はAPI使用料金と、APIでかかる処理時間が大幅に改善するというものです。 キャッシュ書き込みではコストが1.25倍(つまり25%アップ)になってしまいますが、キャッシュ読み込みではコストが1/10(ただしHaikuの場合だけは$0.25/1Mtokensが$0.03になるので厳密には違う)になります。 速度に関しても、コストのうち処理時間が支配的なLLMにおいて値段が1/10になることから察する通りの速度がでます。 LLMの使い方に依存するものの、prompt cachingを使いこなせば、少なくない事業インパクトをもたらす事は間違いありません。 Google Geminiにも同様の