Fastly、生成AIのAPIをインテリジェントにキャッシュ、高速レスポンスとコール回数削減を実現する「AI Accelerator」発表Fastlyは、生成AIへのAPIコールをセマンティックに基づいてインテリジェントにキャッシュすることで、APIコールからの高速なレスポンスとAPIコール回数の低減によるコスト削減などを実現する「Fastly AI Accelerator」を発表しました。 インテリジェントなセマンティックキャッシング 通常のアプリケーションが提供するAPIは、引数と返値が文字列や数値などのデータ型によって決められています。そのため、APIキャッシュのアルゴリズムにおいて引数が一致しているかどうかを判断し、一致している場合にはキャッシュ済みの返値を高速に返す、といった処理はそれほど複雑なものではありません。 一方で、最近登場した生成AIにおいては、プロンプトが自然言語で記述されるため、ほとんど同じ内容であったとしてもさまざまな表記や表現が可能なため、プロンプトが過去のプロンプトと完全に一致することは期待でき
