Cloud Run が GPU に対応！ -Ollama サンプルアプリをデプロイしてみた-

はじめに こんにちは、クラウドエースの第二開発部に所属している村松です。 入社したての新人エンジニアですが、Google Cloud を使って日々開発に勤しんでいます。 さて、2024年の8月に、Cloud Run の NVIDIA L4 GPU のプレビュー版サポート が公開されました。 Cloud Run が GPU に対応することで、Google の Gemma や Meta の Llama などのオープンモデルを使用したカスタムチャットボットや生成 AI モデルを構築し、オートスケーリング機能によって サービスの高速化 と 費用の削減 を実現できます。 さらに、Cloud Run Functions と組み合わせれば、イベントドリブンな AI 推論 を簡単に行うこともできるようになります。 もちろん、メディア処理や 3D レンダリングなど、多くのコンピューティング処理を必要とするサ

[sh19910711]

2024 / "Cloud Run の NVIDIA L4 GPU のプレビュー / インスタンス1つあたり1つの GPU がサポート / 参考記事では gemma2:9b を使用した場合のコールドスタート時間は 25～30秒 / 起動後の処理は十分高速"