Cloud RunでGemma 3を動かしてみた - G-gen Tech Blog

G-gen の佐々木です。当記事では、Cloud Run における GPU 利用のユースケースとして、オープン LLM である Gemma 3 を Cloud Run のサービスにデプロイしてみます。 前提知識 Cloud Run サービスの概要 Cloud Run における GPU 利用 Gemma 3 Cloud Run にオープン LLM をデプロイするメリット 利用する Gemma 3 モデルのサイズと配置場所について 事前準備 GPU の割り当て増加 シェル変数の設定 Artifact Registry リポジトリの作成 サービスのデプロイ Dockerfile の準備 コンテナイメージのビルド サービスのデプロイ 動作確認 プロキシ経由でサービスに接続 curl コマンドによる確認 シェルスクリプトによるストリーミング出力の処理 スクリプトの内容 シェルスクリプトの実行 前提知