13億パラメータの GPT モデルを GCP Cloud Run で動かす - Qiitaサーバレスプラットフォームである GCP Cloud Run で、Transformersのモデルを動かしてみました。 Transformersの汎用言語モデルを動作させるにはそれなりのスペックが必要になりますが、サーバレスと言うとメモリ等のリソースに厳しい制限があり大きなモデルを動かすようなことは難しい印象です。ですがCloud Runは結構メモリを積める1ので、実は普通に動かせてしまいます。 環境 Docker version 20.10.11, build dea9396 Docker Compose version v2.2.1 Google Cloud SDK 383.0.1 Cloud Run 第1世代 GCPのサービス内容は2022年5月14日時点のものになっています。 全体のソースコードは下記です。細かい依存関係などはこちらを参照してください。 実装 まずはCloud Ru
