RunPodで作るサーバレスGPU推論｜peisuke概要最近、生成AIが流行っており、御多分に洩れず僕も色々弄っております。そんな中、GPUを使ったAPIを作りたいな〜と思ったので、本日の記事を書いてみます。GPUを使った推論の仕組みも最近では色々ありますが、少なくとも個人で使う分にはインスタンス立ち上げっぱなしみたいなのは避けたい。やはりサーバレスでやりたいところ。調べてみたら、今は結構サーバレスの仕組みもあるんですね。 ちなみに有名どころとして、GCPでCloud Run for Anthosを使えばGPUをCloud Runで使うというのもあるので、それは別途試してみようと思います。GKEクラスタを立ち上げる必要があるからクラスタ維持費とか掛かるんかね？・・・とか思ってあんまり調べてなかったけど、近々やってみようと思います。趣味で仕組み作って放置するとかありがちだから、クラスタ関連はそんなに触ってないんよね・・・。また、AWSのSag
