タグ

ブックマーク / zenn.dev/karaage0703 (1)

  • 自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす

    自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている!」ということで、試してみることにしました。 追記: 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます(現状、私の環境では動かせてないです)。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。

    自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす
  • 1