自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている!」ということで、試してみることにしました。 追記: 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます(現状、私の環境では動かせてないです)。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。
![自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす](https://cdn-ak-scissors.b.st-hatena.com/image/square/270a79663e1b908b01bd644138cf3e5f3e0714e4/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs---BezXfoo--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%2525E8%252587%2525AA%2525E5%2525AE%252585%2525E3%252581%2525A7%2525E5%25258B%252595%2525E3%252581%25258FChatGPT%2525E3%252581%2525A8%2525E5%252599%252582%2525E3%252581%2525AEFlexGen%2525E3%252582%252592Docker%2525E3%252581%2525A7%2525E6%252589%25258B%2525E8%2525BB%2525BD%2525E3%252581%2525AB%2525E5%25258B%252595%2525E3%252581%25258B%2525E3%252581%252599%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Akaraage0703%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FPaDE0R2hDZEtvakJfZXdDTjNCV1Z0WXIteFNIZ0hmRjlXZmt3QzI5c0Y0aXYwPXMyNTAtYw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)