FlexGenをGeForce RTX 3070(8GB)で動かす

はじめに いま、私のTwitterのTLはFlexGenの話題でもちきりです。ChatGPTも流行していますが、みなさんつよつよPCを持っている様子なので、動くと分かれば試してみたくなるのだと思います。ええ、わたしもそうです。手持ちのハードウェア（ゲーミングPC程度）で動くことが確認できたので、記事にしておきます。 スペック Core i7 12700K DDR4 64GB Memory GeForce RTX 3070 (8GB) Windows 11(latest) CUDA 11.7 cuDNN 11.x Python 3.10.10 pytorch 1.13.1*cu117 Python 3.11は、pytorchとのバージョンが合わないようです。Pythonとpytorch、CUDAのバージョンの組み合わせは制約があるので、注意する必要があります。 FlexGen セットアップ