TensorRTを使ってStableDiffusionを爆速にする

どうもだだっこぱんだです。今までずっとjs,tsとかを触ってましたが、最近はpythonかなり触ってます。 AIなんも知らない人間ですがAIについて書いてみました。 まずは結果を 右は普通の生成方法。Diffusersにattention_slicingを有効にして生成した結果です。 真ん中はxformersを有効にした場合。 左は今から紹介するTensorRTを使用する方法です。 はじめに この記事では、技術関係なんも知らない！っという方向けのColabで試すだけの方法。 ある程度知識がある方向けのWindowsやLinuxで実際に動かす方法の二つを紹介します。 それいじょうのことはぼくはなにもわかりません🫠 Colabでお試し ノートブックを開く 👆のリンクからノートブックのリポジトリにアクセスし、OPEN IN COLABボタンをクリックしてノートブックを開きます。 事前ビルド済

[Imamura]

画像生成が早くなれば、よわよわGPUでも実用的な速度になってさらに裾野が広がりそう

[agricola]

TensorRTはNVIDIA GPUのTensorコアで高速に推論するライブラリだが、今まで使ってなかったの？というのが驚きどころだなー。

[hinonono]

高速化の余地はまだまだあるんだろうね。Emad氏も、5.6秒に1枚から秒間30枚へと高速化する改良をリリース予定とか、いつもの大口を叩いてたし。…一体いつリリースされるんだ、Progressive Distillationサンプラー。