機械学習エンジニアのマシュー・ル・コショワ氏が作成した「PabloNet」は、秒間100枚以上の画像を生成できる爆速画像生成パイプライン「StreamDiffusion」を使用して、リアルタイムでカメラで捉えたものからAIアートを作成するというシステムです。実際に動作している様子や仕組みについて、コショワ氏が解説しています。 PabloNet https://www.matthieulc.com/posts/pablonet/ 従来の拡散モデルはテキストや画像のプロンプトから画像を生成することには長けているものの、リアルタイムのやりとりでは性能が十分でないことがあります。メタバースやライブビデオストリーミングのような「連続的な入力」を伴うシナリオに対応するために考案された新しいアプローチがStreamDiffusionです。通常の生成AIは、一連のプロンプトが入力されたら読み込み時間を経て