テキストから画像への生成モデルであるStable Diffusionの事前学習モデルを活用して、劣化画像のブラインド画像復元タスク(超解像タスク)を行うDiffBIRというフレームワークが提案されています。サンプルコートも公開されているので早速試してみました。 DiffBIRはBSR(Blind Image Super-Resolution ブラインド画像復元)、およびBFR(Blind Face Restoration 顔画像の復元)の先行研究と比較して優れた結果を示しているとのこと。 DiffBIRパイプライン概要DiffBIRフレームワークは、テキストから画像への拡散モデルを事前学習(prし、画像復元タスクに応用しています。具体的には、以下の2段階のパイプラインを用いています。 ステージ1:劣化を取り除くため自己教師付き学習にて事前学習した「Restoration Module(RM