昨年(2022年)12月、画像生成AIのStable Diffusionを利用して、入力したプロンプトに沿った楽曲を自動生成するRiffusionが公開されました。 今回は、Riffusionの仕組みとこれをAUTOMATIC1111版WebUIで利用する方法について説明します。 Riffusionのデモサイトの画面1.Riffusionの仕組み Riffusionは、Seth Forsgren氏とHayk Martiros氏が作成した自動音楽生成AIモデルで、昨年12月にデモサイトが公開され、コード、ウェブアプリ、モデルチェックポイントも公開されています。 以下のデモサイトでは、入力したプロンプトに沿った楽曲をseed値を切り替えながらループ再生してくれます。 Riffusionは、Stable Diffusion(SD)に調整を加えて、プロンプトから関連する楽曲のスペクトログラム(音の
![AUTOMATIC1111版WebUIで自動音楽生成|IT navi|note](https://cdn-ak-scissors.b.st-hatena.com/image/square/f23ce7e68d111789e939b21133182acdafde0fd4/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F94622206%2Frectangle_large_type_2_59772d5658a6c16957ead50cd4392aff.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)