↓こんなサーフィンの動画を Tune-A-Videoでいらすとや風にすることができました。 また、「サーフィンする宇宙飛行士」のようなプロンプト(テキスト)を与えることで、動画の一部を変化させることもできました。 Tune-A-Videoとは Tune-A-Videoとは機械学習の手法のひとつで、大雑把に言うと、Stable Diffusionのような「テキストから画像を生成する拡散モデル」を使って既存の動画をプロンプト(テキスト)で指定した内容に変化させることができます。 (Tune-A-VideoのGitHubページより引用) 手法 Tune-A-VideoのGitHubで公開されている実装はStable Diffusionに対応していますが、今回はいらすとや風の動画を作りたかったので、通常のモデルの代わりに以前自分が作った「いらすとや風画像生成モデル」を使用しました。 mickey2
![Tune-A-Videoで動画をいらすとや風に変換させてみた話 - ぬいぐるみライフ?](https://cdn-ak-scissors.b.st-hatena.com/image/square/f89a76fd8e865a6d776f902762db6f09739315a6/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fm%2Fmickey24%2F20230204%2F20230204214329.gif)