ComfyUI × 動画生成AI × Codex で、ゲーム用スプライトアニメを量産するパイプラインを作った話 - Qiita

こんにちは、Liseと申します。 みなさんはゲームのアセットをAIで作ろうとしたことはあるでしょうか？ X(Twitter)を見ていると怪しげな従量課金のゲームアセット生成サービスがポコポコ流れてくるのですが、ワンショットのアセットならともかく、大量にキャラクターのアセットが欲しい場合にどうも非効率というか向いていないように思えます。お金もかかりますし。 そこで彼らに出来るのなら自分でも作れるはずだと思い、自分で構築してみました、という備忘録です。 結論だけ先に言うと、 「キャラシート1式 → LoRA学習 → ポーズ生成 → 動画AIでモーション化 → 生成AIでドット絵変換 → 透過・正規化」 という完全なパイプラインが ComfyUI 上で組みこむという形になりました。 1キャラあたり7モーション・計58スプライトを、人間の作業は「実行ボタンを押す」「良いコマを選ぶ」だけで納品形式ま

[nikutetu]

こんな真面目な活用方法をやってることがすごいし信じられん。アレを使う用途はもっと…。

[yarumato]

“1キャラあたり7モーション・計58スプライトを、人の作業は「実行ボタンを押す」「良いコマを選ぶ」だけで納品形式まで持っていけます。手順は 「キャラシート1式 → LoRA学習 → ポーズ生成 → 動画AIでモーション化 ”

[enjoymoon2]

この辺進化どんどんするだろうね。手作りのよりクオリティ下がっても、かつてのポリゴンの頃のように最初はこんなもので受け入れられつつ広がるのでは。

[renos]

俺もやりたいんだけど、頭が悪いから全然内容わからんかった😭

[for-my-internet-demo]

こういう世界が

[simplememofast]

非決定で高コストな生成と、決定的な後処理を分離しディスクへ資産化する設計は、ビルドやETLの冪等性・キャッシュ戦略と同型。生成AIもパイプライン工学の作法に収束する

[nguyen-oi]

ドット絵化で解像度を下げてAI特有のブレを誤魔化すアプローチが現実的でかなり面白い