ControlNetでポーズや構図を指定してAIイラストを生成する方法｜ddPn08

こんにちは。だだっこぱんだです。 今回は、AIイラスト界隈で最近話題のControlNetについて使い方をざっくり紹介していきます。 モチベが続けば随時更新します。 StableDiffusionWebUIのインストール今回はStableDiffusionWebUIの拡張機能のControlNetを使います。 WebUIのインストールに関してはすでにいろんな解説記事や動画があると思うのでそちらをご参照ください。 一応僕が作った簡単にWebUIを起動できるソフトも紹介しておきます（せんでん）

[shunkeen]

この方向での制御性が高まれば高まるほど、下書きや修正した輪郭が描ける技術を持ったクリエイターや、3Dクリエイターが有利になるし、もともとクリエイターだった人の技術が生かせる雰囲気があって良い。

[gnt]

もうボーンから生成できるようになったの……つまりMMDなりからアニメが作れるって話ね…… https://twitter.com/ddPn08/status/1625738998126907396

[timetrain]

これはこれで大変だけど、どんどん進歩しているのはわかる

[puhu208n]

「無人一発生成で絵師を失職させる」が野望だったのに下手な絵描きより理論ヘビーになってて草　間違いなく手で描いたほうが速い

[ET777]

モデルドールから生成できるようになると手先の問題が解決しそう／あと将来的にはやっぱレイヤー分けてほしい

[KoshianX]

おおお、ポーズと構図は主導で指定できるようになったのか! これはまたいろいろと活用できそうだなあ。せっかく M2 Pro の Mac mini 買ったので Web UI 入れるところまでやろうかなあ

[kei_1010]

キャラを変えずにポーズだけを少しずつ変えるデモを見たい

[pwatermark]

俺は使わないけどね、再現性なくなっちゃうんで t2iでガチャやるのが楽しいんだ(目的がおかしくなってる

[wgnr85]

はい、ゲームエンド。ハッキリ言ってControlNetの登場によって、今までの画像生成での複雑な呪文を試行錯誤してガチャ引きまくって何とかするパラダイムは試合終了しました。これからはプロンプトフリーになっ（文字数

[kappaseijin]

絵→棒人間→モデル。

[ywdc]

Twitterでイキリ文書いてた輩の言ってアレか。進化の速度が早いなあ。学習を繰り返すと無理な体制とかも修正されていくんだろうか

[shikiarai]

「お、良いねこれ、じゃあこのキャラを15度だけ向こう向くように直してくれたら納品ってことで」みたいなクソ発注に対応できるってこと？

[samu_i]

漫画からアニメを生成するとかやっていくんだろうか

[auto_chan]

これはゲームエンドだ。深度情報扱えると夢が広がるんじゃよねえ。iPhoneの3Dカメラって深度情報書き出せるのかしら？深度を現実からの採取と2Dソースから推測（の精度あげてけ！）を合体して……ｹﾞﾍﾍﾍﾍﾍ

[securecat]

自分に絵を描きたい欲求がなかったようで絵AIはどれも楽しめなかったんだけど、これなら遊べるかしら？面白そうな気がする！

[enderuku]

はいゲームエンド

[hyam0404]

指が6本あるの怖い

[kaionji]

面白そう

[pikopikopan]

やってみたい

[hhungry]

コントロールネットの使い方

[hatebu_ai]

これ、スカートを鉄壁にする謎特許が組み込まれてる気がする・・・！サブマリン特許かもしれないから気をつけるんだ！（真剣）

[suzuki_kuzilla]

Allen-Bradleyの商標と丸被りしてるのでなんとかしてほしいが ʕ•̫͡•ʕ•̫͡•ʔ•̫͡•ʔ•̫͡•ʕ•̫͡•ʔ•̫͡•ʕ•̫͡•ʕ•̫͡•ʔ•̫͡•ʔ•̫͡•ʕ•̫͡•ʔ•̫͡•ʔ

[mn_kun]

はい、ゲームエンド。

[shira0211tama]

興味深い。これで複数人の絡みとか出せるのかな。デザドはマンガ原稿のアタリにゴリゴリ使ってるから全部をイチから学ばなくて良いハードルの低さがあるなぁと。あとで読む

[mohno]

ひとつのモデルをいじれるというのはすごいな。いつかはできるようになるだろうと思っていたけど、またたく間だな、ホント。作り方次第ではアニメにも応用できる？

[kiyo_hiko]

いいなこれ

[neko2bo]

なるほど、これは良い手段ですね。

[Soraneko]

これめちゃいいな

[tenderfox]

動画作成に繋がりそう

[jamg]

線画に色塗りしてもらうやつ良さそうだった

[ch1248]

ボーンから絵が生成できるのか。

[tuki0918]

通常のポージングだったらmocopiと連携したら強そう

[daichirata]

こういう方向性があるべき未来っぽいよね。例えばラフな下書きに直接日本語でここは樹海っぽいとか鉱山っぽいって書いて読ませたら生成されるとかになってほしい。

[TETOS]

クソ便利。てか、論文出てから改良され簡単に使えるまでが早すぎる。

[pekee-nuee-nuee]

書かれてる内容自体もスゴイんだけど、新しいAIモデルを「良いモデルが出た」ってやりとりしてる感じがなんかめっちゃ未来な〜〜と思った。知らないおじさんに最強AIの入った物理メディアを託される話が実際にくる

[erya]

ポーズとか構図とか指定するのがめんどいからプロンプトベースが便利だったんじゃないんか