ポーズ指定ができるControlNetをAUTOMATIC1111版WebUIで使う方法｜IT navi
2月10日に、人物のポーズを指定してAIイラストの生成ができるControlNetの論文が発表され、すぐにStable Diffusion用のモデルがGitHubで公開されて、ネットで話題になっています。 今回、このControlNetをWebUIに導入して使用する方法を紹介します。 (2023/03/09追記）WD 1.5 Beta 2用のControlNetの使用方法を追加しました。 (2023/04/18追記）WebUI用ControlNet 1.1のColabノートへのリンクを追加しました。 １．ControlNetの概要 ControlNetは、入力画像の構造を維持したまま別の画像に変換することができる画像生成AI技術です。 例えば、棒人間のような3Dモデルを使用して、キャラクターのポーズや構図を指定したイラストを生成したり、入力画像から輪郭線、深度、セグメンテーションなどの情報
Google Colab で はじめる Waifu Diffusion v1.2｜npaka
「Waifu Diffusion v1.2」が二次元キャラの画像生成が得意らしいということで試してみました。 ・Diffusers v0.3.0 ・Waifu Diffusion v1.2 【最新版の情報は以下で紹介】 1. Waifu Diffusion v1.2「Waifu Diffusion v1.2」は、「Stable Diffusion」を二次元イラストのデータセットでファインチューニングして作られた画像生成AIです。Danbooruの画像で学習しています。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install diffusers==0.3.0 transformers
Stable Diffusion メモ(3): 絵の描けない人が顔ガチャを敢行する - jt_noSke's diary
やりたいこと この前の記事で、 jtnoske.hateblo.jp 元絵そのままimg2imgにかけると しかし背景含めて全体が変わってしまうのは不都合が出できそう、画像の指定箇所のみ再度描き直すなんてことができるとたいへん便利になりますなぁ… Photoshopとかで切り抜いてやればうまくいったりするんだろうか? というアイデアが浮かんだので実際にやってみることにした。 元の絵の一部、今回は顔の部分だけを抜き出して、そこだけimg2imgにかけたらどういう結果が得られるか。 やったこと(1) この絵の顔を GIMPで顔だけ抜き出しまして(投げ縄ツールとかウン年ぶりに使った というかGIMP自体ウン年ぶりに使った…) 透過PNGで保存、prompt は前回、前々回とまったく同じでimg2imgをかけます、と次のようなエラーが… RuntimeError: Sizes of tensors
Stable Diffusion メモ(2): 絵の描けない人がimg2imgでいろいろやる - jt_noSke's diary
昨日の続き。 jtnoske.hateblo.jp やはり構図を決めるにはimg2imgや、と思い立つ promptとキャンバス縦横比とかで構図のコントロールに挑戦したけど、いやこりゃ無理だわやっぱ構図を自分で決めるならimg2imgでいろいろ指定してやらないといかんのだろな、ということでimg2imgを導入する。 導入 導入方法は各所で上がっていますが、自分は↓のコードをコピペして、 github.com ↓ のコードを参考に実行をしました。 www.12-technology.com Hな方々は↓を(トラバ含めて)参照し、safety_checkerを切りましょう。変更箇所はStableDiffusionPipelineとほとんど同じです。 anond.hatelabo.jp 絵が描けないので img2img(1): 全身立ち絵 絵を用意しよう、なんだけどどう用意するか。 まず思いつい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
