AIが苦手な「手」を正確に描かせるための拡張機能「Depth map library and poser」の紹介【ControlNet】
の使い方をご紹介するという内容になっています。 Stable Diffusion系のモデルを使って美少女イラスト等を生成している方であれば、キャラクターの手や指がグチャグチャになってしまう問題に悩むことが多いと思います。この問題に関しては今まで多くの解決策が模索されていましたが今一つ決定打と呼べる案がありませんでした。 しかしそんな中で「ControlNet」と呼ばれる新技術が登場し、これを活用して手や指の問題をある程度解決する方法が考案されました。そして先日にはこの方法をStable Diffusion web UIで簡単に使える無料の拡張機能が登場したので、ぜひ情報を共有しておこうと思った次第です。 ここではその拡張機能「Depth map library and poser」について、インストール方法や使い方を解説していきますね。 ※2023/04/17追記： 最新のControlN
機械の目が見たセカイ -コンピュータビジョンがつくるミライ(47) 人物の姿勢推定(1) – OpenPose
人物の姿勢推定(Human pose stimation)は、人の頭部の検出だけでなく、肩、肘、手、腰、膝、足を検出し、人がどのような姿勢を取っているかを推定する技術です。数年前まではDeformable part modelなどの技術が用いられていましたが、近年Deep Learningが用いられるようになり飛躍的に性能が向上しました。最も注目を集めたのが、カーネギーメロン大学のZhe CaoらによってCVPR2017で発表された「Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields」1)が実装されたライブラリであるOpenPoseです。すでにご存知の方も多いと思いますが、知っておくべき技術ですので本連載でも紹介したいと思います。 OpenPoseは、動画像を入力するだけで、画像内の複数人物のポーズをほぼリ
ControlNetの全Preprocessor比較＆解説 用途ごとオススメはどれ？
画像から姿勢・セグメントを抽出し出力画像に反映させるcontrolnetには、姿勢・セグメント認識処理の種類が複数あるため、各Preprocessorの特徴を知ると用途に応じて適切に使い分けることができるようになります。 ControlNet ver1.1に伴い大幅な加筆修正を行いました。 Preprocessorが20以上増加したため、ページが大変長くなってしました。 ここではt2i用モデルのみ実演しています。i2i用のInpaint系はノータッチです。 ご了承ください なお、v1.1用モデルはこちらからダウンロードしてください。 fp16,safetensors版で問題ありません（723MBくらいのやつ) モデル配置場所はこちらです。
ControlNetでポーズや構図を指定してAIイラストを生成する方法｜ddPn08
こんにちは。だだっこぱんだです。 今回は、AIイラスト界隈で最近話題のControlNetについて使い方をざっくり紹介していきます。 モチベが続けば随時更新します。 StableDiffusionWebUIのインストール今回はStableDiffusionWebUIの拡張機能のControlNetを使います。 WebUIのインストールに関してはすでにいろんな解説記事や動画があると思うのでそちらをご参照ください。 一応僕が作った簡単にWebUIを起動できるソフトも紹介しておきます（せんでん）
webui/ControlNet-modules-safetensors at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
lllyasviel/ControlNet-v1-1 at main
"collections.OrderedDict", "torch._utils._rebuild_tensor_v2", "torch.FloatStorage" What is a pickle import?
｢ControlNet｣の導入とその使い方【Stable Diffusion web UI】
「Stable Diffusion（ステーブル・ディフュージョン）」では、プロンプト（呪文）を入力することによってさまざま登場人物を描いてもらうことができます。しかし、プロンプトを入力するだけでは自分の想像と違ったポーズをとった人物の画像が生成されてしまうことが多々あります。
ControlNetを使って構図をコントロールする
またAIの話です。 頻繁に話題にしたいものが次々出てくるくらい、進化のスピードが早いのです…。 今回紹介するのはControlNet。 新しい画像生成のコントロール方法です。 既存の概念で例えるとimage to imageに近いものではあるんだけど、より繊細かつ自由度の高いコントロールが可能になっています。 これにより、今まではPromptでコントロールしていた「構図」や「ポーズ」をもっと簡単にコントロールできるようになり、凝った構図であるにも関わらず、Promptには大したことが書いていない、なんて画像が生成できるようになりました。 これまでのAI絵とは、Promptとパラメータさえわかれば同じ画像を生成できるものでしたが、その時代が終わりました。 これからは自分でベースとなる素材を用意することで、Promptでは再現できないような構図・ポーズ・アングルなどを高い強度で指定することが出
キャラクターの表情を制御できる「MediaPipeFace」の使い方【ControlNet】
をご紹介するという内容になっています。 ControlNetはキャラクターのポーズ等をきっちり指定できて便利なので活用なさっている方も多いかと思います。ただ従来のControlNetの弱みとして表情だけを指定するのが難しいという欠点があり、この点で悩んでいる方もいらっしゃるのではないでしょうか。 しかし最近、そんな欠点を克服できる「MediaPipeFace」が最新のControlNet（v1.1）に実装されたと聞いたので実際に試してみることにしました。 ここではこのMediaPipeFaceについて 概要や導入方法 基本的な使い方 Openpose Faceとの比較結果 といった部分を解説していきますね。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - nonnonstop/sd-webui-3d-open-pose-editor: 3d openpose editor for stable diffusion and controlnet
ControlNet導入&使い方解説 3D人形・実写画像等から姿勢を入力し画像生成 webUI(1111)用
【初心者向け】ControlNetでポーズを真似する方法。
ControlNet - としあきdiffusion Wiki*
「ControlNet 1.1」の新機能まとめ！新しいモデルや改善点を紹介【Stable Diffusion】
デザインドール｜次世代デッサン人形