Stable DiffusionのLoRAのつくりかた｜RedRayz
はじめにこの記事は、初めてStable DiffusionのLoRAを作成する方に向けた解説です。わかりづらかったらすみません。 この解説ではSDXLベースのAnimagine-XL-3.1で二次元イラストのキャラクターのLoRAを作成します。 注意すでにWebUIの環境構築と生成ができていて生成に慣れている前提のガイドとなります。 Windows向けのガイドです。 また、NVIDIAのGeForce RTXグラフィックボード(VRAM 8GB以上)が搭載された高性能なパソコンが必要です。 そもそもLoRAってなんぞや？Low-Rank Adaptationが正式名称です。 難しくいうと、ウェイトとデータセットの差分を出力するものです。低ランクの行列に分解してからファインチューンすることで少ないメモリで学習できるようにしたものです。 簡単に言えば、LoRAはキャラ、衣装、シチュエーションや
ControlNet(v1.1)の詳しい解説！輪郭やポーズから思い通りの絵を書かせる【Stable Diffusion】 | 謎の技術研究部
ControlNet(v1.1)の詳しい解説！輪郭やポーズから思い通りの絵を書かせる【Stable Diffusion】 AIイラストはPromptだけだと思い通りのポーズが出せない。そこで既存の線画やポーズから出力をコントロールする手法がControlNet。できるだけ細かいところまで設定を見ていく。 ControlNetがv1.1にアップデートされたため随時記事更新中！推定モデルの解説はほぼ網羅(一部あまり使われてないと思われるものは掲載していない) かなり頻繁に更新しているため、履歴を最下部に掲載 最終更新時のControlNetのバージョン：1.1.201 はじめに この記事はStable DiffusionのExtensionであるControlNetのより深い解説を目指す。 なにをするもの？ 今まで殆ど運任せだった画像生成だが、ControlNetを使うことである程度ユーザーが
【Stable Diffusion】美少女イラスト生成におすすめのモデルデータまとめ40選＋α【実写（フォトリアル）・2.5D・アニメイラスト】
モデルデータに関するFAQモデルデータを使う際によくありそうな疑問をまとめていきます。 モデルデータってどこからダウンロードするの?基本的にCivitaiかHugging Faceの2択です。 これ以外の場所で入手できるモデルデータは、公式のものではないことがほとんどなので注意してください。 色々種類があるけど、どれをダウンロードすればいいの?基本的には1番バージョンが新しく、最も容量が大きいものをダウンロードしておけばOKです。 prunedとモデルデータの名前についているものは、元のモデルデータから不必要と思われる部分を削ってファイルサイズを小さくしているものです。 fp32は単精度浮動小数点演算、fp16は半精度浮動小数点演算を意味していて、学習の際に使われた手法が異なるようです。ただfp32の方が基本的に容量が大きく、モデルによっては2倍程度の差があります。
画像生成AI「StableDiffusion」で得ておくべき知識を身に付けるのに役立つ「SD Toolset」
画像生成AI「Stable Diffusion」はモデルデータが一般公開されているため、自宅のPCで誰でも簡単に動かすことができます。しかし、Stable Diffusionを使って自分が望む通りの画像を生成するためにはさまざまな知識が必要になり、初心者は何から学べばいいのかわからなくなりがち。無償で公開されている「SD Toolset」にはStable Diffusionで得ておくべき知識が単元ごとにわけてまとめられているので、ピンポイントで必要な知識を学ぶことができます。 SD Toolset https://sdtools.org/ SD Toolsetはこんな感じで、左のカラフルな同心円に単元が視覚的にまとめられており、同心円の内側から気になるカテゴリをクリックしていきます。例えば、Stable Diffusionの根幹部分を知りたい場合は、「Core」をクリック。 すると、以下の
Stable Diffusion の仕組みを理解する - ABEJA Tech Blog
この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。 こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。 世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。 自分は元々 Computer Vision 系の機械学習エンジニアだったんですが、この１年くらいは AI モデル開発ではなくもっぱらバックエンド開発メインでやっていて完全に乗り遅れた感あるので、この機会に有名な Diffusion Model の１つである Stable Diffusion v1 について調べてみました！*1 では早速本題に入りたいと思います！ Stable Diffusion v1 とは？ Denoising Diffusion Probabilistic Model（DDPM） 学習時の動作 for
The Illustrated Stable Diffusion
Translations: Chinese, Vietnamese. (V2 Nov 2022: Updated images for more precise description of forward diffusion. A few more images in this version) AI image generation is the most recent AI capability blowing people’s minds (mine included). The ability to create striking visuals from text descriptions has a magical quality to it and points clearly to a shift in how humans create art. The release
図解Stable Diffusion
ジェイ・アラマールのブログより。 AIによる画像生成は、(私を含めて)人々の度肝をぬく最新のAIの能力です。テキストの説明から印象的なビジュアルを作り出す能力は、魔法のような品質を持ち、人間がアートを創造する方法の変化を明確に指し示しています。Stable Diffusionのリリースは、高性能(画質だけでなく、速度や比較的低いリソース/メモリ要件という意味での性能)なモデルを一般の人々に提供することになったのは、この開発における明確なマイルストーンです。 AI画像生成を試してみて、その仕組みが気になり始めた方も多いのではないでしょうか。 ここでは、Stable Diffusionの仕組みについて優しく紹介します。 Stable Diffusionは、様々な使い方ができる汎用性の高いものです。まず、テキストのみからの画像生成(text2img)に焦点を当てます。上の画像は、テキスト入力と生
画像生成AI「Stable Diffusion」がどのような仕組みでテキストから画像を生成するのかを詳しく図解
高精度な画像を生成できることで話題となっている「Stable Diffusion」が、どのように入力されたテキスト(プロンプト)からイラストを生成しているのかについて、機械学習関連のトピックについての解説動画などを投稿しているジェイ・アラマー氏が解説しています。 The Illustrated Stable Diffusion – Jay Alammar – Visualizing machine learning one concept at a time. https://jalammar.github.io/illustrated-stable-diffusion/ アラマー氏は、テキストから印象的な画像を生成するAIの登場が、人間がアートを作成する方法が変わることを示していると主張。Stable Diffusionのリリースにより、比較的安いリソースで使用で誰もが高性能なモデルを使
Stable Diffusionを「いらすとや」で追加学習する - TadaoYamaokaの開発日記
前回、Stable Diffusionをdanbooruデータセットを使用して追加学習することを試した。 今回は、自分でデータセットを作成して追加学習することを試す。 データセットには、画像とキャプションが揃っている必要があり、キャプションがない場合はCLIPで疑似ラベルを生成するなどする必要がある。 今回は、画像に対するキャプションがある「いらすとや」をスクレイピングして、データセットを作成した。 データセット作成 「いらすとや」から全ての画像とキャプションを取得した。 画像に複数バリエーションがある場合は、1つ目の画像のみを使用した。 キャプションは、日本語になっているため、Googleスレッドシートで、「=GOOGLETRANSLATE(XX,"ja","en")」を使って英語に変換を行った。 合計で、22891枚の画像とキャプションのセットが用意できた。 画像サイズ変換 画像は、5
Colabで動かすStableDiffusion実装｜深津 貴之 (fladdict)
自分がつかってる、Google Colab用StableDiffusion環境を公開しました。 海外のWEB UIのが重いのと、やりたいことが微妙に違うので自分なりに作った。公式のDiffuserを使わないので軽いです。無課金のcolabでも動くのではないかと思います。 使い方GitHubページの「Open in Colab」ボタンをおして、colabで開く。 このページ上部のメニューで、「ランタイム > ランタイムのタイプを変更」からGPUを有効化を確認 HuggingFaceでアカウントを作成 StableDiffusionのモデルページで、「利用規約」に合意する。 モデルファイル sd-v1-4.ckpt をダウンロード モデルファイルを Google Drive等にアップロード 下のセル 「1-1. Google Driveとの接続」を実行 下のセル 「1-2. のフォーム」に、G
Google Colab で はじめる Stable Diffusion v1.4 (3) - Textual Inversionによるファインチューニング｜npaka
「Textual Inversion」による「Stable Diffusion」のファインチューニングに挑戦したので、その記録をまとめました。 RAMとGPUのメモリが必要なため「Colab (無料版)」では動きません。 「Colab Pro / Pro+」が必要です。 ・Stable Diffusion v1.4 ・rinongal/textual_inversion 前回 1. Textual Inversionによるファインチューニング「Textual Inversion」は、3～5枚の画像を使って「Stable Diffusion」のファインチューニングを行うことで、オリジナルの画風やキャラクターを追加学習させることができる手法です。 2. 学習用画像の準備ファインチューニングには5枚ほどの学習用画像が必要です。 ・画像サイズ は512×512。 ・Exifで回転してない画像。 ・
画像生成AI「Stable Diffusion」などに作らせたい元画像の雰囲気から「呪文っぽい英文」の候補を検索できる「clip-retrieval」
文章を入力するだけで好みの画像を生成してくれるAI「Stable Diffusion」は、2022年8月に一般公開されて以降大きな注目を集めており、PCに簡単にインストールできるGUIアプリや低スペックPCでも問題なく使える手法などが続々と編み出されています。しかし、Stable Diffusionでは英語の文章を入力する必要があり、英語が苦手な人には取っつきにくく感じます。参考画像から「画像を説明する英文」を簡単に検索できるシステム「clip-retrieval」を使えばStable Diffusionに入力する英文を一発で取得可能なので、使い方をまとめてみました。 GitHub - rom1504/clip-retrieval: Easily compute clip embeddings and build a clip retrieval system with them http
「Stable Diffusionであの構図や雰囲気を再現するには何と書けば良いのか？」が目で見て一発でわかる「The Ai Art」
SNSなどで大きな話題を呼んでいる高精度な画像生成AI「Stable Diffusion」は、入力したテキストを基に画像を生成するため、「呪文」とも呼ばれる適切な文字列を考案することが重要です。しかし、思い描いている理想はあるものの、どんな文字列を入力すればいいのかわからない人も多いはず。そこで、Stable Diffusionで特定の構図や雰囲気を再現するために使える文字列を、画像例を見ながら調べられるウェブサイト「The Ai Art」を使ってみました。 The Ai Art - AI, Art, and everything in between https://www.the-ai-art.com/modifiers 「The Ai Art」にアクセスすると、「Angles(アングル)」の指定に使える文字列が画像と共に一覧表示されました。 「Extreme close-up ang
【公開】Stable Diffusionで美しい女性のポートレートを描くprompt(呪文)を公開するチュートリアル🚀【入門編】
せっかく描くなら美しい女性を描きたい！ Stable Diffusionは歴史上最も重要なAIアートモデルだと言われています。 👆の画像は全てStable Diffusionを使って描いた女性たちです。No Named Womensですが、彼女たちは本当に美しい。 Stable Diffusionにはたくさんの導入記事があり、準備万端！って方が非常に多いと思いますが、いざ描こう！と思ったときに、「何をかけばいいんだろう」と悩む方も多いかと思います。この記事はそんな方の背中を押すために捧げます。 美女。それは美しい女性のことです。 美しい女性には、人を癒す効果があります。 美女に囲まれたら、きっと嬉しいですよね。 いろいろ問題を含むことは承知の上で、AIアート界隈が盛り上がるための火付け役を彼女たちにになっていただこうと思います。きっとこの技術が世界を良い方向に進めてくれると信じて。 今回
【簡単】ローカル環境でStable Diffusionを実行する方法
「精度の高いAIアートをPythonで試したい」 「GoogleのColaboratoryではなく、ローカル環境でStable Diffusionを動かしたい」 このような場合には、この記事の内容が参考になります。 この記事では、ローカル環境で簡単にStable Diffusionを実行する方法を解説しています。 本記事の内容 Stable Diffusionとは？Stable DiffusionをDiffusersで利用する方法学習済みモデルのダウンロード【動作確認】テキストからの画像生成 それでは、上記に沿って解説していきます。 Stable Diffusionとは？ Stable Diffusionとは、オープンソース化された高性能画像生成AIです。 Stable Diffusionを用いると、テキストから画像を出力することが可能となっています。 例えば、「Cyberpunk old
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2023年版】Stable Diffusion モデルまとめ | BLOG CAKE