NovelAI Improvements on Stable Diffusion
As part of the development process for our NovelAI Diffusion image generation models, we modified the model architecture of Stable Diffusion and its training process. These changes improved the overall quality of generations and user experience and better suited our use case of enhancing storytelling through image generation. In this blog post, we’d like to give a technical overview of some of the
画像生成AI「Stable Diffusion」で絵柄や構図はそのままで背景や続きを追加する「アウトペインティング」などimg2imgの各Script使い方まとめ
2022年8月に一般公開された画像生成AI「Stable Diffusion」をユーザーインターフェース(UI)で操作できる「AUTOMATIC1111版Stable Diffusion web UI」は非常に多機能である上にものすごい勢いで更新されており、Stable DiffusionのUIツールとしては記事作成時点で決定版といえる存在です。そんなAUTOMATIC1111版Stable Diffusion web UIでは、画像から画像を生成できる「img2img」に便利なScriptが用意されているので、実際に使ってみました。 GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI https://github.com/AUTOMATIC1111/stable-diffusion-webui AU
Stable Diffusion メモ(3): 絵の描けない人が顔ガチャを敢行する - jt_noSke's diary
やりたいこと この前の記事で、 jtnoske.hateblo.jp 元絵そのままimg2imgにかけると しかし背景含めて全体が変わってしまうのは不都合が出できそう、画像の指定箇所のみ再度描き直すなんてことができるとたいへん便利になりますなぁ… Photoshopとかで切り抜いてやればうまくいったりするんだろうか? というアイデアが浮かんだので実際にやってみることにした。 元の絵の一部、今回は顔の部分だけを抜き出して、そこだけimg2imgにかけたらどういう結果が得られるか。 やったこと(1) この絵の顔を GIMPで顔だけ抜き出しまして(投げ縄ツールとかウン年ぶりに使った というかGIMP自体ウン年ぶりに使った…) 透過PNGで保存、prompt は前回、前々回とまったく同じでimg2imgをかけます、と次のようなエラーが… RuntimeError: Sizes of tensors
画像生成AI「Stable Diffusion」がLINEのチャットbotに 九工大の学生が作成 日本語にも対応
画像生成AI「Stable Diffusion」を使ったLINEのAIチャットbotサービス「お絵描きばりぐっどくん」が8月28日に公開された。LINE上で文章を送ることで、AIが画像を生成する。英語の他、日本語にも対応している。九州工業大学情報工学部の4年生の西野颯真さん（＠nishino_0719）が作成した。 LINEでbotを「友だち登録」することで利用可能。1日10枚まで画像を生成できる。生成した画像の著作権はStable Diffusionと同様、パブリックドメインとしている。西野さんは「Stable Diffusionを触る上で環境構築のハードルの高さへの課題を感じていて、そこを誰でも気軽に触れるLINEを使って解消できないかなと思った」と作成した経緯を話す。 リクエスト通りに画像を生成するコツについては「明言はできないが、人物の生成は苦手だけど風景の生成は得意などの特徴を把
Stable Diffusion のプロンプトで意味の足し算・引き算をする
TL;DR Stable Diffusion でプロンプトに重みをつけたり、意味の世界で足したり引いたりするよ 例: ピラミッド - エジプト + 日本 = ? 画風をシームレスに変換できるよ seed 変更だと大きく変わってしまうけど、小さい重みで補正かければ構図を維持したまま絵に微調整を加えられるよ 意味の足し算・引き算 Stable Diffusion では、内部的に以下の 2 ステップの処理を行うことでテキストを画像に変換している テキストをベクトル(数の組)に変換する ベクトルを画像に変換する ところで、以下の動画を見てほしい テキストをベクトルにすることで、意味の世界で足し算や引き算が実現できている。 これを Stable Diffusion に応用したらどうなるだろうか[1]。 以下では、プロンプトの計算ができるように機能追加したStable Diffusionを用いる。 機
Stable Diffusionをいらすとやでファインチューニングする
巷で話題のStable Diffusion（以下SD）をファインチューニングする方法が公開されたので、早速やります。
M1 MacBook ProでStable Diffusionを動かすまでのメモ
画像生成AIのStable Diffusionがオープンソースとして公開されましたね。さっそく動かしてみたいなと思って触ってみることにしましたが、手元にあるのはMacBookだけなので、なかなか大変でした。 ありがたいことに、先人がたくさんいるので参考にして環境構築ができました！ たぶんそれなりにすぐにすんなり動かせるようになると思いますけど、今すぐやってみたくてトラブってる人の参考になればと、わりとなぐり書きで恐縮ですが書いておきます。 動作速度とか ちなみに気になる実行速度ですが、自分が使っているのはMacBookPro 14インチモデルの一番スペックが低いやつでして 8コアCPU、14コアGPU、16コアNeural Engine搭載Apple M1 Pro メモリ32GB です。 画像生成中は15〜20GBほどメモリを消費し、5分ほどで画像が6枚生成できます。 学習モデルを取得する
Google Colab で はじめる Stable Diffusion v1.4｜npaka
2. ライセンスの確認以下のモデルカードにアクセスして、ライセンスを確認し、「Access Repository」を押し、「Hugging Face」にログインして（アカウントがない場合は作成）、同意します。 4. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」に「GPU」を選択。 (2) 「Stable Diffusion」のインストール。 # パッケージのインストール !pip install diffusers==0.3.0 transformers scipy ftfy(3) トークン変数の準備。 以下の「<HugginFace Hubのトークン>」の部分に、先程取得したHuggingFace Hubのトークンをコピー&ペーストします。 # トークン変数の準備 YOUR_TOKEN="<H
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
