誰でもわかるStable Diffusion 新バージョン「SDXL」の概要 - 人工知能と親しくなるブログ
Stable Diffusionが登場してもう1年近く経ちます。登場以来、この画像生成AIは世界中にとてつもないインパクトを与えました。 AIはものすごい勢いで進化していますが、Stable Diffusionも例外ではありません。バージョン1からバージョン2にアップグレードし、最近になってさらにアップデートしたバージョン「XL」が登場しました。 今回はこの新バージョンが前バージョンと何が違うのか見てみましょう。 ※私はまだXLを触っていないので、ここで解説する情報ははXLの紹介ページから得たものです。間違いがある場合は教えてください。 Stable Diffusion XLの特徴 Stable Diffusion XLの変更点 Transformerブロックの数が増えた テキストエンコーダーが増えた プロンプトの各トークンのベクトルが大きくなった いろいろな解像度を取り込んだ 「見切れ」
AIアニメの作りかた ComfyUI｜852話
AIアニメの作り方を説明していきます。 ざっくりな説明は上の動画を見ていただければわかるんですが、 少し細かい説明がこの記事になります。 完成物これはワンダープロジェクトJ2というゲームの二次創作アニメですが、30年近く前の作品です。 今回の流れは ・AIの一枚立ち絵を用意する ・AnimateAnyone-Evolvedで骨に沿って動かす ・AAEでつくった画像をControlnetをかけつつAIブラッシュアップ ・AfterEffectsで背景抜き ・AI背景一枚絵を用意する ・Runwayで動かす（ComfyUIでもできるが質がいいし時短になる） ・キャラの後ろに配置、キャラの画像を複製して影にして足元に配置 ・完成 です。 作業はComfyUIで行います。 ・AIの一枚立ち絵を用意する ・AnimateAnyone-Evolvedで骨に沿って動かす 骨を抜いたのはこちらのフリー動画
AIでマンガ作るには ①｜ヒツジ
AIイラストでマンガを作る方法のマンガです。 ①～④まであります。総計64ページです。 全部読んでもらえると、うれしいです！ キャラに表情をつけていくプロンプトとは？ ②に続きます！
Stable Diffusion から特定の概念を忘れさせる学習を行ってみる
TL;DR ESD の手法で LoRA を学習してみたらそれっぽい感じのことができたよ VRAM 8GB で余裕で学習できるようになったよ (元は20GB要求) LoRA として保存できるようになったので重みの取り回しが良くなったよ マイナス適用によって、概念を削除するだけでなく強調することもできたよ 一度でも画像生成 AI に触ったことがあると、より楽しんで読めると思います。 論文とかどうでもいいから学習方法知りたい！ という方は 実際に学習してみる へどうぞ！ 今回作成したもの コード: モデルなど: 前提 Stable Diffusion とは、Stability AI らが公開したオープンソースの画像生成 AI であり、テキストによる指示で様々な画像を生成することができる。 本来の Stable Diffusion は、実写画像や海外風のイラストを出力することが得意だが、アジア系の
漫画未経験のエンジニアが今のAIで漫画制作にトライしてみた記録2023年夏時点版｜安野貴博
画像生成AIの躍進が目覚ましい。エンジニア兼SF作家の筆者としては、AIが絵を描けるようになるのなら、絵が描けない自分でも漫画制作ができるようになるのではという期待があった。実際に2022年の末頃にはstable diffusionを使った漫画制作UIのプロトタイプを作ってみたこともある。 Google ColabでAI漫画制作用のUIを試作してみた。コマごとにプロンプトが割り当ててあって、AIが裏でたくさん選択肢を作りまくってくれる。人間が大量の絵からベストなものを選んだり、構図やセリフの調整に集中できるようなワークフローがいいのではないかという仮説 #stablediffusion pic.twitter.com/zI64zm3cNI — 安野貴博 (@takahiroanno) November 10, 2022 それから半年以上の月日が経ち、世の中でもMulti ControlNe
ComfyUI 解説 (wiki ではない)
Stable Diffusion の web UI でありバックエンドでもある ComfyUI について、主にアーティスト向けに、内部動作や背景にある理論も含めて感覚的に捉えられるように解説していきます。 (充実しつつある公式 README や公式サンプルに書いてあることは、多分このサイトでは説明しません) 重要な外部リンク ComfyUI 公式リポジトリ ComfyUI 公式サンプル ComfyUI 公式チュートリアル (未完らしい) 有志によるマニュアル (ほぼ準公式) 最近の主な更新 公式に取り込まれた: ConditioningConcat 新ノード: ConditioningZeroOut SDXL 関連のノード追加: CLIPTextEncodeSDXL、CLIPTextEncodeSDXLRefiner モデルの保存が出来るようになった: CheckpointSave SDX
画像生成AIに2度目の革命を起こした「ControlNet」 (1/4)
画像生成AI「StableDiffusion」の進化が止まりません。昨年8月にオープンソースとしてリリースされてから、世界中のプロアマ問わず多数の人たちが様々な研究成果を反映させ、毎日と言っていいほど新機能を誰かが発表するという状況が起きています。 StableDiffusion登場当初は、画像の品質のランダム性が高く、構図やポーズなどを指定できないという弱点を抱えていました。1枚の画像をもとに画像を生成する「i2i（image2image）」である程度コントロールすることはできても、「キャラクターに特定のポーズをとらせる」といったことは非常に難しかったんですね。 その状況を一変させる新機能が今年2月に登場しました。その名も「ControlNet」。プロンプトによる制約を克服するための、とてつもないポテンシャルを持つ技術でした。Stable Diffusionに次ぐ「2度目の炸裂」と言って
世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ - Qiita
追記: U-Netの中間層は常にSelf-Attentionとなります。ご指摘いただきました。ありがとうございます。（コード） オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ 未来都市にたたずむサンタクロース（Stable Diffusionで生成） 2022年8月、世界に大きな衝撃が走りました。それは、Stable Diffusionの公開です。Stable Diffusionは、テキストを受け取るとそれに沿った画像を出力してくれるモデルです1。Stable Diffsuionは10億個近いパラメータ数をもち、およそ20億個の画像とテキストのペア（LAION-2B）で学習されています。これにより、Stable Diffusionは入
AIの著作権問題が複雑化 (1/4)
以前、画像生成AIを使ったイラストの模倣、「AIトレパク」が問題になっているという話をしましたが、画像生成AIと著作権の問題は国際的にも複雑化しています。まだ、現時点ではどうなるのかがはっきりしない混沌とした状況が進み続けています。しかし、現時点で大きなボトルネックになっているのは、計算をするGPUのチップ性能であるため、長い目で見たときには、今後必ず起きると予測できるのは、画像生成AIがリアルタイムに使われるようになり、それで生み出されるコンテンツが登場する未来です。 画像生成AIが集団訴訟を起こされる アメリカで、1月に画像生成AIを開発し、サービスを展開しているStablity AIやMidjourneyなどを相手取って集団訴訟が提起されました（米The Vergeの記事）。著作権侵害を理由に、損害賠償と利用差し止めを求めています。プレスリリースでは「LAION-5Bデータセットに含
サンプラーの違い・全サンプラーの比較【Stable Diffusion web UI(AUTOMATIC1111版) / Sampler】 – 忘却まとめ
画像生成AIでは様々なサンプラーが選べ、それぞれ絵の結果だけではなく速度やステップごとの挙動が違うなどの特徴がある。 結果だけはなくステップごとの挙動・速さ・特徴などで選ぶのがよさげ。 ベースとなる絵 下記のようなプロンプト・同じシード値で全サンプラーを比較してみる。 プロンプト：ロリ、ナース、青髪緑目で羽根の生えた、小さな胸、ベッドに座っている、病室、背景に森と街 ((((masterpiece)))), high quality, very high resolution, large filesize, 1girl,solo, (pale blue hair), very long hair, messy hair, ((((loli)))), ((small breast)), nurse clothes, white narse, cosplay, nurse hat, (whi
NovelAIのリークで何が終わったのか？
10月6日、NovelAIのGitHubとかのプライベートリポジトリに第三者が侵入して、AIモデルやソースコードを丸っと盗んで流出させた。 [Announcement: Proprietary Software & Source Code Leaks] Greetings, NovelAI Community. On 10/6/2022, we experienced an unauthorized breach in the company's GitHub and secondary repositories. The leak contained proprietary software and source code for the services we provide. — NovelAI (@novelaiofficial) October 7, 2022
AIで特定キャラを描く(DreamBoothで追加学習)｜lisa
概要DreamBoothとは追加学習することで、AI(StableDiffusion)で特定のキャラや物を描くためのモデル（データ）作るツールです。 例えば、ドラゴンクエスト10オンラインというゲームのアンルシアというキャラがいます。 ドラゴンクエスト10のアンルシア 公式サイトより引用 https://hiroba.dqx.jp/sc/election/queen2021/vote/confirm/1/nologinこのキャラの画像を18枚ほどAIに読み込ませ、追加学習し、AIに描かせた絵が以下の絵になります。 これ見ると、単なる髪型や顔が似ているレベルではなく、服の模様レベルまで再現できている事がわかります。 今までStableDiffusionの欠点として、同じキャラを安定して描くのが苦手というのがありましたが、DreamBoothを使うことで克服することが出来ます。 これにより、A
AI描画ソフト「Stable Diffusion」はWeb制作の役に立つか？
最近AIによる描画ソフトがかなり盛り上がっており、その中でも特に「Stable Diffusion」はWeb制作者にとってもインパクトが大きく、使い方によっては制作の役に立つかもしれないと思っています。 まずはStable Diffusionで制作した画像をご覧ください。 これらの画像は写真のように見えるかもしれませんが、どれもAI描画ソフトから出力されたものです。出力後に一切補正はしていません。 「こういう画像が欲しい」と頭で考えてから出力が完了するまでの時間は、約30分程度です。 以下のような、自分でつくるのはちょっと面倒なアイソメトリック風イラストや3DCG風の画像も制作できます。 建築イメージのような画像も制作できます。 自分で作るのは面倒な、タイリング画像（縦横に繰り返し表示できる画像）も制作できます。さらに合わせ技として、「アイソメトリック風のタイリング画像」の制作もできます。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「ControlNet 1.1」の新機能まとめ！新しいモデルや改善点を紹介【Stable Diffusion】
[Bug]: IndexError: tuple index out of range when using updated LoRAs from kohya-ss · Issue #7108 · AUTOMATIC1111/stable-diffusion-webui
Reddit - Dive into anything
Stable Diffusion WebUI 忘備録｜かたらぎ