原画と原画の間にあたる画像を複数枚入れることで、自然な連続性のある動きを作る。アニメの基本となる「中割」作業を画像生成AIが実現する可能性が出てきました。鍵になっているのは「AnimateDiff」という技術。8月に入って、様々なユーザーのアップデートによって機能拡張が進められています。それは完全な画像生成AIで作られるアニメの可能性を垣間見せるほどのものです。 16コマ/2秒の短い動画が生成できる AnimateDiffは7月10日に発表された、上海AIラボ、香港中文大学、スタンフォード大学の共同研究による技術。画像生成AI「Stable Diffusion」の仕組みとデータセットを利用しつつ、数百万本の動画を学習させた「モーションモジュール」と呼ばれるデータセットを別途に参照させることで、連続するキャラクターの動きを生成可能にするというのが基本原理です。生成できる時間は、16コマ/2秒
【AI動画生成】Sora 要素技術解説
もう全部OpenAIでいいんじゃないかな はじめに 月間技術革新です。 ということで、昨日OpenAIから発表された新しい動画生成AI「Sora」が非常に話題となっていますね。 圧倒的な一貫性の保持と1分間に及ぶ長時間動画が生成可能という事で、現状の動画生成技術を圧倒的に凌駕する性能を持っているようです。 在野エンジニアの小手先テクニックなど一笑に付すような圧倒的性能を Soraの凄さは色んなエンジニアやインフルエンサーがたくさん語っているのでそちらを見てもらうとして、この記事ではSoraを構成する各技術について簡単に解説していければと思います。 Soraの技術構成 論文が公開されているわけではないですが、OpenAIが要素技術の解説ページを公開してくれているため、そのページを参考にしていきます。 原文を見たい方はこちらからどうぞ 全体構成 Soraは以下の技術要素で構成されているとのこと
Krita の AI Diffusion プラグイン、SD のインターフェースとしてかなり良い。話題の LCM によるライブペイントも便利だし、イラストレーションツールだからレイヤーや選択ツールが使えるのが強い。すでに SD でできたことだが、こんな感じの変換が素早く、気持ちよく行える。https://t.co/bUPOZrKs1n pic.twitter.com/0hn8iMHHms — Naoto Yokoyama (@builtinnya) November 18, 2023 これらを ControlNet8 で入力して AnimateDiff を使えば済むと考えていたが、甘かった。 動画生成 AI に期待しているのは、この2枚の画像の間のフレームを説得力のある形で補間することである。しかし、7秒という長さでは、例えば次の動画1のようになってしまう。 動画1. 図1と図2を使い、パラ
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!? 2023.08.13 Updated by Ryo Shimizu on August 13, 2023, 11:41 am JST ほんの一ヶ月前まで、動画生成は全然だめだった。 Gen2は高価だが狙ったものを出しにくい。何より動いてくれない。 ところがAnimateDiffという技術が公開された。これはとても激しく、それっぽく動く。 コツは必要だが、以前よりずっと綺麗に動いているのは間違いない。 筆者の運営するサイトMemeplexやreplicateで使うことができる 音楽生成も、「やはりAIに音楽みたいな人間の機微を読み取るようなものは無理か」と考えていた。 「専門家」である僕でさえ、つい一ヶ月ほど前はそうだったのだ。 新しいオーディオ生成モデルである「JEN-1」と「AudioLDM2」はそ
生成AIグラビアをグラビアカメラマンが作るとどうなる？第九回：Fooocus-MREでimage-2-imageやControlNetを試す (西川和久) | テクノエッジ TechnoEdge
今回はそれだけでは面白く無いので、元画像を絵柄そのまま高精細なフルHDにアップスケールしたい、もしくはそのまま使って絵を変えたい、構図やポーズをある程度固定したい、Photoshopのジェネレーティブ塗りつぶし的な機能は？…と言った、もう少しStable Diffusionっぽい使い方を順に説明する。 image-2-image / UpscalePromptから画像を得る方法を一般的にText-2-Imageと呼んでいる(txt2imgやt2iとも)。文字通りテキストから画像を…と言う意味だ。 Stable Diffusionでは、加えて画像から画像を得る方法があり、これをImage-2-Imageと呼んでいる(img2imgやi2iとも)。言葉よりも画像の方がより多くの情報を持っているので、それを使おうと言う意図だ。 これまで生成した画像の解像度は、832✕1,216や1,024✕1,
はじめに 11月も終わり、今年も残るところあと一か月となりました。 今年ももう終わるから今年中に成果を上げとけ！と言わんばかりに最近は新技術の登場が多いです。 今回取り上げるのも11月最後の大砲として出てきた新技術、その名もAnimate Anyone Animate Anyoneとはなんぞや 文字で説明するより見たほうが早い 凄くざっくり説明すると、一枚の絵と動きをボーン動画として入力すると、入力した絵がボーン動画と同じ動きをしてくれるよ！というもの。 似たようなものは今までもReferenceOnly × openpose × animatediffとかで出来ましたが、特筆すべきはその精度。 動画生成の大敵であるちらつきは一切なく、入力画像にかなり忠実な動画を生成しています。 さてこの技術、動画生成にずっと注目している自分としてはいますぐにでも弄り倒したいのですが、残念ながらコードとモ
爆速化する画像生成AI。0.5秒で4枚出力、リアルタイム生成できるレベルに（アスキー） - Yahoo!ニュース
画像生成AI界隈で「Latent Consistency Models（LCM）」が話題だ。処理が軽快かつ爆速になり、リアルタイム生成まで可能になる。 【もっと写真を見る】 このところ画像生成AI界隈で話題になっているのが、「Latent Consistency Models（レイテント・コンシステンシー・モデル」（以下「LCM」）。10月6日に中国精華大学のシミアン・ルオさんが中心となって発表された論文で、日本語にすると「拡散的一貫性モデル」。新しいタイプの効率性の高い生成モデルを使い、Stable Diffusion＝安定拡散モデルより高速に画像を生成。結果としてビデオメモリーの少ないローレベルのPCでも画像生成AIを動かせるようにしようというものです。 0.5秒で4枚出力。Stable Diffusionの5倍 Stable Diffusionの拡散モデルは、ランダムなノイズ情報から
こんにちは、ラボで研究開発をしたりプロトタイプを作っている藤本(X(Twitter))です。ABEJAアドベントカレンダー2023の21日目の記事です。ここ近年、生成AIの勢いが凄いです。最近は一夜明けたら世界が変わっているみたいなことがしょっちゅう起きています。そんな状況なので、なかなか世の中についていくのが難しいのではないかと思います。そこで今回は、これまでに色々と出てきた生成モデルを振り返りつつ、ひたすら思いつく限りColabで動かしまくってみる企画をやってみようかと思います。流石に全部Colabで動かすのは大変でした・・・。 まずは言語を対象として日本語モデルを含む様々なモデルを対象に推論実験を行います。続いて高速化の実験、更にSFTによるInstructionチューニングや、RLHFもやってみます。最後に、ソースコード生成もやってみましょう。次に、画像を対象として、言語同様に色々
※当noteで掲載しているワークフローについては各記事公開時点のComfyUI環境で動作を確認しています。その後のComfyUI/カスタムノードのアップデートにより最新の環境では不具合が生じる可能性があるので、あらかじめご了承ください。 このnoteは、いま注目されているAI動画生成ツール「AnimateDiff」のハウツーをまとめた初心者ガイドです。 「AnimateDiff」は2023年7月に公開されたオープンソースの技術で、誰でも無償で利用することができます。AnimateDiffについては以下の記事が参考になります。 導入編1. ComfyUI のすすめ「AnimateDiff」は、単体では細かなコントロールが難しいため、現時点では以下のパッケージのどれかを選んで使うことが多いです。 AnimateDiff-CLI-Prompt-Travel コマンドラインでAnimateDiff
タイトル通りの内容です 整備はしたいのですがまだまだ自分向けという感じのコードです WebUI1.6で動作を確認しています 今回は、hook.pyとcontrolnet.pyを修正しています。 また、リポジトリのTOPにあるCN_AD.jsonをトップディレクトリ(webui-user.batのあるところ) に置きます。 { "_is_CN_AD_on": 1, "input_images_pass": "imput_images", "input_images_number": 16 }_is_CN_AD_on：このモードを使用するかどうか input_images_pass：連番画像を入れるパスの名前 input_images_number：画像の枚数（フレーム数と同じ枚数にしか対応していません） 設定例設定は普通にUI上で行います。まずは同じ設定で動くか試してください。 主な注意点は
アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化（アスキー） - Yahoo!ニュース
画像生成AI「Stable Diffusion」などで使える新技術「AnimateDiff」の進化がすごい。アニメーションのいわゆる「中割」が作成できて、アニメの常識を変える可能性が出てきた。 【もっと写真を見る】 原画と原画の間にあたる画像を複数枚入れることで、自然な連続性のある動きを作る。アニメの基本となる「中割」作業を画像生成AIが実現する可能性が出てきました。鍵になっているのは「AnimateDiff」という技術。8月に入って、様々なユーザーのアップデートによって機能拡張が進められています。それは完全な画像生成AIで作られるアニメの可能性を垣間見せるほどのものです。 16コマ/2秒の短い動画が生成できる AnimateDiffは7月10日に発表された、上海AIラボ、香港中文大学、スタンフォード大学の共同研究による技術。画像生成AI「Stable Diffusion」の仕組みとデータ
原画と原画の間にあたる画像を複数枚入れることで、自然な連続性のある動きを作る。アニメの基本となる「中割」作業を画像生成AIが実現する可能性が出てきました。鍵になっているのは「AnimateDiff」という技術。8月に入って、様々なユーザーのアップデートによって機能拡張が進められています。それは完全な画像生成AIで作られるアニメの可能性を垣間見せるほどのものです。 16コマ/2秒の短い動画が生成できる AnimateDiffは7月10日に発表された、上海AIラボ、香港中文大学、スタンフォード大学の共同研究による技術。画像生成AI「Stable Diffusion」の仕組みとデータセットを利用しつつ、数百万本の動画を学習させた「モーションモジュール」と呼ばれるデータセットを別途に参照させることで、連続するキャラクターの動きを生成可能にするというのが基本原理です。生成できる時間は、16コマ/2秒
クラウドサービスのMidjourney v6で生成し、やはりクラウドサービスのMagnifi AIで高解像度化した画像（筆者作成） 年末になり、画像生成AI技術を応用した、動画生成の研究やサービスが次々に発表になりました。しかし、企業が研究に関わったものは、その多くはコアとなるコードやデータ部分が公開されない傾向が増えつつあります。Stable DiffusionのStability AIも、ついに商用利用の有償化に踏み切りました。一因は開発コストと収益とのバランスにありそうです。 動画生成で話題になった「MagicAnimate」と「AnimateZero」 動画生成技術として大きく話題になったのは、1枚の画像とモーションシーケンスを用意すれば自然なダンスのような動画を作れる「Magic Animate」ですね。 1枚の画像からキャラクターの一貫性を維持した動画を作れるということで、大き
Midjourneyに1枚の画像から似た画像を作れる新機能「Creative Reference」が追加。ベースになった技術「IP-Adapter」も発展を遂げ、いわゆる「LoRA」も作りやすくなってきた。将来的には文字や音声から“同じ人物”が生成できるようになりそうだ。 【もっと写真を見る】 画像生成AIサービスの「Midjourney」に3月12日、新機能「Creative Reference」が追加。1枚の画像から特徴を引き継いだ画像を生成できるようになり、同じキャラクターに別のポーズをとらせるなど様々な画像を作れるようになりました。これまで画像生成AI「Stable Diffusion」などで同じキャラクターの画像を作るには「LoRA」という追加学習をするのが一般的でしたが、それが必要ないため、キャラクターの再現が劇的に簡単になってきました。 画像1枚で“似た顔” Midjourn
動画に対し、SNSユーザーからは「ついに動いた！！！」「広告の担当、生成AIのトレンドを押さえて使いこなそうとしていてシンプルに感心する」「マッチングアプリとしてじゃなく、AIの進化を見る広告になってる」など、広告への注目度がうかがえる意見が見られた。一方、「やっぱり生成系AIの（現状）一番の難点は、同一性だろう」など、問題点を指摘する声もあった 動画の掲載について、運営会社であるエイチエムシステムズ（東京都新宿区）に話を聞いたところ「今後はAIで作成した動画も広告として展開していく」と話した。画像生成AI「Stable Diffusion」でアニメを生成できるようになる拡張機能「AnimateDiff」を導入し、作成したという。 「現在は5秒程度の短い動画しか作成できないのでつないで15秒に見せているが、今後長尺で安定して作成できるツールがリリースされれば1分～5分の動画にもチャレンジし
【大型アップデート】画像生成AI活用ツール「生成AI GO」に、最新の「Stable Diffusion web UI v1.6.0」と動画生成機能「AnimateDiff」を実装
【大型アップデート】画像生成AI活用ツール「生成AI GO」に、最新の「Stable Diffusion web UI v1.6.0」と動画生成機能「AnimateDiff」を実装〜さらに高品質な画像生成と動画生成が簡単に可能に！〜 映像解析AIプラットフォーム「SCORER(スコアラー)」を運営する株式会社フューチャースタンダード(本社:東京都台東区、代表取締役:鳥海哲史 以下、フューチャースタンダード)は、最新の画像生成AI「Stable Diffusion XL 1.0（以下、SDXL1.0）」をWebブラウザ上で気軽に活用できる「生成AI GO」の大型アップデートを実施しました。このアップデートには、最新UI「Stable Diffusion web UI v1.6.0」および動画生成機能「AnimateDiff」が実装されています。これにより、SDXL1.0の機能を最大限に引き出
この記事は、「AnimateDiffをComfyUI環境で実現する。簡単ショートムービーを作る」に続く、KosinkadinkさんのComfyUI-AnimateDiff-Evolved（AnimateDiff for ComfyUI）を使った、AnimateDiffを使ったショートムービー制作のやり方の紹介です。今回は、ControlNetを使うやり方を紹介します。ControlNetと組み合わせることで、制御できることの幅が一気に広がります。 AnimateDiff for ComfyUIは、ControlNetに対応しています。ただし、使い方に少し癖があり、公式ページではあまり詳しく解説が行われていないため、引っかかりやすい状態になっています。この記事は、公式ページを補完する目的で書いています。 Control Net付きのサンプルワークフロー サンプルのワークフローを含んだ画像がい
AUTOMATIC1111版Stable Diffusion web UIでLCM LoRAを利用する手順｜まゆひら
Last update 11-26-2023 ※筆者の知識不足により、記事に不足や誤りが含まれる可能性があります。今後さらに追記や変更を行う場合があります。 ▼ 0. LCM LoRAを利用する簡単な方法 記事の本編よりも先に、LCM LoRAを体験する最も簡単な方法を紹介します。標準の利用方法については1.以降をご覧ください。 0-1. LCM LoRAをマージしたモデル LCM LoRAをマージしたStable Diffusionモデルが登場していて、これらを利用すればすぐに生成ができます。Sampling stepsとGFC Scaleをかなり下げる必要がありますので注意してください（steps=8程度、GFC=1～2）。 なお、LCM Samplerは必須ではなく、Euler a、DPM++ 2S a Karras等を利用するのが良さそうです。LCM Samplerを利用したい場合
SDXLでライブ映像をリアルタイム画像生成できる高速化ツール「LCM-LoRA」、GPT-4Vより良い結果も示す画像理解モデル「CogVLM」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第20回目は、Stable Diffusion微調整モデルなどを高速化するツール「LCM-LoRA」、画像理解を得意とするオープンソース視覚言語モデル「CogVLM」をはじめとする、生成AI最新論文の概要5つをお届けします。 生成AI論文ピックアップStable Diffusion微調整モデルなどを高速化するツール「LCM-LoRA」 Hugging Faceらが開発 画像理解を得意とするオープンソース視覚言語モデル「CogVLM」 テキスト内容と画像内の物体とを細かく関連付けて対話できるモデル「GLaMM」 Googleらが開発 大規模言語モデルを低コストで効率よく
Stable Diffusion WebUI の最適化＆高速化版！「Stable Diffusion WebUI Forge」
lllyasviel氏によるStable Diffusion WebUI の最適化＆高速化版「Stable Diffusion WebUI Forge」の紹介です。 Stable Diffusion WebUI ForgeとはStable Diffusion WebUI Forgeは、ControlNet や Foocus の作者である lllyasviel氏によって作成された開発を容易にし、リソース管理を最適化し、推論を高速化するためのStable Diffusion WebUI（Gradioベース）ベースのプラットフォームです。「Forge」という名前は、「Minecraft Forge」からインスピレーションを受けており、このプロジェクトは、SD WebUI の Forge になることを目指しているとのことです。 オリジナルのWebUIであるのAutomatic1111のユーザーイン
前回の記事では、AI動画生成ツールのAnimateDiffと「ControlNet」を組み合わせることで、特定のモーションをアニメで再現しました。 今回は、ControlNetの「Tile」という機能を組み合わせて、2枚の画像を補間するアニメーションの生成を試します。 必要な準備ComfyUI AnimateDiffの基本的な使い方については、こちらの記事などをご参照ください。 今回の作業でComfyUIに導入が必要なカスタムノードなどは以下のとおりです（説明は後述）。 カスタムノード (./custom_nodes/)： 以下の2つを使います。 ComfyUI-AnimateDiff-Evolved（ComfyUI用AnimateDiff） ComfyUI-Advanced-ControlNet（ControlNet拡張機能） モーションモジュール (./custom_nodes/Com
OpenAIが2月15日に動画生成AI「Sora」を発表して世界中が大騒ぎになりましたよね（ニュース記事）。生成可能な動画は最長で60秒間。人物や空間の一貫性を保持しながら、物理法則を伴って動いているように見える。これまで動画生成AIでは不可能とされていたことがすべてできていて、常識がひっくり返されました。 Prompt: “A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. she wears a black leather jacket, a long red dress, and black boots, and carries a black purse. she wears sunglasses and red lipstick. sh
2024年04月01日 07時00分 AI 第59回 政府、生成AI推進に向けて議論を加速 年度の終わりを迎え、今後の日本のAI政策がどのような方向になるのかが、明確になってきた。昨年5月の「広島AIプロセス」の取りまとめから始まり文化庁、総務省・経産省、内閣府と個別省庁で行われていた議論の最終案がまとまってきため。 2024年03月25日 07時00分 AI 第58回 画像生成AIで同じキャラクターが簡単に作れるようになってきた Midjourneyに1枚の画像から似た画像を作れる新機能「Creative Reference」が追加。ベースになった技術「IP-Adapter」も発展を遂げ、いわゆる「LoRA」も作りやすくなってきた。将来的には文字や音声から“同じ人物”が生成できるようになりそうだ。 2024年03月18日 07時00分 AI 第57回 日本発のリアルタイム画像生成AIサー
animateDiffでアニメーションを生成する方法 / Stable Diffusion｜SOD社員【AI研究ノート】🧪｜倉田優希
AnimateDiffとは1枚の画像から一貫性のある動画を生成できる技術のこと。 実際に下記のアニメーションを生成してみた。 このように、画像１枚を用意するだけで自動的に波や風、人の動きなどのアニメーションを生成してくれる。 」 AnimateDiffのインストール方法拡張機能 → URLからインストール → 拡張機能のリポジトリのURL → 以下のURLを入力してインストールを押す。 https://github.com/continue-revolution/sd-webui-animatediff.git"Installed into~~~~~sd-webui-animatediff. Use Installed tab to restart."が下に表示されたらインストールが完了。拡張機能 → インストール済 → sd-webui-animatediffにチェックを入れる → 適用
Stability AIが画像生成AI「Stable Diffusion」を公開したのは2022年8月のこと。すさまじい勢いで発展してきた画像生成AIの1年を振り返ってみようと思います。 【もっと写真を見る】 Stability AIが画像生成AI「Stable Diffusion」を公開したのは2022年8月のこと。すさまじい勢いで発展してきた画像生成AIの1年を振り返ってみようと思います。 初めに見てもらいたいのは「これが無料でいいのか!? “爆速生成AI”がペイントソフトに革命を起こした」で紹介した、KritaとGenerative AI for Kritaを組み合わせて作成した設定資料的な画像です。 Stable Diffusionを使って同じキャラクターを多数の方向から作る技法は、今年の前半には確立されてきました。しかし、Stable Diffusionは確率によって画像が生成さ
Stability AIの「Stable Diffusion」が引き起こした革新的な画像生成AIの技術発展は、開発コストの肥大化に伴って曲がり角にさしかかっている。来年はサービス有償化の流れが目立ちそうだ。 【もっと写真を見る】 年末になり、画像生成AI技術を応用した、動画生成の研究やサービスが次々に発表になりました。しかし、企業が研究に関わったものは、その多くはコアとなるコードやデータ部分が公開されない傾向が増えつつあります。Stable DiffusionのStability AIも、ついに商用利用の有償化に踏み切りました。一因は開発コストと収益とのバランスにありそうです。 動画生成で話題になった「MagicAnimate」と「AnimateZero」 動画生成技術として大きく話題になったのは、1枚の画像とモーションシーケンスを用意すれば自然なダンスのような動画を作れる「Magic A
生成AIレンダリングの現在地とゲームの期限
生成AIレンダリングの現在地とゲームの期限 by kogu 2023年12月14日 これは「生成AI Advent Calendar 2023」参加記事であり、また昨年書いた「3DCGの終焉とAI生成レンダリングという未来」の続きです。 2022年7月末以降生成AIの大きな変化は続いていますが、視覚表現の生成AIレンダリングという可能性にどんな変化があったのか確認します。後半ではゲームへの生成AIの利用の大雑把な状況と、最後にまたSF的なゲームの未来についても考えます。 今回は記事全体をCC0にはできませんが、昨年同様脈絡なく挿れた挿絵はすべてStable Diffusion XL（+Kohya’s Deep Shrink）で生成しています。著作性ある加工も行っていないため、パブリックドメインと考え、引用元の記載がある画像を除き記事内の画像はすべてCC0とします。 生成AIレンダリングから
「生成AI GO」は、Webブラウザ上でパワフルに動作する生成AIのパッケージです。主要な機能として、画像や動画の生成は「Stable Diffusion XL 1.0」、プロンプト生成は「ChatGPT（GPT3.5/4.0）」を使用しています。さらに、画像編集ツール「Photopea」を組み込んでおり、これにより画像の編集もできる高機能な環境を提供しています。 最新UI「Stable Diffusion web UI v1.6.0」が実装されており、最新のサンプラーが活用できます。 ・Stable Diffusion XL 1.0を活用した画像生成 ・AnimateDiffを活用した動画生成 ・Mov2Movを活用した動画生成 ・ChatGPTを活用したプロンプト生成 ・ControlNetを活用した生成画像のコントロール ・生成物の一括ダウンロード ・主要な商用利用可
WebUI版AnimateDiffの品質の改善方法｜TDS_
かなり雑なやり方なので、全ての状況で機能するかはわかりません。自己責任でお願いします。 浅い知識でやっているので、正式な修正に関してはissueで依頼をしています。 AnimateDiffのオリジナルリポジトリでの生成時のalphas_cumprodを出力したものです。これをwebui-user.batと同じフォルダに入れます。 \repositories\stable-diffusion-stability-ai\ldm\models\diffusion\ddim.pyを下記のように書き換えます。 （追記） ddim.pyの上の方にimport json も追加してください def make_schedule(self, ddim_num_steps, ddim_discretize="uniform", ddim_eta=0., verbose=True): self.ddim_tim
Stable Diffusion高速化の決定版登場！？品質落とさず制限もほぼなしで2～3倍速に（PC Watch） - Yahoo!ニュース
11月9日に掲載した前々回、Stable Diffusionの高速化技術として「TensorRT」、「SSD-1B」、そして「LCM」をご紹介したが、どれも帯に短し襷に長しと言う残念な結果だった。ところが翌日の11月10日、「LCM LoRA」の登場により、それが引っ繰り返ってしまったのだ。今回はこの辺りをお話したい。 【画像】SDXL通常の処理でStep 5 / 00:01<00:00, 8.17it/s ■ Latent Consistency Model LoRAとは? 11月9日に掲載した前々回の3番目に書いたのが、このベースとなるLCM(Latent Consistency Model for Stable Diffusion)だった。技術的には良く分からないので、詳細はここを参考としたが、実際の動きとしては、 上に並べた画像から分かるように、画像を生成するのに書込量のStep数
今回の目的 動画でも画像みたく気軽にinpaintとかlama cleanerとか背景透過とか使いたい！ という訳で、今回はanimatediffやGen2などで生成した動画を、画像と同じようにinpaintとか背景透過とかできるようになる事を目指します。（今回の記事ではinpaintや背景透過までは踏み込まず、その前提となるマスク動画の作成までを解説します） きっかけ animatediff周りをいろいろ調べていた際に、こちらの記事を見つけました。 この記事では、animatediff×comfyUIでinpaintを行う方法が紹介されています。 たしかに、画像生成ではいまや当たり前のようにinpaintのような生成技術を用いた画像編集手法が使用されていますが、動画ではあまり使用された例を見かけない気がします。 この記事でも紹介されていますが、以下のツイートのようにinpaint等を組み
AnimateDiffでドット絵アニメをつくる / Pixel Art with AnimateDiff ｜Baku
English summary of this article is at the end. AnimateDiffでドット絵アニメを作ってみたらハマったので、ワークフローをまとめてみました。 ComfyUI AnimateDiffの基本的な使い方から知りたい方は、こちらをご参照ください。 1. カスタムノード特別なカスタムノードはありません。以下の2つだけ使います。 https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite GoogleColab Proで試す場合は、末尾のColabをお使いください。 2. SD1.5モデルの場合通常のワークフローにピクセルアートLoRAを組み合わせることでドット絵GIFを生成します。
【2023/11/10追記】AnimateDiff公式がSDXLに対応しました（ベータ版）。ただし現時点ではHotshot-XLを利用したほうが動画の質が良いようです。 「Hotshot-XL」は、Stable Diffusion XL（SDXL）モデルを使ってGIF動画を生成するためのツールです。 「ComfyUI-AnimateDiff」が、最近この「HotshotXL」に対応したようなので試してみました。 留意点ちょっとややこしいですが「AnimateDiff」と「HotshotXL」は別物です。「ComfyUI版のAnimateDiff」が独自に機能拡張し、HotshotXLを使えるようになったものです。 HotshotXLは推奨される動画の長さがフレームと短く動きも不自然になりやすいため、性能面では通常のAnimateDiffに及びません。 必要な準備ComfyUI本体の導入方法
GitHub - Kosinkadink/ComfyUI-AnimateDiff-Evolved: Improved AnimateDiff for ComfyUI and Advanced Sampling Support
Download motion modules. You will need at least 1. Different modules produce different results. Original models mm_sd_v14, mm_sd_v15, mm_sd_v15_v2, v3_sd15_mm: HuggingFace | Google Drive | CivitAI Stabilized finetunes of mm_sd_v14, mm-Stabilized_mid and mm-Stabilized_high, by manshoety: HuggingFace Finetunes of mm_sd_v15_v2, mm-p_0.5.pth and mm-p_0.75.pth, by manshoety: HuggingFace Higher resoluti
SoreNutsからのお知らせ 新規記事 3/20に【ComfyUI】ランダムなカラーパターンからイラストを作る方法を公開！ 2/28に【ComfyUIでControlNet】img2imgのワークフローの解説を公開！ 2/2にComfyUIの保存先を指定する方法を公開！ 更新記事 3/21にカメラ・構図のプロンプト(呪文)一覧を更新！ Stable Diffusion Web UI(Automatic1111)の拡張機能「AnimateDiff」の使い方です。長尺の動画の作り方、MotionLoRAの併用方法、MP4の書き出しエラーの対処法などを掲載しています。一貫性のある短いアニメーションならこの拡張機能がおすすめです。
Magic animate論文解説
世の中の進みが早すぎてついていけません はじめに Animate Anyoneが出てきて数日、まだコードもモデルも公開されていないうちに新しい高精度動画生成手法が発表されました。 名前はMagic animate、TickTok運営元が研究開発した生成モデルとのこと。 しかも今回はモデルもコードも公開されており、すでに誰でも触れる状況にあります。 僕も早速弄り倒そうかと思ったのですが、モデルインプレは別に僕がやらなくても誰かが書くだろうと思い直したので、とりあえず論文から読もうかなと思います。 という訳で今回も速報論文解説をやっていきます（論文紹介の味を占めただけ） 元論文はこちら（https://arxiv.org/pdf/2311.16498.pdf） 論文解説 概要 この研究は、ある特定の動作シーケンス（デモ動画見る限りはセグメント情報を主に使っていそう。ただ機構的にいろいろな動作シ
画像生成AI忘備録 11月号｜かたらぎ
ホットトピックAnimate Anyone Animatediffなどと同じようにstableDiffusionを基盤に動画生成ができるものです。以前のものより一貫性が高く、一枚の絵から動かせるのが特徴です。まだ、デモやモデルの配布などは行われていませんが期待の持てる技術です。
AnimateDiffで静止画から動画を作る４つの方法
１．AnimateDiffで静止画から動画を作る４つの方法まとめ ・AnimateDiffを使って動画を作る手法は直近で大きく進化しており従来手法とかなり動かし方も変わってきている ・直近話題になったAnimateDiffは参照画像を渡す事で動画内の物体の動きを従来より細かく制御できるようになっている ・具体的な動かし方は様々な人が様々な手法を試行錯誤している段階。現時点で判明している動かし方を可能な限りまとめた ２．AnimateDiffとは？ アイキャッチ画像は2023年9月8日に亡くなった寺沢武一さんの代表作コブラ。実は劇場版コブラは当時若手だった宮崎駿監督が数カットだけですが原画を担当しているとの事 AnimateDiffは「画像生成AIを使って作った静止画」に動きを与える事ができるツールです。 AIを使って動画を作成するツールは他にもありますが、AnimateDiffは、他のツー
前回の記事では、AI動画生成ツールのAnimateDiffとControlNet Tileを使って、2つの画像をつなぐ中割動画を生成してみました。 今回は、ControlNetのOpenposeとDepthを組み合わせて、元動画をアニメ・実写など色々なトーンの動画に変換できるVideo-to-Video（Movie-to-Movie）を試します。 1. 必要な準備ComfyUI内のフォルダに導入しておく必要があるものは以下の通りです。 カスタムノード 次の3つを使います。 ComfyUI-AnimateDiff-Evolved（ComfyUI用AnimateDiff） ComfyUI-Advanced-ControlNet（ControlNet拡張機能） ControlNet Auxiliary Preprocessors（プリプロセッサー） ComfyUI Managerを使っている場合
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化 (1/3)
動画生成AIについて：一番星はてのは目をゆっくり開き、踊れるか
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!?
【AI動画生成】Animate Anyone 論文解説
色々な生成AIモデルをColabで動かして今年を振り返る - ABEJA Tech Blog
【AIアニメ】ComfyUIでAnimateDiffをはじめよう！｜Baku
WebUIのAnimateDiffに複数画像のControlNetを適用する｜TDS_
アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化 - 週刊アスキー
画像生成AI、フリー時代は終わりに向かう? 有料サービスが目立ちはじめた (1/4)
画像生成AIで同じキャラクターが簡単に作れるようになってきた（アスキー） - Yahoo!ニュース
オタ恋のカップル、動く 公式が“AI動画”投稿 「今後は動画広告も展開していく」
AnimateDiffにComfyUI環境でのControlNetを適応する｜Alone1M
【AIアニメ】ComfyUI AnimateDiffでアニメの中割りを作ろう！｜Baku
動画生成AIの常識を破壊した OpenAI「Sora」の衝撃 (1/5)
新清士の「メタバース・プレゼンス」
画像生成AIが爆速で進化した2023年をまとめて振り返る（アスキー） - Yahoo!ニュース
画像生成AI、フリー時代は終わりに向かう? 有料サービスが目立ちはじめた（アスキー） - Yahoo!ニュース
生成AI GO｜ブラウザで「Stable Diffusion XL 1.0」をパワフルに活用
SAM PT×animatediffで生成した動画から自動でマスク動画を作る
【AIアニメ】ComfyUI AnimateDiffでSDXLモデルを試す(HotshotXL)｜Baku
AIでアニメーション制作！AnimateDiffの基本的な使い方【Automatic1111】
【AIアニメ】ComfyUI AnimateDiffでダンス動画のvid2vid変換を試す｜Baku