原画と原画の間にあたる画像を複数枚入れることで、自然な連続性のある動きを作る。アニメの基本となる「中割」作業を画像生成AIが実現する可能性が出てきました。鍵になっているのは「AnimateDiff」という技術。8月に入って、様々なユーザーのアップデートによって機能拡張が進められています。それは完全な画像生成AIで作られるアニメの可能性を垣間見せるほどのものです。 16コマ/2秒の短い動画が生成できる AnimateDiffは7月10日に発表された、上海AIラボ、香港中文大学、スタンフォード大学の共同研究による技術。画像生成AI「Stable Diffusion」の仕組みとデータセットを利用しつつ、数百万本の動画を学習させた「モーションモジュール」と呼ばれるデータセットを別途に参照させることで、連続するキャラクターの動きを生成可能にするというのが基本原理です。生成できる時間は、16コマ/2秒
【AI動画生成】Sora 要素技術解説
もう全部OpenAIでいいんじゃないかな はじめに 月間技術革新です。 ということで、昨日OpenAIから発表された新しい動画生成AI「Sora」が非常に話題となっていますね。 圧倒的な一貫性の保持と1分間に及ぶ長時間動画が生成可能という事で、現状の動画生成技術を圧倒的に凌駕する性能を持っているようです。 在野エンジニアの小手先テクニックなど一笑に付すような圧倒的性能を Soraの凄さは色んなエンジニアやインフルエンサーがたくさん語っているのでそちらを見てもらうとして、この記事ではSoraを構成する各技術について簡単に解説していければと思います。 Soraの技術構成 論文が公開されているわけではないですが、OpenAIが要素技術の解説ページを公開してくれているため、そのページを参考にしていきます。 原文を見たい方はこちらからどうぞ 全体構成 Soraは以下の技術要素で構成されているとのこと
AI動画が簡単に作れる「AnimateDiff」を試したらやりがい爆上がり。カスタム学習したあの子が自然に動いてるよ（CloseBox） | テクノエッジ TechnoEdge
筆者も話題になった直後から試そうとしていたのですが、自分ではうまくいかず悶々としていたところ、Memeplexでできるようになったので、そのインプレッションをお届けします。 AnimateDiffの基本的な動作は、静止画を作成できるAI作画モデルを使って、一貫性のある短いアニメーションGIFを生成するというもの。Stable Diffusion 1.5、2.0といった標準的なものだけでなく、その上にカスタム学習（ファインチューニング）したモデルにも対応できるというのが特徴です。同様の技術としては「Tune-A-Video」があったのですが、一貫性が乏しかったために使いどころがなかなか難しいものでした。 筆者は現在、MemeplexとStable Diffusion WebUI上に、妻の写真を学習させたAIモデル（Checkpoint）を作成して使っていて「異世界とりちゃん」という名の下に日
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!? 2023.08.13 Updated by Ryo Shimizu on August 13, 2023, 11:41 am JST ほんの一ヶ月前まで、動画生成は全然だめだった。 Gen2は高価だが狙ったものを出しにくい。何より動いてくれない。 ところがAnimateDiffという技術が公開された。これはとても激しく、それっぽく動く。 コツは必要だが、以前よりずっと綺麗に動いているのは間違いない。 筆者の運営するサイトMemeplexやreplicateで使うことができる 音楽生成も、「やはりAIに音楽みたいな人間の機微を読み取るようなものは無理か」と考えていた。 「専門家」である僕でさえ、つい一ヶ月ほど前はそうだったのだ。 新しいオーディオ生成モデルである「JEN-1」と「AudioLDM2」はそ
生成AIグラビアをグラビアカメラマンが作るとどうなる？第九回：Fooocus-MREでimage-2-imageやControlNetを試す (西川和久) | テクノエッジ TechnoEdge
今回はそれだけでは面白く無いので、元画像を絵柄そのまま高精細なフルHDにアップスケールしたい、もしくはそのまま使って絵を変えたい、構図やポーズをある程度固定したい、Photoshopのジェネレーティブ塗りつぶし的な機能は？…と言った、もう少しStable Diffusionっぽい使い方を順に説明する。 image-2-image / UpscalePromptから画像を得る方法を一般的にText-2-Imageと呼んでいる(txt2imgやt2iとも)。文字通りテキストから画像を…と言う意味だ。 Stable Diffusionでは、加えて画像から画像を得る方法があり、これをImage-2-Imageと呼んでいる(img2imgやi2iとも)。言葉よりも画像の方がより多くの情報を持っているので、それを使おうと言う意図だ。 これまで生成した画像の解像度は、832✕1,216や1,024✕1,
はじめに 11月も終わり、今年も残るところあと一か月となりました。 今年ももう終わるから今年中に成果を上げとけ！と言わんばかりに最近は新技術の登場が多いです。 今回取り上げるのも11月最後の大砲として出てきた新技術、その名もAnimate Anyone Animate Anyoneとはなんぞや 文字で説明するより見たほうが早い 凄くざっくり説明すると、一枚の絵と動きをボーン動画として入力すると、入力した絵がボーン動画と同じ動きをしてくれるよ！というもの。 似たようなものは今までもReferenceOnly × openpose × animatediffとかで出来ましたが、特筆すべきはその精度。 動画生成の大敵であるちらつきは一切なく、入力画像にかなり忠実な動画を生成しています。 さてこの技術、動画生成にずっと注目している自分としてはいますぐにでも弄り倒したいのですが、残念ながらコードとモ
1枚の静止画から動画作成する「AnimateDiff」、Googleの画像学習改良版「HyperDreamBooth」など5本の重要論文を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第3回目は、GoogleのDreamBooth改良、静止画1枚からアニメーション作成など5つの論文をまとめました。 生成AI論文ピックアップGoogle、キャラ学習手法のDreamBoothを高速・小型化 さらに1枚の学習元から可能にする「HyperDreamBooth」開発 DreamBoothより25倍高速 画像1枚から動画を生成するAI「AnimateDiff」 DreamBoothやLoRAなどにも対応 動画内の被写体を変えて別の動画を生成できるAI「Animate-A-Story」 テンセント含む研究者らが開発 テキスト、画像、動画を同時に処理し生成する大規
爆速化する画像生成AI。0.5秒で4枚出力、リアルタイム生成できるレベルに（アスキー） - Yahoo!ニュース
画像生成AI界隈で「Latent Consistency Models（LCM）」が話題だ。処理が軽快かつ爆速になり、リアルタイム生成まで可能になる。 【もっと写真を見る】 このところ画像生成AI界隈で話題になっているのが、「Latent Consistency Models（レイテント・コンシステンシー・モデル」（以下「LCM」）。10月6日に中国精華大学のシミアン・ルオさんが中心となって発表された論文で、日本語にすると「拡散的一貫性モデル」。新しいタイプの効率性の高い生成モデルを使い、Stable Diffusion＝安定拡散モデルより高速に画像を生成。結果としてビデオメモリーの少ないローレベルのPCでも画像生成AIを動かせるようにしようというものです。 0.5秒で4枚出力。Stable Diffusionの5倍 Stable Diffusionの拡散モデルは、ランダムなノイズ情報から
こんにちは、ラボで研究開発をしたりプロトタイプを作っている藤本(X(Twitter))です。ABEJAアドベントカレンダー2023の21日目の記事です。ここ近年、生成AIの勢いが凄いです。最近は一夜明けたら世界が変わっているみたいなことがしょっちゅう起きています。そんな状況なので、なかなか世の中についていくのが難しいのではないかと思います。そこで今回は、これまでに色々と出てきた生成モデルを振り返りつつ、ひたすら思いつく限りColabで動かしまくってみる企画をやってみようかと思います。流石に全部Colabで動かすのは大変でした・・・。 まずは言語を対象として日本語モデルを含む様々なモデルを対象に推論実験を行います。続いて高速化の実験、更にSFTによるInstructionチューニングや、RLHFもやってみます。最後に、ソースコード生成もやってみましょう。次に、画像を対象として、言語同様に色々
※当noteで掲載しているワークフローについては各記事公開時点のComfyUI環境で動作を確認しています。その後のComfyUI/カスタムノードのアップデートにより最新の環境では不具合が生じる可能性があるので、あらかじめご了承ください。 このnoteは、いま注目されているAI動画生成ツール「AnimateDiff」のハウツーをまとめた初心者ガイドです。 「AnimateDiff」は2023年7月に公開されたオープンソースの技術で、誰でも無償で利用することができます。AnimateDiffについては以下の記事が参考になります。 導入編1. ComfyUI のすすめ「AnimateDiff」は、単体では細かなコントロールが難しいため、現時点では以下のパッケージのどれかを選んで使うことが多いです。 AnimateDiff-CLI-Prompt-Travel コマンドラインでAnimateDiff
「動くAIグラビア・AI美女を生成したい」 「AnimateDiffでBRAV6モデルを利用したい」 このような場合には、この記事の内容が参考になります。 この記事では、BRAV6を用いた美女のアニメーション生成について解説しています。 本記事の内容 AnimateDiffへのモデル追加（BRAV6）AnimateDiffにおけるconfigファイル作成BRAV6を用いたGIFアニメの生成 それでは、上記に沿って解説していきます。
Memeplex.appは、誰でも無料でAI作画ができるWebサービスです。 使い方をまとめます。 Memeplex.appに関するニュースヘッドライン2024/2/11 キャラクターを固定して出せるCustom_SDXLに対応しました(ブロンズユーザー以上)同じプロンプトを与えると同じキャラクター(人物)が生成されるCustom_SDXLに対応しました。ブロンズユーザー(レベル3)で2種類、シルバーで8種類、ゴールドユーザー(レベル5)で12種類のCustom_SDXLを使うことができます。漫画制作などが捗ります。 同じキャラクターを繰り返し出せます2024/2/11 個別画像をループバックして高解像度化/透過できるようになりました(ブロンズユーザー以上)要望が多かったので、レベル3以上(ブロンズ)ユーザー様に対して個別の画像ページから「ループバック」でクリエイトページに戻った後、高解像
タイトル通りの内容です 整備はしたいのですがまだまだ自分向けという感じのコードです WebUI1.6で動作を確認しています 今回は、hook.pyとcontrolnet.pyを修正しています。 また、リポジトリのTOPにあるCN_AD.jsonをトップディレクトリ(webui-user.batのあるところ) に置きます。 { "_is_CN_AD_on": 1, "input_images_pass": "imput_images", "input_images_number": 16 }_is_CN_AD_on：このモードを使用するかどうか input_images_pass：連番画像を入れるパスの名前 input_images_number：画像の枚数（フレーム数と同じ枚数にしか対応していません） 設定例設定は普通にUI上で行います。まずは同じ設定で動くか試してください。 主な注意点は
アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化（アスキー） - Yahoo!ニュース
画像生成AI「Stable Diffusion」などで使える新技術「AnimateDiff」の進化がすごい。アニメーションのいわゆる「中割」が作成できて、アニメの常識を変える可能性が出てきた。 【もっと写真を見る】 原画と原画の間にあたる画像を複数枚入れることで、自然な連続性のある動きを作る。アニメの基本となる「中割」作業を画像生成AIが実現する可能性が出てきました。鍵になっているのは「AnimateDiff」という技術。8月に入って、様々なユーザーのアップデートによって機能拡張が進められています。それは完全な画像生成AIで作られるアニメの可能性を垣間見せるほどのものです。 16コマ/2秒の短い動画が生成できる AnimateDiffは7月10日に発表された、上海AIラボ、香港中文大学、スタンフォード大学の共同研究による技術。画像生成AI「Stable Diffusion」の仕組みとデータ
原画と原画の間にあたる画像を複数枚入れることで、自然な連続性のある動きを作る。アニメの基本となる「中割」作業を画像生成AIが実現する可能性が出てきました。鍵になっているのは「AnimateDiff」という技術。8月に入って、様々なユーザーのアップデートによって機能拡張が進められています。それは完全な画像生成AIで作られるアニメの可能性を垣間見せるほどのものです。 16コマ/2秒の短い動画が生成できる AnimateDiffは7月10日に発表された、上海AIラボ、香港中文大学、スタンフォード大学の共同研究による技術。画像生成AI「Stable Diffusion」の仕組みとデータセットを利用しつつ、数百万本の動画を学習させた「モーションモジュール」と呼ばれるデータセットを別途に参照させることで、連続するキャラクターの動きを生成可能にするというのが基本原理です。生成できる時間は、16コマ/2秒
クラウドサービスのMidjourney v6で生成し、やはりクラウドサービスのMagnifi AIで高解像度化した画像（筆者作成） 年末になり、画像生成AI技術を応用した、動画生成の研究やサービスが次々に発表になりました。しかし、企業が研究に関わったものは、その多くはコアとなるコードやデータ部分が公開されない傾向が増えつつあります。Stable DiffusionのStability AIも、ついに商用利用の有償化に踏み切りました。一因は開発コストと収益とのバランスにありそうです。 動画生成で話題になった「MagicAnimate」と「AnimateZero」 動画生成技術として大きく話題になったのは、1枚の画像とモーションシーケンスを用意すれば自然なダンスのような動画を作れる「Magic Animate」ですね。 1枚の画像からキャラクターの一貫性を維持した動画を作れるということで、大き
Midjourneyに1枚の画像から似た画像を作れる新機能「Creative Reference」が追加。ベースになった技術「IP-Adapter」も発展を遂げ、いわゆる「LoRA」も作りやすくなってきた。将来的には文字や音声から“同じ人物”が生成できるようになりそうだ。 【もっと写真を見る】 画像生成AIサービスの「Midjourney」に3月12日、新機能「Creative Reference」が追加。1枚の画像から特徴を引き継いだ画像を生成できるようになり、同じキャラクターに別のポーズをとらせるなど様々な画像を作れるようになりました。これまで画像生成AI「Stable Diffusion」などで同じキャラクターの画像を作るには「LoRA」という追加学習をするのが一般的でしたが、それが必要ないため、キャラクターの再現が劇的に簡単になってきました。 画像1枚で“似た顔” Midjourn
AnimateDiff
AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning (ICLR'24 spotlight) Yuwei Guo1 Ceyuan Yang2✝ Anyi Rao3 Zhengyang Liang2 Yaohui Wang2 Yu Qiao2 Maneesh Agrawala3 Dahua Lin1,2 Bo Dai2 ✝Corresponding Author. 1The Chinese University of Hong Kong 2Shanghai AI Laboratory 3Stanford University [Paper] [Github] [BibTeX] Click to Play the Animations! Methodology
動画に対し、SNSユーザーからは「ついに動いた！！！」「広告の担当、生成AIのトレンドを押さえて使いこなそうとしていてシンプルに感心する」「マッチングアプリとしてじゃなく、AIの進化を見る広告になってる」など、広告への注目度がうかがえる意見が見られた。一方、「やっぱり生成系AIの（現状）一番の難点は、同一性だろう」など、問題点を指摘する声もあった 動画の掲載について、運営会社であるエイチエムシステムズ（東京都新宿区）に話を聞いたところ「今後はAIで作成した動画も広告として展開していく」と話した。画像生成AI「Stable Diffusion」でアニメを生成できるようになる拡張機能「AnimateDiff」を導入し、作成したという。 「現在は5秒程度の短い動画しか作成できないのでつないで15秒に見せているが、今後長尺で安定して作成できるツールがリリースされれば1分～5分の動画にもチャレンジし
【大型アップデート】画像生成AI活用ツール「生成AI GO」に、最新の「Stable Diffusion web UI v1.6.0」と動画生成機能「AnimateDiff」を実装
【大型アップデート】画像生成AI活用ツール「生成AI GO」に、最新の「Stable Diffusion web UI v1.6.0」と動画生成機能「AnimateDiff」を実装〜さらに高品質な画像生成と動画生成が簡単に可能に！〜 映像解析AIプラットフォーム「SCORER(スコアラー)」を運営する株式会社フューチャースタンダード(本社:東京都台東区、代表取締役:鳥海哲史 以下、フューチャースタンダード)は、最新の画像生成AI「Stable Diffusion XL 1.0（以下、SDXL1.0）」をWebブラウザ上で気軽に活用できる「生成AI GO」の大型アップデートを実施しました。このアップデートには、最新UI「Stable Diffusion web UI v1.6.0」および動画生成機能「AnimateDiff」が実装されています。これにより、SDXL1.0の機能を最大限に引き出
この記事は、「AnimateDiffをComfyUI環境で実現する。簡単ショートムービーを作る」に続く、KosinkadinkさんのComfyUI-AnimateDiff-Evolved（AnimateDiff for ComfyUI）を使った、AnimateDiffを使ったショートムービー制作のやり方の紹介です。今回は、ControlNetを使うやり方を紹介します。ControlNetと組み合わせることで、制御できることの幅が一気に広がります。 AnimateDiff for ComfyUIは、ControlNetに対応しています。ただし、使い方に少し癖があり、公式ページではあまり詳しく解説が行われていないため、引っかかりやすい状態になっています。この記事は、公式ページを補完する目的で書いています。 Control Net付きのサンプルワークフロー サンプルのワークフローを含んだ画像がい
SDXLでライブ映像をリアルタイム画像生成できる高速化ツール「LCM-LoRA」、GPT-4Vより良い結果も示す画像理解モデル「CogVLM」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第20回目は、Stable Diffusion微調整モデルなどを高速化するツール「LCM-LoRA」、画像理解を得意とするオープンソース視覚言語モデル「CogVLM」をはじめとする、生成AI最新論文の概要5つをお届けします。 生成AI論文ピックアップStable Diffusion微調整モデルなどを高速化するツール「LCM-LoRA」 Hugging Faceらが開発 画像理解を得意とするオープンソース視覚言語モデル「CogVLM」 テキスト内容と画像内の物体とを細かく関連付けて対話できるモデル「GLaMM」 Googleらが開発 大規模言語モデルを低コストで効率よく
「GIFアニメを簡単に作りたい」 「テキストからアニメーションを自動で生成したい」 このような場合には、AnimateDiffがオススメです。 この記事では、AnimateDiffについて解説しています。 本記事の内容 AnimateDiffとは？AnimateDiffのインストールAnimateDiffのモデルダウンロードAnimateDiffの動作確認 それでは、上記に沿って解説していきます。
Stable Diffusion WebUI の最適化＆高速化版！「Stable Diffusion WebUI Forge」
lllyasviel氏によるStable Diffusion WebUI の最適化＆高速化版「Stable Diffusion WebUI Forge」の紹介です。 Stable Diffusion WebUI ForgeとはStable Diffusion WebUI Forgeは、ControlNet や Foocus の作者である lllyasviel氏によって作成された開発を容易にし、リソース管理を最適化し、推論を高速化するためのStable Diffusion WebUI（Gradioベース）ベースのプラットフォームです。「Forge」という名前は、「Minecraft Forge」からインスピレーションを受けており、このプロジェクトは、SD WebUI の Forge になることを目指しているとのことです。 オリジナルのWebUIであるのAutomatic1111のユーザーイン
前回の記事では、AI動画生成ツールのAnimateDiffと「ControlNet」を組み合わせることで、特定のモーションをアニメで再現しました。 今回は、ControlNetの「Tile」という機能を組み合わせて、2枚の画像を補間するアニメーションの生成を試します。 必要な準備ComfyUI AnimateDiffの基本的な使い方については、こちらの記事などをご参照ください。 今回の作業でComfyUIに導入が必要なカスタムノードなどは以下のとおりです（説明は後述）。 カスタムノード (./custom_nodes/)： 以下の2つを使います。 ComfyUI-AnimateDiff-Evolved（ComfyUI用AnimateDiff） ComfyUI-Advanced-ControlNet（ControlNet拡張機能） モーションモジュール (./custom_nodes/Com
OpenAIが2月15日に動画生成AI「Sora」を発表して世界中が大騒ぎになりましたよね（ニュース記事）。生成可能な動画は最長で60秒間。人物や空間の一貫性を保持しながら、物理法則を伴って動いているように見える。これまで動画生成AIでは不可能とされていたことがすべてできていて、常識がひっくり返されました。 Prompt: “A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. she wears a black leather jacket, a long red dress, and black boots, and carries a black purse. she wears sunglasses and red lipstick. sh
GitHub - guoyww/AnimateDiff: Official implementation of AnimateDiff.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
AUTOMATIC1111版Stable Diffusion web UIでLCM LoRAを利用する手順｜まゆひら
Last update 11-26-2023 ※筆者の知識不足により、記事に不足や誤りが含まれる可能性があります。今後さらに追記や変更を行う場合があります。 ▼ 0. LCM LoRAを利用する簡単な方法 記事の本編よりも先に、LCM LoRAを体験する最も簡単な方法を紹介します。標準の利用方法については1.以降をご覧ください。 0-1. LCM LoRAをマージしたモデル LCM LoRAをマージしたStable Diffusionモデルが登場していて、これらを利用すればすぐに生成ができます。Sampling stepsとGFC Scaleをかなり下げる必要がありますので注意してください（steps=8程度、GFC=1～2）。 なお、LCM Samplerは必須ではなく、Euler a、DPM++ 2S a Karras等を利用するのが良さそうです。LCM Samplerを利用したい場合
animateDiffでアニメーションを生成する方法 / Stable Diffusion｜SOD社員【AI研究ノート】🧪｜倉田優希
AnimateDiffとは1枚の画像から一貫性のある動画を生成できる技術のこと。 実際に下記のアニメーションを生成してみた。 このように、画像１枚を用意するだけで自動的に波や風、人の動きなどのアニメーションを生成してくれる。 」 AnimateDiffのインストール方法拡張機能 → URLからインストール → 拡張機能のリポジトリのURL → 以下のURLを入力してインストールを押す。 https://github.com/continue-revolution/sd-webui-animatediff.git"Installed into~~~~~sd-webui-animatediff. Use Installed tab to restart."が下に表示されたらインストールが完了。拡張機能 → インストール済 → sd-webui-animatediffにチェックを入れる → 適用
Stability AIが画像生成AI「Stable Diffusion」を公開したのは2022年8月のこと。すさまじい勢いで発展してきた画像生成AIの1年を振り返ってみようと思います。 【もっと写真を見る】 Stability AIが画像生成AI「Stable Diffusion」を公開したのは2022年8月のこと。すさまじい勢いで発展してきた画像生成AIの1年を振り返ってみようと思います。 初めに見てもらいたいのは「これが無料でいいのか!? “爆速生成AI”がペイントソフトに革命を起こした」で紹介した、KritaとGenerative AI for Kritaを組み合わせて作成した設定資料的な画像です。 Stable Diffusionを使って同じキャラクターを多数の方向から作る技法は、今年の前半には確立されてきました。しかし、Stable Diffusionは確率によって画像が生成さ
「AnimateDiffをAUTOMATIC1111版web UIで動かしたい」 「AnimateDiffの処理をもっと速くしたい」 このような場合には、sd-webui-animatediffがオススメです。 この記事では、sd-webui-animatediffについて解説しています。 本記事の内容 sd-webui-animatediffとは？sd-webui-animatediffのシステム要件sd-webui-animatediffのインストールsd-webui-animatediffの動作確認 それでは、上記に沿って解説していきます。
Stability AIの「Stable Diffusion」が引き起こした革新的な画像生成AIの技術発展は、開発コストの肥大化に伴って曲がり角にさしかかっている。来年はサービス有償化の流れが目立ちそうだ。 【もっと写真を見る】 年末になり、画像生成AI技術を応用した、動画生成の研究やサービスが次々に発表になりました。しかし、企業が研究に関わったものは、その多くはコアとなるコードやデータ部分が公開されない傾向が増えつつあります。Stable DiffusionのStability AIも、ついに商用利用の有償化に踏み切りました。一因は開発コストと収益とのバランスにありそうです。 動画生成で話題になった「MagicAnimate」と「AnimateZero」 動画生成技術として大きく話題になったのは、1枚の画像とモーションシーケンスを用意すれば自然なダンスのような動画を作れる「Magic A
生成AIレンダリングの現在地とゲームの期限
生成AIレンダリングの現在地とゲームの期限 by kogu 2023年12月14日 これは「生成AI Advent Calendar 2023」参加記事であり、また昨年書いた「3DCGの終焉とAI生成レンダリングという未来」の続きです。 2022年7月末以降生成AIの大きな変化は続いていますが、視覚表現の生成AIレンダリングという可能性にどんな変化があったのか確認します。後半ではゲームへの生成AIの利用の大雑把な状況と、最後にまたSF的なゲームの未来についても考えます。 今回は記事全体をCC0にはできませんが、昨年同様脈絡なく挿れた挿絵はすべてStable Diffusion XL（+Kohya’s Deep Shrink）で生成しています。著作性ある加工も行っていないため、パブリックドメインと考え、引用元の記載がある画像を除き記事内の画像はすべてCC0とします。 生成AIレンダリングから
2024年04月01日 07時00分 AI 第59回 政府、生成AI推進に向けて議論を加速 年度の終わりを迎え、今後の日本のAI政策がどのような方向になるのかが、明確になってきた。昨年5月の「広島AIプロセス」の取りまとめから始まり文化庁、総務省・経産省、内閣府と個別省庁で行われていた議論の最終案がまとまってきため。 2024年03月25日 07時00分 AI 第58回 画像生成AIで同じキャラクターが簡単に作れるようになってきた Midjourneyに1枚の画像から似た画像を作れる新機能「Creative Reference」が追加。ベースになった技術「IP-Adapter」も発展を遂げ、いわゆる「LoRA」も作りやすくなってきた。将来的には文字や音声から“同じ人物”が生成できるようになりそうだ。 2024年03月18日 07時00分 AI 第57回 日本発のリアルタイム画像生成AIサー
「生成AI GO」は、Webブラウザ上でパワフルに動作する生成AIのパッケージです。主要な機能として、画像や動画の生成は「Stable Diffusion XL 1.0」、プロンプト生成は「ChatGPT（GPT3.5/4.0）」を使用しています。さらに、画像編集ツール「Photopea」を組み込んでおり、これにより画像の編集もできる高機能な環境を提供しています。 最新UI「Stable Diffusion web UI v1.6.0」が実装されており、最新のサンプラーが活用できます。 ・Stable Diffusion XL 1.0を活用した画像生成 ・AnimateDiffを活用した動画生成 ・Mov2Movを活用した動画生成 ・ChatGPTを活用したプロンプト生成 ・ControlNetを活用した生成画像のコントロール ・生成物の一括ダウンロード ・主要な商用利用可
WebUI版AnimateDiffの品質の改善方法｜TDS_
かなり雑なやり方なので、全ての状況で機能するかはわかりません。自己責任でお願いします。 浅い知識でやっているので、正式な修正に関してはissueで依頼をしています。 AnimateDiffのオリジナルリポジトリでの生成時のalphas_cumprodを出力したものです。これをwebui-user.batと同じフォルダに入れます。 \repositories\stable-diffusion-stability-ai\ldm\models\diffusion\ddim.pyを下記のように書き換えます。 （追記） ddim.pyの上の方にimport json も追加してください def make_schedule(self, ddim_num_steps, ddim_discretize="uniform", ddim_eta=0., verbose=True): self.ddim_tim
Stable Diffusion高速化の決定版登場！？品質落とさず制限もほぼなしで2～3倍速に（PC Watch） - Yahoo!ニュース
11月9日に掲載した前々回、Stable Diffusionの高速化技術として「TensorRT」、「SSD-1B」、そして「LCM」をご紹介したが、どれも帯に短し襷に長しと言う残念な結果だった。ところが翌日の11月10日、「LCM LoRA」の登場により、それが引っ繰り返ってしまったのだ。今回はこの辺りをお話したい。 【画像】SDXL通常の処理でStep 5 / 00:01<00:00, 8.17it/s ■ Latent Consistency Model LoRAとは? 11月9日に掲載した前々回の3番目に書いたのが、このベースとなるLCM(Latent Consistency Model for Stable Diffusion)だった。技術的には良く分からないので、詳細はここを参考としたが、実際の動きとしては、 上に並べた画像から分かるように、画像を生成するのに書込量のStep数
今回の目的 動画でも画像みたく気軽にinpaintとかlama cleanerとか背景透過とか使いたい！ という訳で、今回はanimatediffやGen2などで生成した動画を、画像と同じようにinpaintとか背景透過とかできるようになる事を目指します。（今回の記事ではinpaintや背景透過までは踏み込まず、その前提となるマスク動画の作成までを解説します） きっかけ animatediff周りをいろいろ調べていた際に、こちらの記事を見つけました。 この記事では、animatediff×comfyUIでinpaintを行う方法が紹介されています。 たしかに、画像生成ではいまや当たり前のようにinpaintのような生成技術を用いた画像編集手法が使用されていますが、動画ではあまり使用された例を見かけない気がします。 この記事でも紹介されていますが、以下のツイートのようにinpaint等を組み
AnimateDiffでドット絵アニメをつくる / Pixel Art with AnimateDiff ｜Baku
English summary of this article is at the end. AnimateDiffでドット絵アニメを作ってみたらハマったので、ワークフローをまとめてみました。 ComfyUI AnimateDiffの基本的な使い方から知りたい方は、こちらをご参照ください。 1. カスタムノード特別なカスタムノードはありません。以下の2つだけ使います。 https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite GoogleColab Proで試す場合は、末尾のColabをお使いください。 2. SD1.5モデルの場合通常のワークフローにピクセルアートLoRAを組み合わせることでドット絵GIFを生成します。
「元動画無しでディープフェイク動画を生成したい」 「顔を指定してGIFアニメを生成したい」 このような場合には、この記事の内容が参考になります。 この記事では、web UIで簡単にディープフェイク動画を生成する方法を解説しています。 本記事の内容 元動画無しでディープフェイク動画を生成する方法ディープフェイク動画生成手順 それでは、上記に沿って解説していきます。 元動画無しでディープフェイク動画を生成する方法 まず、この記事で言うディープフェイク動画の定義から説明します。 ディープフェイクとは、画像や動画における人の顔を著名人などの顔に入れ替える技術のことを言います。 その技術を用いて作成した動画をディープフェイク動画と言います。 一般的には、そのようにディープフェイク動画を定義します。 この定義のディープフェイク動画を生成したい場合は、次の記事をご覧ください。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化 (1/3)
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!?
【AI動画生成】Animate Anyone 論文解説
色々な生成AIモデルをColabで動かして今年を振り返る - ABEJA Tech Blog
【AIアニメ】ComfyUIでAnimateDiffをはじめよう！｜Baku
【AnimateDiff】BRAV6を用いた美女のアニメーション生成
無料作画AIサービスMemeplexの使い方｜shi3z
WebUIのAnimateDiffに複数画像のControlNetを適用する｜TDS_
アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化 - 週刊アスキー
画像生成AI、フリー時代は終わりに向かう? 有料サービスが目立ちはじめた (1/4)
画像生成AIで同じキャラクターが簡単に作れるようになってきた（アスキー） - Yahoo!ニュース
オタ恋のカップル、動く 公式が“AI動画”投稿 「今後は動画広告も展開していく」
AnimateDiffにComfyUI環境でのControlNetを適応する｜Alone1M
テキストからアニメーション生成が可能なAnimateDiffのインストール
【AIアニメ】ComfyUI AnimateDiffでアニメの中割りを作ろう！｜Baku
動画生成AIの常識を破壊した OpenAI「Sora」の衝撃 (1/5)
画像生成AIが爆速で進化した2023年をまとめて振り返る（アスキー） - Yahoo!ニュース
【AnimateDiff】web UI拡張機能によるGIFアニメ生成
画像生成AI、フリー時代は終わりに向かう? 有料サービスが目立ちはじめた（アスキー） - Yahoo!ニュース
新清士の「メタバース・プレゼンス」
生成AI GO｜ブラウザで「Stable Diffusion XL 1.0」をパワフルに活用
SAM PT×animatediffで生成した動画から自動でマスク動画を作る
【AnimateDiff + roop】ディープフェイク動画生成