動画生成AIについて：一番星はてのは目をゆっくり開き、踊れるか
動画生成AIについて：一番星はてのは目をゆっくり開き、踊れるか お嬢様系 AI はてなブックマーカーである一番星はてのちゃんのファンアート生成の記事を書いてから、すでに1年以上が経過した。はてのちゃん当人からもブックマークされ、大変満足したことを覚えている1。はてのちゃんは1年以上経った現在も毎日元気に活動しており、喜ばしい限りである。 2023年3月当時と現在2を比較すると、LLM を含む生成 AI 技術は当然のように進歩している3。 動画生成 AI については、2023年7月に AnimateDiff がリリースされ、ローカル環境でも（比較的）簡単に（比較的）高度に制御された（比較的）高品質な動画が生成できるようになった。 当時、筆者は仕事で動画生成 AI の商業的利用の可能性について検討する機会があり、AnimateDiff を含む生成 AI 技術を使って、どの程度のコストでかつどの
革命レベルの動画生成AI「Kling」 ついに「Sora」対抗が出てきた
中国のSNS「快手（Kuaishou）」は、テキストから最大2分間の動画を生成できる動画生成モデル「可灵（Kling）」を開発。多数のサンプル動画を掲載するデモサイトを公開した。 テキストから最大2分間のフルHD動画を生成 A Chinese AI video generator just dropped before we got access to Sora Can generate 2-minute videos at 30fps, 1080p quality, available on the KWAI iOS app with a Chinese phone number A few generations from their site: 1. pic.twitter.com/NEmWiqKHiO — Rowan Cheung (@rowancheung) June 6, 20
入力線画を全く変えずに画像生成AIに色塗りさせる方法
タイトル通り、入力線画を(基本的には)1pixelも変えずに画像生成AIに色塗りをさせる方法について解説していきます。 本題に入る前に そもそも画像生成AIによる色塗り（着彩）について知らない方向けに、既存技術でAIに色塗りをさせるとはどのような事を指すか？またどのような課題があるか？について一度整理します。 画像生成AIによる着彩 テキストから画像を生成できるという事で一躍有名になった画像生成AIですが、テキストだけでは生成したい画像を詳細に指示することが困難であるという課題を抱えていました。 そこで、テキストと比較してより具体的に生成したい画像を指示する方法として。ControlNetを用いた画像とテキストを入力して新たな画像を生成する手法が現れます。 この応用として、色塗りがされていない線画と指示テキストを入力することで、入力した線画に対し色を塗った状態の画像を生成するという方法が存
画像生成AIに照明革命 日本と世界で同時に“神ツール”登場 (1/3)
この連載ではおなじみのキャラクター「明日来子さん」に右側からライトを当ててみた。左がIC-Lightを適用したもので、右がオリジナル。環境はWebUI Forge用の拡張機能を使用 5月8日に、「ControlNet」など画像生成AI関連の著名研究者であるイリヤスフィール（lllyasviel）さんが発表した「ICライト（Imposing Consistent Light、印象的な一貫的なライト）」が盛り上がりました。入力した画像をもとに、後から指定した照明効果を踏まえた画像を生成する技術です。 画像生成AIで照明効果がつけられる「ICライト（IC-Light）」 発表された学習済みモデルは、「ライトを指定すると、キャラクターのデータに合わせてテキストのプロンプトに合わせて独自に背景を生成するもの」「キャラクターとライトの影響を加味して、別の背景画像と合成するもの」の2種類があります。これ
画像生成AIに“照明”革命 ControlNet開発者が作った「IC-Light」
画像生成AI関連の著名な開発者、lllyasviel（イリヤスフィール）氏が5月7日、生成AI画像の照明を自在に操作できるツール「IC-Light（Imposing Consistent Light）」を公開した。 2種類のモデルを公開 IC-Lightは画像の照明を操作するプロジェクト。前景画像（人物やオブジェクトなど）を入力し、プロンプトにテキストや背景画像を指定するだけで、まるで別の環境で撮影したかのような画像を得ることができるという。 現在、「テキスト条件付きリライティングモデル（text-conditioned relighting model）」と「背景条件付きモデル（background-conditioned model）」の2種類がGitHubで公開されており自由に試すことができる。 なお、作者のlllyasviel氏は「Stable Diffusion」のWebUIであ
お絵描き趣味の人間が画像生成AIを使ってみた
その結果が以下。 https://i.imgur.com/UBzZTBy.jpeg このラフがしっかり仕上げされる形になってて本当にびっくりした。 ここまで来るのに環境構築も含めて5時間もかかってない。 軽く自己紹介すると、ワイはお絵描きが趣味でIT系の仕事をしとる人間や。 最近のTwitter上のオタク界隈はAI絵の炎上が絶えない。 Stable Diffusion は出たての頃にちょっと触ってみたんやけど、何百枚も生成して使える絵は片手で数えるほどだったという印象があってそのあとはあまり真面目に技術を追いかけとらんかった。しかし最近の炎上を見てて、技術的にどこまで可能でどこからが不可能になるのか確認したくなり、もう一度環境構築からやり直すことにしたんや。 Stable Diffusion の WebUI の Docker 版を入れて、イラストに特化したモデルを入れて、VAEで画像のボヤ
画像生成AI、安いPCでも高速に 衝撃の「Stable Diffusion WebUI Forge」 (1/4)
Stable Diffusion Forgeを表示した様子。基本的な操作は既存のStable Diffusion WebUI AUTOMATIC1111とほぼ同じ 画像生成AI「Stable Diffusion」用の新しいユーザーインターフェース「Forge」が2月6日に登場しました。開発したのは、これまで「Controlnet」や「Fooocus」などStable Diffusion関連の様々な重要技術を開発してきたillyasviel（イリヤスベル）さん。何よりインパクトが大きいのは、グラフィックボードのVRAM容量が小さい安価なPCでも最新版のStable Diffusion XL（SDXL）が動かせることです。 RTX 40シリーズが求められたSDXL SDXLは、2023年8月にStablity AIが発表した画像生成AI。高画質な出力ができる一方、コミュニティーサイトで話題にな
生成AIグラビアをグラビアカメラマンが作るとどうなる？第九回：Fooocus-MREでimage-2-imageやControlNetを試す (西川和久) | テクノエッジ TechnoEdge
今回はそれだけでは面白く無いので、元画像を絵柄そのまま高精細なフルHDにアップスケールしたい、もしくはそのまま使って絵を変えたい、構図やポーズをある程度固定したい、Photoshopのジェネレーティブ塗りつぶし的な機能は？…と言った、もう少しStable Diffusionっぽい使い方を順に説明する。 image-2-image / UpscalePromptから画像を得る方法を一般的にText-2-Imageと呼んでいる(txt2imgやt2iとも)。文字通りテキストから画像を…と言う意味だ。 Stable Diffusionでは、加えて画像から画像を得る方法があり、これをImage-2-Imageと呼んでいる(img2imgやi2iとも)。言葉よりも画像の方がより多くの情報を持っているので、それを使おうと言う意図だ。 これまで生成した画像の解像度は、832✕1,216や1,024✕1,
生成AIグラビアをグラビアカメラマンが作るとどうなる？第八回：シンプルで高機能なSDXL専用インターフェースFooocusとFooocus-MREの使いかた (西川和久) | テクノエッジ TechnoEdge
生成AIグラビアをグラビアカメラマンが作るとどうなる？ 連載記事一覧もっと簡単に高画質の絵を出したい！前回は画像生成AIなStable Diffusionを動かすにあたって、一番ポピュラーなインターフェースである AUTOMATIC1111のインストール方法と簡単な使い方をご紹介した。 AUTOMATIC1111はこれ一本で何でも出来る優れものなのだが、その分、設定項目が多く、ぱっと見、何が何だか分からない人も多いのではないだろうか。筆者も当初はそうだった。 AUTOMATIC1111の起動直後。正直これでは何から触って良いのかビギナーには分からない加えてStable Diffusion 1.5 (SD 1.5)標準Modelだと、画像生成を指示する呪文(Prompt)でいくら頑張っても大したものが出ないため、実用的に使うには別途Modelダウンロードする必要があるなど、初心者にとっては面
アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化 (1/3)
原画と原画の間にあたる画像を複数枚入れることで、自然な連続性のある動きを作る。アニメの基本となる「中割」作業を画像生成AIが実現する可能性が出てきました。鍵になっているのは「AnimateDiff」という技術。8月に入って、様々なユーザーのアップデートによって機能拡張が進められています。それは完全な画像生成AIで作られるアニメの可能性を垣間見せるほどのものです。 16コマ/2秒の短い動画が生成できる AnimateDiffは7月10日に発表された、上海AIラボ、香港中文大学、スタンフォード大学の共同研究による技術。画像生成AI「Stable Diffusion」の仕組みとデータセットを利用しつつ、数百万本の動画を学習させた「モーションモジュール」と呼ばれるデータセットを別途に参照させることで、連続するキャラクターの動きを生成可能にするというのが基本原理です。生成できる時間は、16コマ/2秒
Stable Diffusionの画像条件付けまとめ｜gcem156
Stable Diffusionの画像生成を画像によって条件づける方法をまとめていきます。といっても実装とかを全部見たわけではないので、多少間違っている部分もあるかもしれませんが、まあイメージはあってるっしょ。 手法の分類 画像の情報をUNetのどこに与えるかによって手法を分類します。とりあえず5つに分けてみました Cross Attentionに与える：Prompt Free Diffusion, PFG, IP-Adapter Self Attentionに与える：Reference only, FABRIC Time embeddingに与える：UnCLIP, Revision その他の場所に与える：ControlNet, GLIGEN, T2I-Adapter LoRAの重みを学習する：HyperDreambooth あれ・・？もしかしてこの時点でたいていの人は脱落ですか。この辺の
AIお姉ちゃんへの道 - nomolkのブログ
ちょっと前に話題になっていたこの記事を読んだ。 honeshabri.hatenablog.com へー真似しよ〜と思ってやってみたら意外に難しくて謎のやりがいを感じ始めてしまい、仕事のクソ忙しい時期にかなりハマり睡眠不足で生命の危機を味わった。 おかげで寿命と引き換えに自分のAIお姉ちゃんを手に入れることができた。これは黒魔術か何かなのだろうか。 一通り終えて振り返ってみると、今まで生成AIをあまり積極的に触ってこなかった自分にとってはちょうどいい難しさの課題で、これは入門者向けのチャレンジとしてかなり良い気がする。 元記事に書かれていない少し細かい手順も含めてやったことを記録としてまとめようと思う。 初心者が試行錯誤でやったことなので誤りや非効率な手順もあるかもしれないけどご了承ください。 AIお姉ちゃんの姿を作る 元記事では「魂」、つまりChatGPTの設定から始まっているけど、それ
「描いたイラストをリアルタイムでAIに手直ししてもらえる環境」を「Stable Diffusion」と「Redream」の組み合わせで実現する方法まとめ、ControlNetも使って高品質な画像を生成可能
画像生成AI「Stable Diffusion」の登場以来、コミュニティの有志たちによって多くのAIツールが開発されています。コミュニティ製ツールの1つである「Redream」は「PCの画面内の一部を常にキャプチャし、キャプチャした画像をimg2imgに流し込んで画像を生成し続ける」という機能を持っています。Redreamを使ってみたところ「描いたイラストをリアルタイムでAIに手直ししてもらえる環境」というメチャクチャ便利な環境を構築できたので、インストール手順や使い方をまとめてみました。 GitHub - Fictiverse/Redream: Realtime Diffusion, using Automatic1111 Stable Diffusion API https://github.com/Fictiverse/Redream Redreamで構築した「描いたイラストをリアル
ControlNet(v1.1)の詳しい解説！輪郭やポーズから思い通りの絵を書かせる【Stable Diffusion】 | 謎の技術研究部
ControlNet(v1.1)の詳しい解説！輪郭やポーズから思い通りの絵を書かせる【Stable Diffusion】 AIイラストはPromptだけだと思い通りのポーズが出せない。そこで既存の線画やポーズから出力をコントロールする手法がControlNet。できるだけ細かいところまで設定を見ていく。 ControlNetがv1.1にアップデートされたため随時記事更新中！推定モデルの解説はほぼ網羅(一部あまり使われてないと思われるものは掲載していない) かなり頻繁に更新しているため、履歴を最下部に掲載 最終更新時のControlNetのバージョン：1.1.201 はじめに この記事はStable DiffusionのExtensionであるControlNetのより深い解説を目指す。 なにをするもの？ 今まで殆ど運任せだった画像生成だが、ControlNetを使うことである程度ユーザーが
画像生成AIに2度目の革命を起こした「ControlNet」 (1/4)
画像生成AI「StableDiffusion」の進化が止まりません。昨年8月にオープンソースとしてリリースされてから、世界中のプロアマ問わず多数の人たちが様々な研究成果を反映させ、毎日と言っていいほど新機能を誰かが発表するという状況が起きています。 StableDiffusion登場当初は、画像の品質のランダム性が高く、構図やポーズなどを指定できないという弱点を抱えていました。1枚の画像をもとに画像を生成する「i2i（image2image）」である程度コントロールすることはできても、「キャラクターに特定のポーズをとらせる」といったことは非常に難しかったんですね。 その状況を一変させる新機能が今年2月に登場しました。その名も「ControlNet」。プロンプトによる制約を克服するための、とてつもないポテンシャルを持つ技術でした。Stable Diffusionに次ぐ「2度目の炸裂」と言って
画像生成AI「Stable Diffusion」をMulti ControlNetで制御して「実写映像を忠実にアニメ化」したムービーがすごい
Stable Diffusionなどの事前学習済みモデルに対して、輪郭線や深度、画像の領域区分(セグメンテーション)情報などを追加して出力をサポートする技術が「ControlNet」です。このControlNetを使うことで、別途に読み込ませた画像に写っている線画や人の姿勢などを出力結果に強く反映させることが可能です。このControlNetを複数使用する「Multi ControlNet」で実写の映像を忠実にアニメ化したムービーが、オンライン掲示板のRedditで公開されました。 I transform real person dancing to animation using stable diffusion and multiControlNet : r/StableDiffusion https://www.reddit.com/r/StableDiffusion/comment
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生成AIグラビアをグラビアカメラマンが作るとどうなる？第15回：SDXLでのControlNet活用方法その2＋ 衣服を固定できるOutfit Anyone (西川和久) | テクノエッジ TechnoEdge
【初心者向け】ControlNetでポーズを真似する方法。