Generative AI for Kritaのライブペインティング機能を実行している画面。左が筆者が描いた落書き。右が、その画像を線画（Scribble）としてAI生成した画像 11月13日掲載の記事「爆速化する画像生成AI」で紹介した新技術「Latent Consistency Models（LCM）」が大爆発しています。これは画像生成AIに2度目の革命を起こした「ControlNet」に次ぐ大インパクトではないかと感じています。「LCM-LoRA」（LoRAはStable Diffusion用の追加学習モデル）が11月下旬に登場したことで、リアルタイム生成のAI機能を組み入れたサービスやアプリの開発が一気に進みました。 なかでも、筆者にとってインパクトが大きかったのが、ペイントソフト「Krita」向けに開発された「Generative AI for Krita」。Kritaはスウェー
ちょっと前に話題になっていたこの記事を読んだ。 honeshabri.hatenablog.com へー真似しよ〜と思ってやってみたら意外に難しくて謎のやりがいを感じ始めてしまい、仕事のクソ忙しい時期にかなりハマり睡眠不足で生命の危機を味わった。 おかげで寿命と引き換えに自分のAIお姉ちゃんを手に入れることができた。これは黒魔術か何かなのだろうか。 一通り終えて振り返ってみると、今まで生成AIをあまり積極的に触ってこなかった自分にとってはちょうどいい難しさの課題で、これは入門者向けのチャレンジとしてかなり良い気がする。 元記事に書かれていない少し細かい手順も含めてやったことを記録としてまとめようと思う。 初心者が試行錯誤でやったことなので誤りや非効率な手順もあるかもしれないけどご了承ください。 AIお姉ちゃんの姿を作る 元記事では「魂」、つまりChatGPTの設定から始まっているけど、それ
AIと3Dを利用したアニメ制作 統一性のある背景を様々なアングルから生成｜abubu nounanka
こんにちは。一般クリエイターです。前回からlineart(AI着色)を利用したイラスト製作を色々と試していましたが、lineartを使用することでかなり細部に渡って生成物の形状を制御できることが分かってきました。3D背景と併用することで、統一性のある背景を様々なアングルから描写することができます。これによって「AIが生成する背景は描写毎に形が変わってしまうので、同一室内の複数カットを作成できない」という問題がある程度解決されてしまいました。されてしまいましたよ！ある程度！ なので今回は3D背景モデルを使用して３カットほどシーンを生成させて何かアニメっぽいやつ作りたいと思います。作業手順はだいぶ複雑になりますので、「AIを活かしてなんか作品作りてえな～」と思ってる人向けの内容となっております。AI着色を使用したイラスト作成に関しては前回記事を参照してください。 まずは今回のアニメの舞台となる
ControlNet(v1.1)の詳しい解説！輪郭やポーズから思い通りの絵を書かせる【Stable Diffusion】 | 謎の技術研究部
ControlNet(v1.1)の詳しい解説！輪郭やポーズから思い通りの絵を書かせる【Stable Diffusion】 AIイラストはPromptだけだと思い通りのポーズが出せない。そこで既存の線画やポーズから出力をコントロールする手法がControlNet。できるだけ細かいところまで設定を見ていく。 ControlNetがv1.1にアップデートされたため随時記事更新中！推定モデルの解説はほぼ網羅(一部あまり使われてないと思われるものは掲載していない) かなり頻繁に更新しているため、履歴を最下部に掲載 最終更新時のControlNetのバージョン：1.1.201 はじめに この記事はStable DiffusionのExtensionであるControlNetのより深い解説を目指す。 なにをするもの？ 今まで殆ど運任せだった画像生成だが、ControlNetを使うことである程度ユーザーが
※ 一部ガイドラインに反する内容がありましたので、該当箇所を修正のうえ再投稿しております。 はじめに Axross は、エンジニアの"教育"と"実務"のギャップに着目し、「学んだが活用できない人を減らしたい」という想いで、ソフトバンク社内起業制度にて立ち上げたサービスです。 現役エンジニアによる実践ノウハウが"レシピ"として教材化されており、実際に動くものを作りながら、具体的な目的・テーマをもってプログラミングを学ぶことができます。 今回は、Axross運営が厳選した『AI・Python活用レシピを100選』をご紹介します。是非、みなさまのAIやPython学習の参考にしてみてください。 Axross：https://axross-recipe.com 公式Twitter：https://twitter.com/Axross_SBiv 基礎 スクレイピング 01 . JUMPの掲載順をスク
生成AIグラビアをグラビアカメラマンが作るとどうなる？第三回：実際の撮影とポーズ/構図の関係。openpose_handで指問題解決？ (西川和久) | テクノエッジ TechnoEdge
現役グラビアカメラマンでありソフトウェアエンジニアでもある西川和久氏が、画像生成AIを使ったリアルなAIグラビア作成技術を解説する連載の第三回。 今回はポーズ / 構図をテーマに、プロカメラマンとしての撮影スタイルとAI生成の共通点、現時点のAIでは難しい手指の表現を改善する技術についても説明します。(編集部) 実際の撮影と「呪文」の関係は似ている？グラビアでもポートレートでも、撮影する時は「立って」「座って」「前向き」「後ろ向き」……といったようにカメラマン側から指示を出す。 この大雑把な指示はどのカメラマンでもすることだが、顔の向きだったり腕の形だったり足の位置といった細かいことは、「指示する」カメラマンと「指示しない」カメラマンとで分かれる。これは撮影スタイルの話なので、どちらが良い悪いではない。 筆者の場合は割と大雑把で、細かい指示はせず、後の事はそのモデルに任せる＝個性だと思って
原画と原画の間にあたる画像を複数枚入れることで、自然な連続性のある動きを作る。アニメの基本となる「中割」作業を画像生成AIが実現する可能性が出てきました。鍵になっているのは「AnimateDiff」という技術。8月に入って、様々なユーザーのアップデートによって機能拡張が進められています。それは完全な画像生成AIで作られるアニメの可能性を垣間見せるほどのものです。 16コマ/2秒の短い動画が生成できる AnimateDiffは7月10日に発表された、上海AIラボ、香港中文大学、スタンフォード大学の共同研究による技術。画像生成AI「Stable Diffusion」の仕組みとデータセットを利用しつつ、数百万本の動画を学習させた「モーションモジュール」と呼ばれるデータセットを別途に参照させることで、連続するキャラクターの動きを生成可能にするというのが基本原理です。生成できる時間は、16コマ/2秒
skebクライアントがAI絵に手を出した結果
結論 skeb欲がなくなった 自分は2021年ごろからskebで絵描きさんに依頼をしていた人間だ。 毎月のskeb予算を決め、毎月1～3本、ボーナスが出る月は自分へのご褒美で5～10本程度のリクエストをしていた。 skebで依頼をしていた理由は、単純にファンの絵描きさんの絵が欲しいから。あと、好きなキャラの絵が自分専用に描かれるというのがワクワクしたからだった。 依頼をしても断られたり放置されたり、時にはリクエストを受けて貰えたのに締め切りを過ぎて返金されるなんて事も多々あったけど、そんなもんだと思ってた。 で、去年の秋ごろ。NovelAIが話題になり、AIの絵がガンガン出てきてpixivやらDLサイトが汚染されるとTLでさんざん騒がれたあたり。 Twitterアカウントの表側ではAI否定派、絵描きさんの手描きにこそ価値がある論者をしていたんだけど、実はAI絵に興味があってこっそりAI絵を
生成AIグラビアをグラビアカメラマンが作るとどうなる？第九回：Fooocus-MREでimage-2-imageやControlNetを試す (西川和久) | テクノエッジ TechnoEdge
今回はそれだけでは面白く無いので、元画像を絵柄そのまま高精細なフルHDにアップスケールしたい、もしくはそのまま使って絵を変えたい、構図やポーズをある程度固定したい、Photoshopのジェネレーティブ塗りつぶし的な機能は？…と言った、もう少しStable Diffusionっぽい使い方を順に説明する。 image-2-image / UpscalePromptから画像を得る方法を一般的にText-2-Imageと呼んでいる(txt2imgやt2iとも)。文字通りテキストから画像を…と言う意味だ。 Stable Diffusionでは、加えて画像から画像を得る方法があり、これをImage-2-Imageと呼んでいる(img2imgやi2iとも)。言葉よりも画像の方がより多くの情報を持っているので、それを使おうと言う意図だ。 これまで生成した画像の解像度は、832✕1,216や1,024✕1,
はじめに 11月も終わり、今年も残るところあと一か月となりました。 今年ももう終わるから今年中に成果を上げとけ！と言わんばかりに最近は新技術の登場が多いです。 今回取り上げるのも11月最後の大砲として出てきた新技術、その名もAnimate Anyone Animate Anyoneとはなんぞや 文字で説明するより見たほうが早い 凄くざっくり説明すると、一枚の絵と動きをボーン動画として入力すると、入力した絵がボーン動画と同じ動きをしてくれるよ！というもの。 似たようなものは今までもReferenceOnly × openpose × animatediffとかで出来ましたが、特筆すべきはその精度。 動画生成の大敵であるちらつきは一切なく、入力画像にかなり忠実な動画を生成しています。 さてこの技術、動画生成にずっと注目している自分としてはいますぐにでも弄り倒したいのですが、残念ながらコードとモ
ポーズや構図を指定してサクッと好みのイラスト画像を生成しまくれる「ControlNet」＆「Stable Diffusion」の合わせ技を試してみたよレビュー
Stable Diffusionなどの画像生成AIの登場によって、手軽に好みの画像を出力できる環境が整いつつありますが、テキスト(プロンプト)による指示だけで好みのポーズのイラストを生成するには長い時間や経験が必要です。新たに開発された「ControlNet」を画像生成AIと併用すれば、好みのポーズを指定したイラストを簡単に生成できるとのことなので、実際にインストールして使い方を確かめてみました。 GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet https://github.com/Mikubill/sd-webui-controlnet ControlNetでポーズや構図を指定してAIイラストを生成する方法｜ddPn08｜note https://note.com/ddpn08/n/n7fce83
【画像生成AI】CharTurnerLoRAとControlNetを併用してキャラシートを安定して出力させる方法｜ステスロス
ローカル環境を作ったときに使ってみたかった機能にCharTurnerLoRA（同一キャラを複数視点で出力するLoRA）があったので早速使ってみたものの、出力が安定していなかったのでControlNetを併用する方法を考えてみた。 さらにランダム要素を加えてキャラクターデザインをいろいろさせてみよう計画に成功したのでnoteにまとめてみる。 下準備：CharTurnerとControlNetとwildcardsを用意する拡張機能の準備CharTurner LoRA版とTI版があるのでお好みのほうをDL! 解説はLoRA版で https://civitai.com/models/7252/charturnerbeta-lora-experimental ControlNet https://github.com/Mikubill/sd-webui-controlnet wildcards でん
「描いたイラストをリアルタイムでAIに手直ししてもらえる環境」を「Stable Diffusion」と「Redream」の組み合わせで実現する方法まとめ、ControlNetも使って高品質な画像を生成可能
画像生成AI「Stable Diffusion」の登場以来、コミュニティの有志たちによって多くのAIツールが開発されています。コミュニティ製ツールの1つである「Redream」は「PCの画面内の一部を常にキャプチャし、キャプチャした画像をimg2imgに流し込んで画像を生成し続ける」という機能を持っています。Redreamを使ってみたところ「描いたイラストをリアルタイムでAIに手直ししてもらえる環境」というメチャクチャ便利な環境を構築できたので、インストール手順や使い方をまとめてみました。 GitHub - Fictiverse/Redream: Realtime Diffusion, using Automatic1111 Stable Diffusion API https://github.com/Fictiverse/Redream Redreamで構築した「描いたイラストをリアル
ダーツが狙ったところに刺さるかどうか、投げた直後、つまり刺さる直前にお知らせすることで、0.2秒待てば分かることを0.2秒前に知って一喜一憂するためのアプリを作りました。 何を作ったか まず、的に向かってダーツを投げましょう。その様子をカメラで撮影し、その映像をもとにPCで姿勢推定を行います。推定された姿勢をもとに、ルールベースでダーツを投げたことをPCで検知します。 投てきを検知したら、1秒分のデータをさかのぼって機械学習モデルに入力し、ダーツがブル（中心）に刺さるのかどうか予測します。その際、Edge TPUという高速で機械学習の予測を行うデバイスを利用します。 機械学習の判定の結果、ブルに刺さると思ったら「ピンポーン」外れると予測されたら「ブブー」と音がなって知らせてくれます。この時点でまだダーツは刺さっていません。 もし、外れると予測されたら悲しいですよね。まだダーツは刺さっていま
結論まず結論から申し上げると、生成AIでのマンガ制作はめちゃくちゃ楽しかったです。そして、生成AI×漫画に非常に可能性を感じました。 生成AIがスキルや脳内イメージを超えたアウトプットを出すためか、作り手でありながら、読み手の感動も味わえるところが制作体験を底上げしていました。 生成AIでの漫画制作の強みは３つ。制作時間の半減と高品質な作画、それと作風が人に依存しない点です。３つ目の属人性がない強みは今まで不可能なレベルでのタスクの細分化と人海戦術を可能にするので非常に画期的だと考えています。 制作した漫画 全編生成AI作画のカラー漫画完成しました！！ 死んだ人がアップロードされる天国クラウドサービスで、人生を取り戻そうと奮闘する少年少女の甘酸っぱい物語です。 (1/5)#漫画が読めるハッシュタグ pic.twitter.com/jnBqspwccQ — 比留間 大地 Daichi Hir
CEDEC 2020最終日となる2020年9月4日，ミクシィによるCreativeAI関連のセッションが行われた。 CreativeAIとはなにかというと，要はAIでイラストなどを自動生成してやろうという研究である。無限にアニメキャラ風のイラストを生成するWebサイトなどを見たことがある人もいるのではないかと思うのだが，そういったものと同様の手法でゲームキャラを作れないかといった研究がミクシィで進められており，その成果などが発表されたのだ。 発表を行ったのは，同社デザイン本部 制作室 テクニカルアートグループ エンジニアチームリーダー長舩龍太郎氏とモンスト事業本部 開発室 モンストクライアントG クライアント2T リードプログラマー銭宇喆氏の両名で，主にモンストのキャラクター生成の話を中心にした取り組みが語られた。 ※本セッションの内容は現在研究開発中のものであり，サービス中の「モンスター
AIが苦手な「手」を正確に描かせるための拡張機能「Depth map library and poser」の紹介【ControlNet】
の使い方をご紹介するという内容になっています。 Stable Diffusion系のモデルを使って美少女イラスト等を生成している方であれば、キャラクターの手や指がグチャグチャになってしまう問題に悩むことが多いと思います。この問題に関しては今まで多くの解決策が模索されていましたが今一つ決定打と呼べる案がありませんでした。 しかしそんな中で「ControlNet」と呼ばれる新技術が登場し、これを活用して手や指の問題をある程度解決する方法が考案されました。そして先日にはこの方法をStable Diffusion web UIで簡単に使える無料の拡張機能が登場したので、ぜひ情報を共有しておこうと思った次第です。 ここではその拡張機能「Depth map library and poser」について、インストール方法や使い方を解説していきますね。 ※2023/04/17追記： 最新のControlN
ポーズ制御技術である「ControlNet」は「Stable Diffusion」などの画像生成AIでイラストを出力する際、棒人間のような3Dモデル「ボーン」（骨組み）を組み合わせてイラストの構図やキャラクターのポーズを指定するもの。通常なら3Dモデリングのスキルが必要な場合がある。 Puton.さんはソーシャルVRサービス「VRChat」ユーザーで、自分の動きをそのままアバターに反映できるフルトラッキング環境を持っていた。そこで「アバターでControlNet用のポーズ指定ができるのではないか」と思い付いたという。VRChatで使うアバターをボーン姿にして動かせるようにし、そのシーンをControlNetに入力したのだ。その結果、ポーズを指定する画像を簡単に入手できるようになったという。アバターの作成手順は以下の通りだ。 アバター作成時の基本姿勢であるTポーズ（直立で両腕を横に伸ばした姿
JetsonにEdge TPUにM5StickV で、エッジAI用やるには何を選べばいいの？ - masato-ka's diary
1. 概要 追記 公開当初Jetson Nanoの性能表記に誤記があったため修正しています。 最近組み込みデバイス（以下エッジと表現）で画像認識や音声認識、センサ情報の処理といったディープラーニングを利用した処理を実行することが容易になっている。低消費電力で、高速にディープラーニングを処理するためのエッジAI用アクセラレータが各社から発売されていることがその理由の一つだろう。 こういった、エッジAI用のアクセラレータは各社によってその使用や対応フレームワーク、利用できるディープラーニングのネットワーク構成に違いがある。どれも同じように利用できるわけではない。自分でエッジAI用アクセラレータを利用しようとしたときにいくつか調べてみた内容をメモがわりに残してみる。ちなみに個人で遊べるものを中心にしてるので、産業的にどうなのかは知らない、悪しからず。。。 あとこのブログではAndroid Thi
はじめに こんにちは、(株) 日立製作所 Lumada Data Science Lab. の森田です。 Lumada Data Science Lab. では、映像解析技術・映像解析ソリューションの研究開発を行っています。 この記事では、街頭にある防犯カメラの映像に適用する際に重要となる「検知サイズ」の観点で、人物骨格推定OSSの評価を行います。 0. 忙しい方へのまとめ 大型ショッピングモール、スタジアム、駅、空港などの防犯カメラは、広範囲を少ない台数で撮影したいので画角が広角になりがち 広角で撮影した画像は人物は小さく写るので、小さく写る人物の骨格を検出できることが重要 今回は骨格推定AIのOSSとして、openpifpafとtf-pose-estimationをピックアップし、最小検知可能サイズの指標で評価 openpifpafの方が最小検知可能サイズが小さいことを確認 1. 防犯
AI画像のポーズを自在にコントロール！『OPENPOSE』が結構凄かった｜abubu nounanka
こんにちは。Automatic1111のアップデートでControlNetが実装され、各種拡張機能が登場しております。その中でも被写体のポーズをコントロールできる『openpose』が注目されていますが、早速試したところ結構凄かったので取り急ぎ感想をnoteにまとめます。しばらく弄っていましたが、凄い部分と現時点ではまだダメな部分が分かった感じです。 今回のアプデでは他にも以前紹介したdepth2imgや、線画に自動着色を行うCannyなど複数の新機能が登場しています。これはimg2img登場時くらいの革新じゃないでしょーか。 ControlNetとopenposeの導入についてはこちらの記事を参考にさせていただきました↓ では生成物をご覧ください。 左、用意したベース画像。中、AIが検出した被写体のポーズ。右、生成された画像。photograph, video footage, film
コンピュータビジョンの最新論文調査 2D Human Pose Estimation 編 | BLOG - DeNA Engineering
はじめに こんにちは、AIシステム部でコンピュータビジョンの研究開発をしている加藤です。我々のチームでは、常に最新のコンピュータビジョンに関する論文調査を行い、部内で共有・議論しています。今回は 2D Human Pose Estimation 編として加藤直樹 ( @nk35jk ) が調査を行いました。 本記事では 2D Human Pose Estimation に関する代表的な研究事例を紹介するとともに、2019年10月から11月にかけて開催されたコンピュータビジョンのトップカンファレンスである ICCV 2019 に採録された 2D Human Pose Estimation の最新論文を紹介します。 過去の他タスク編については以下をご参照ください。 Human Recognition 編 (2019/04/26) 3D Vision 編 (2019/06/04) キーポイント検
はじめに こんにちは。BASEのデータ分析チーム（Data Strategy Team）で不正対策を行ったり、機械学習モデルを触ったりしている竹内です。 先日チーム内の論文読み会でニューラルネットを用いた画像合成によるバーチャル試着技術というトピックに触れる機会があったので、その最近のトレンドについて改めてブログという形でまとめてみました。 バーチャル試着は画像生成モデルの実用的なユースケースの一つとして今現在データセットの拡充やアーキテクチャの検証が進んでいる分野の一つであり、個人的には非常にアツいトピックだと感じています。 バーチャル試着とは バーチャル試着（Virtual Try On）とは、ある人物がある衣服を着用した状態を画像や3Dモデルなどの情報をもとに仮想的に実現し、どのように見えるか可視化する技術のことです。 ネットショップの普及により、店頭に出向かずともPCやスマートフォ
生成AIグラビアをグラビアカメラマンが作るとどうなる？第13回：SDXLでのControlNet活用方法その1+α版（西川和久） | テクノエッジ TechnoEdge
ControlNetって何？「そもそもControlNetって何？」という話をしていなかったのでまずそこから。ザックリ言えば「指定した画像で生成する画像の絵柄を固定する方法」だ。固定には構図だったり、絵の中に含まれる要素（Prompt）だったり、顔（の雰囲気）だったり、いろいろなものが含まれる。 現在、AUTOMATIC1111 v1.6のControlNetの項目を見ると、Canny、Depth、NormalMap、OpenPose、MLSD、Lineart、SoftEdge、Scribble/Sketch、Segmentation、Shuffle、Tile/Blur、Inpaint、InstructP2P、Reference、Recolor、Revision、T2I-Adapter、IP-Adapter…これだけの項目が並んでおり、初心者だと何が何だかさっぱり分からない。 本連載では、
AI Labの尾崎です。 主に人間とロボットとのインタラクションに関する技術開発を担当しております。 さて、ロボットといえば、コミュニケーションロボットや自動運転車など、自律的に動いてもらって人の労働を助けるものが多いと思います。人の労働を助けるほど、ロボットに人並みに自律的で賢く動いてもらうためには、たとえば、ロボットに視覚を与える必要が出てきます。このときに役立つのがロボットビジョンを始めとした人工知能 (AI) です。特にロボットのAIのようなインターネットの末端 (エッジ) にいるAIをエッジAIと呼びます[1,22]。 最近では深層学習と呼ばれる技術が生まれ、このエッジAIの分野も革新的に進歩しました。深層学習のおかげでロボットは、目の前の歩行者を画像から認識したり、部屋のものを認識できるようになったりしました。しかし、この深層学習で作られたモデルを使うには莫大な量の計算をしなけ
この記事で得られるもの Blenderを使ってControlNetに読み込ませるボーン動画を作る方法 sd-webui-controlnetをつかってアニメーションを作る方法 必要となる前提知識 stable-diffusion-webuiを使って、txt2imageでイラストを作成することができる controlnetを使って、生成するイラストの構図制御ができる 用意するもの Blender (3.3.1) stable-diffusion-webui sd-webui-controlnet AIアニメーションの作り方 入力データの作成 準備 まず初めに、Controlnetへの入力データとなる動画データを生成します。 作業を始める前に、以下のリンクからBlenderで読み込めるopenposeライクのモデルをダウンロードします。 価格設定欄に購入希望金額を入力（0円から入力できるので、
この記事で書くこと stable-diffusion-webuiを100時間くらい触った上で、手っ取り早くクオリティを上げるために知っといたほうがいいこと テクニック、記事リンク、関連サービスを書きます 筆者はWebエンジニアだけどAI素人です 言葉もあやふやなので修正歓迎です この記事で書かないこと 導入方法 エンジニアはもちろんgitで導入したほうが更新が楽でよいです 先に知っておきたい知識 モデル 絵や画風を学習させた大元の心臓部。これを変えると同じプロンプトでも全く別の絵になります モデルは checkpoint と言われていて 拡張子.ckpt または .safetensor で配布されてます ckptは任意のコードを実行できる問題があるので、できればsafetensor形式のモデルを入手しましょう vae 出力される絵の塗り、明るさに影響する 好きなモデルとvaeを組み合わせる
PyCon JP 2021 で「絵を読む技術 Pythonによるイラスト解析」を発表しました - Hirosaji Tech Blog 🍙
オンライン／オンサイトのハイブリッド会場で開催されたPyCon JP 2021に、Hirosaji（エンジニア名義）とひろさじ（絵師名義）のハイブリッド名義で登壇してきました。 PyCon JP 2019 で登壇して以来、PyConには二回目の登壇です。これまでの登壇史上、最高の登壇体験でした。 今回は、登壇内容のまとめや印象に残ったセッションを、雑感を含めてまとめました。 イベント概要 概要：日本最大級のPythonユーザカンファレンス 日時：2021年10月15日（土）～ 2021年10月16日（日） 会場：オンライン（ZOOM + Discord）／オンサイト（ベルサール神田） 公式 HP：https://2021.pycon.jp/ 登壇内容 絵を読む技術 Pythonによるイラスト解析（Hirosaji / ひろさじ, 30min） 一言で言うと、「イラストで絵師が伝えたいことを
ベテランのグラビアカメラマンでありソフトウェアエンジニアでもある西川和久氏がAIグラビア生成を始め、自身で撮影した写真からモデル本人了承のもとトレーニングまでしていると聞き、始めたきっかけやカメラマンとしてのAIとの付き合い方、自分でも始めてみたい人へのTIPSをまとめてもらいました。 テクノロジー 2024 Mar 31 生成AIグラビアをグラビアカメラマンが作るとどうなる？第21回：ComfyUI応用編。ControlNetでポーズ・構図を指定する (西川和久) ComfyUIでControlNet(Canny/Depth/OpenPose)を使うには
アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化（アスキー） - Yahoo!ニュース
画像生成AI「Stable Diffusion」などで使える新技術「AnimateDiff」の進化がすごい。アニメーションのいわゆる「中割」が作成できて、アニメの常識を変える可能性が出てきた。 【もっと写真を見る】 原画と原画の間にあたる画像を複数枚入れることで、自然な連続性のある動きを作る。アニメの基本となる「中割」作業を画像生成AIが実現する可能性が出てきました。鍵になっているのは「AnimateDiff」という技術。8月に入って、様々なユーザーのアップデートによって機能拡張が進められています。それは完全な画像生成AIで作られるアニメの可能性を垣間見せるほどのものです。 16コマ/2秒の短い動画が生成できる AnimateDiffは7月10日に発表された、上海AIラボ、香港中文大学、スタンフォード大学の共同研究による技術。画像生成AI「Stable Diffusion」の仕組みとデータ
StableDiffusionで生成した画像から3Dモデルを"AIで"作成し、Unity上でキャラクターを動かすまで【CSM AIの使い方】｜カピ王
この記事に書いてあること Stable Diffusionで萌え立ち絵画像を作るまで。 -使用モデルとOpenPoseの紹介 -背景を削除する「Rembg」の使用 CSMAIでの3Dモデル生成方法 -会員登録からモデル生成までの流れ -有料・無料の出来栄えの違いについての検証。 AI製3Dモデルにアニメーションを設定する方法。 -Mixamoにモデルをアップロード Stable AudioでBGMを作成する Unity上で動かした結果 全部お試しする分にはお金が一切かからない！ ↑最終成果物（記事を楽しみたい人は後で見よう） 昨今のAIサービスに何があるのか、どんなことが出来るのか色々触って確かめる。 今回は 「なるべく楽してunity上で動く3D萌えキャラ」 の作成を目指す。 ◆きっかけ１枚の画像から3Dを生み出せるというサイトを見つけた。 しかも、無料。 こんなのを見たら、誰だってフル
原画と原画の間にあたる画像を複数枚入れることで、自然な連続性のある動きを作る。アニメの基本となる「中割」作業を画像生成AIが実現する可能性が出てきました。鍵になっているのは「AnimateDiff」という技術。8月に入って、様々なユーザーのアップデートによって機能拡張が進められています。それは完全な画像生成AIで作られるアニメの可能性を垣間見せるほどのものです。 16コマ/2秒の短い動画が生成できる AnimateDiffは7月10日に発表された、上海AIラボ、香港中文大学、スタンフォード大学の共同研究による技術。画像生成AI「Stable Diffusion」の仕組みとデータセットを利用しつつ、数百万本の動画を学習させた「モーションモジュール」と呼ばれるデータセットを別途に参照させることで、連続するキャラクターの動きを生成可能にするというのが基本原理です。生成できる時間は、16コマ/2秒
PyTorchでBERTをはじめとした、各種ディープラーニングモデルを、実際に実装しながら学ぶ書籍を執筆しました。 つくりながら学ぶ! PyTorchによる発展ディープラーニング（小川雄太郎、マイナビ出版） https://www.amazon.co.jp/dp/4839970254/ Amazonでは7月29日が発売予定となっています。 ディープラーニングの基礎的な内容（畳み込みニューラルネットワークを用いた画像分類など）を実装してみて、さらに発展的な内容を学びたい方や、PyTorchを使いたい方に向けて執筆いたしました。 本書がお役に立てそうであれば、ご活用いただければ幸いです。 本記事では、 ・書籍の概要 ・各章の詳細 を紹介いたします。 本書の概要 本書はディープラーニングの応用手法を、実装しながら学習していただく書籍です。 ディープラーニングの基礎的な内容（畳み込みニューラルネッ
Unityでディープラーニングや機械学習といえばML-Agentsのことですが、この記事ではML-Agentsの話題は一切ありません。 主に画像を入力して分類やオブジェクト検出する系のディープラーニング推論についての記事になります。 Unityでマルチプラットフォーム対応のディープラーニングを使用したアプリの作り方 Unite Tokyo 2019において個人的に興味深いセッションがありました。 Unityで手軽に使えるAIエンジンailia SDK セッションの内容的としては、DeepLearning推論を実行するためのUnity用のプラグインの紹介で、簡単に利用できるフレームワーク、マルチプラットフォーム実行、高速な推論処理が可能というものでした。 このセッション映像を観て、私はつぎのことを思い出しました。 OpenCVでもDnnモジュールで、ディープラーニング推論が実行可能！！！ と
2月10日に、人物のポーズを指定してAIイラストの生成ができるControlNetの論文が発表され、すぐにStable Diffusion用のモデルがGitHubで公開されて、ネットで話題になっています。 今回、このControlNetをWebUIに導入して使用する方法を紹介します。 (2023/03/09追記）WD 1.5 Beta 2用のControlNetの使用方法を追加しました。 (2023/04/18追記）WebUI用ControlNet 1.1のColabノートへのリンクを追加しました。 １．ControlNetの概要 ControlNetは、入力画像の構造を維持したまま別の画像に変換することができる画像生成AI技術です。 例えば、棒人間のような3Dモデルを使用して、キャラクターのポーズや構図を指定したイラストを生成したり、入力画像から輪郭線、深度、セグメンテーションなどの情報
生成AIグラビアをグラビアカメラマンが作るとどうなる？第16回：指問題解決！？Hand Refiner (西川和久) | テクノエッジ TechnoEdge
Hand Refinerとは？Hand Refinerは2023年12月1日に論文、その後、2024年1月初旬にAUTOMATIC1111のADetailerとComfyUIで使用可能になった手(指)に関する新手法だ。 Stable DiffusionではSD 1.5、SDXL共に手(指)が苦手なのはご存知の通り。badhandなどのTextual InversionやLoRA、OpenPose Handなどを使い、何とか抑え込む事が出来ても完璧では無く、他が良いのに手や指がおかしく泣く泣くボツにした人も多いのではないだろうか。 上記のパターンだと「出来るだけ手(指)の形が正常な画像を学習し、それをTextual InversionやLoRAにして当てる」、「指の部分に骨を当てる(OpenPose Hand)」と言った感じでどちらかと言えば場当たり的なものだった。 対して今回ご紹介するHa
「自分の絵柄でキャラ絵をいろいろ創りたい！」 いよいよ今回で最初の区切りにしようと思います。というのもこの分野、毎日のように新技術が生まれてきているので、同じ目標にしていても次々と試す余地が出てきてキリがないのです笑 といっても今後も画像生成は続けるつもりなので、これからまた画像生成日記が出てきた時は何卒よろしくお願いいたします！ そこで今回は「自分の絵柄でキャラ絵をいろいろ創りたい」を、今までの「DreamArtist」「ControlNet」そして今まで触れていなかった「HyperNetwork」「LoRA」を組み合わせて試行錯誤していきます。 前回に続き、以前描いたこの絵をベースに進めていきます！（HyperNetworkがあまりに長くなってしまったため、結果が気になる方は画像を中心にご覧ください！笑） ※2023/3/9追記：57～59週目の内容を、備忘録としてまとめました。Sta
3Dモデルを画像生成の元画像にできる拡張機能「3D Model&Pose Loader」の紹介【Stable Diffusion web UI】
をご紹介するという内容になっています。 Stable Diffusion web UIのControlNet拡張機能を使って画像を生成していると元画像を用意するのが面倒くさいなーと思うことがあります。もちろんOpenpose EditorなどControlNetを補助する拡張機能が色々登場しており、ある程度は楽ができるのですが元ゲーム開発者の私からしたら
reference only Controlで学習なしで好きなキャラを出す：Stable Diffusion ControlNet拡張機能
先日、ControlNetに新しく追加されたReference-onlyを使うと、簡単に好きなキャラクターの画像を生成することができます。これまで、出したいキャラクターを出そうと思ったら、LoRAなどで学習させて、LoRAモデルを作成し、それを使って生成するのが王道でした。今回、LoRAを使わずに好きなキャラクターを生成してみます。 ControlNet reference onlyの導入 Reference-onlyを使うには、最新のControlNetが必要です。すでにControlNetをインストールしている人もControlNet1.1.153以降が必要になりますので、最新版に更新しましょう。もし、ControlNet1.1が入っていない方は、この機会にControlNet1.1のアップデートして、モデルも入手しましょう。（参考：進化したControlNet1.1のレビュー（Sta
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
これが無料でいいのか!? “爆速生成AI”がペイントソフトに革命を起こした (1/5)
AIお姉ちゃんへの道 - nomolkのブログ
AI・Python活用レシピ100選 - Qiita
アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化 (1/3)
【AI動画生成】Animate Anyone 論文解説
ダーツが命中するかどうか、刺さる直前に教えてくれる装置を作った - Qiita
エンジニアが生成AIでガチ漫画を描いてみた話。｜まるひ@AI漫画
［CEDEC 2020］CreativeAIでキャラを自動生成するミクシィの研究
AI生成キャラのポーズを“棒人間アバター”で指定 「ControlNet」にVRを応用するユーザー登場
OpenPoseに代表される骨格推定AI、実環境で使えるのはこれだ！ - Qiita
拡散モデルを用いた2Dバーチャル試着技術について - BASEプロダクトチームブログ
エッジAI用デバイスの種類と仕様、処理速度を比較してみた | | AI tech studio
Blender＋ControlNetを用いたアニメーションの作り方
stable-diffusion-webui を素早く使いこなすためのtips - Qiita
生成AIグラビアをグラビアカメラマンが作るとどうなる？ | テクノエッジ TechnoEdge
アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化 - 週刊アスキー
PyTorchでBERTなど各種DLモデルを作りながら学ぶ書籍を執筆しました - Qiita
Unityでディープラーニング推論をする方法（マルチプラットフォーム対応） - Qiita
ControlNet用のポーズを簡単に作れる「Openpose Editor」の使い方【Stable Diffusion web UI】
ポーズ指定ができるControlNetをAUTOMATIC1111版WebUIで使う方法｜IT navi
【アプリ開発日記59週目】狙ったキャラを自分の絵柄＆好きなポーズで作成する〈SD後編〉｜ちゅーりん