【生成AI】なぜ「対数尤度の最大化」ではなく「ELBOの最大化」が目的関数になるのか【VAE・拡散モデル】
はじめに 本記事は、生成AI Advent Calendar 2024の10日目の記事です。 画像生成AIを勉強する中で、確率分布をモデル化するために、対数尤度を最大化するように学習しますという話はよく聞く話だと思います。 私も、画像生成AIの一つである「拡散モデル」に関して、簡単な理論的説明の記事を書きました。 理論的説明と言いましたが、ほとんど数式を使わずに簡単に解説したので、誰でもわかりやすく読めると思います。 （下の記事は少しだけ数式が増えるので、数式的な興味がある方だけがみていただければと思います） 上記の記事でも、説明しましたが、基本的に画像生成AIでは、自然画像の確率分布を学習しており、そのために対数尤度の最大化を行い、確率分布を学習しようとします。 しかしながら、どの参考書や技術記事を見ても、（拡散モデルやVAEでは）対数尤度ではなくELBOを代わりに最大化させるようにして
画像生成AIの進化が早すぎる 2024年に起きたことまとめ (1/4)
AIで生成した画像を動画にできるようになった。当連載のオリジナルキャラクター「明日来子さん」にメガネをかけてもらったところ。レンズの屈折まで反映されている（hailuo AIで作成） 2024年、画像生成AIに起きたことを振り返ってみます。今年もすさまじいペースで物事が動きました。今年起きたことに注目するなら、高精細化と高品質化が進む一方、一貫性をいかに実現するのかがポイントでした。一貫性技術は、動画生成AI分野の拡大をもたらし、さらに、3D化の実現までも可能性として見せはじめました。それぞれの技術はお互いに影響を与えつつ、別々に進化し、より専門化が進んでいます。この連載によく登場してくる作例のキャラクター「明日来子さん」を通じて、どのように技術変化が進んだのかを見ていきましょう。 ※記事配信先の設定によっては図版や動画等が正しく表示されないことがあります。その場合はASCII.jpをご覧
無料で画像生成AIと組み合わせてマンガ風コマ割りのデザインが作成可能な「Manga Editor Desu!」
マンガ制作に特化した「Manga Editor Desu!」は、誰でも無料＆カンタンにマンガ風のコマ割りや画像配置ができることに加えて、画像生成AIのStable Diffusionと組み合わせることで、イラストを生成しながらマンガのコマ割りと組み合わせて、ストーリーのある絵を作成することができます。 Manga Editor Desu! Pro Edition: The Premier Standalone Manga Editing Platform https://new-sankaku.github.io/SP-MangaEditer/ SD WebUI / Forge or ComfyUI + Manga Editor =💪💪 A completely free web manga creation app. No annoying paywalls. Any feedbac
Sakana AI
今回公開するモデルは、プロンプトから画像を生成するEvo-Ukiyoeと、古典籍の挿絵をカラー化するEvo-Nishikieモデルです。これらのモデルが、歴史や文化を学ぶための新たなコンテンツ作成に利用され、浮世絵に関する興味を増すことにつながり、日本や世界の人々が浮世絵や日本文化に興味を持つきっかけを生み出すことを期待しています。 概要 Sakana AIは、日本の美を学んだAIとして、浮世絵風画像生成モデルEvo-Ukiyoeと、浮世絵カラー化モデルEvo-Nishikieを公開します。Sakana AIが進化的モデルマージによって構築した日本語対応画像生成モデルEvo-SDXL-JPを基盤とし、浮世絵画像を大規模に学習することで、日本語に対応し、かつ浮世絵の特徴を学んだ画像生成モデルができました。 このリリースの要点は以下の通りです。 Evo-Ukiyoeは、日本語のプロンプトを入力
GPT-4oの画像認識力と理解力ならいけるのではと思い手書きの仕様指示を読み込ませたら本当にコードを書き上げてくれた→｢ついにコーダーが恐怖を感じる時が来たか｣
kmizu @kmizu A Software Engineer in Osaka (& Kyoto). Ph.D. in Engineering. Interests: Parsers, Formal Languages, etc. ツイートは所属先の見解と関係ありません．思いついたことをつぶやきます．人生を楽しく生きよう（New!） kmizu.github.io kmizu @kmizu GPT-4oの画像認識力と理解力をもってすればいけるやろと思ってやってみたら実際いけた。 ペーパープロトタイピングから最初のHTML書き起こすのにかなり使えるのでは。 つーか指示そのものを画像の中に書いたの読み取ってくれるの何か世界の壁を超えて対話してる感があって凄い #GPT4o pic.twitter.com/3XHMFg3yye 2024-05-14 12:49:41 リンク TECH INS
すがやみつる先生が生成AIを使ったことでAIを憂う人たちから大量の質問が殺到する→質問に丁寧に返答、ベテラン漫画家が話す「模倣について」の考え方がためになる
すがやみつる @msugaya 私も試してみました。プロンプトは、以下のとおりです。 ＊＊＊＊＊ 『ゲームセンターあらし』というタイトルのマンガがありますが、このマンガに関係なく、タイトルだけのイメージから、美少女がゲームセンターで激しくゲームをプレイする絵を、マンガタッチで描いてください。 ＊＊＊＊＊ こちらの方が年齢が高そうですね(^_^)。 ChatGPT経由でDALL-E3に描いてもらいました。 2024-04-30 22:26:48 ジロー @i9r82k こんこんばんばん 本日夜便は、ゲームセンターあらしより「ゲームセンターあらし」です ゲーセンというか、カラオケじゃないか？ 黒髪ショートカットって意外に珍しい気がする なんか悪友というか、腹を割って話せる関係っぽい感じがします ＃画像生成AI ＃美少女 pic.twitter.com/8SF9NJb1QR 2024-04-30
プロンプトは考えたくないけど画像生成がしたい！
まとめ Danbooru タグをいい感じに生成・補完してくれる LLM を作ることができた データセットやトークナイザーの作成、事前学習、SFT、推論の最適化まで一通り体験できた 作成したもの: モデル (SFT): モデル (事前学習): デモ: 🤗 Space はじめに 最近いい感じの画像生成 AI が流行ってきていて、プロンプトを指定するといい感じの画像が生成できるようになってきました。 しかし、いい感じの画像生成モデルを使っていてもプロンプトがしっかりしていないといい感じになってくれません！困りました！ DALL-E 3 では画像生成をお願いすると、ChatGPT が指定された情報にさらに詳細な情報を追加し、長いプロンプトにしてから画像を生成するようになっています。 少ない情報から情景を想像して詳しい情報を追加している (実際の生成では英語が使われる) DALL-E 3 の論文に
CyberAgent より、画像生成タスクにおける新たな評価指標の提案｜teftef
こんにちはこんばんは、teftef です。今回は CyberAgent より、生成モデルから生成された画像の品質評価に関する論文です。近年の画像生 AI の発展によって、『高品質』な画像が生成できるようになりました。しかしよくよく考えてみると『高品質』というのは何でしょうか？人間の好みが違いをどのように評価するのでしょうか？今回はそこについて軽く書いていきます。 私もまだ初学者であり、説明が間違っていたり勘違いがある可能性が 0 ではないということをご了承ください。ぜひコメントなどをいただけたら幸いです。(ちなみにサムネはnijijyourney を用いて、評価指標、統計学、 --ar 3:2のように関連キーワードで作ってます) それでは行きます。 論文今回参考にさせていただいた論文はこちら 画像生成 AI の評価 近年の Stable Diffusion や Midjourney など
赤松健氏「画像生成AI、珍しく日本が勝つチャンス」 (1/3)
漫画家でもある自民党の赤松健議員を訪ねました。画像生成AIが問題として注目を集める中、赤松氏は1月8日に「驚異の進化を遂げる画像生成AI ～赤松健の現時点での提言～」という動画をYouTubeに公開しています。その内容を踏まえつつ、国政にかかわる立場から、どのように今の状況を見ているのかを聞きました。 赤松氏は『ラブひな』『魔法先生ネギま!』などの大ヒット漫画家である一方、日本漫画家協会常務理事、表現の自由を守る会最高顧問を勤め、漫画家として、漫画、アニメ、ゲームなど創作物の表現の自由を守る活動を推進。そして昨年7月、参議院議員通常選挙に当選し、史上初の漫画家の国会議員となったという経歴の持ち主です。 「絵描きの気持ち」がわかる議員として動画を作った ── 先日のYouTubeの動画は反響が大きかったのではないでしょうか。 他の議員に出される前に私が出すべきだと思って、急いで出したんですよ
【悪用厳禁】ChatGPTとGoogleDocsを連携して無限に記事を生成する方法（2.4万字）※GAS編集解説動画付き 3/7更新｜チャエン | 重要AIニュースを毎日発信⚡️
最初にアカウントを作成する必要がありますが、メールアドレスを登録すれば数分で完了します。 メールの場合は認証作業が必要です。 1.2 シークレットキー作成 続いては、以下の画面から"create new secret key"をクリックすると自動で生成されます。 先ほどのこちらのリンクから以下のページへ飛べます。 https://beta.openai.com/account/api-keys シークレットキーをコピーして、別で保存しておきます。 一度OKで閉じると消えてしまうので、しっかりとメモにして残しておくことをおすすめします。 一応何度でも作成はできます。 1.3 料金体系 実は、OpenAIのAPIは無料ではありません。 なので、先ほどのシークレットキーは他人は教えないように！！！ 言語モデルによって料金が異なります。 大体1記事書くのに分量にもよりますが、数円くらいです。 また
画像生成AIの激変は序の口に過ぎない (1/4)
画像生成AI「Stable Diffusion」がコンテンツ製作の技術革新を急速に促しているという話を「すさまじい勢いで世界を変えている画像生成AI」に書きました。あれから約2ヵ月が経ち、状況はさらに大きく変わってきています。 Novel AIソースコード流出事件 最も影響が大きかったのは10月8日に起きたとされる「Novel AI」のソースコード流出事件です。どういった形でハッキングされたのかは明らかにされていませんが、流出したとされるコードはおそらく本物だという結論になっています。 Novel AIは10月3日にサービスが開始された画像生成AIサービス。Stable Diffusionや「Midjourney」と比べても圧倒的に高品質な日本アニメ風の画像出力ができることにより、日本やアジア圏で高い人気を得ています。 Googleトレンドの傾向を見てみても、日本ではNovelAIがリリー
OGP画像シミュレータ | og:image Simulator
OGP画像シミュレータとは？ FacebookのOGP画像は正方形で表示されたり横長で表示されたりするため、デザインがとても大変。 そんな時に便利なのがこのOGP画像シミュレータ。 デザインしたOGP画像をドラッグ&ドロップし、タイムライン上でどう見えるかシミュレートしてみましょう。 https://ogimage.tsmallfield.com/ 1200 x 630 px 以上推奨 https://developers.facebook.com/docs/opengraph/creating-object-types/#properties 最低でも 600 x 315 px、また大きければ大きいほど良いため 1200 x 630 px 以上の画像サイズが推奨されています。画像がクリッピングされるのを防ぐため、縦横比をなるべく1.91:1に近づけるようにしましょう。 （2014年01月
画像生成AI「Stable Diffusion」でガチャガチャ感覚で美麗キャラクター画像を生成しまくれる拡張機能「UnivAICharGen」の使い方まとめ
画像生成AI「Stable Diffusion」では、入力する文章(プロンプト)を工夫することで、高品質なキャラクター画像を生成することができます。ただし、プロンプトを練りすぎていると似たような画像を生成し続けることになったり、そもそもプロンプトの作成が難しいという問題にブチ当たりがちです。Stable Diffusionを手軽に使える「AUTOMATIC1111版Stable Diffusion webUI」向けの拡張機能「UnivAICharGen」を使えば、あらかじめ作り込まれたプロンプトの画像をランダムで生成しまくることが可能とのことなので、導入方法や使い方を確かめてみました。 PatreonでのUmi AI: V0.2 Release - Specialized Species! | Umi, the Cryoverse AI https://www.patreon.com/po
AIは表現のどこにいるのか | Domain
NovelAIを用いて出力した画像の枚数が気がつくと2万枚を超えていたので、振り返りがてら画像を見返していた。 黒に輝く#NovelAI #NovelAIDiffusion pic.twitter.com/TrB3FBYjXV — sabakichi｜Domain ✍︎ (@knshtyk) October 19, 2022 自分でも驚いたのだが、サービスを触りはじめた10/4から10/24現在に至るまで、わずか20日間のうちに2万枚にもおよぶ「一定の表現能力を持った個別の画像」(これをイラストレーションと呼ぶべきか否かはさておき)が、たった一人の人間によって生成されたというのは脅威的なことだろう。人類の歴史を振り返っても類似の現象は見当たらないのではないか。 近い感性としては、やはり歴史的には写真技術とGenerative Art、デザインや設計に用いられているComputational
Microsoftが画像生成AI「DALL-E 2」を新アプリのMicrosoft Designerや検索エンジンのBingに統合すると発表
Microsoftが2022年10月12日に開催したSurface新製品発表イベントで、Microsoft 365の新アプリである「Microsoft Designer」、そして検索エンジンのBingに追加される「Image Creator」機能を発表しました。このMicrosoft DesignerとBingのImage Creatorには、OpenAIの画像生成AI「DALL-E 2」が組み込まれることも明らかとなりました。 New tools from Microsoft 365, Edge, and Bing | Microsoft 365 Blog https://www.microsoft.com/en-us/microsoft-365/blog/2022/10/12/new-tools-from-microsoft-365-edge-and-bing-bridge-the-g
GANとどう違う？君は画像生成モデルNeRFを知っているか｡
3つの要点 ✔️ NeRFとは新規視点の画像生成ネットワークである｡ ✔️ NeRFの入力は､5次元（空間座標のx,y,zと視点のθ,φ）で､出力は体積密度（≒透明感）と放射輝度（≒RGBカラー）である｡ ✔️ NeRFによって従来よりも複雑な形状を持つ対象物の新規視点画像を得ることに成功した｡ NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis written by Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng (Submitted on 19 Mar 2020 (v1), last revised 3 Aug 2020 (this version,
【9/9追加分あり】画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってるwaifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い（2枚目: Before 3枚目: After）なぜ話題になっていないのか不思議なレベルだ…
Torishima / INTP @izutorishima 趣味: アニメ鑑賞・実況／録画／AI驚き屋(アマ)／プロダクト開発／その他諸々なオタク ⚠⚠ AI研究者ではありません!!!雑多につきフォロー非推奨!!! ⚠⚠ AI / LLM 情報と今期アニメをウォッチしてます 同IDで Bluesky にもいます サブアカウント: @iotorishima note.com/sumisutori Torishima / INTP @izutorishima 画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってる waifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い（2枚目: Before 3枚目: After） なぜ話題になっていないのか不思議なレベ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - Zuntan03/CharFramework: AI画像生成でキャラクターの扱いをしくみ化してフレームワークにしてみる
DiffusionによるText2Imageの系譜と生成画像が動き出すまで
Stable Diffusion を基礎から理解したい人向け論文攻略ガイド【無料記事】
