M2UGen の概要｜npaka
「M2UGen」の概要をまとめました。 1. M2UGen「M2UGen」は、テキスト・画像・動画からの音楽生成・音楽理解・音楽編集が可能です。 「音楽理解」には「MERT」、「画像理解」には「ViT」、「動画理解」には「ViViT」、「音楽生成」には「MusicGen」「AudioLDM2」を利用し、「アダプタ」や「LLaMA2」と組み合わせることで、複数の能力を持つモデルとなっています。 ・ホーム ・コード ・デモ 2. M2UGen のデータセット「MU-LLaMA」「MPT-7B-Chat」を使用して音楽指向のデータセットを、「BLIP画像キャプションモデル」「VideoMAEキャプションモデル」を使用してキャプションを生成します。 2-1. MUCapsデータセット21966曲、1273.78時間のキャプション生成のためのデータセットです。 ・音楽ファイル → MU-LLaMA
【速報】次世代の外観検査！？プロンプトを駆使した異常検知 - Qiita
先日、革新的な画像の異常検知（SAA）が出てきました。 何やら革命的な臭いがする... SAMを使った異常検知手法https://t.co/wmwFcbULdq コードはこちらhttps://t.co/3npK3FhnEz pic.twitter.com/JDs30bEJyQ — shinmura0 (@shinmura0) May 22, 2023 本稿では、操作手順 & 触ってみた感想をご報告します。 特長 本題に入る前に、どこら辺が革新的なのかざっくり説明します。 ※ SAAの詳細は論文をご参照ください。 学習データは不要 通常、学習（正常）データを数百枚用意しますが、この手法では正常データを必要としません。 ドメイン知識を導入できる 予め、異常の傾向をプロンプトに入れることにより、異常の特徴をモデルに教えることができます。 二点目が特に大きく、今までの異常検知では、積極的に異常の傾
画像生成AI「Stable Diffusion XL（SDXL）」の使い方 初めてなら「Fooocus」がオススメです (1/3)
複雑化するStable Diffusion界隈 前回からずいぶん間が空いてしまったが、ようやく第3回である。 届いたパソコンに「Python」、「Git」、動作環境「WebUI（A1111版、以下「WebUI」と略記）」をインストールして、1枚目の画像を生成したところで前回は終わってしまったのだが、もちろんその後なにもせずに1ヵ月が過ぎてしまったわけではない。 実はこの後、プロンプトの研究、各種パラメーターの把握、モデルとVAE（オートエンコーダーの一種）の探求、様々なExtension（拡張機能）の導入、Custom Script、LoRA、ControlNet、LyCORISなどなど様々なことを調べ、試してはいたのだが……。 とにかく調べなきゃいけないことが多すぎる！！！ そもそもStable Diffusion自体が登場から1年もたっていないうえに、オープンソースで公開されているため
a16zが世界のジェネレーティブAIトップ50社を分析、導き出された6つの考察 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image credit: Andreessen Horowitz ＜ピックアップ＞ How Are Consumers Using Generative AI? 「ChatGPT」はローンチから9ヶ月で、コンシューマ向けアプリとしては最速で月間アクティブユーザ1億人を達成し、ジェネレーティブ AI の新時代を切り開いた。Web3 を楽観視してきた Andreessen Horowitz（a16z）は、仮想通貨やブロックチェーンに長らく投資してきただけでなく、近年は AI 分野への投資も強化している。 a16z はトラフィック分析ツール「Similarweb」のデータを使い、今年6月現在、世界のジェネレーティブ AI 製品トップ50を月間ページビューでランキングし、その成長動向とトラフィック流入源を調査することで、ChatGPT 以外のジェネレーティブ AI 製品と消費者がどのように接して
【SNSで話題】Stable DiffusionでQRコードのアートを作成する方法
今回はStable Diffusionを使って実際に使えるQRコードのアートの作り方をご紹介します。Stable Diffusion の拡張機能（extention)「controlnet」を使用するので、その導入方法も含めて解説していきます。 ①：QRコードを用意する まずはサイトやサービスのQRコードを用意します。持っていない方はこちらをご利用ください。この記事ではPROMPTYの ホームページURLを使用します。 まずは「Free QR Code generator 」にアクセスし、①でURLを選択してQR化したいURLをペーストします。 ②の「generate」をクリックし、生成されたものを③の「PNG」をクリックしダウンロードします。 これでURLのQRコード化の完了です。この記事では下のQRコードをもとに生成していきます。 ②：拡張機能を実装する 今回QRコードをもとに作成する
「AI多すぎ、何使えばいいか分からない……」を解決するAI「HuggingGPT」 文章入力だけで、適切な機械学習モデルを自動選択
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 中国の浙江大学とMicrosoft Research Asiaに所属する研究者らが発表した論文「HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace」は、大規模言語モデル（LLM）と多数の機械学習モデルを連携し、ユーザーがテキストを入力するだけで、その内容を解決するための適切な機械学習を選んでくれるシステムを提案した研究報告である。 今回はChatGPTと、LLMの機械学習モデルやデータセットなどが共有されているプラットフォーム「Hugging Face」（詳細
画像生成AI「StableDiffusion」で得ておくべき知識を身に付けるのに役立つ「SD Toolset」
画像生成AI「Stable Diffusion」はモデルデータが一般公開されているため、自宅のPCで誰でも簡単に動かすことができます。しかし、Stable Diffusionを使って自分が望む通りの画像を生成するためにはさまざまな知識が必要になり、初心者は何から学べばいいのかわからなくなりがち。無償で公開されている「SD Toolset」にはStable Diffusionで得ておくべき知識が単元ごとにわけてまとめられているので、ピンポイントで必要な知識を学ぶことができます。 SD Toolset https://sdtools.org/ SD Toolsetはこんな感じで、左のカラフルな同心円に単元が視覚的にまとめられており、同心円の内側から気になるカテゴリをクリックしていきます。例えば、Stable Diffusionの根幹部分を知りたい場合は、「Core」をクリック。 すると、以下の
映像内の犬を猫に変えられるAI テキストのみで動画編集が可能 Googleなど「Dreamix」開発
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 Google ResearchとイスラエルのThe Hebrew University of Jerusalemに所属する研究者らが発表した論文「Dreamix: Video Diffusion Models are General Video Editors」は、テキストに応じた動画編集ができる拡散モデルを提案した研究報告である。 テキストから画像を生成する拡散モデルと同様に、テキストから動画への変換モデルも近年提案されている。だがテキストに応じて動画編集できる拡散モデルは現状ではほとんどない。 この研究では、入力動画をテキストプロンプトで高度に編集
「Transformer」の仕組み──AIによる画像・動画生成や自然言語処理で話題の深層学習モデルを理解する
AIによる画像・動画生成や自然言語処理など、ディープラーニングがより身近に まずは深層学習（ディープラーニング）の概要から。深層学習とは、大量のデータを機械に学習させることで、画像、動画、文章などの複雑なデータを解析できるようになる機械学習モデルだ。例えば「猫」や「犬」などのラベルがついた画像を大量に読み込ませる（学習させる）と、任意の画像で「猫」や「犬」と識別できるようになる。 この画像にあるのは猫か犬か？ 画像ではなく文章を分析する際は、自然言語処理と呼ばれる。人間の言葉や文章をコンピュータに理解させる時に必要になる。この場合、大量の文章を入力したLanguageモデルから意味を学習していく。 自然言語処理はWeb検索、翻訳、音声アシスタントなど身近なところで活用されている。Gmailのスマホアプリを使っているなら見覚えがあるかもしれないが、メールで簡単な返信の候補を生成することもでき
世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ - Qiita
追記: U-Netの中間層は常にSelf-Attentionとなります。ご指摘いただきました。ありがとうございます。（コード） オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ 未来都市にたたずむサンタクロース（Stable Diffusionで生成） 2022年8月、世界に大きな衝撃が走りました。それは、Stable Diffusionの公開です。Stable Diffusionは、テキストを受け取るとそれに沿った画像を出力してくれるモデルです1。Stable Diffsuionは10億個近いパラメータ数をもち、およそ20億個の画像とテキストのペア（LAION-2B）で学習されています。これにより、Stable Diffusionは入
基盤モデルでAIルンバを動かす方法 - karaage. [からあげ]
基盤モデル×Robotics Advent Calendar 2022の7日目の記事です。 基盤モデルとは 最近話題の基盤モデルとはなんのことか。要は大量のデータを学習したデカい凄いモデルのことです（乱暴）。詳細は基盤モデル×Robotics Advent Calendar 2022の1日目の以下記事を参照ください。 そのデカいモデルとロボットを組み合わせてうまいことやろうというのが基盤モデル×Robotics Advent Calendar 2022のテーマですが、当然基盤モデルを使ったロボット制御は、最先端の研究でなかなか簡単にできるものではありません。 そんな無茶を、実用性は置いておいてとりあえず動くところまで実機でやってみたので、事例として紹介したいと思います。 基盤モデルでAIルンバを動かす 今回は基盤モデルとして画像生成AIとして話題のStable Diffusionを使います
![基盤モデルでAIルンバを動かす方法 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/18ee8e4be60c710fabdff508efc8e46cf9a28343/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20221204%2F20221204100914.jpg)
画像生成AI「Stable Diffusion」のバージョン2.0が登場、出力画像の解像度が拡大＆デジタル透かしを入れられる機能も
イギリスのスタートアップ・Stability AIが、画像生成AI・Stable Diffusionのバージョン2.0に当たる「Stable Diffusion 2.0-v」をリリースしたと発表しました。Stable Diffusion 2.0-vはLAION-5Bから作成されたサブセットで学習しており、デフォルトの出力画像解像度は768×768ピクセルも選択可能となりました。さらに画像解像度を4倍に高めるUpscaler Diffusionモデルも含まれているため、2048x2048ピクセルあるいはそれ以上の解像度の画像を生成できるようになっています。 Stable Diffusion 2.0 Release — Stability.Ai https://stability.ai/blog/stable-diffusion-v2-release GitHub - Stability-AI
日本語特化の画像生成AI「Japanese Stable Diffusion」がオープンソースで公開
rinna株式会社が、日本語に特化した画像生成AIモデル「Japanese Stable Diffusion」を9月9日（金）に発表した。 この「Japanese Stable Diffusion」は、画像生成AIモデル「Stable Diffusion」に、約1億枚の日本語キャプション付き画像を追加学習させることで開発されたもの。 オープンソースコミュニティ・Hugging FaceとGitHubで公開されている。 【画像】「Japanese Stable Diffusion」で生成された画像（6枚） オープンソースで公開 画像生成AI「Stable Diffusion」 テキストから画像生成「DreamStudio」の使い方 商用利用も可能な次世代AI 「Midjourney」や「Dream by WOMBO」をはじめ、昨今SNSを賑わせている画像生成系AIサービス。 8月22日、no
画像から描き方を生成する強化学習システムSPIRALの追実装 - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
DeepMindから発表された画像から描き方を生成する強化学習システム「SPIRAL」[1]をChainerRLを用いて実装した． 実装はGitHubレポジトリで公開している． SPIRALとは SPIRALは絵の画像から描き方を生成するためのシステムである． 画像生成といえばDeep Convolutional Generative Adversarial Network(DCGAN [2])が主な手法だが，DCGANはラスター画像を生成するのに対して，SPIRALは時系列の描画行動，つまりベクター形式で画像を生成することができる． ベクター形式の画像はラスター形式とは異なり特定の線を取り除くといった編集を簡単に行うことができる． ベクター画像を生成するモデルとしてはSketch-rnn [3]があるが，このモデルは学習に描画過程，つまりベクター形式のデータが大量に必要になる． これらに
深層学習の最新テクニック、AIコンペの成績上位5人が披露 | 日経 xTECH（クロステック）
人工知能学会は2018年6月5日、同学会が主催した画像認識コンペティション「JSAI Cup 2018」の結果を発表し、入賞者5人を表彰した。1位～5位の入賞者が実施したプレゼンテーションを通じ、深層学習（多層のニューラルネットを使った機械学習）で画像認識AIの精度を高める最新のテクニックを紹介しよう。 今回のコンペのテーマは「食材の分類」。食材の画像データから、タマネギ、きゅうりなど55種類の材料を分類する画像分類器を設計し、正解率の高さを競う。 「タマネギ」「きゅうり」などの正解ラベルが付与された学習用の画像データは1万1995枚、正解ラベルを付与していない評価用のテストデータは3937枚 主催者が提示した学習用の画像データは、協賛のクックパッドが提供した1カテゴリ約290枚×55カテゴリの1万5932枚である。コンペの開催期間は2018年1月22日～3月29日。応募者は121人で、う
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
言語にも拡散モデル革命か 離散データを生成する「ビット拡散」を解説
AI 激動の年！2022年の人工知能10大トレンドと必読論文
グーグル、高クオリティかつ高速なテキスト画像生成モデル「Muse」を発表
「Stable Diffusion」がメジャーバージョンアップ ～画像の深度情報を推測可能に／学習モデルを刷新、超解像アップスケール機能も
次に始まるのは音楽のプロンプトエンジニアリング：SZ人気記事を専門家はこう読み解く【AI編】