文章に沿った楽曲を自動生成してくれるAI「Riffusion」登場、画像生成AI「Stable Diffusion」ベースで誰でも自由に利用可能
入力した文章(プロンプト)に沿って画像を生成してくれるAI「Stable Diffusion」は、モデルデータが一般公開されていることから多くの人にカスタマイズを施されています。そんなStable Diffusionのモデルを調整して、文章を入力するだけで楽曲を生成してくれるAI「Riffusion」が開発されました。 Riffusion https://www.riffusion.com/ Riffusionの開発チームは、誰でも簡単にRiffusionを利用できるようにしたウェブアプリを公開しています。ウェブアプリにアクセスすると、画面右側に「post-teen pop talent show winner(賞を勝ち取った10代のアーティスト)」というプロンプトが表示されます。楽曲を再生するには、画面右上の再生ボタンをクリックすればOK。 再生ボタンをクリックすると、画面左側の図形が上
どうも、まさとらん（@0310lan）です！ 今回は、話題のAIをうまく活用したWebアプリやサービスを厳選してご紹介します！ AIを使うことで、これまでのWebサービスがどのように変化するのかをざっくりと確認するのに最適だと思います。誰でも使いやすくて楽しめるものを厳選しているので、初心者の方もぜひ遊びながら試してみてください！ ■著名人になりきってAIが質問に回答してくれるサービス 【 AskNow 】 イーロン・マスクやポール・グレアム…など、世界的に名前が知られている著名人に質問できるちょっと変わったサイトです。 と言っても…本人が回答するわけではなく、代わりにAIが質問に対して答えになりそうなツイートを分析したうえで、内容を整理して表示してくれるのが大きな特徴です。 2023年1月時点でおよそ8名の著名人がリストアップされていますが、今後さらに質問できる人物を増やしていくそうです
Riffusion
🔥🔥🔥😱 Really? Yup. This is the v1.5 stable diffusion model with no modifications, just fine-tuned on images of spectrograms paired with text. Audio processing happens downstream of the model. It can generate infinite variations of a prompt by varying the seed. All the same web UIs and techniques like img2img, inpainting, negative prompts, and interpolation work out of the box. Code: https://git
年間30回の社内外発信をやったデータサイエンティストの情報収集から発信までの流れを共有します！ - Qiita
株式会社ブレインパッドでデータサイエンティストをしている金（a.k.a ジュンヒョン）です。 この記事はBrainPad Advent Calender 2023 25日目の記事です。 はじめに みなさん、メリークリスマス！…ん？ し、、、しまった、、、12月26日？！ （DALL·Eに生成してもらった「12月25日クリスマスにずっと寝て、12月26日に起きたサンタさん」の画像①です） すみません、ルドルフが起こしてくれなくてずっと寝てしまった金です。１日遅れのアドベントカレンダーになりますが、どうか楽しく読んでいただけると幸いです🙇♂ （DALL·Eに生成してもらった「12月25日クリスマスにずっと寝て、12月26日に起きたサンタさん」の画像②です） 今年を振り返って 個人的に今年は社内外的に情報発信を頑張り始めた元年となります。 まず、社内発信で言いますと、ブレインパッドでは年間3
Riffusion
MusicLMができるまで - Qiita
Googleラボが、MusicLMなるものを発表しました。文章で指示した通りの音楽を生成してくれるAIです。 リンク先の音楽を聴いてみると、たしかに指示通りの音楽が、十分自然な品質で生成出来ているように聞こえます。凄いですね。 DALL.E 2やStable Diffusionなどの画像生成技術が世間を騒がせていた頃から繰り返し言われてきた、「そのうち音楽生成も来る」みたいな観測がようやく現実になったと言えるでしょう。 当然ながら、新しい技術は水を与えて待てば生えてくるわけではなく、実際は手と頭を動かし、あらゆる課題をねじ伏せなければ実現されません。未来予想トークで風呂敷を広げまくるよりも、リアルな課題解決の過程をじっくり研究したほうが楽しいと思います。 MusicLMは、Googleラボが去年発表した研究成果AudioLMとMuLanをベースにしており、AudioLMはさらにSoundS
昨年（2022年）12月、画像生成AIのStable Diffusionを利用して、入力したプロンプトに沿った楽曲を自動生成するRiffusionが公開されました。 今回は、Riffusionの仕組みとこれをAUTOMATIC1111版WebUIで利用する方法について説明します。 Riffusionのデモサイトの画面１．Riffusionの仕組み Riffusionは、Seth Forsgren氏とHayk Martiros氏が作成した自動音楽生成AIモデルで、昨年12月にデモサイトが公開され、コード、ウェブアプリ、モデルチェックポイントも公開されています。 以下のデモサイトでは、入力したプロンプトに沿った楽曲をseed値を切り替えながらループ再生してくれます。 Riffusionは、Stable Diffusion（SD）に調整を加えて、プロンプトから関連する楽曲のスペクトログラム（音の
Abstract We tackle the task of conditional music generation. We introduce MusicGen, a single Language Model (LM) that operates over several streams of compressed discrete music representation, i.e., tokens. Unlike prior work, MusicGen is comprised of a single-stage transformer LM together with efficient token interleaving patterns, which eliminates the need for cascading several models, e.g., hier
AIと音楽制作 パート2： 未来への可能性
Learning Synthsウェブ上で動作するシンセサイザーを操作しながら、音作りの方法を学べる無料サイト。 今回は、AIによる音楽制作を深く掘り下げるパート2です。 パート1では、AIとは何かをはじめ、AI技術を音楽制作に応用する際の課題、MIDI生成／音色変換／アナログモデリングなどのAIの活用について解説しました。 パート2では、AIが音楽制作に与える影響について、より広い視野で見ていきます。 また、ボーカルのディープフェイクについて考え、音楽用ChatGPTの可能性についても予想します。 さらに、創造性やオリジナリティ、音楽家とは何であるかなど、AIによって提起された深い問いを検証します。 ディープフェイク時代の到来人間の声は、文化の中で独自の位置にあります。 どんな音も声のように、唯一無二の自己を表現できません。 オートチューンのようなエフェクトで加工された場合でさえ、声は個人
音楽業界に参入するにあたって大きな障壁となるのは、制作コストだ。また、アーティストが資金集めに成功したとしても、自分のニーズに合った音楽プロデューサーやスタジオを見つけるのはかなり難しい。しかし、ボタンを押すだけで自分が思い描いていたビートを作るようコンピューターに命令できるとしたらどうだろうか。Googleが開発した「MusicLM」モデルなら、テキストから音楽を生成する未来が実現するかもしれない。 Googleは米国時間1月26日、文章の指示に従って曲を生成するこのジェネレーティブ人工知能（AI）モデルに関する学術論文を公開した。MusicLMは、ユーザーが指示した内容に従って、短いオーディオクリップから数分に及ぶ楽曲まで、さまざまな楽曲を作れる。 論文によれば、このAIモデルでは文章に細かい指示を含めることができるという。たとえば、「印象的なサックスのソロとソロシンガーによる魅惑的な
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全部無料！AIを活用した思わず使いたくなるWebサービスを厳選してみた！ - paiza開発日誌
AUTOMATIC1111版WebUIで自動音楽生成｜IT navi｜note
MusicGen: Simple and Controllable Music Generation
グーグル、テキストから音楽を生成するAI「MusicLM」を発表