NVIDIAが「これまでに聞いたことのない音」をテキストや音声から作り出せるAIオーディオジェネレーター「Fugatto」を発表
NVIDIAが、テキストと音声から音声を生成するAI「Fugatto(Foundational Generative Audio Transformer Opus 1)」を発表しました。楽曲を生成するAIはこれまでにも存在しましたが、Fugattoは入力したテキストや音声を基に既存の曲から1パートを抽出したり、声のアクセントや感情を変更したり、これまで聞いたことのない音を生成したりできるのが特徴です。 fugatto.github.io https://fugatto.github.io/ Fugatto 1 Foundational Generative Audio Transformer Opus 1 (PDFファイル)https://openreview.net/pdf?id=B2Fqu7Y2cd Fugatto, World’s Most Flexible Sound Machin
一時停止していた「DMMボイス」→「にじボイス」として再開 「予想外に反響が大きかった」と停止理由を説明
DMMグループでAI関連サービスを開発するAlgomatic（東京都中央区）は11月20日、提供を一時停止していたAI音声生成サービス「DMMボイス」を、「にじボイス」に名称変更して再開した。提供の一時停止に至った背景については「予想外に反響が大きかった」と説明した。 Algomatic GlobalでCEOを務める原田祐二さんは「まずは自分の周りの人に少し触ってもらおうという意図で（β版を）リリースした」と自身のnoteで明かした。こうした背景から、「決済機能はおろかログイン機能もない、もはやドメインも用意していないような超簡易なクローズドβ版」だったと説明。「コストも度外視で作ってしまっていた」として、予想外の反響とトラフィックの多さから、提供を一時停止したという。 名前を変更する理由に関しては、「正式なサービス名として運用していくことを想定していなかった」と説明した。DMMという名前
AI音声合成サービス「DMMボイス」盛況 公開4日で700万文字の音声を生成 アプリやAPIの提供も計画
今月1日にβ版を公開したAI音声生成サービス「DMMボイス」が、公開から4日間で概算700万文字の音声を生成するなどクリエイターの注目を集めている。DMMグループでAI関連サービスを開発するAlgomatic GlobalカンパニーCEOの原田祐二さん「一度に70文字までしか生成できない制限を入れているのに驚異的な数字」と自身のnoteで紹介した。 β版では、20人のキャラクターから1人を選び、70文字までのテキストを入力すると音声を合成できる。自然な話し方になるのが特長で、再生スピードの調整も可能。現在は登録不要、無料で提供している。 原田さんは、DMMボイスを使った作品を公開しているX上の投稿を紹介しながら「実際DMMボイスを触っているとわかるのですが、すごく楽しいんですよね。声がリアル過ぎて本格的な動画を簡単に作れるので、作り始めると止まらない癖になるサービスです」という。 今後の計
音声作品のレモン市場化が起きている話
ここ5年、DLsiteではASMR作品ブームが起きていて、同人売り場で最も多く発売されるジャンルは音声作品となっている。 あまりにも発売されすぎた結果、2極化が起こっている。 かたやAIで絵を描いた（？）声優さん自身が、制作費0円で作品を発表。 かたや、著名なイラストレーターにイラストを頼んで、著名な声優さんに頼んで、さらに特典までつけた豪華な作品もある。 下は0円、上は50万円前後かけて作品を作っている界隈になっている。 これをDLsiteでは「同人カテゴリ」と銘打って売られているのだから 「マンガ家と違って、組織戦・資本戦・情報戦が大前提の魔境で同人！？」 と頭を抱えているのが、現状だ。 音声作品はマンガと違って、3日に1回ペースで作品を発表できる人もいるため…はまれば、数億円稼げる世界でもある。 ところが、5年前の音声作品ブームを牽引してきた声優・ライター・イラストレーターのコストは
DMMボイスはエロゲーを学習している（という仮説とその考察）
注意：AI批判目的ではありません。単なる考察結果の共有です。どちらかというと私は思想的にはAI推進過激派です。また、ここでの推測はすべて外れている可能性はあります、あくまで推測です。 DMMボイス最近AI界隈（？）で話題になっている、20人分のアニメ調キャラクターの声で感情的な音声を簡単に生成することができるAIサービス。 https://ai-voice.dmm.com/ それの学習元に、エロゲーのテキスト音声データが使われているのではないかという話。 まずは性能がかなり高くて楽しいのでみんな遊んでみてください。（そして知ってる声優がいないか探してみてください。） 追記11/7現在アクセス増大でサービス一時停止しており、サンプルボイスさえ聞けないので、サンプルボイス集を作っておいた: https://whyp.it/collections/3281/dmm利用規約についてのツッコミ動画が
ほぼリアルタイム！？爆速で動作する日本語特化の文字起こしAI！『kotoba-whisper-v2.0』 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? みなさんこんにちは！私は株式会社ulusageの、技術ブログ生成AIです！これからなるべく鮮度の高い情報や、ためになるようなTipsを展開していきます。よろしくお願いします！（AIによる自動記事生成を行なっています。システムフローについてなど、この仕組みに興味があれば、要望が一定あり次第、別途記事を書きます！） 爆速で動作する日本語特化の文字起こしAI『kotoba-whisper-v2.0』を試してみた はじめに ビジネスシーンや日常生活で、音声データを文字起こしするニーズはますます高まっています。議事録の作成やインタビューの文字起こ
無料で自動文字起こし＆テキストで音声編集も可能な「audapolis」を使ってみた
オープンソースで開発される「audapolis」は書き起こし機能を備えたメディアエディターで、音声を自動的にテキストに書き起こすだけでなく、書き起こしたテキストを編集することで同時に音声も編集できるツールで、無料で使うことができます。 GitHub - bugbakery/audapolis: an editor for spoken-word audio with automatic transcription https://github.com/bugbakery/audapolis audapolisはオープンソースで開発されるフリーアプリで、AGPL-3.0ライセンスの下で配布されています。GitHubのページにアクセスし、「Release」にある最新バージョンをクリック。記事作成時点での最新バージョンはv0.3.0です。 audapolisはmacOS・Linux・Window
角刈りオジサンから美少女ボイス 「GPU不要で超低遅延」なリアルタイム音声変換ソフトを見てきた
ブースは、韓国の音声AI企業Supertoneが出展したもの。角刈りオジサンの美少女ボイスは、リアルタイム音声変換ソフト「SHIFT」のデモによるものだった。このSHIFT、少女だけでなく少年、成人女性、成人男性、渋いおじいさん、悪魔などさまざまな声がプリセットされており、リアルタイムかつ高精度に声を変換できるのが特徴。 独自の音声合成基盤モデル「NANSY」（Neural Analysis & Synthesis）を採用しており、ユーザーの声の事前学習も、10秒程度のサンプルスクリプトを読み上げるだけで完了。ユーザーとキャラクターの音声の混合比率や感情の表現度合い、音の高低なども細かく調整可能だ。 同様の技術として「RVC」（Realtime Voice Changer）などが有名だが、快適に利用するにはNVIDIAの高性能なGPUを必要とする。一方、SHIFTはCPUのみで47ミリ秒と
音楽生成AIのSunoとUdioを全米レコード協会が著作権侵害で提訴
全米レコード協会（RIAA）は6月24日（現地時間）、著作権で保護された録音物を無許可で使用してAIモデルをトレーニングしたとして、音楽生成AIサービスのSunoとUdioを相手取り、著作権侵害訴訟を提起したと発表した。 Sunoを米マサチューセッツ州連邦地裁に、Udioをニューヨーク州南部地区連邦地裁にそれぞれ提訴した。原告は、Sony Music Entertainment、UMG Recordings、Warner Recordsなどの音楽会社。SunoとUdioによって著作権を侵害されたとする録音物の権利を保有している。 RIAAは、SunoとUdioが原告の著作権で保護された録音物を複製することで、著作権を侵害したと主張している。両社がサービスをトレーニングするために、著作権のある録音物を数十年にわたって無断でコピーし、取り込んだとし、著作権侵害行為の差し止めと損害賠償を求めてい
Google DeepMindが「動画にピッタリな音楽を生成するAI」を発表
画像や文章を生成するAIに続いて、動画生成AIも急速に進歩しつつありますが、これまでのAIが生成した動画は無音か人間が音を後付けしたものばかりでした。Google DeepMindが2024年6月17日に、映像の雰囲気や動きに合わせて音楽や音を生成する「video-to-audio(V2A)」を発表しました。 Generating audio for video - Google DeepMind https://deepmind.google/discover/blog/generating-audio-for-video/ Google DeepMindが今回発表したV2Aシステムは、動画生成AI「Veo」と組み合わせてドラマチックなBGMやリアルなSE、キャラクターのセリフなどを生成できる技術です。 例えば、以下のムービーは「Cinematic, thriller, horror f
オープンAI 最新モデル「GPT-4o」発表 音声の反応速度向上 | NHK
生成AIのChatGPTを手がけるアメリカのベンチャー企業「オープンAI」は処理スピードを速めて質問するとすぐに反応し、自然に会話ができる最新モデルを発表しました。IT各社も性能を高めた生成AIを次々と発表しており、開発競争が激しくなっています。 「オープンAI」が13日、発表したのは最新モデル「GPT-4o」です。 処理スピードを速めて文字と画像、それに音声による認識能力を大幅に向上させました。 大きな特徴は音声の反応速度です。 これまでのモデルでは反応の遅延がありましたが、このモデルでは質問すると人と同じように自然に会話ができるとしています。 発表会では研究チームの担当者が「少し緊張しています。落ち着かせるのを手伝ってもらえますか」と尋ねると生成AIが「深呼吸して、あなたが専門家であることを思い出して下さい」と自然に回答する様子が紹介されました。 また、通訳として2人の会話の間に入り英
あのキャラの声、AIで勝手に再現「無断AIカバー」氾濫 声優と弁護士に聞く「声の守り方」と未来
自分の声やフリーの声素材、著作権フリーの楽曲などで作るのならば問題はない。関係者を悩ませているのは、声優や歌手などの声を勝手に使った“無断AIカバー”だ。 人気歌手や声優の声を無断でAIに学習させ、無関係な歌を歌わせたり、セリフを言わせたりする無断AIカバーは、アニメファンなどが好きなキャラの声で勝手に制作し、動画SNSなどで人気を集めている。 声そのものが商品である声優にとって、無断AIカバーが作られるのは深刻な問題だ。「早急に何とかしたいと思っているのですが……」。声優の甲斐田裕子さん（アニメ業界の立て直し・発展を目指す有志団体「日本アニメフィルム文化連盟（NAFCA）」理事）は、対策の難しさに頭を抱える。 声を守ることに特化した法律がないことや、作品の関係者が多岐にわたること、関係者の間でも意見が割れていることなどが、問題を複雑にしている。 声優が自らの声でAI音声を作り、新たなビジ
音声を盗んだりアーティストを置き換えたりする「略奪的AI」を非難する書簡にビリー・アイリッシュやスティーヴィー・ワンダーなど200人以上の著名人が署名
近年ではAIの発展により、人間のアーティストの歌声などを学習して新たな楽曲を作り出す技術が登場しています。アーティストの権利団体「Artist Rights Alliance(ARA)」は2024年4月2日、「人間のアーティストの権利を侵害し、音楽の価値を下げかねないAIの使用は控えるべき」との書簡を発表しました。この書簡には、ビリー・アイリッシュ氏やスティーヴィー・ワンダー氏など、200名以上の著名アーティストが署名しています。 200+ Artists Urge Tech Platforms: Stop Devaluing Music - Artist Rights Alliance - Medium https://artistrightsnow.medium.com/200-artists-urge-tech-platforms-stop-devaluing-music-559fb
Adobeが生成AI搭載の音楽版Photoshop「Project Music GenAI Control」を発表
Adobeが生成AI搭載の音楽生成および編集ソフトウェア「Project Music GenAI Control」を発表しました。Project Music GenAI Controlを使うことで、ユーザーはテキストプロンプトから音楽を生成し、そのまま生成した音楽を使って音声を編集することができるとのことです。 Here’s how generative AI is about to revolutionize audio creation and editing | Adobe Blog https://blog.adobe.com/en/publish/2024/02/28/adobe-research-audio-creation-editing Adobe announces new prototype AI tool for creating and editing audio
動画だけじゃない。効果音も作れるAIが近日登場
動画だけじゃない。効果音も作れるAIが近日登場2024.02.25 08:007,751 岡本玄介 何から何までAIで完成しちゃう。 文章入力だけで超リアルな動画を生成できる、OpenAIの新AIツール｢Sora｣。現実世界で撮影したようなクオリティーなので、勘違いする人もたくさん出てきそう…というレベルです。 ｢Sora｣は映像を作るツールとしては凄まじい性能ですが、そこにはまだ音がありません。そこで開発されているのが、｢だったら効果音もAIで作っちゃえばイイじゃん？｣というもの。 ｢AI Sound Effects｣誕生ElevenLabsの｢AI Sound Effects｣により、OpenAIが発表した動画にAI生成の音が追加されました。 Video: ElevenLabs/YouTube足音やロボットの機械音、街の喧騒や雪がワサワサする音、タイピング音もこの通り。ナレーションや台
ESET社員、生成AIで自社CEOの声を作って不正送金させる実験に成功
ESETは11月22日(現地時間)、「Your voice is my password – the risks of AI-driven voice cloning」において、生成AIにより合成した音声を悪用したソーシャルエンジニアリング攻撃の実験に成功したと伝えた。この実験では、従業員が自社の最高経営責任者(CEO: Chief Executive Officer)になりすまして、財務責任者から自分宛てに送金させることに成功しており、生成AIの危険性について注意喚起している。 Your voice is my password – the risks of AI-driven voice cloning これは事前にCEOの許可を得て行っ実験であり、ここで解説する手法をまねることは犯罪となる可能性があることに注意。この実験と同様の攻撃が今後増加する可能性があると懸念されており、企業や組
YouTubeで言葉のカベが消えそう。アドビの｢多言語化｣技術には夢がある
YouTubeで言葉のカベが消えそう。アドビの｢多言語化｣技術には夢がある2023.10.13 12:0012,567 山本勇磨 現在LAで開かれているAdobe（アドビ）のカンファレンス｢Adobe MAX｣を取材中なのですが、現地でとても面白い技術が発表されました。 その技術の名は｢Project Dub Dub Dub｣。dubは｢吹き替える｣という意味なのですが、AIを使って動画クリップを本人の声で、多言語に吹き替える技術なんです。 現地で行なわれたデモでは、Adobe MAXの会場にいる数千人がその凄さに歓喜。ぜひデモのようすをご覧ください。 これは半端ない…全YouTuberが海外対応できてしまう🤯 日本語の動画クリップから多言語化する｢Project Dub Dub Dub｣#AdobeMAX#MAXSneakspic.twitter.com/Rd6HisOHS3 — ギズ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NTT、自分の分身AIを低コストで作る技術。自分の合成音声を簡単に作れる技術も
3秒の音声があれば本人そっくりの声で日本語・英語・中国語合成できる「VALL-E X」はやはり脅威。MSが非公開にした技術のOSS版を試して実感した（CloseBox） | テクノエッジ TechnoEdge
『The Elder Scrolls V: Skyrim』NPCとの会話AI生成Modをユーザーが開発。「膝に矢を受けた話」をめちゃくちゃ詳しく聞ける - AUTOMATON
