わずか10秒の元音声でもリアルな「なりきりボイチェン」できる無料ソフト『Seed-VC』は過去最高レベルの再現度か（CloseBox） | テクノエッジ TechnoEdge
筆者はUTAUによる波形接続の時代から「その人の声になりきる」技術を試してきましたが、このほど、その中でも画期的と思える技術に出会いました。『Seed-VC』（Seed Voice Conversion）というオープンソースソフトです。 ■AIボイチェンの進化どこが画期的なポイントかというと、高い音質を維持しながら、ゼロショット、つまりファインチューニングをせずに、1秒から30秒までの短い音源を参照するだけで、短時間でオリジナルに近いボイチェンができるところにあります。 以前紹介したDiff-SVCやRVCは、オリジナル音声に近いボイチェンが可能ですが、学習にはそれなりの長さのオーディオデータと高性能GPUによる処理が必要です。
Nothing、全オーディオ製品へChatGPTを統合 Nothingスマホとペアリングで直接対話が可能に
英Nothing Technologyは、全オーディオ製品にChatGPTを統合したと発表。5月21日に実施するNothing Xアプリのアップデートを通じて、各種製品で利用可能になるという。 ChatGPTの統合は4月18日に発表されたNothing EarとEar（a）に続き、Ear（1）、Ear（stick）、Ear（2）、CMF Buds、CMF Neckband Pro、CMF Buds Proが含まれる。ユーザーはNothingのスマートフォンとペアリングすると、ChatGPTと直接対話できるようになるとしている。 関連記事 ChatGPT対応ワイヤレスイヤフォン「Nothing Ear／Ear (a) 」発表 Ear (a)は1万4800円でLDACコーデック／ハイレゾ音源にも対応 英Nothing Technologyは2024年4月18日に「Nothing Ear／Ear
AIで作曲して演奏・歌唱してくれる「Suno」、MIDIで吐いてくれPleaseとお嘆きの方に。無料のもあるよ（CloseBox） | テクノエッジ TechnoEdge
歌詞を与えれば作曲・演奏・歌唱と残りの全てをやってくれるAI作曲完パケサービス「Suno」。音楽制作界隈では「MIDIで吐いてくれ」との声が多く上がっています。 いい感じの音楽が出るまでガチャを引けばいいのですが、Sunoを効率化のために使いたい、アイデア出しのために利用したいんだけど、出力された音楽をいちいち手弾きで入力するのもだるい、という話です。 今回はこの解決策をご紹介しようと思います。詳しい人ならご承知のことと思いますが、改めて。 以前のコラムで紹介したように、例えばLogic ProのFlexPitchのようなピッチエディターを使えば、単音のオーディオファイルからMIDIデータを取り出すことは可能です。 実際、筆者はUVR5という音源分離ツールを使って取り出したBassトラックをFlexPitchによってピアノロール表示し、それを改めてMIDIデータとして打ち込むというのをやっ
「オーディオ版レイトレーシング」と「物理シミュレーションによる音響空間表現」｜Prismaton
「レイトレーシング」は 3D グラフィックスの重要な技術となっていて、レイトレーシングを使ったリアリティの高いグラフィックス表現を見る機会が増えてきました。 また同時に、「レイトレーシングをオーディオに応用する」といった言及もちょいちょい見かけるようになりました。 しかし、グラフィックスのシミュレーションにレイトレーシングが有効なのは光の特性をレイトレーシングで近似できているからであり、音の特性に関してはレイトレーシングだけで近似するのは困難です。これはもう少し広く知られていて欲しい事実なのですが、何故かあまりきちんと知られていません……。 そもそも悲しいことに、「物理シミュレーションによる音響空間表現(方角、残響、遮蔽などの表現)」を網羅的に真面目に考察した資料は恐ろしく少ないです。この現状では、レイトレーシングだけで音響空間表現が簡単に出来るというような誤解が生まれてしまうのも仕方ない
オーディオ超解像技術 AudioSR を試す｜はまち
低解像度の音声データを超解像化をする拡散ベースの生成モデル AudioSR が公表されていました。リンク先に変換サンプルなどもあり、音声や自然音、音楽など幅広いジャンルの例が示されています。高い再現度であるようなので、さっそく試してみました。 インストール!pip install git+https://github.com/haoheliu/versatile_audio_super_resolution実行！GPUメモリを16GBくらい消費します。Google Colab無料枠だとメモリが足らなくて動かない感じでした。 !audiosr -i /content/kurumi.wav変換例変換前（サンプリングレート8kHz）
音楽とサウンド生成のための「Stable Audio」を発表 — Stability AI Japan
Stability AI は、音楽とサウンド生成のための初のAIモデルとなる Stable Audio を発表しました。 Stable Audio は、最新の生成 AI 技術を駆使し、使いやすい Web インターフェースを介して、より高速で高品質な音楽とサウンドエフェクトを提供する世界初の製品です。Stability AI は、45秒までのトラックを生成してダウンロードできる Stable Audio の基本無料版と、商用プロジェクト用にダウンロード可能な90秒のトラックを提供する「Pro」サブスクリプションを提供しています。 StabilityAI の CEO である Emad Mostaque は、「唯一の独立した、オープンでマルチモーダルな生成 AI の会社として、音楽クリエイターをサポートする製品を開発するために私たちの専門知識を活用できることを嬉しく思います。私たちの願いは、St
AudioCraft: A simple one-stop shop for audio modeling
AudioCraft consists of three models: MusicGen, AudioGen, and EnCodec. MusicGen, which was trained with Meta-owned and specifically licensed music, generates music from text-based user inputs, while AudioGen, which was trained on public sound effects, generates audio from text-based user inputs. Today, we’re excited to release an improved version of our EnCodec decoder, which allows for higher qual
Python-sounddevice で音声や歌声をリアルタイム収音・再生・録音 - Wizard Notes
Pythonで音声や歌声、楽器音などの収音・再生・録音を行うためのライブラリとしてはPyAudioが知られていますが、 低遅延であるASIO規格が利用できない Python 3.7 以上には非対応 というデメリットがあります*1。 Python 3.7 以上でASIO対応デバイスを利用可能なライブラリとしては、python-sounddeviceがあります。 しかも PyAudio よりも使いやすい設計となっています。 以下では、このpython-sounddeviceの使い方と、リアルタイム収音・再生・録音のサンプルコードを紹介したいと思います。 Python-sounddeviceの特徴 インストール方法 使い方 デバイスの確認・設定 デフォルトのデバイスを確認 デバイスの変更 デバイスの種類 ASIOなどのAPI+Input/Outputごとにデバイスを検出 リアルタイム処理 収音
オーディオファイルをMIDIに変換するオープンソースのソフトウェア「NeuralNote」レビュー
スタンドアロンのアプリまたはプラグインとして利用できる無料のオーディオ変換ソフト「NeuralNote」を実際に導入し、使ってみました。 GitHub - DamRsn/NeuralNote: Audio Plugin for Audio to MIDI transcription using deep learning. https://github.com/DamRsn/NeuralNote まずはGitHubのリリースページにアクセス。今回はWindowsでスタンドアロンのアプリとして使用するため、「NeuralNote_Standalone_Windows.zip」をクリックしてzipファイルをダウンロードします。 ダウンロードしたフォルダを解凍。 解凍先フォルダ内の「NeuralNote.exe」を実行します。 NeuralNoteの見た目はこんな感じ。ソフトで直接録音するか、既
【無料配布】任意のオーディオソースをMIDIに変換できる最先端のオーディオプラグイン DamRsn「NeuralNote」がリリース&無料配布中！！
任意のオーディオソースをMIDIに変換する最先端のオーディオプラグイン DamRsn「NeuralNote」がリリース&無料配布中となっております。 任意のオーディオソースをMIDIに変換できる最先端のオーディオプラグイン DamRsn「NeuralNote」がリリース&無料配布中となっております。 NeuralNote は、最先端のオーディオから MIDI への変換をお気に入りのデジタル オーディオ ワークステーションにもたらすオーディオ プラグインです。 あらゆる音楽器に対応 (音声を含む) ポリフォニック転写をサポート ピッチベンドをサポート 軽量で非常に高速な転写 プラグインで直接、転写された MIDI をスケールおよびタイムクオンタイズできる NeuralNote をインストールする ここからお使いのプラットフォームの最新リリースをダウンロードしてください(Windows および
単体機では世界初! 爆音でも絶対音割れしない夢の32bit floatオーディオインターフェイス、UAC-232をZOOMが発売開始｜DTMステーション
昨年6月、ZOOMが32bit float対応のオーディオインターフェイス、UAC-232とUAC-432を発表し、大きな話題になりましたが、そのうちの2in2outのUAC-232が、ついに発売となりました。これは32bit floatに対応する単体のオーディオインターフェイスとしては世界初となる製品で、どんな爆音を入れても絶対にクリップしないという画期的な機材。まさにレコーディングにおける大革命ともいえるもので、従来のレコーディングの常識を根底から覆すもの。それだけに、10万円近くするのでは……と思っていたら、実売価格が税込み24,000円と、ちょっと拍子抜けしてしまうような価格で驚きました。 この価格設定だと、世間に誤解を与えるのでは……とちょっと心配になったほどですが、実際に試してみたところ期待通りの超強力なオーディオインターフェイスでした。サンプリングレート的にも44.1kHz～
これはオーディオインターフェイス革命!ZOOMが32bit Float対応のUSBオーディオインターフェイスにもなる小型レコーダーF3を発表｜DTMステーション
ZOOMが1月19日、192kHz/32bit Float（フロート）録音に対応した2ch入力の小型フィールドレコーダー、F3を発表し、1月末から発売を開始します。以前から販売されていたF6よりもコンパクトなレコーダーで、XLRのマイク入力を2系統持つレコーダーなのですが、実はこれ、トンでもない秘密機能を搭載しているのです。それは3月に予定されているファームウェアのアップデートおよびドライバのリリースにより、WindowsおよびmacOSでオーディオインターフェイスとして使えるようになるというものなのですが、まさにオーディオインターフェイス革命ともいえる機能・性能を搭載しているのです。 何が革命なのかというと、オーディオインターフェイスとして96kHz/32bit Floatでの録音に対応するということ。ピンと来ない方も少なくないと思いますが、32bit Floatに対応することにより、入
スペクトラルノイズ除去による雑音除去 | 株式会社AI Shift
こんにちは AIチームの戸田です 先日、KaggleのCornell Birdcall Identificationというコンペに参加し、参加報告ブログを掲載させていただきました。使用した手法にこちらのライブラリを使ったノイズ除去を用いていたのですが、今回その内部の働きを勉強したので共有させていただきたいと思います。 スペクトラルノイズ除去 使用されていた手法はスペクトラルノイズ除去と呼ばれるそうで、ノイズ部分の信号をもとの音源から差し引くことでクリアな音源を実現します。モーター音や風の音など、固定ノイズや緩やかに変化するノイズの除去に効果的です。 Audacityというフリーソフトでも内部で使われています。 以下から実際にpythonでの実装を通じてスペクトラルノイズ除去の処理の流れを解説していきたいと思います。 データはCornell Birdcall Identificationのデ
Python-Sounddevice ASIOで使える音響信号処理モジュール[基本編] - Qiita
PythonモジュールのSounddeviceってなあに？ Pythonで使える音響信号処理モジュールといえばPyaudioがあると思いますが、個人的になんか使いにくい！また一度Windowsで開発中に使えなくなったことでPyaudioには軽いトラウマがあり、ASIOベースでオーディオインターフェースの制御ができるSounddeviceを紹介したいと思います。 sounddeviceのいいところ ・ASIOデバイスをコントロールできる ・入出力のチャンネルマッピング（マイク、スピーカの振り分け）も簡単 ・WASAPI、core audioの制御も簡単 ・とにかく書きやすい使いやすい ・同時録音再生が超簡単にできる（音響工学やってる人的にはインパルス応答の計測とかめっちゃ簡単にできて嬉しい） この記事で扱う項目 この記事ではsounddeviceを使う前の準備から使う上での初期設定の方法、そ
![Python-Sounddevice ASIOで使える音響信号処理モジュール[基本編] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/80750bd58ab9b3577b4d9a00dbcb86f4e4625988/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9UHl0aG9uLVNvdW5kZGV2aWNlJTIwQVNJTyVFMyU4MSVBNyVFNCVCRCVCRiVFMyU4MSU4OCVFMyU4MiU4QiVFOSU5RiVCMyVFOSU5RiVCRiVFNCVCRiVBMSVFNSU4RiVCNyVFNSU4NyVBNiVFNyU5MCU4NiVFMyU4MyVBMiVFMyU4MiVCOCVFMyU4MyVBNSVFMyU4MyVCQyVFMyU4MyVBQiU1QiVFNSU5RiVCQSVFNiU5QyVBQyVFNyVCNyVBOCU1RCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9ODczZmY0MzdjYjkxZGQ0NDhiMzRhNDFhZWIwYzY0Yjk%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBvb3p6WlpaWiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZmVjNmRlOWQ1ZDBmNWQ1N2FlMjFkOWFjYjhmOWZhNGU%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dbe3b2524dd7840f3dd1c9f4a09c04f02)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
声以外が消える!? 無料のノイズ除去「NVIDIA Broadcast」がスゴい【藤本健のDigital Audio Laboratory】
ボイチェンだけじゃない! 「Voidol2」のアナライザが優れものだった【藤本健のDigital Audio Laboratory】
SpotifyがPythonオーディオエフェクトライブラリ「Pedalboard」をオープンソース化 - すでに約1年間の社内使用を経ていてstage ready
「Audacity」のフォーク（分岐）プロジェクト、名称は「Tenacity」に【7月15日追記】／ユーザーのプライバシーを重視。新しいロゴも用意され動きが本格化
やっと来た360 Reality Audioスピーカー! ソニー RA5000/3000【小寺信良の週刊 Electric Zooma!】