微分可能な複素正弦波オシレータを用いて日本語5母音を近似させてみた - 備忘録
はじめに 実装 実験 実験条件 実験結果 おわりに はじめに SNSにて、しゃをみん氏が興味深い記事をツイートされていた。 昨日書きました。 「コンピューターは遂に「音の高低」を理解した」と言えるほどの大きな進歩です。 【注目論文】Sinusoidal Frequency Estimation by Gradient Descent https://t.co/SbbNlZkdAW #Qiita @syao_mingより— しゃをみん (@syao_ming) November 13, 2022 上記の記事で紹介されている論文は、いわゆる複素正弦波オシレータが微分可能な形で定式化されることを示していた。 この「微分可能」なオシレータでは、元の波形を複素正弦波の重ね合わせで近似的に表現する。 そして各サンプル点において計算される波形の近似誤差に基づき、勾配降下法を利用してその誤差が小さくなるよ
【注目論文】Sinusoidal Frequency Estimation by Gradient Descent - Qiita
QMULのBen Hayes氏らが、勾配降下法で周波数推定を行う手法を論文で発表しました。ICASSP2023に投稿したそうです。 きわめてシンプルな手法なのですが、機械学習系音声合成にとってはたいへん重要な成果だと思うので、紹介します。 論文リンク：Sinusoidal Frequency Estimation by Gradient Descent ソースコード：https://github.com/ben-hayes/sinusoidal-gradient-descent 背景：DDSPの限界 DDSP(Differentiable Digital Signal Processing)とは、微分可能な計算式を持つDSPモジュールをDNNに組み込んで機械学習をやる手法で、Google Magentaプロジェクトが最初に打ち出したアイデアです。 今ではもうDDSPシリーズと呼べるほど多様
ソニーによる世界最高の音源分離技術で実現した、ボーカルだけをキレイに抽出できるSoundmain Studioの新機能｜DTMステーション
以前DTMステーションで紹介したことのある、ソニー・ミュージックエンタテインメントのプロジェクトSoundmain（サウンドメイン）。ここでは、ソニーグループが研究・開発する最新の音楽関連テクノロジーがいち早く機能として実装され、クリエイターが利用できるようになっているのですが、今回ボーカル抽出という新機能が追加されました。これは、ブラウザ上で使える音楽制作プラットフォームSoundmain内の音楽制作サービスSoundmain Studio上で使える機能で、音源からボーカルのみを抜き出し、手軽に高品質なボーカル音源を作成することができます。 つまり楽器などの演奏も消せるわけなのですが、驚くべきはその精度。ボーカル抽出といえば、さまざまなソフトで行うことが可能ですが、声がシュワシュワになってしまったり、オケが残ってしまったりすることがありますよね。それに対し、Soundmain Studi
メルケプストラムについてのまとめ - 備忘録
はじめに メルケプストラムとは何か？一言で表せば、 人間の聴覚特性を考慮したケプストラム となるだろうか。本記事ではメルケプストラムについて簡単にまとめる。 メルケプストラムの特徴 ケプストラムとメルケプストラムの違いは以下の図に示す通りである。 いずれもスペクトル包絡を少ない情報量で表現するパラメータ（音響特徴量）である。ケプストラムは周波数軸上、一様なスケールでスペクトルをサンプリングし、フーリエ変換することによって得られる*1。しかしながら、低周波数領域では感度が高く、高周波数領域では感度に乏しいという人間の聴覚特性が考慮されていない。メルケプストラムは、一様な周波数スケールから聴覚特性を反映したメルスケールへと周波数伸縮し、このメルスケール上でスペクトルをサンプリングして得られるケプストラムである。利点としては、通常のケプストラムよりも次数が少なく済むことなどが挙げられる。 メルケ
統計的声質変換の紹介 - nico-opendata
nico-opendata niconicoでは、学術分野における技術発展への寄与を目的として、 研究者の方を対象に各種サービスのデータを公開しています。 ニコニコ動画コメント等データセット (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ動画コメント等のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします ニコニコ大百科データ (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ大百科のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします Nico-Illustデータセット Comicolorization: Semi-Automatic Manga Colorization Chie Furusawa*、Kazuyu
NSynth: Neural Audio Synthesis
One of the goals of Magenta is to use machine learning to develop new avenues of human expression. And so today we are proud to announce NSynth (Neural Synthesizer), a novel approach to music synthesis designed to aid the creative process. Unlike a traditional synthesizer which generates audio from hand-designed components like oscillators and wavetables, NSynth uses deep neural networks to genera
A Singing Synthesizer Based on PixelCNN
Sound examples and additional information [poster] Presented at the "Seminar on music knowledge extraction using machine learning", Dec. 4th, collocated with NIPS2016 Barcelona. Contact: {merlijn.blaauw, jordi.bonada}@upf.edu Demo 1: "El Último Vals" (original by La Oreja De Van Gogh) With background music and effects.
Pythonを使った音楽解析をやってみる - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 本記事はPythonのアドベントカレンダー第6日です。 qiita.com 本日はPythonを使った音楽解析に挑戦します。 偶然にも音楽解析に便利なライブラリを発見したので、試してみたいと思います！ 音楽解析 librosa librosaとは 音楽を解析してみた。 音楽を取得する。 データ読み込み 音楽情報を取得する。 時間の計算 ピッチやテンポの計算 スペクトラム分析をやってみる。 音楽特徴量を取得する。 音楽を加工する。 時間の引き伸ばし、短縮 要素の抽出 打楽器要素の抽出 ハーモニック要素の抽出 音楽の保存 参考文献 音楽解析 本日の挑戦は特徴量抽出と一部の音楽の加工です。 基本的な音楽ファイルの読み込みや特徴量抽出、音楽の加工分離です。 音楽解析に便利なライブラリ、librosaを紹介します。 librosa librosaとは
Graph based manifold regularized deep neural networks for automatic speech recognition
Deep neural networks (DNNs) have been successfully applied to a wide variety of acoustic modeling tasks in recent years. These include the applications of DNNs either in a discriminative feature extraction or in a hybrid acoustic modeling scenario. Despite the rapid progress in this area, a number of challenges remain in training DNNs. This paper presents an effective way of training DNNs using a
相平面上に描いた歌声のF0軌跡
歌声の声の高さ(F0軌跡)を相平面上に描いたら? 歌唱様式を分析するためのF0軌跡の新しい表現方法の提案 大石 康智, 後藤 真孝, 伊藤 克亘, 武田 一哉 歌声のF0軌跡に含まれる様々な動的変動成分 図1は、ある楽曲のメロディとそれを歌詞付きで歌唱したときの歌声の声の高さ（音高、F0軌跡）を図示した例である。 F0軌跡には、滑らかに変化しながら目標音高に到達するポルタメントや目標音高より大きく振れてしまうオーバーシュート、音高が安定するときに振動するビブラートなどの「F0動的変動成分」が観測される。 これらのF0動的変動成分の動きは多様であり、歌声知覚や歌唱者の個人性知覚に影響を与えることが、先行研究により明らかにされている。 鼻歌検索の性能向上や表情豊かな歌声合成を実現させるためには、歌唱者ごとのこのような動的変動成分を精確に特徴づけるよう、F0軌跡をモデル化する必要があると考
無償で簡単にアプリに組み込める「音声認識＆音声合成」
マイクに向かってしゃべると音声をテキスト化する「音声認識」や、テキストを音声データに変換する「音声合成」をPC上のアプリで実現したい場合、無償のPerC SDKが便利だ。その開発方法を解説。 ← 前回 連載 INDEX 最終回として音声認識および音声合成を解説する。この2つを使うことで、音声とテキストを相互に変換できるようになる。 音声認識および音声合成には、それぞれの言語（英語や日本語など）の音声エンジンが必要になる。セットアップ時に音声エンジンのインストール設定があるが、後からでも追加できる。こちらのページから各国語の音声エンジンがダウンロードできるので利用していただきたい。もちろん日本語の音声エンジンもリリースされているので、日本語での音声認識および音声合成も可能だ。 なお、音声認識はSenze3Dだけでなく、ノートパソコンに内蔵されているマイクなど一般的なマイクを利用することもでき
AquesTalk - テキスト音声合成ミドルウェア
規則音声合成エンジン AquesTalkシリーズ 組み込み用に開発された小型軽量のエンジンで、テキスト情報（音声記号列）をリアルタイムに音声に変換して出力します。 これまで数百万台の機器に実装されています。現在、AquesTalk10/AquesTalk pico/AquesTalk2/AquesTalk1の4種類のエンジンがあります。 それぞれ音声生成アルゴリズムが違うため、声質が異なります。声質や動作に必要なリソース量を考慮してエンジンを選択します。 エンジン種類 AquesTalk pico シリーズ中、最小サイズのエンジンです。RAM500byte、ROM30Kbyte、8bit CPUという比類ない極小リソースでリアルタイムの音声合成ができます。リソース制約の厳しい小型の組み込み機器に適しています。 このエンジンを１チップマイコンに組み込んだ音声合成LSI AquesTalk p
Python(NumPy, SciPy)でフォルマント分析を行う
RubyMotionブームが俺の中で巻き起こり、社内で布教活動をしていました。「やっぱり自分でアプリを作ってリリースまで持っていかないと、きちんと評価できないよね」ということで、前から作りたかった音声解析アプリを作り始めました。 そのために信号処理のアルゴリズムを勉強しましたが、む、難しい。 さて、RubyMotionはvendorディレクトリに適当に.mと.hを突っ込んでおいて、Rakefileで指定しておけばObjective-Cのコードをコンパイルしてくれます。 信号処理はなるべく高速化したいので、Objective-C(というか、C言語)で書きたいです。RubyMotionでは、そういった用途にも比較的楽に対応できる感じになっているわけです。 信号処理アルゴリズムを俺がC言語で実装する必要性 C言語で複雑な信号処理のアルゴリズムの実装は難しいです。 インターネットに落ちている実装s
セキュリティ自由研究：この夏、グミ指を作ってみないか
セキュリティ自由研究：この夏、グミ指を作ってみないか：Security&Trust ウォッチ（48） 指紋は指先にある紋様で、人ごと、指ごとに異なる。指先から出る皮脂などによって、この紋様が何かに付着することを指紋が付くという。その特徴を生かして、指紋は個人を特定することにもよく用いられる。事件の証拠として利用したり、入室管理や携帯電話のロックなどの認証でも用いられている。 以前、指紋認証システムを食用のグミなどで作った指紋（グミ指）で突破することができるという記事を何かで見掛けて、一度試してみたいと思っていた。身近な材料で、最先端の技術が突破されるというギャップに驚きを感じた。今回は実際にこの目でグミのチカラを確認してみようというレポートである。 セキュリティ自由研究レポート ■採取した指紋からグミ指を作ろう 指紋はそこら中に付いている。指紋は皮脂なので一度付着すると取れにくいようだ。と
クリプトン | ソフト音源（VOCALOID ENGINE）
音楽の長い歴史において、業界に大革命をもたらしたと誰もが認める技術と言えば、「シンセシス」、「MIDI」、「サンプリング」が挙げられます。これらに代表される革新的、かつ偉大な発明は、めったに現れるものではありません。しかし、この「歌声合成」技術はまさにその一つ、音楽制作の歴史を変える偉業と言えるでしょう。現在、ほとんどのアコースティック楽器は様々なシンセシス（合成）技術をもってしてコンピュータ上でリアルに再現可能となっていますが、歌声に限っては、リアルに再現する事が技術的に大変難しく、その試みもことごとく失敗に終わっていました（YAMAHAがこのVOCALOID技術を開発するまでは）。ご承知の通り、歌声には数え切れないほどのアーティキュレーション、音色、音から音への移行音があります。また、歌は他の楽器と大きく違い、言葉とメロディの両方を表現します。これだけ見ても、歌声を再現することがどんな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WaveFit: An Iterative and Non-autoregressive Neural Vocoder based on Fixed-Point Iteration
TechCrunch | Startup and Technology News
Goでクロマベクトルを求める | LESS IS MORE
aihara / pyssp — Bitbucket
NTT、同社主導で開発したロスレスオーディオ符号化技術がMPEGで国際標準規格“MPEG-4 ALS”として承認と発表