機械学習なんもしらないけどピアノ採譜AIを作りたかった

どうもこんにちは、だだっこぱんだです。 「今年の最も大きなチャレンジ」 ということで、今回は夏休みにちょくちょくやっていたピアノ採譜AIを作るという挑戦について書いていきたいと思います。 ちなみに結論から言うと、一部うまくいきませんでした。けれどもまだまだ諦め切れずにはいます。もし機械学習に強い方で何か気がついたことや、アドバイス等ありましたら、ぜひ教えていただけると嬉しいです。 👇やろうと思ったきっかけになったツイート 既存の技術 まずは既存の技術を調べていきます。 これについては主にFくんに調べてもらいました。ありがとう😊 このスクラップと同じような内容になってしまいますが、再度まとめていきます。 Onsets and Frames Googleから出ているピアノ採譜AI。Onsets（各音符の開始位置）とFrames（音符が存在するすべてのフレーム）を別タスクに分けて検出すること

[strawberryhunter]

すごい前（00年代？）に画面にスペクトルを表示してフーリエ変換で音程を認識できて、最終的にSMF(MIDI)にはできたかどうかまでは覚えてないけど、そういうフリーソフトを耳コピに使ってた。機械学習必要なの？

[dgen]

確かにフーリエ変換のほうが取りこぼしなくペダルも含めて音を拾えそう。AI だとどうしても誤差のある推論だから精確な出力を得るには学習量を増やさないとダメだし。

[isrc]

なんとなくでやってきましたが、やっぱり機械学習は難しいなと言うことがわかりました。コードのを見ていても何をやってるのかよくわからない関数だったりクラスがいっぱいなのでまずはこのあたりを知っていく

[imash]

ピアノらしいアレンジを生成してくれるのが欲しいな

[nori__3]

FFTの方が確実そうな気が

[harumomo2006]

この分野のソフトは数が少なく値段が高いのでAIで処理できるなら最高

[totoronoki]

採譜AIのモデルは既にいくつかある。自分もyoutubeのピアノ動画からmidiファイル作ったりしてるんだけど、この人がほしいのはペダルも上手に抽出できるやつか。

[swdrsker]

AI初心者詐欺だ

[havanap]

https://arxiv.org/abs/2103.13219 Transfer Learning for Piano Sustain-Pedal Detection っていうのがあった

[clapon]

ピアノの採譜AIって倍音とかもあるから難しそう。あったらとても助かるツールになるので期待してます！！

[janhampino]

こういう記事なんかライブ感があって良いじゃないの。読んでて楽しい.