VAEって結局何者なの？
はじめに 今回は、満を持してVAE（Variational Auto Encoder）をちゃんと理解していこうと思います。 VAEに関しては、だいたい知っていますが、MusicGenという音楽生成AIを理解しようと思った時に、関連してRVQ-GANが出てきたので、再勉強をしています。 今後、下記の流れで記事を書いていく予定です。 VAE（今回） ↓ VQ-VAE ↓ RQ-VAE,RVQ-GAN ↓ MusicGen 今回は、流れの最初であり、現在でも非常に重要な概念であるVAEに関して記事を書きます。 VAEは、Stable Diffusionの中でも中核として使われていたりと、比較的古い概念でありながら、まだまだ活躍が期待できる汎用ネットワークです。 本記事が、みなさまの理解の手助けになれば、これほど嬉しいことはございません。 参考文献 VAEの論文です。 ゼロから作るDeep Lea
【PyTorch】実装有：VAEを使った継続学習異常検知手法：Continual Learning for Anomaly Detection with Variational Autoencoder - Qiita
はじめに 継続学習（CL;Continual Learning）とは、動的に学習データが変化する環境下において、破壊的忘却することなくモデルの学習を可能とすることを目的とした機械学習の一分野となります． ※破壊的忘却とは、単一のネットワークを複数のタスクの学習に利用する場合、過去に学んだタスクに対する精度が、新しいタスクの学習時に悪化する事象のことを指します ICLRやICMLをはじめとしたAI関連のトップカンファレンスにおいても、CLに関する論文の投稿数は増加傾向にあり、注目されている分野といえます． 主にCLは識別モデルの学習という問題設定で議論されることが多いですが、生成モデルをもちいる「異常検知」問題においても適用されます． 今回はCLの問題設定の上で、異常検知に関する手法を提案した論文Continual Learning for Anomaly Detection with Va
VAEに基づく「AI耳コピ」手法 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? しばらく前にオンライン開催された「OngaACCELシンポジウム2020」にて、吉井和佳先生による自動採譜技術研究の発表がありました。たいへんありがたいことに、あの藤本健さんの記事でピックアップしていただき、なかなか反響があったようです。 音を楽譜にする“耳コピ”はここまで来た。AI自動採譜の最前線 この記事で紹介されている成果のうち、しゃをみんはコード採譜の研究に取り組んでおります。吉井先生の発表の中で、「ミラーニューロン仮説」なる概念が紹介されたあのパートです。 「生成モデル＋推論モデル＝VAE」 でなんかぐるぐるさせるという話をし
Why are autoencoders considered a failure? What are their alternatives?
Answer (1 of 4): Autoencoders are useful for some things, but turned out not to be nearly as necessary as we once thought. Around 10 years ago, we thought that deep nets would not learn correctly if trained with only backprop of the supervised cost. We thought that deep nets would also need an un...
PyTorchバックエンドの確率的プログラミング言語Pyroと生成モデルのツールPixyz
PyTorchユーザーが気になる点PyroやPixyzを使用する上で、PyTorchユーザーがおそらく気になると思われる点を幾つか挙げてみましょう。 PyTorchで実装したニューラルネットワークは流用できる？ PyroとPixyzともにYESです。ただし両者ともそのまま使用するのではなく、それぞれ少しだけ工夫が必要です。 Pyroではtorch.nn.Moduleを継承したクラス内に、追加でmodelメソッドとguideメソッドを実装する必要があります。VAEではmodelメソッドは生成ネットワーク、つまり潜在変数からの観測データのサンプリングが該当します。一方、推論ネットワーク、つまり観測データからの潜在変数の推論がguideメソッドに対応します。PyTorchで実装したニューラルネットワークのインスタンスを使ってmodelメソッドとguideメソッドを記述すればよいため、ニューラルネ
PyTorchで畳み込みオートエンコーダーを作ってみよう
今回の目的 前回は、CIFAR-10と呼ばれる画像データセットをエンコード／デコードするオートエンコーダーを作成しました。このオートエンコーダーの内部では全結合型のニューラルネットワークを用いていましたが、画像をうまく復元しようとすると、かなりの時間がかかることが難点でした。また、復元後の画像もそれほどキレイなものではありませんでした。 そこで、今回は「畳み込みオートエンコーダー」と呼ばれるオートエンコーダーを作成して、全結合型のオートエンコーダーよりも高い精度で画像を復元できるようにすることを目的とします（学習にかかる時間が短ければさらに好ましいといえるでしょう）。 畳み込みオートエンコーダーとは、本連載の「CNNなんて怖くない！ その基本を見てみよう」で取り上げたCNN（Convolutional Neural Network、畳み込みニューラルネットワーク）を使ったオートエンコーダー
PyTorchでCIFAR-10を処理するオートエンコーダーを作ってみよう
今回の目的 前回はMNISTの手書き数字を入力すると、その情報（元は28×28＝784次元のデータ）を段階的に次元削減していきながら、2次元の情報とした後で、それを今度は784次元のデータへと復元する「オートエンコーダー」を作成してみました。その中で、オートエンコーダーのエンコーダー部では、元のデータをより次元数の少ない空間（前回は最終的には2次元空間）へとマッピングすること、デコーダー部ではマッピングされたデータを基に元の情報へと復元することを見てきました。そして、エンコーダー部で圧縮されたデータは「元データを復元するために不要な情報を削除したもの」「潜在変数と呼ばれる」であるといったことも見ました。 最後に、MNISTの手書き数字ではそれなりの結果を出した「全結合型のオートエンコーダー」を使って、CIFAR-10と呼ばれるMNISTよりも情報量が多い画像データのエンコード／デコードがう
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - facebookresearch/mae: PyTorch implementation of MAE https//arxiv.org/abs/2111.06377