ここ1年くらいDeep Learning Tutorialを読みながらTheanoというライブラリで深層学習のアルゴリズムを実装してきた。 深層学習の基本的なアルゴリズムならTheanoでガリガリ書くこともできたがより高度なアルゴリズムをTheanoでスクラッチから書くのはとてもきつい*1。 そんなわけでPylearn2、Lasagne、nolearnなどのTheanoベースのラッパーライブラリをいろいろ調べていたのだが、結局のところKerasというライブラリが一番よさげだと思った。KerasはバックエンドとしてTheanoとTensorflowの両方が使え、より高レイヤな表現（たぶんChainerと同レベル）で深層学習のさまざまなアルゴリズムが記述できる。TheanoやTensorflowは完全に隠蔽されており、Kerasで書かれたプログラムはまったく修正せずにTheanoとTensor

先月のとある勉強会で使ったスライドを今更ながら貼ります。 そこそこの「seq2seqやAttentionほどは脚光を浴びていない、RNNの基礎部分の改良や知見」を載せることを趣旨にしています。 口頭のみでの説明も多かったり、読み込みが浅かったり、量重視だったりして、スライドの各説明は特に詳しくないです。まだまだ十分に検証されていないことや納得しきれない（論文著者の）言明も多々ありますので、読む際は、ふわふわと話半分に小耳に挟むくらいがちょうどいっか〜と思って読んでください。 新たなRNNと自然言語処理 from hytae 需要と質はさておき英語版もあります。 Recent Progress in RNN and NLP from hytae

ディープラーニングが猛威を振るっています。私の周りでは昨年から多く聞かれるようになり、私も日経BPさんの連載で昨年5月にGoogleの買収したDeep Mind社について触れました。今年はさらに今までディープラーニングについて触れていなかったメディアでも触れられるようになってきましたね。例えば、イケダハヤトさんも先日。高知でも話題になっているのですね。 私事ですが、今度湯川鶴章さんのTheWaveという勉強会で、人工知能とビジネスについて一時間ほど登壇させていただくことになりました。有料セミナーということです。チャールズべバッジの解析機関についてはこのブログでも以前触れましたが、「機械が人間を置き換える」みたいな妄想は100年位は言われていることですね。「解析機関」「機械学習」「人工知能」「シンギュラリティー」など、呼び名はどんどん変わり、流行り廃りもありますが、最近ロボットの発達も相まっ

You can follow users and tagsYou can stock useful informationYou can make edit suggestions for articlesFunctions that can be used after logging in

データのダウンロードと準備 このチュートリアルに必要なデータは、Tomas Mikolov の Web ページの PTB データセットの data/ ディレクトリにあります： http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz データセットはすでに前処理され、文末マーカーと、レアな単語のための特殊記号（<unk>）を含む、全部で10000語の異なる単語が含まれています。ニューラルネットワークでの処理を容易にするため、reader.py でそれらの単語すべてを、一意の整数の識別子に変換します。 モデル LSTM モデルの中心部は LSTM セルで構成されます。LSTM セルは、一度に１つの単語を処理し、文のありうる継続の確率を計算します。ネットワークのメモリ状態をゼロ・ベクトルで初期化し、各単語を読み込んで、メモリ状態を更新

TensorFlow のチュートリアル（TensorFlow Mechanics 101） https://www.tensorflow.org/versions/master/tutorials/mnist/tf/index.html#tensorflow-mechanics-101 の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 コード： tensorflow/examples/tutorials/mnist/ このチュートリアルの目標は、（古典的）MNIST データ・セットを使用して手書き数字を分類するためのシンプルなフィードフォワード・ニューラルネットワークを訓練・評価するために TensorFlow を使用する方法を示すことです。このチュートリアルの対象読者は、TensorFlow を使用することに関心のある、機械学習の経験があるユーザーです。 これらのチュートリア

MUSHRATest is an open source implementation of MUSHRA listening test distributed under GNU General Public License. MUSHRATest is optimised for multichannel representation of test stimuli and thus can be used for spatial audio tests. The program is written in C++ using cross-platform JUCE library that supports several target platforms: Mac OSX, iOS, Windows XP/Vista/Win7, Linux and Android. Current

I have a small question on FFT based adaptive beamforming based on Spectral Matrix Inversion technique. I have estimated the Spectral Matrix (Sxx) from my data by dividing it into blocks and averaging them for each bin, to get sufficient rank on the matrix. To produce the MVDR weighting vector (8x1 vector in my case since I have 8 microphones) for each bin, I multiply the inverse of Sxx for each b

SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII

はじめに こんばんは。統計的声質変換（以降、簡単に声質変換と書きます）って面白いなーと思っているのですが、興味を持つ人が増えたらいいなと思い、今回は簡単なチュートリアルを書いてみます。間違っている箇所があれば、指摘してもらえると助かります。よろしくどうぞ。 前回の記事（統計的声質変換クッソムズすぎワロタ（実装の話） - LESS IS MORE）では変換部分のコードのみを貼りましたが、今回はすべてのコードを公開します。なので、記事内で示す声質変換の結果を、この記事を読んでいる方が再現することも可能です。対象読者は、特に初学者の方で、声質変換を始めたいけれど論文からコードに落とすにはハードルが高いし、コードを動かしながら仕組みを理解していきたい、という方を想定しています。役に立てば幸いです。 コード https://github.com/r9y9/VoiceConversion.jl Jul