はてなブックマーク

Deep Learningのモデルを訓練していたところ、思うようにvalidation lossが下がらないことがあった。色々と調べた結果、Batch NormalizationとDropoutを併用していたのが原因であったので、誰かの為に書いておく。 この論文とその解説にある通り、Batch NormalizationとDropoutを併用するとパフォーマンスが悪化することがある。原因は、「Dropoutを行うことで学習時と評価時で分散が変わってしまう一方、Batch Normalizationは学習で得られた分散を評価時もキープしてしまうため齟齬が生じることが原因」とあり、言われてみればなるほどという感じである。 結論としては、DropoutかBatch Normalizationのどちらか一方だけで試してみてvalidation lossを下げようとするのが良さそう。Deep Lea

タイトルの通りですが、大規模データをクラスタリングする際には単純なK-Means法ではなく、Mini Batch K-Means法を使うべきという話です。 とある大規模データ（150万件ほどの文章ベクトル）をクラスタリングしたいことがあったのですが、単純にScikit-learnのK-Means法に投げてクラスタリングを走らせていたところ、数時間経っても一向に終わる気配がありませんでした。色々と調べていると、大規模データのクラスタリングにはMini Batch K-Means法を使うべきという記述を見つけました。公式ドキュメントによると、大体1万件を超えるデータをクラスタリングする場合にはMini Batch K-Meansを使うべきとのことです。 APIとしては単純にKMeansをMiniBatchKMeansに置き換えれば動きます。理論的な背景としては、論文 “Web Scale K-

Rust言語で書かれたJaggernautというNeural Networkの実装を見つけた。WebAssemblyに変換されて、ブラウザ上で動作させることが出来る。 Juggernaut: Neural Networks in a web browser デモページでは3種類のデータセットに対して、学習率とエポック数を設定して、データが分類されていく過程が見れる。デモの実装にはReactとD3.jsを使っているが、Neural Networkの学習部分にはJavaScriptは一切使っておらずRustのみで書かれているとのこと。 まだ機能的にはフィードフォワードネットワークのみ対応しているようだが、数種類の活性化関数やコスト関数を用意しているとのこと。 こういったアプリケーションが増えて、将来的にRustは果たしてC/C++を置き換える言語に成りえるのか見守っていきたい。

ファッションアイテムを識別するタスクであるFashion MNISTというデータセットが登場しました。 https://github.com/zalandoresearch/fashion-mnist (画像は上記githubページより) このデータセットが登場した目的は、MNISTが簡単すぎる、MNISTは使われすぎ、MNISTは最近のコンピュータビジョンのタスクを表現していない、などの理由からだそうです。 まずは、データセットをダウンロードします。 git clone https://github.com/zalandoresearch/fashion-mnist.git データの形式などはMNISTと同じで、分類するクラスも10個（Tシャツ、サンダル、バッグなど）です。 このデータをKerasを使って分類してみようと思います。バックエンドはTensorflowを使っています。 ネット

Tensorflow グループが A Neural Network Playground というブラウザ上でDeep Neural Networkの動きを可視化するツールを出しています。少しいじってみたので、参考までに書きます。 提供されているデータセットは4種。ノイズパラメータをいじることで、複雑なデータにすることもできます。 UIは直感的なので、色々といじってみると分かるかと思いますが、入力のフィーチャーを選択して、隠れ層の段数や個数を調整して、活性化関数や正則化の方法を選択するなどして左上の再生ボタンを押すとアニメーションでNNがどのようにしてデータを分類しているのかが分かります。 活性化関数を変えてみると、収束までにかかるエポック数が変化するのが分かります。例えばSigmoid関数を使うと収束は遅くなり、最近はSigmoidがあまり使われないというのも納得できるようになります。 そ

ソニーがGUIでDeep Learningアプリケーションを作成するツールを公開しました。 ソニー、ニューラルネットをGUIで設計できる深層学習の統合開発ツールを無償公開 ネットワークを構築する部分がGUIで書けるようで、どれくらい便利なのかを試してみることにしました。 個人的にはKerasやTensorflowを使ったとしても、ネットワーク構築の部分は積み木のような感覚なのでそれほど難しいとは思わないので、GUIで出来るというのがどれほどメリットがあるのか懐疑的でした。 実際に試してみると、直感的に使えるので試行錯誤の段階には意外と便利かもしれないと感じました。 ダウンロード 以下のページからダウンロードをします。まずはメールアドレスを登録すると、ダウンロード先のリンクが送られてきます。 https://dl.sony.com/ ファイルサイズは900MBほどあります。ちなみに現時点では