深層学習：ハイパーパラメータの設定に迷っている人へ - HELLO CYBERNETICS
既に深層学習は、chainerやtensorflowなどのフレームワークを通して誰の手にも届くようになっています。機械学習も深層学習も、あまりよくわからないが試してみたいなという人が数多くいるように思います。そして、実際に試している人たちもたくさん居るでしょう。 そんなときにぶち当たる壁は、多種多様なハイパーパラメータの設定です。 これはテストデータの精度に対して、試行錯誤を繰り返しながら決めていくしかありません。 しかし闇雲に値を変えて試してみてもあまり良い成果は得られないでしょう。 今回は、各ハイパーパラメータがそもそもどのような効果を持っているのかをまとめ、学習を行う際の指針になるようにしたいと思います。 ハイパーパラメータとは ユニットの数をどうするべきか 中間層のユニットの数を膨大にする 中間層のユニットの数を少なくする 結局どちらが良いのか 荷重減衰 荷重減衰の効果 荷重減衰の
Pytorchのニューラルネットの書き方 - HELLO CYBERNETICS
はじめに 簡単なフィードフォワードニューラルネットワーク nn.Module nn.Module part2 Sequential Sequential part2 nn.ModuleList 次回は はじめに Pytorchはニューラルネットを柔軟に設計できるように、様々な実装の方法が提供されています。今回はその中でも基本的な書き方をいくつか紹介することにします。書きたいニューラルネットの規模やカスタマイズしたい内容によって書き方を変えれば、効率よく素早いコーディングが可能になるはずです。 前提として以下がimportされている状態で進めます。 簡単なフィードフォワードニューラルネットワーク 今回は隠れ層が2つで、出力層が1つの3層フィードフォワードニューラルネットワークを例に使います。 nn.Module nn.Moduleを継承して書くスタイルは、Chainerでchainer.Ch
識別関数、識別モデル、生成モデルの違いを解説 - HELLO CYBERNETICS
はじめに 記事の目的：共通の認識を持てるようにするため なぜパターン認識と機械学習を引用するか 機械学習の目的 分類問題と回帰問題 分類問題について 「識別関数」、「識別モデル」、「生成モデル」 識別関数 識別モデル 生成モデル 生成モデルのメリットデメリット はじめに 記事の目的：共通の認識を持てるようにするため 機械学習が大流行している中で、言葉の定義が曖昧になってきている印象があります。新しい分野が流行すれば、様々なところで言葉が使われ、結果として複数の意味で使われるようになり曖昧になってしまうのは必然です。実際私の周りでも、「ん、どういう意味で使っているんだ？」と思うケースがたまにあります。 ハッキリ言って言葉の意味などは使いやすいように変更されても構わないと思いますし、人間の使い方の統計によって定められていると言っても過言ではないです。 しかし、それでもどの言葉が何を意味している
エントロピーからKLダイバージェンスまでの話 - HELLO CYBERNETICS
情報理論でエントロピーなる概念を導入し、情報量を定式化したことを前回の記事で紹介しました。 s0sem0y.hatenablog.com 機械学習ではパラメトリックな推定を行う際に真の確率分布p(x)をq(x|θ)で表現するために、KLダイバージェンスKL(p(x)||q(x|θ))を最小化する問題に帰着させます。 KLダイバージェンスの性質が確率分布の隔たりを表現できると考えられるため、このような学習則が用いられ、実際にKLダイバージェンスの最小化は、尤度の最大化と数学的に一致しますから尤もらしい推定を行っていると言えます。 今回はこれを情報量なる観点から見なおして、元々の定義であるエントロピーの立場から、確率分布を近似する有効な手法であることを見ていきます。KLダイバージェンスは相対エントロピーと呼ばれる概念と同等のものであり、相対エントロピーの最小化が最尤推定に一致するわけですが、で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
