機械学習・深層学習の基礎体力測定② - Yusuke Sugomori's Blog
前回は、線形回帰・ロジスティック回帰および（シンプルな）ニューラルネットワークの出力の式を理解するところまでを考えてみました。今回はその続きを考えていきます。 一番基本的な式は線形回帰の \[ y = wx + b \] という直線の式でしたが、では、この傾き \(w\) と切片 \(b\) はどのように求めればいいでしょうか？ これら \(w\)、\(b\) が、いわゆるモデルのパラメータになります。このパラメータを最適化する（＝きちんと求める）ことで、線形回帰が引く直線は、「データの関係性を最もよく表す直線」になるわけです。 この式が \(y = \boldsymbol{w}^T\boldsymbol{x} + b\) になっても、あるいはロジスティック回帰の \(y = f\left(\boldsymbol{w}^T \boldsymbol{x} + b\right) \) という式
機械学習・深層学習の基礎体力測定① - Yusuke Sugomori's Blog
久しぶりのブログ更新です。今回は、ますます活発に研究されている深層学習分野が、その活発さ故に引き起こされてしまっている下記の問題をテーマに、記事を書いていきたいと思います。 「簡単に深層学習の手法が実装できるライブラリが出てきたことによって、実装はできるけれど実は数式部分、すなわち理論背景についてはよく知らない場合が多い」 これは個人的には非常にもったいないと思っていて、「機械学習に対する体系的な理解」ができていないことに端を発する問題だと考えています。 「体系的な理解」なんて書くとエラそうに聞こえてしまうかもしれませんが、ここで書いていくものは、「こうやって理解すると、少しはスッキリするんじゃない？」くらいの提案として受け取ってもらえれば幸いです。タイトルで「基礎体力」と書いたのもそのためです。 じゃあ具体的には何を理解すればいいの？となるわけですが、ここでひとつ、簡単な問題を考えてみま
PythonによるDeep Learningの実装（Dropout + ReLU 編） - Yusuke Sugomori's Blog
久しぶりのブログ更新となります。 今回は、Dropout + ReLU のコード（python）を紹介します。 最近の Deep Learning 界隈は、もっぱらDropoutと新しい活性化関数の組み合わせが多いみたいですね。 しばらく触れないでいる内に、以前は最前線だった Deep Belief Nets や Stacked Denoising Autoencoders がすっかり下火になってしまったようで…。 Dropout + ReLU や Dropout + Maxout などが流行っているみたいですが、これは結局、いかに疎な（sparseな）ニューラルネットワークを構築できるかが学習の鍵になっている、ということなのでしょう。シンプルが一番というべきなのでしょうか…。 ともあれ、Dropoutは実装が難しくないのは嬉しい限りです。 ReLU (Rectified Linear U
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PythonによるDeep Learningの実装（Stacked Denoising Autoencoders 編） - Yusuke Sugomori's Blog
