タグ

2018年7月19日のブックマーク (2件)

  • 誤差逆伝搬法(バックプロパゲーション)とは - HELLO CYBERNETICS

    はじめに ニューラルネットの基礎 ニューラルネットの順伝搬 1つの層での処理 多層での処理 順伝搬のまとめ ニューラルネットワークの学習 勾配法 微分の難しさ 誤差逆伝搬法 問題 誤差逆伝搬法 まずは損失の和を計算する 微分の連鎖律 出力での損失の微分 中間層での損失の微分 式を見直す はじめに ニューラルネットのフレームワークを使うと、誤差逆伝搬は既に実装されているため、ほとんど意識すること無く使えてしまいます。言わばブラックボックスという状態です。ここで誤差逆伝搬法について学んでおくことで、ニューラルネットがいかにして学習を行っているのかを理解しましょう。 数式が相応に難解なため、一番最後まで飛んでしまっても構いません。 最終的に得られる式を見れば、誤差逆伝搬法の由来を理解できるかと思います。 ニューラルネットの基礎 ニューラルネットの順伝搬 1つの層での処理 まずニューラルネットワー

    誤差逆伝搬法(バックプロパゲーション)とは - HELLO CYBERNETICS
    croneco
    croneco 2018/07/19
  • 高卒でもわかる機械学習 (2) 単純パーセプトロン

    単純パーセプトロン 動物の神経細胞(ニューロン)は、樹状突起という部位で他の細胞から複数の入力を受け取り、入力が一定値以上に達すると信号を出力する(これを「発火する」と言ったりします)とされており、それをモデル化したものとして形式ニューロンというものが提案され、さらに応用してパーセプトロンというモデルが発明されました。1 と、難しそうなことを書きましたが、ざっくり絵にするとこんな感じです。 絵では入力が3つになっていますが、実際にはいくつでも構いません。 前回の の問題は、このモデルにあてはめることができます。 入力ノードが 、入力途中の矢印が に対応しています。 を入力として受け取り、それぞれに を掛けた後、中心のノードですべて足し合わせます。 この値を とします。 前回のSPAMの例だと、正しく学習された後であれば、SPAMの場合 、非SPAMの場合 となるはずですね。 このようなモデ

    高卒でもわかる機械学習 (2) 単純パーセプトロン
    croneco
    croneco 2018/07/19