エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ADALINEの実装をPythonでやってみた - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
ADALINEの実装をPythonでやってみた - Qiita
前回の続き 2.4 ADALINEと学習の収束 前のパーセプトロンとの違いは、 重みの更新に単位ステップ関数で... 前回の続き 2.4 ADALINEと学習の収束 前のパーセプトロンとの違いは、 重みの更新に単位ステップ関数ではなく、線形活性化関数を用いる点 2.5 勾配降下法によるコスト関数の最小化 $$ J(\mathbf{w}) = \frac{1}{2} \sum_{i} (y^{(i)} - \phi (z^{(i)}))^2 $$ コスト関数の極小値になるように学習を進めることで、学習を収束させることができる。 ADALINEは微分可能な活性化関数を用いることと、コスト関数に誤差平方和を使い凸関数にすることで、勾配降下法を用いてコスト関数を最小化する重みを見つけることができる。 勾配降下法の原理を図にしたもの 勾配降下法を使って重みを更新するには、コスト関数 $ J(\mathbf{w}) $ の勾配 $ \nabla J(\mathbf{w}) $ に沿って逆方向に1ステップ進む $$ \