Hibernationの検索結果1 - 2 件 / 2件

• あとで読む

  正則化をなるべく丁寧に理解する - 理屈編 - - 雑記 in hibernation

  • 5 users
  • toeming.hatenablog.com
  • テクノロジー
  • 2020/12/31

  機械学習における正則化の原理と挙動を理解するため、手法の概要をまとめると共に、実際に正則化を用いた最適化をシミュレートして挙動を確認します。 今回の記事では -理屈編- と題して、正則化の着想から具体的な手法(L1,L2正規化)の解説までをまとめます。最適化のシミュレートは -実践編- と称した次回の記事で行います。 なお、この記事は個人的な備忘録として作成しています。 1. はじめに 1.1. 過学習と正則化 機械学習や統計学においてサンプルデータからモデルの学習を行う際、過学習（モデルの形状がサンプルデータへの適合に特化しすぎてしまい、真に推定したい分布からかけ離れてしまう現象）がしばしば問題になります。正則化は過学習を抑えるメジャーな手法の一つです。正則化の考え方はシンプルです。学習時に損失関数に正則化項を加え、これを目的関数として最適化を行います。これにより正則化項がパラメータの大

  • 正則化
  • 機械学習
  • ノルム

  
• あとで読む

  Kerasで最短(?)LSTM実装 - 雑記 in hibernation

  • 3 users
  • toeming.hatenablog.com
  • テクノロジー
  • 2020/12/02

  RNNのチュートリアルとして、LSTMによる時系列予測モデルをKerasにて実装しました。 多分これが必要最低限の実装だと思います。 備忘録として記録しておきます。 1. LSTMとは LSTMは再帰型ニューラルネットワークであるRNNのバリエーションの一つで、主に時系列予測などの連続的なデータの処理に利用されます。原理の詳しい解説はここではしません。というかできません。 原理の解説記事はググるといっぱい出てきますが、特に以下のリンク先が参考になりそうでした。 LSTMネットワークの概要 - Qiita LSTM (Long short-term memory) 概要 LSTMのネットワークそのものはKerasを使えば割とあっさり実現できてしまいます。初めてLSTMを実装するにあたっては、モデルそれ自体よりも時系列処理のためのデータ分割や前処理がポイントになるかと思います。その辺りについて

  • LSTM
  • 学習