はてなブックマーク

対象者 今回は深層学習ではなく機械学習の一手法である勾配ブースティング決定木について覚書しています。 Kaggleなどで大活躍中(らしい)のXGBoostやLightGBMなどで用いられている機械学習手法について、最初からざっくり知りたい方はどうぞ覗いてください。 目次 勾配ブースティング決定木とは 勾配降下法 アンサンブル学習 バギング ブースティング スタッキング 決定木 Level-wise tree growth Leaf-wise tree growth 勾配ブースティング決定木のアルゴリズム 勾配ブースティング決定木の特徴 XGBoost LightGBM GOSS GOSSアルゴリズムの概要 EFB EFBアルゴリズムの概要 Catboost 試してみる おわりに 勾配ブースティング決定木とは 勾配ブースティング決定木(Gradient Boosting Decision T

対象者 深層学習の最適化手法である確率的勾配降下法をまとめてみました。 といっても、こちらにまとめられている数式と論文を基に、初期値や論文に載っていなかった定数の決定などをPytorch、Keras、Chainerなどの実装を参考に行ったものをまとめただけです。 数式などは実装ライクにまとめますので、自分で実装してみたい人は見ていってください。 間違いなどがあれば気軽にご指摘ください。 また、新しい最適化手法の情報をお持ちの方や、作成中の最適化手法についても是非教えてください！ こちらで探索平面ごとの挙動の違いを紹介しています。 こちらにて実装コードを公開しています。ご自由にご活用ください。 目次 はじめに 最急降下法とは 確率的勾配降下法とは 実装ベース SGD Momentum SGD NAG AdaGrad RMSprop AdaDelta Adam RMSpropGraves SM

対象者 前回の記事の続きです。 本記事では逆伝播について、計算グラフを用いて簡単に説明します。連鎖律についてはここで簡単に触れていますので省略します。 どうしても数式多くなりがちな逆伝播ですが、実装を交えて極力直感的な理解で済むように説明したいと思います。 次回の記事はこちら 目次 スカラでの逆伝播 スカラでの逆伝播理論 スカラでの逆伝播実装 行列での逆伝播 行列での逆伝播理論 行列での逆伝播実装 行列での逆伝播理論バッチ考慮版 __init__メソッドの実装 おわりに スカラでの逆伝播 例の如くまずはスカラでの逆伝播から見ていきます。とはいえスカラでもちゃんと理論的に追うとなかなか大変なのが逆伝播です。 が、ものすごく簡単に説明していきます。 スカラでの逆伝播理論 まずは簡単に以下の計算グラフで考えていきましょう。 図中の順伝播をまずは丁寧に書くと のようになっていますね。この逆伝播を考

対象者 深層学習で、特に畳み込みニューラルネットワーク(CNN)を勉強中に見かけるnumpy.pad関数について、いまいち動作が掴めないという方へ。 公式ドキュメントを噛み砕いて和訳していきます。 目次 pad関数とは 第一引数について 第二引数について 1次元の場合 2次元の場合 4次元の場合 第三引数について im2colでの動作 pad関数とは CNNで登場するpad関数、結構わかりづらい動作をしますよね？ 大抵の書籍ではメインではないのでさらっと とすればOK、ぐらいしか書いてないのではないでしょうか。 ということで、この関数を徹底解剖します。 公式ドキュメントには numpy.pad(array, pad_width, mode='constant', **kwargs) のように引数が指定されると書いていますね。まずはそれぞれ見ていきましょう。 第一引数について まずは公式ドキ

対象者 深層学習シリーズの記事です。 前回の記事はこちらです。 ここでは順伝播について、まずはスカラでの理論を説明して、それから行列に拡張します。 前回記事で紹介したコードに追加していったり修正していく形となるので、まずは前回記事からコードを取ってきておいてくださいね〜 次回の記事はこちら 目次 スカラでの順伝播 スカラでの順伝播理論 スカラでの順伝播実装 行列での順伝播 行列での順伝播理論 行列での順伝播実装 __init__メソッドの実装 行列演算について 行列和 行列の要素積 行列積 転置 スカラでの順伝播 ここでは、スカラ(実数)での順伝播の理論と実装を説明します。といっても、だいたい基礎編で既に述べている通りです。 スカラでの順伝播理論 まずは理論ですね。 このニューロンモデルから見ていきます。 これを定式化すると$f(x) = \sigma(wx + b)$となることはここで述

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

対象者 活性化関数について、どんなものがあるのかまとめました。 最新のSwishとMish、さらにtanhExpも載せています！ 一覧探してもなかなか良いの見つからないな〜という層をターゲットにしてます。 新しいのは見つけ次第追加します。 新しい関数の情報や、下記のTODOリストにある関数の情報をお持ちの方はぜひ教えてください！ 勾配降下法もこちらでまとめています。 何かの役に立てばぜひLGTMやストック、コメントしていただけると励みになります！ 更新履歴(2020/9/22~) 2020/9/22 softmax関数の微分の修正 softmin関数の微分の訂正とグラフの差し替え logSoftmax関数の微分の訂正 バッチ法、ミニバッチ法に対応したコードに差し替え メモリを犠牲に計算回数を削減する工夫をしてみました。有効かは未検証です。 2020/9/23 効果がほぼなかったので修正 2

対象者 深層学習について勉強始めたいな〜って考えている人向け。 いきなりライブラリを利用して何か作るのも手ですが、やっぱりちゃんと理解するには「車輪の再発明」しないといけませんね〜 本記事は深層学習の基礎理論メインですが、できるだけ数式を少なくして図メインでざっくり説明します。 実装などは次回以降順番にやっていこうと思います。 次回の記事はこちらです。 目次 深層学習とは ニューロンモデル レイヤーモデルとニューラルネットワークモデル 活性化関数 シグモイド関数(sigmoid) tanh関数 ReLU関数 ソフトマックス関数(softmax) 計算グラフ 足し算の計算グラフ 掛け算の計算グラフ 割り算の計算グラフ 指数関数の計算グラフ 底がネイピア数の指数関数の計算グラフ 対数関数の計算グラフ 底がネイピア数の対数関数の計算グラフ sigmoid関数の計算グラフ sigmoid関数の順伝

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 対象者 CNNを用いた画像認識で登場するim2col関数について詳しく知りたい方へ 初期の実装から改良版、バッチ・チャンネル対応版、ストライド・パディング対応版までgifや画像を用いて徹底解説します。 目次 im2colとは なぜ必要か CNNとは フィルタリング im2colの動作と初期の実装 im2colの動作 im2colの初期の実装 初期のim2colの問題点 改良版im2col(初期ver) 変更点1 変更点2 変更点3 多次元配列への拡張 数式で追いかける 実装してみる ストライドとパディング ストライド パディング ストラ

対象者 vimを使ってPython書きたい/書いてる人と、カラースキームの編集について知りたい人 ぼくが使っている.vimrcと、Python用のシンタックススクリプト、最後にカラースキームをご紹介します。 何かの役に立ちましたらLGTM・ストック・コメントぜひよろしくお願いします！ 更新情報 2020/12/13 f-stringのシンタックスハイライトを追加しました。変更箇所へ 目次 vimrc 初めての方へ 基礎理解 コマンド 最初の設定 クリップボード経由のコピペ有効化 プラグイン管理のNeoBundle NeoBundle本体関係 カラースキーム 花文字 カラースキームを調べる ステータスラインの表示内容強化 インデント可視化 不要なスペースをハイライト 構文エラーチェック 多機能セレクタ コード補完 括弧補完 カラースキームの有効化 文字コードの設定 ステータスラインの有効化