サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
Pixel 9
zaburo-ch.github.io
Gradient Boosting や XGBoostについて調べたことをまとめました. Gradient Descent や Newton法と絡めて説明していきたいと思います. 目次 Boosting Gradient Descent (Steepest Descent) Gradient Boosting Regression Tree Gradient Tree Boosting Learning rate Newton Boosting XGBoost Generalization Error Conclusion Reference Boosting Boostingとは,ランダムより少し良い程度の”弱い”学習アルゴリズムを使って, そのアルゴリズムよりも”強い”学習アルゴリズムをつくることです. イメージとしては,弱い学習アルゴリズムを”boost”してあげる感じでしょうか.
Parametric t-SNEでt-SNEの変換をニューラルネットで近似することができたので、 その逆についてもやってみました。 逆変換と言っても特に難しいことはやっておらず、 まず普通にBarnes-Hut t-SNEで訓練データを2次元に変換して、 変換後の座標を入力、変換前の座標を教師データとして教師あり学習を行います。 今回は、変換後の座標のうち訓練データにないような座標について、 どのように逆変換されるのかが気になるので汎化性能を高めるためにDropoutを入れました。 コードは次の通りです。 t-SNEの結果がこんな感じで、 適当に座標を指定して逆変換した結果がこれ かなり綺麗に逆変換できました。 deconvolutionを使えばもっとうまく逆変換できるかもしれませんが、 MNISTの結果としてはこれで十分だと思います。 なんとかしてこの方針で画像生成とかできないのかなーと
Deep Q-Networkについて調べてみたら面白い記事を見つけました。 DQNの生い立ち + Deep Q-NetworkをChainerで書いた http://qiita.com/Ugo-Nama/items/08c6a5f6a571335972d5 この記事を読んで、Deep Q-Networkが Q学習 -> Q-Network -> Deep Q-Network という流れ生まれたものだということがわかりました。 この流れをPythonで実装しながら辿ってみようと思います。 今回はQ学習を実装します。 Q学習について下記のページに詳しく載っているので割愛します。 強化学習 http://www.sist.ac.jp/~kanakubo/research/reinforcement_learning.html 強化学習とは? http://sysplan.nams.kyushu-
このページを最初にブックマークしてみませんか?
『zaburo-ch.github.io』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く