XGBoost論文を丁寧に解説する(2): ShrinkageとSubsampling - Qiita
はじめに 第1回の記事で原著論文に沿ってXGBoostの基本事項を学習しました。（論文の2.2まで） 第2回は論文読みをさらに進めていきます。 特に勾配ブースティング法で用いられる学習率の概念をXGBoostにもそのまま適用します。学習率とラウンド数のトレードオフについて説明し、この二つのパラメータはチューニングすべきではないことを記述しました。 勾配ブースティング法とその進化版としてのXGBoost（2章） 正則化項$\Omega$(※) 前回 過学習防止のためのテクニック [今回] 木分割のアルゴリズム（3章） オンメモリ処理のための近似手法(※) スパースなデータへの対応 (※) NaNデータへの対応(※) スケールアウトのためのシステムデザイン（4章） 並列処理（＋α？未読） 評価（6章） （※がXGBoostとしての特徴） しっかり読むと結構分量が多いですが、できるだけ読み進めて
XGBoost論文を丁寧に解説する(1) - Qiita
はじめに 勾配ブーストを用いた決定木(GBDT)によるクラス分類や回帰はデータ分析コンペでも非常によく使われています。 その中でも2016年に出されたXGBoostはLightGBMと並びよく使われている手法です。 性能が良いことで有名なXGBoost, LightGBMですが、モデル内部でどのような処理が行われているかよくわかっていなかったので論文を読んでみました。 式変形の省略が多く、またイメージしづらい箇所もあり、読みづらかったのですが 一度イメージできれば割とあっさり理解できます。 その体験を踏まえて、イメージ図を多く取り入れながらXGBoostの論文を（途中まで）丁寧に解説します。 XGBoost: A Scalable Tree Boosting System 論文 この記事で述べること データの入出力 XGBoostの木構造 損失関数とboosting 木構造の学習（spli
（修正）Juliaで反復数値計算をしたらPythonよりも圧倒的に速かった話←そうでもなかった話 - Qiita
注意 この記事では最初、Juliaが劇的に速いという結論を出しましたが、検討の結果記事を修正しています。改変を加えて読みにくくなっていますが、この過程自体が速度の最適化とは何かを表していると思いますので修正部分を消さずにそのまま載せています。 やったこと MCMC法を用いたガウス過程のパラメータ推定をPython, Juliaを使って実装し、速度を比較した 追記（190828） 「pythonでもJITコンパイル（高速化）を使えるんだからそれと比較すべきでは？」というコメントをいただいたため、python+numbaの測定結果を追加しました。 追記（190927） コメントいただき、numbaの最適化をおこなったコードを提供いただきました。トータルでくらべると最適化NumbaのPythonの方が3倍程度早いとのこと。私の方でも検証したところ再現性が見られました。 結果 pureなpytho
今さら聞けないGAN（1） 基本構造の理解 - Qiita
なんとなく知っている気になっているけど。。。 ディープラーニング関連技術の中でも、GANに関するニュースは良く取り上げられていますね。警察と貨幣偽造者といったコンセプトは理解しやすく、学習したモデルから新たに絵や文章などを作り出せることは「これぞ人工知能」感を醸し出しています。 知ったかぶって、「それ、GANでできたら面白いですね」とか言ってしまうくせに、ソースコードレベルでの動作については実は良くわかっていない。チュートリアルを実行してなんとなく、「この行は〜をしているのだなぁ」ということはわかるのですが、そもそも「GANの基本思想を理解した上でなぜこのコーディングになっているのか」が掴めないため、 自分の適用させたい問題に対して、どこを修正すれば良いのかわからない 新しいGANのアルゴリズムが出てきたときに、どこを修正すれば良いのかわからない はい、全て私の経験です。この記事では、自分
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
