SHAPでモデルの予測結果を説明する | CCT-recruit
こんにちは、エンジニアのtetsuです。 どうしてモデルがこのような予測をしたのか、ということを説明することの重要性は近年ますます高まっているように思えます。これには予測結果の解釈をおこなうことで様々な知見を得たいという要求や、ブラックボックスのモデルは信用しづらいというのが理由に挙げられます。 線形回帰や決定木といったモデルは予測結果に対する解釈をすることができますが、単純で表現力が乏しいです。一方でディープラーニングや決定木のアンサンブル学習などの複雑なモデルは表現力が高いですが、人間が解釈しようとするのは困難です。 このような問題を解決するために近年は様々な手法が提案されています。今回はそれらの中の1つであるSHAP（SHapley Additive exPlanations)について簡単にご紹介します。SHAPは日本語だと「シャプ」のような発音のようです。 なお、SHAPについては
Gradient Tree Boostingの理論を読み解く - Qiita
はじめに 今回は、XGBoostなどの機械学習において根幹を成している理論、Gradient Tree Boostingについて理解してみる。 XGBoostはKaggleなどのコンペで愛用されている手法だが、その理論を知らずに頼るのはなんか気持ち悪いし、サイエンスではない。また、理論を知ってこそ、それを活用することができると信じているので、一度ここでまとめて見たい。急がば回れである。 ただし、あくまでこれは私が理解している限りを記述したメモ書きであることに注意していただきたい。 なお、以下の内容は、XGBoostの論文のSection2を参考にしている。 Gradient Tree Boostingはアンサンブル学習の一つである。 そもそも機械学習の目標は、汎化能力が高い学習器をデータから構築することであるが、その汎化能力を高めるためには以下２つの方針が考えられる： 単一の学習器の精度を
XGBoostのお気持ちをちょっとだけ理解するためのメモ - Qiita
現在、Kaggleにてよく使われる手法の一つにGBDT(Gradient Boosting Decision Tree)があります。さらにその種類の１つXGBoostはKagglerによりその効果を検証され非常に人気の高いアルゴリズム・実装です。このブログでは、XGBoostの論文からアルゴリズムを理解するための主要な部分、 TREE BOOSTING IN A NUTSHELL 2.1 Regularized Learning Objective 2.2 Gradient Tree Boosting を丁寧に解説することを目的に書いています。 また、ここで解説した理論、アルゴリズムについてはLightGBMにおいてもほぼ同じと思いますので、合わせて参考になるかと思います。 おことわり しかしながら、最初におことわりをさせていただくのですが、markdownやtexでキレイにまとめる余裕が
XGBoostExplainerが何をやっているか調べる（４．モデルから予測ルールを抽出する） - 琥珀色呑んだくれ備忘録
目的 関連シリーズ 準備：XGBモデルの学習と予測 学習したxgboostのルール抽出 xgb.model.dt.tree()によるパスの抽出 予測値の再分配 Cover (H)の再計算 勾配(G)とweightの再分配 各ルールのインパクトの集計（Tree Breakdown） 目的 今回は、xgboostExplainerによって、xgboostの学習済みモデルからルールがどうやって抽出されているかにフォーカスし、適宜xgboostの資料を見ながら追いかける。 （参考資料） Introduction to Boosted Trees (スライドPDF) XGBoost: A Scalable Tree Boosting System 関連シリーズ とりあえず使ってみる 予測結果の可視化プロセスをstep-by-stepで実行する 予測結果を分解再構成するプロセスをstep-by-ste
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
