GBDTによる分位点回帰は推論時の誤差を正確には表していない - KAKEHASHI Tech Blog
Musubi AI在庫管理の機械学習エンジニアをやっている中野です。 こちらの記事は カケハシ Advent Calendar 2023 の1日目の記事になります。 昨年はprophetについて書きましたが今年は勾配ブースティングにしました。 医薬品や食料品、アパレルなどの需要予測において平均値ではなく95%点や99%点を要求されるケースがままあります。 例えばコンビニおにぎりの在庫管理において需要予測の平均値だけ発注していれば2回に1回程度は欠品してしまうでしょう。こういった場合に予測の95%点を発注すれば欠品をおよそ20回に1回へと低減できます。 GBDTでもこのような確率点を返す予測が可能なのですが解釈や使い方には注意が必要そうです。 分位点回帰とは MAEを最小化するモデルが中央値を予測しているのはよく知られていますが分位点回帰はこれを一般化したものです。 分位点回帰では以下のよう
コンペで使える！？LightGBMで実装する３つの弱教師あり学習 - ABEJA Tech Blog
ABEJAでデータサイエンティストをしている小林です。 今回は、もしかしたらいつか業務や機械学習コンペに役立つかもしれない情報、LightGBMで弱教師あり学習を行う方法についてお話します。 コードはこちらで公開しております。 目次 はじめに 弱教師あり学習の例（マルチインスタンス学習） LightGBMで弱教師あり学習がしたい！ PU分類 問題設定 解き方 LightGBMの実装 実験 Partial Label Learning 問題設定 解き方 LightGBMの実装 実験 マルチインスタンス学習 問題設定 解き方 LightGBMの実装 実験 おわりに はじめに 機械学習を行うためには、一般的に、大量の入力データと、それら一つ一つに対応した正確なラベルが必要です。 例えば、犬と猫の画像分類を行う場合には、それぞれの画像一つ一つに犬か猫のラベルがついていてほしいですね。 一方で場合に
LightGBMのパラメータチューニングまとめ - Qiita
はじめに 本記事は、下記のハイパーパラメータチューニングに関する記事の、LightGBMにおける実装例を紹介する記事となります。 ※2022/4 early_stoppingの仕様変更について early_stoppingの指定に関して、以前はfit()メソッドのearly_stopping_round引数で指定する事ができましたが、現在はcallbacks引数にコールバック関数early_stopping()を指定する方法に変わっています。 本記事も新しい仕様に合わせて修正しました。 ※2023/6 チューニング手順の改善 本記事に記載されていた手法では以下のような問題が発生していたため、内容を修正いたしました。 こちらの記事で述べたように、本記事で紹介していたcallbacks引数にコールバック関数を指定する方法とScikit-learnのcross_val_score()メソッドとを
Python: LightGBM の学習率と精度および最適なイテレーション数の関係について - CUBE SUGAR CONTAINER
勾配ブースティング決定木 (Gradient Boosting Decision Tree; GBDT) では、以下が経験則として知られている。 学習率 (Learning Rate) を下げることで精度が高まる 一方で、学習にはより多くのイテレーション数 (≒時間) を必要とする しかしながら、上記が実際に実験などで示される機会はさほど無いように思われた。 そこで、今回は代表的な GBDT の実装のひとつである LightGBM と、疑似的に生成した学習データを使ってそれを確かめていく。 確かめる内容としては、以下のそれぞれのタスクで学習率を変化させながら精度と最適なイテレーション数の関係を記録して可視化する。 二値分類タスク 多値分類タスク 回帰タスク 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 12.6.2 Bu
DART: Dropouts meet Multiple Additive Regression Trees
Multiple Additive Regression Trees (MART), an ensemble model of boosted regression trees, is known to deliver high prediction accuracy for diverse tasks, and it is widely used in practice. However, it suffers an issue which we call over-specialization, wherein trees added at later iterations tend to impact the prediction of only a few instances, and make negligible contribution towards the remaini
勾配ブースティングで「幅を持たせた予測」を行う
背景と目的 ビジネスにおいて機械学習による回帰モデルを構築する際に、単に「予測値（点予測）」が知りたいというよりも、「予測値が（どれくらいの確率で）どれくらいの範囲に収まりそうか（区間予測）」を知りたい場面があります。例えば天気予報を眺めてみると台風の進路予測には予報円が出ており、ある程度幅を持たせて進路を予測するといったことが行われています。あるいは需要予測を行う場合に「95%の確率で40個~60個の間に入りそうだ」という幅を持たせた予測をすることができれば、「売れ残りがでると損失が大きいので、明日の仕入れ量は40個にしよう」といった意思決定に繋げることができるかもしれません。 そこで、本記事ではテーブルデータの回帰タスクで広く利用されており皆様にとって馴染み深い勾配ブースティングアルゴリズムを用いて、「幅を持たせた予測」を実装する方法を紹介します。 各手法の概要 この区間予測を実装する
GBDTのハイパーパラメータの意味を図で理解しつつチューニングを学ぶ - まずは蝋の翼から。
この記事は何か lightGBMやXGboostといったGBDT(Gradient Boosting Decision Tree)系でのハイパーパラメータを意味ベースで理解する。 その際に図があるとわかりやすいので図示する。 なお、ハイパーパラメータ名はlightGBMの名前で記載する。XGboostとかでも名前の表記ゆれはあるが同じことを指す場合は概念としては同じ。ただし、アルゴリズムの違い（Level-wiseとLeaf-wise）によって重要度は変わるし、片方にのみ存在するハイパーパラメータもあるので注意。 lightgbm.readthedocs.io また、記事の構成などは以下を大いに参考にさせていただいた。 nykergoto.hatenablog.jp 網羅的には以下の記事もよさげ qiita.com この記事は何か そもそもGBDTとは ハイパーパラメータ どのような決定木
XGBoost論文を丁寧に解説する(2): ShrinkageとSubsampling - Qiita
はじめに 第1回の記事で原著論文に沿ってXGBoostの基本事項を学習しました。（論文の2.2まで） 第2回は論文読みをさらに進めていきます。 特に勾配ブースティング法で用いられる学習率の概念をXGBoostにもそのまま適用します。学習率とラウンド数のトレードオフについて説明し、この二つのパラメータはチューニングすべきではないことを記述しました。 勾配ブースティング法とその進化版としてのXGBoost（2章） 正則化項$\Omega$(※) 前回 過学習防止のためのテクニック [今回] 木分割のアルゴリズム（3章） オンメモリ処理のための近似手法(※) スパースなデータへの対応 (※) NaNデータへの対応(※) スケールアウトのためのシステムデザイン（4章） 並列処理（＋α？未読） 評価（6章） （※がXGBoostとしての特徴） しっかり読むと結構分量が多いですが、できるだけ読み進めて
Uncertainty in Gradient Boosting via Ensembles[A4一枚まで備忘録] – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト A4用紙1枚にまとめるイメージでメモを残そうという取り組み。 今回は機械学習でとりわけ、回帰の問題を扱うことが仕事であった際に参照できるメモの一つとして残したい。 先日、Catboostのドキュメントに参考文献としてUncertainty in Gradient Boosting via Ensemblesの存在を知った。業務において、価格の予測とか、期間の予測とかマーケティングのデータでも良く扱うものなので、分類だけでなく回帰についてもバランス良く知見を貯めたいとこ
![Uncertainty in Gradient Boosting via Ensembles[A4一枚まで備忘録] – かものはしの分析ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/a787dca9147676db06027eb58bb689b8fa4eb62b/height=288;version=1;width=512/http%3A%2F%2Fkamonohashiperry.com%2Fwordpress%2Fwp-content%2Fuploads%2F2018%2F08%2Fanimal_kamonohashi.png)
GitHubコードから読み解く！GradientBoostingClassifier@scikit-learnの学習アルゴリズム
source:paper出典元を明らかにしてくれているのは有り難いですね。 また、この論文はかなり神がかったもので、これを読めばscikit-learnでのBoostingが概ね理解できる、というものでした。 ちなみに、一口にBoostingと言っても多種が存在する為、今回の記事で説明させていただく対象は、以下に絞りました。 ① 導入理解向きな「Gaussian」解法によるGradient Boostingアルゴリズム ② sciki-learnのDefault実装である「Bernoulli」解法によるGradient Boostingアルゴリズム という訳で、先ずは、①のGaussian解法を説明していきます。 GradientBoostingClassifier@scikit-learnアルゴリズムの「Gaussian」解法（①式の意味）Gaussian解法によるGradient Bo
Why does xgboost produce the same predictions and nan values for features when using entire dataset?
XGBoostの主な特徴と理論の概要 - Qiita
はじめに 前回の記事では，DMLCが提供するXGBoostパッケージを用いて，Boosted treesの実装をRを用いて行いました． 本記事ではXGBoostの主な特徴と，その理論であるGradient Tree Boostingについて簡単に纏めました． XGBoostを導入する場合や，パラメータチューニングの際の参考になればと思います． Boosted treesは，Gradient BoostingとRandom Forestのアルゴリズムを組み合わせたアンサンブル学習となります． Boosted treesの予測精度はRandom Forestsよりも向上しますが，チューニングが必要なパラメータが複数存在します． 一方，Random Forestsはチューニングが不要なのですが，学習データに依存しやすく，過学習となりやすいです． What is better: gradient-
Pythonでデータ分析：XGboost - データサイエンティスト(仮)
導入 前回、アンサンブル学習の方法の一つであるランダムフォレストについて紹介しました。 tekenuko.hatenablog.com 今回は、XGboostと呼ばれる、別の方法がベースになっているモデルを紹介します。 XGboostとは XGboostは、アンサンブル学習がベースになっている手法です。 アンサンブル学習は、大きく2通りの方法があります。一つはバギングと呼ばれ、復元抽出によってたくさんモデルを作成し、それらを平均化する手法です。各モデルが無相関であれば、平均化によりモデルの平均誤差が1 / （モデルの数）になります。ランダムフォレストは、このバギングがベースになっています。ただし、各決定木ができるだけ独立になるよう、使う変数群もランダム抽出するなどの工夫がなられています。前回は、過学習気味である結果はあまり解消できませんでしたが、高い精度を持つモデルが構築できたのでした。
XGBoostの概要 - ともにゃん的データ分析ブログ
XGBoostの凄さに最近気がついたので、もうちょっと詳しく知りたいと思って以下の論文を読みました。 XGBoost: A Scalable Tree Boosting System せっかくなので、簡単にまとめてみたいと思います。。。と思っていたら結構な量になってしいました。 何か間違い等がありましたらコメントをしていただくか、@kefism へ連絡をしてくださると嬉しいです。 XGBoostとは 基本的に内部で行われていることは決定木を複数個作るということです。しかし、その作り方に特徴があります。 ここで記号を定義しておきましょう。 説明変数を次元として、目的変数を、とします。ここではデータの数です。またデータに対する予測値をとします。 まず決定木を１つ構築します。するとその決定木を使用して予測ができるようになります。１つ目の決定木から得られるデータに対する予測値をとしましょう。このと
Santander Product RecommendationのアプローチとXGBoostの小ネタ
Jack (Japan)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
XGBoost for time series: lightGBM is a bigger boat!
https://twitter.com/dublju/status/1592403324095336448
LightGBMで予測区間を推定する | Notes for hacks
Gradient Boosting With Piece-Wise Linear Regression Trees
GitHub - GBDT-PL/GBDT-PL: Gradient Boosting With Piece-Wise Linear Trees