タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
ABEJAでデータサイエンティストをしている小林です。 今回は、もしかしたらいつか業務や機械学習コンペに役立つかもしれない情報、LightGBMで弱教師あり学習を行う方法についてお話します。 コードはこちらで公開しております。 目次 はじめに 弱教師あり学習の例（マルチインスタンス学習） LightGBMで弱教師あり学習がしたい！ PU分類 問題設定 解き方 LightGBMの実装 実験 Partial Label Learning 問題設定 解き方 LightGBMの実装 実験 マルチインスタンス学習 問題設定 解き方 LightGBMの実装 実験 おわりに はじめに 機械学習を行うためには、一般的に、大量の入力データと、それら一つ一つに対応した正確なラベルが必要です。 例えば、犬と猫の画像分類を行う場合には、それぞれの画像一つ一つに犬か猫のラベルがついていてほしいですね。 一方で場合に
こんにちは，米国データサイエンティストのかめ(@usdatascientist)です． 機械学習入門講座第33回です．(講座全体の説明と目次はこちら) 追記) 機械学習超入門本番編ではLightGBMについてさらに詳しく解説をしています．勾配ブースティング決定木アルゴリズムのスクラッチ実装もするので，さらに理解を深めたい方は是非受講ください:) 前回の記事で決定木の勾配ブースティングアルゴリズムであるXGBoostを紹介しましたが，今回は同じ決定木の勾配ブースティングの別のアルゴリズムであるLightGBMについて解説します． LightGBMはXGBoostが発表されてから2~3年後に発表され，今やXGBoostよりも高速で高精度なアルゴリズムとして認識され，XGBoostに代わる最強のアルゴリズムの一つとなっています． XGBoostと同じ決定木の勾配ブースティングをベースにしているの
概要 タイトルの通りなのだが、LightGBMをGPUで回すと結果の再現性が得られないことに気づいた。 CPUの場合は乱数seedを42などに固定すれば、同じ条件で何回回しても毎回同じ結果が得られる。 しかし、GPUの場合は乱数seedを固定しても回すたびに結果が変わってしまうのだ。 なぜ再現性がないのか？ この問題はLightGBMの公式のissueでも議論されている。 まず、GPUを使う場合は並列で計算できる部分は並列処理をすることで効率化している。 さらに、並列化した結果を足し算するときに、順番によって微妙に値が変わってしまうということだ。 もちろん数学的には足し算の順番が変わっても結果が変わることなんてないんだけど、コンピュータでfloatなどの値を計算する以上、丸め誤差だったり複数の要因で結果が「ほんのわずかに」違うということが起きうる。 さらに、LightGBMをGPUで回した
Parameters Tuning — LightGBM 4.6.0.99 documentation
Parameters Tuning This page contains parameters tuning guides for different scenarios. List of other helpful links Parameters Python API FLAML for automated hyperparameter tuning Optuna for automated hyperparameter tuning Tune Parameters for the Leaf-wise (Best-first) Tree LightGBM uses the leaf-wise tree growth algorithm, while many other popular tools use depth-wise tree growth. Compared with
Python: LightGBM の学習率と精度および最適なイテレーション数の関係について - CUBE SUGAR CONTAINER
勾配ブースティング決定木 (Gradient Boosting Decision Tree; GBDT) では、以下が経験則として知られている。 学習率 (Learning Rate) を下げることで精度が高まる 一方で、学習にはより多くのイテレーション数 (≒時間) を必要とする しかしながら、上記が実際に実験などで示される機会はさほど無いように思われた。 そこで、今回は代表的な GBDT の実装のひとつである LightGBM と、疑似的に生成した学習データを使ってそれを確かめていく。 確かめる内容としては、以下のそれぞれのタスクで学習率を変化させながら精度と最適なイテレーション数の関係を記録して可視化する。 二値分類タスク 多値分類タスク 回帰タスク 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 12.6.2 Bu
GitHub - kossisoroyce/timber: Ollama for classical ML models. AOT compiler that turns XGBoost, LightGBM, scikit-learn, CatBoost & ONNX models into native C99 inference code. One command to load, one command to serve. 336x faster than Python inference.
Compile classical ML models to native C. Serve them in microseconds. Documentation · Changelog · PyPI · Technical Paper · Agent Skill Timber takes a trained ML model — XGBoost, LightGBM, scikit-learn, CatBoost, or ONNX (tree ensembles, linear models, SVMs) — runs it through a multi-pass optimizing compiler, and emits a self-contained C99 inference artifact with zero runtime dependencies. A built-i
LightGBMのearly_stoppingの仕様が変わったので、使用法を調べてみた - Qiita
メッセージを見ると分かる通り、early_stopping_rounds引数はそのうち使えなくなる可能性が高い(最新版のマスターブランチでは既に削除済)ため、今後はコールバック関数を用いた新たな指定方法を用いる必要がありそうです。 early_stoppingとは？ LightGBMやXGBoostは、学習に「勾配ブースティング決定木」と呼ばれる手法が用いられています。詳しくは以下の記事が分かりやすいですが、 学習手順を超シンプルにまとめると 「前回の学習結果に基づき、誤判定を減らすよう再学習を繰り返す」 という処理が行われています。 ここで重要となるのが、「学習（イテレーション）を何回繰り返すか」です。 early_stoppingを使用しない場合、Training APIではnum_boost_round引数、Scikit-Learn APIではn_estimators引数で指定した固
はじめに 本記事は、下記のハイパーパラメータチューニングに関する記事の、LightGBMにおける実装例を紹介する記事となります。 ※2022/4 early_stoppingの仕様変更について early_stoppingの指定に関して、以前はfit()メソッドのearly_stopping_round引数で指定する事ができましたが、現在はcallbacks引数にコールバック関数early_stopping()を指定する方法に変わっています。 本記事も新しい仕様に合わせて修正しました。 ※2023/6 チューニング手順の改善 本記事に記載されていた手法では以下のような問題が発生していたため、内容を修正いたしました。 こちらの記事で述べたように、本記事で紹介していたcallbacks引数にコールバック関数を指定する方法とScikit-learnのcross_val_score()メソッドとを
Pythonガチの初学者が「LightGBM・TensorFlow」を使って競馬予測のモデルを作ったら単勝回収率100％こえた - Qiita
目次 1, はじめに 2, 今回の目標 3, 使用するデータ 4, 前処理 5, モデル作成 6, スコア結果 7, レース結果 8, 反省点・改善点 9, さいごに はじめに ご覧いただきありがとうございます。 今回は、競馬予測の機械学習モデルを作ってみました。 作成しようと思った理由としては元々競馬が好きで予想とかをしていましたが、自分で予想するのは難しくなってきたから機械にやってもらおうというのが事の発端です。 まだまだ勉強不足や荒い知識で作成しているようななところもありますが、改善案などをコメントでいただけると幸いです。 GitHubにコードをあげています！ GitHub-競馬予想モデル 今回の目標 複勝or単勝で回収率100％を超えるようなモデルの作成、データの前処理を行うこと。 使用するデータ 今回使用するデータはこちらです。平地レースのみのデータを使用しています。 （障害レー
胡散臭いタイトルですがガチです。 （シミュレーション方法等間違っていたらコメントで教えてください） TL;DR LightGBMを用いて翌日のトヨタ株の終値が予測実行日の終値よりも、上がる or 下がるの二値分類を実施 上がる場合は株を買う、下がる場合は株を売る、という処理を毎日実施 2020/01/01~2020/12/31の実績を用いて売買のシミュレーションを行ったところ、年利30.2299%のプラスとなった 背景 仕事をサボりながらネットサーフィンをしていたら面白そうな論文を発見。 当論文は2008年の発表で、予測モデルはSVMを使用している。 そこで、2008年以降に発表されたモデル(今回はLightGBM)で予測する実験を行う。 また、該当論文では、日経平均株価を予測対象としているが、今回は実際の取引を想定して、トヨタ自動車株式会社の株価を予測対象とする。 実験環境 Google
機械学習は“内挿に強く外挿に弱い”を図で理解する — LightGBM vs 線形回帰 - Qiita
導入 機械学習モデルは学習データの範囲内では高精度でも、範囲外に外挿した瞬間に挙動が変わることがあります。本記事の目的は、木ベースのアンサンブルである LightGBM と線形回帰を比較し、「内挿に強く外挿に弱い」という性質を、温度と反応速度の最小実験で視覚的に確認することです。短いコードで再現できるため、手元で動かしながら直感と理解を一致させていきます。 TL;DR 20–40℃の狭い範囲で学習し、0–100℃で検証する実験を作成しました。 LightGBM は内挿では高精度ですが、外挿では値が伸びず飽和しやすくなります。 線形回帰は直線で外挿できる一方、真の関数が高温側で超線形に増えるため過小予測になります。 図と誤差で、内挿に強く外挿に弱いがはっきり確認できます（ノートブックと画像を公開）。 実験設計（データとモデル） 本実験では、横軸に 0–100℃の温度、縦軸に約 0–100 に
最初に XGboost 1. 目的関数 2. 正則化項 二次近似 もっと詳しく 4.木の成長戦略 詳しく概念的な話 5. 特徴量重要度 LigthGBM 1. Gradient-based One-Side Sampling (GOSS) 2. Exclusive Feature Bundling (EFB) 3. Leaf-wise Tree Growth 最後に 最初に 前回はGBDTの理論とフルスクラッチ実装に関して解説記事を書きました。今回は、その発展形であるXGboostとLightGBMの理論に関して、解説していこうと思います（めんどくさくて扱わない予定でしたが頑張りました！）XGboostやLigthGBMは、予測・分類タスクにおいて第一手段として利用されています。これは、比較的安定して高い予測精度と安定性を誇るという部分からきているという認識です。GBDTの時も書きましたが
こんにちは！ 皆さんはXGBoostとLightGBMの二つをご存じですか？ 機械学習をやっている方は聞き慣れているフレームワークだと思いますが、 両者の違いを正しく理解できているでしょうか。 今回はこの二つのフレームワークの違いを解説していきます。 結論から話すと、XGBoostではLevel-wiseという決定木の作成方法を用いており、LightGBMではLeaf-wiseを用いています。Leaf-wiseでは決定木の分岐が少ないためそれを活用したLightGBMでは高速な計算が可能になります。 GBDTの計算手順を復習してから、両者の違いを理解していきましょう。 勾配ブースティング決定木とは 決定木 アンサンブル学習 勾配降下法 GBDTの計算手順 XGBoostとLightBGMの異なる点 Level-wise Leaf-wise ジニ不純度 その他のLightGBMの高速化の理由
決定木からlightGBMまで、なぜLightGBMが機械学習で最も広く使われているのかについて説明します - Qiita
機械学習の回帰と分類タスクに対しては、ほとんどの場合はlightGBMが使われています。 今日は決定木からLightGBMまでの流れと、その過程でどのような改善がなされたのかについて、木モデルの全体像を紹介したいと思います。 木モデルに関して完全に理解しているわけでもないので、間違っているところがあればぜひ教えていただきたいです。 ①決定木 まず木モデルで一番ベースとなっているのは決定木です。 決定木とは、データの特徴ごとの優先順位や分割ポイントを学習して、データをカテゴリに分類または数値予測を行うモデルです。 木は一個しかないために、非常に過学習しやすいかつ精度も低いというのは特徴となります。 それを改善するために、Bagging（複数モデルの平均値を取ること）の考え方に基づいて、ランダムフォレスト（RandomForest）というモデルが生まれました。 ②ランダムフォレスト ランダムフ
仮想通貨botter Advent Calendar 2021の10日目の記事です。幅広いbotterに有意義な優良記事が続いてる中で恐縮なのですが、ML botter向けにLightGBMの少々マニアックなパラメータを紹介します。 TL;DRLightGBMを使ってる？ → “extra_trees”: True がオススメ sklearnのExtraTreesRegressorを使ってる？ → “extra_trees”: True, ”boosting”: “rf” のLightGBMもオススメ この2点について順を追って説明していきます。 Extra Treesって？extra treesというのはextremely randomized treesの略で、直訳すると非常にランダム化された木です。意味分からないですね。extra treesはrandom forestの変種で、普通
こんにちは。人材領域でレコメンドシステムの機能開発をしている羽鳥です。 今日はレコメンドの要素技術でもよく使われている LightGBM でランキング学習を行うときのTipsと、LightGBMのパラメータに関してのちょっとした知識について紹介したいと思います。 ランキング学習とは レコメンドの問題設定として、あるユーザーにアイテムを配信する場合を考えます。この際の代表的な手法として、過去の配信ログを学習し、各ユーザーに対して最もコンバージョン(CV)確率が高いアイテムを配信するようなものがあります。 この時に使用される手法はいくつかありますが、データの前処理にあまり手間がかからないLightGBMなどの勾配ブースティング木のモデルがよく使われているようです。 LightGBMでこの手のタスクを解くとなったときに、一番よくあるパターンはCVしたユーザとアイテムのペアを正例、CVしなかったユ
どんな場面で活用できる？ 業務活用事例としては、以下のようなものが考えられます。 株価の予測： 株価の予測に回帰モデルを使用することができます。過去の株価データを学習し、企業の業績や経済指標などの特徴量を入力として、将来の株価を予測することができます。 顧客満足度の予測： 顧客満足度の予測に回帰モデルを使用することができます。顧客のアンケート調査結果を学習し、顧客属性や取引履歴などの特徴量を入力として、将来の顧客満足度を予測することができます。 不動産価格の予測： 不動産価格の予測に回帰モデルを使用することができます。過去の不動産取引データを学習し、地域、面積、築年数、駅からの距離、周辺環境などの特徴量を入力として、不動産価格を予測することができます。 製品の需要予測： 製品の需要予測に回帰モデルを使用することができます。過去の販売データを学習し、季節性や広告費などの特徴量を入力として、将
CatBoost vs. XGBoost vs. LightGBM：最新ブースティングアルゴリズムの理論と比較 - tomtom58’s blog
はじめに アーキテクチャの比較 メモリ効率と計算速度の比較 カテゴリカル変数の処理 適切な使用シーンと実践的な注意点 最後に はじめに XGBoost、LightGBM、CatBoostは現代の機械学習において最も強力なブースティングアルゴリズムとして知られています。これらのアルゴリズムはそれぞれ独自の特徴と長所を持っており、適切な使用場面が異なります。この記事では、これらのアルゴリズムの比較に焦点を当て、それぞれの特徴、長所、短所、そして適切な使用シーンについて詳しく解説していきます。 特に、各アルゴリズムの理論的な特徴を実践的な観点から解説し、実際の使用シーンでの判断材料を提供することを目指します。また、それぞれのアルゴリズムが持つ独自の問題解決アプローチについても、具体例を交えながら説明していきます。 XGBoostやLightGBMの理論に関しては以下の記事を参考にしてください t
当サイト【スタビジ】の本記事では、最強の機械学習手法「LightGBM」についてまとめていきます。LightGBMは決定木と勾配ブースティングを組み合わせた手法で、Xgboostよりも計算負荷が軽い手法であり非常によく使われています。 こんにちは！ データサイエンティストのウマたん(@statistics1012)です！ 様々なデータ分析コンペティションで上位入賞しているのが勾配ブースティングを使ったモデル！ 決定木とブースティングを用いたXgboostが2014年に考案され、今でも最前線を戦う最強の手法ではあるのですが・・・ そんなXgboostの絶対的地位を脅かす存在がLightGBM！！ LightGBMの構造はXgboostと非常に近いものがありますが、計算負荷が少なくXgboostから置き換わりつつある手法です。
はじめに 以前も記事にしたが、ウェブ上のユーザーの行動ログを使って推薦システムを開発している自分のようなMLエンジニアにとって、ランキング学習におけるポジションバイアスの除去は重要なテーマである。サービスのログは通常様々なバイアスに塗れており、特にリストの上位に表示されたアイテムほどクリックが集まりやすくなってしまうポジションバイアスは非常に厄介だ。アカデミアではこの手のテーマはだいぶ研究が進んでいるものの、これまでは論文や書籍で手法が紹介されるだけで、手軽にパッと使えるライブラリは存在しなかった。 しかしどうやら最近になって XGBoost や LightGBM という多くの人が使う強力なGBDTライブラリにポジションバイアスを除去する機能が実装されたらしく、これが使い物になるのであれば実務で利用するハードルがグッと下がると思い、実験して性能を検証してみた。 検証に使うデータセット ここ
LightGBM のバージョン 4.0.0 が 2023-07-14 にリリースされた。 このリリースは久しぶりのメジャーアップデートで、様々な改良が含まれている。 詳細については、以下のリリースノートで確認できる。 github.com リリースの大きな目玉として CUDA を使った学習の実装が全面的に書き直されたことが挙げられる。 以前の LightGBM は、GPU を学習に使う場合でも、その計算リソースを利用できる範囲が限られていた。 それが、今回の全面的な刷新によって、利用の範囲が拡大されたとのこと。 ただし、PyPI で配布されている Linux 向け Wheel ファイルは CUDA での学習に対応していない。 対応しているのは CPU と、GPU でも OpenCL の API を使ったもの。 そのため、もし CUDA を使った学習を利用したい場合には自分で Wheel を
LightGBMでFocal lossを実装してcustom objective functionを理解する｜Coding Memorandum
Focal Lossとは？ facebookが開発した損失関数で、分類問題を解く時にイージーサンプル(予測が容易なサンプル)のロスを小さくすることで、ハードサンプルを集中的に学習させることができる損失関数になります。 分類で一般的に使用されるcross entropy lossと非常に似ている損失曲線をしています。 (参照：Focal Loss for Dense Object Detection) 図でFLがFocal Lossを表しており、γはこちらで与えるパラメータになります。γの値が大きいほど、分類が良くできている対象(容易な対象)に対してロスが0に近いことがわかります。 例えば、学習データに大量のイージーサンプルが含まれている場合、Cross entropy lossではイージーサンプルに対してもロスが発生している(図の青線)ので、それらに対してモデルのパラメータが更新されてしま
今更ながらLightGBMの論文を読んだのでその時のメモを残しておきます。 ※GPUでの計算への適応など、計算機での活用に関する技術については省略しています。 要約 LightGBMが使う既存の技術 pre-pruning early stopping問題 best-first (leaf-wise) tree histogram-based 考察：予測精度は激減しないのか？ LightGBMが新たに提案した技術 背景 Gradient-based One-Side Sampling（GOSS） Exclusive Feature Bundling（EFB） 実験結果 2024-08-26 追記：量子化について 参考 要約 LightGBMは pre-pruning（決定木の枝をそれ以上分岐させても予測が改善しなくなったら分割を停止する剪定方法） best-first（情報利得が最大の枝か
はじめに LightGBMは、Gradient Boosting Decision Tree (GBDT) アルゴリズムをベースとした人気の高い機械学習アルゴリズムです。 そのため、SageMaker でもLightGBM を使いたいというユースケースは非常に多いと思います。 SageMaker では、LightGBM を使う方法がいくつかあるため、ここではそれらの方法について整理したいと思います。 SageMakerでLightGBMを使ってモデル構築する方法 SageMakerでLightGBMを使ってモデル構築する方法は、現時点（2023/3）で以下の4つの方法があります。 1. SageMaker built-in LightGBM を利用 2. SageMaker でカスタムスクリプトを利用 3. SageMaker Autopilot を利用 4. SageMaker Jump
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コンペで使える！？LightGBMで実装する３つの弱教師あり学習 - ABEJA Tech Blog
LightGBMを超わかりやすく解説(理論+実装)【機械学習入門33】 - 米国データサイエンティストのブログ
LightGBMをGPUで回すと結果の再現性が得られない - Qiita
LightGBMのパラメータチューニングまとめ - Qiita
年利30%超え！！！！！LightGBMを用いたトヨタ株自動売買シミュレーション - Qiita
XGBoostとLightGBMの理論の解説 - tomtom58’s blog
XGBoostとLightGBMの違い - DATAFLUCT Tech Blog
ML botterにオススメなLightGBMのとっておきパラメータ紹介｜j26
ランキング学習の目的変数とLightGBMのパラメータについて
コピペで動くLightGBM ｜Pythonで最強予測モデルの実装
【図解で解説】LightGBMの仕組みとPythonでの実装を見ていこう！｜スタビジ
XGBoost と LightGBM に実装されているポジションバイアス除去を試してみた
Python: LightGBM v4.0 の CUDA 実装を試す - CUBE SUGAR CONTAINER
LightGBMの理論のまとめ - 盆暗の学習記録
SageMakerでLightGBMを使ってモデル構築する方法まとめ - Qiita
www.itmedia.co.jp
share.google
techtarget.itmedia.co.jp
techtarget.itmedia.co.jp
irasutoyamaker.com
kn.itmedia.co.jp