Python: LightGBM の学習に使うデータ量と最適なイテレーション数の関係性について - CUBE SUGAR CONTAINER
XGBoost は同じデータセットとパラメータを用いた場合、学習に使うデータの量 (行数) と最適なイテレーション数が線形な関係にあることが経験的に知られている 1。 今回は、それが同じ GBDT (Gradient Boosting Decision Tree) の一手法である LightGBM にも適用できる経験則なのかを実験で確認する。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 11.2.3 BuildVersion: 20D91 $ python -V Python 3.9.2 $ pip list | grep -i lightgbm lightgbm 3.2.0 もくじ もくじ 下準備 実験 下準備 あらかじめ、必要なパッケージをインストールしておく。 $ pip install lightgbm sci
XGBoost と LightGBM に実装されているポジションバイアス除去を試してみた
はじめに 以前も記事にしたが、ウェブ上のユーザーの行動ログを使って推薦システムを開発している自分のようなMLエンジニアにとって、ランキング学習におけるポジションバイアスの除去は重要なテーマである。サービスのログは通常様々なバイアスに塗れており、特にリストの上位に表示されたアイテムほどクリックが集まりやすくなってしまうポジションバイアスは非常に厄介だ。アカデミアではこの手のテーマはだいぶ研究が進んでいるものの、これまでは論文や書籍で手法が紹介されるだけで、手軽にパッと使えるライブラリは存在しなかった。 しかしどうやら最近になって XGBoost や LightGBM という多くの人が使う強力なGBDTライブラリにポジションバイアスを除去する機能が実装されたらしく、これが使い物になるのであれば実務で利用するハードルがグッと下がると思い、実験して性能を検証してみた。 検証に使うデータセット ここ
Scikit-learnの決定木からノードの分岐条件を抽出、データとして格納する - Qiita
はじめに Scikit-learnの決定木の分岐情報は一般的にGraphVizを使用した可視化によって理解されます。 しかし、この方法だと人間が直感的に理解するには良いものの、 データとして決定パスの情報を利用できない GraphVizとの連携が少し煩雑なためサクッと可視化できない といった問題をはらんでいます。 前者は、大量の決定木の分岐条件をデータとして扱いたい場合や、最終的な分岐条件をビジネス的な理由で全てテキスト化せねばならない場合などに人力では対処できずに苦しむ結果になりますし、 後者はGraphVizがなかなか入らない初心者や、新しいソフトウェアを入れづらい厄介な分析環境を使用せねばならない場合に苦しむことになります。 そこで、できればGraphVizを使用した可視化に頼らず、直接データとして分岐情報を扱う方法を知りたいと思っていました。 そこで今回はScikit-learnの
LightGBMのパラメータチューニングまとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 本記事は、下記のハイパーパラメータチューニングに関する記事の、LightGBMにおける実装例を紹介する記事となります。 ※2022/4 early_stoppingの仕様変更について early_stoppingの指定に関して、以前はfit()メソッドのearly_stopping_round引数で指定する事ができましたが、現在はcallbacks引数にコールバック関数early_stopping()を指定する方法に変わっています。 本記事も新しい仕様に合わせて修正しました。 ※2023/6 チューニング手順の改善 本記事に記
LightGBMのearly_stoppingの仕様が変わったので、使用法を調べてみた - Qiita
LightGBMとearly_stopping LightGBMは2022年現在、回帰問題において最も広く用いられている学習器の一つであり、機械学習を学ぶ上で避けては通れない手法と言えます。 LightGBMの一機能であるearly_stoppingは学習を効率化できる（詳細は後述）人気機能ですが、この度使用方法に大きな変更があったようなので、内容を記事にまとめたいと思います 変更の概要 early_stoppingを使用するためには、元来は学習実行メソッド（train()またはfit()）にearly_stopping_rounds引数を指定していましたが、2021年の年末（こちらのissues）よりこの指定法は非推奨となり、コールバック関数lightgbm.early_stopping()で指定する方式へと変更になりました。 新たな方式であるコールバック関数によるearly_stopp
[決定木]ジニ不純度と戯れる - Qiita
ZOZOテクノロジーズ新卒のむーさん(@murs313)です！ ジニ不純度、知らない子なので戯れる。 決定木で同じように使われているエントロピー(情報量)と比べていきます。 名前 ジニ不純度、ジニ分散指標、ジニ多様性指標等と呼ばれている。英語ではGini’s Diversity Index。 コッラド・ジニ(Corrado Gini)が同じく考案したジニ係数とは違うもの。（ジニ係数のアイデアが基になっているそう。） 使われているところ 決定木のアルゴリズムは複数あり、CARTというアルゴリズムでジニ不純度を指標にして決定木を構築することが多いようです。 他のアルゴリズムであるID3,C4.5,C5.0は、エントロピーを指標にして決定木を構築しています。 こちらのアルゴリズムが使われているところをあまり見ないのですが、アルゴリズムが簡単なので決定木を習う際によく取り上げられるのではないでしょ
![[決定木]ジニ不純度と戯れる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f8637413ab239ebeda048192d5b245abc0fcdfcf/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU2JUIxJUJBJUU1JUFFJTlBJUU2JTlDJUE4JTVEJUUzJTgyJUI4JUUzJTgzJThCJUU0JUI4JThEJUU3JUI0JTk0JUU1JUJBJUE2JUUzJTgxJUE4JUU2JTg4JUFGJUUzJTgyJThDJUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0xZThmZDEzMDBhODE1ODJjZmM0NmZkNjMyYmE0NDUxMA%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBtdXJzMzEzJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lMWUwZmRiMDQ0NjRiYmExZjc5ZWViMDI5N2EzMzJmMw%26blend-x%3D120%26blend-y%3D445%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-Wk9aTw%26txt-width%3D972%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25233A3C3C%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D134%26txt-y%3D546%26s%3Dc4a98053915a4d28f051c09b1f3b9e09)
LightGBMのCategorical Featureによって精度が向上するか？ - Qiita
簡単に ・LightGBMのパラメータ"Categorical Feature"の効果を検証した。 ・Categorical Featureはcategorical_feature変数に列名を指定するか、pandas dataframeのcategory型の列に対して適用される。 ・Categorical Featureへ設定する変数は、対象のカテゴリ変数を0始まりの整数に変換後、int型 or category型にするのが公式の推奨。 ・Categorical Featureを設定すると、必ず精度が向上するわけではない。 ・high-cardinality or low-cardinalityなカテゴリ変数のみをCategorical Featureに設定すると精度が向上する可能性がある。 初めに SIerでデータサイエンティストをしているSinchir0です。 データ分析コンペティショ
Python: LightGBM を使ってみる - CUBE SUGAR CONTAINER
LightGBM は Microsoft が開発した勾配ブースティング決定木 (Gradient Boosting Decision Tree) アルゴリズムを扱うためのフレームワーク。 勾配ブースティング決定木は、ブースティング (Boosting) と呼ばれる学習方法を決定木 (Decision Tree) に適用したアンサンブル学習のアルゴリズムになっている。 勾配ブースティング決定木のフレームワークとしては、他にも XGBoost や CatBoost なんかがよく使われている。 調べようとしたきっかけは、データ分析コンペサイトの Kaggle で大流行しているのを見たため。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.4 BuildVersion: 17E202 $ python -V Pyt
LightGBMの量子化を試してみる - 盆暗の学習記録
LightGBMのver. 4.0.0で登場した量子化ですが、今はLightGBMも4.3.0が出て量子化についての不具合修正もすすんで安定して動くようになってきました。 論文をベースに、「どういう計算をしているのか」という理論面の概要と、実際に動かして「どれだけ計算速度や予測精度やモデルのファイルサイズが変わるのか」を見ていきたいと思います。 個人的に特に気になっているのはモデルのファイルサイズの減少です。 量子化の概要 LightGBMのような最近のGBDTで使われている決定木では、葉の出力は誤差関数の2次のテイラー近似をもとに、以下のように計算されます（このあたりはChen & Guestrin, 2016が比較的わかりやすいです） ここで は誤差関数の勾配、 は誤差関数の二次の微分です。 このを32bitや64bitのfloatではなく4bitなどの低ビット幅の整数で保持しよう、と
ランダムフォレストをスクラッチで実装したい - Qiita
非Deepな機械学習手法としてランダムフォレスト (Random Forest) を選択する場面は多々ありますが、基本的にライブラリ任せになってあまり中身を意識することがありません。ので、今回はランダムフォレストの内部的な仕組みを確認しつつ、それを踏まえてPythonでスクラッチ実装していこうと思います。 ランダムフォレストについて ランダムフォレストの仕組みに関する分かりやすい記事は探せばいくらでもあるので、ここでは以降が読みやすくなるよう実装の視点から少し解説をつけておきます。 ランダムフォレストはたくさんの決定木から構成され、決定木はノードから構成されます。イメージとしては以下のようになります。 なので、実装の手順としては、 ノード : Node 決定木 : DecisionTree ランダムフォレスト : RandomForest の3つのクラスを実装していきます。 1. ノード
LightGBMによる物性予測モデルの計算過程を視覚化する - Qiita
はじめに LightGBM の中身について理解するためにやってみたメモ 環境 本記事では以下を事前にインストールしておく必要がある。 Graphviz Python numpy pandas matplotlib scikit-learn LightGBM RDKit Graphvizについては、ツールをインストールした後、Pythonのライブラリをインストールする必要がある。Python: LightGBM の決定木を可視化して分岐を追ってみる や、【Windows10】Graphvizのインストール等を参考にしてほしい。 モデル構築 まずはRDKitを使ってもモデルを作成してみよう。 まずはモジュールのインポート import numpy as np import pandas as pd from matplotlib import pyplot as plt from sklear
Python: LightGBM v4.0 の CUDA 実装を試す - CUBE SUGAR CONTAINER
LightGBM のバージョン 4.0.0 が 2023-07-14 にリリースされた。 このリリースは久しぶりのメジャーアップデートで、様々な改良が含まれている。 詳細については、以下のリリースノートで確認できる。 github.com リリースの大きな目玉として CUDA を使った学習の実装が全面的に書き直されたことが挙げられる。 以前の LightGBM は、GPU を学習に使う場合でも、その計算リソースを利用できる範囲が限られていた。 それが、今回の全面的な刷新によって、利用の範囲が拡大されたとのこと。 ただし、PyPI で配布されている Linux 向け Wheel ファイルは CUDA での学習に対応していない。 対応しているのは CPU と、GPU でも OpenCL の API を使ったもの。 そのため、もし CUDA を使った学習を利用したい場合には自分で Wheel を
Vaex入門 / 可視化もXGBoostも - フリーランチ食べたい
はじめに 昨日Vaexの性能評価の記事を書きました。 その記事では長くなってしまうので基本的な使い方などを省略しました。 なので今回は入門記事として使い方を紹介します。 blog.ikedaosushi.com Vaexとは 昨日の記事でも書きましたが、遅延評価/Pandasライク/アウトオブコアという特徴を持ったデータフレームライブラリです。 github.com リンク集 ドキュメント: https://docs.vaex.io/en/latest/index.html ライブラリ作者解説記事①: Vaex: Out of Core Dataframes for Python and Fast Visualization ライブラリ作者解説記事②: Vaex: A DataFrame with super-strings – Towards Data Science インストール・読み
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
