XGBoost と LightGBM に実装されているポジションバイアス除去を試してみた
はじめに 以前も記事にしたが、ウェブ上のユーザーの行動ログを使って推薦システムを開発している自分のようなMLエンジニアにとって、ランキング学習におけるポジションバイアスの除去は重要なテーマである。サービスのログは通常様々なバイアスに塗れており、特にリストの上位に表示されたアイテムほどクリックが集まりやすくなってしまうポジションバイアスは非常に厄介だ。アカデミアではこの手のテーマはだいぶ研究が進んでいるものの、これまでは論文や書籍で手法が紹介されるだけで、手軽にパッと使えるライブラリは存在しなかった。 しかしどうやら最近になって XGBoost や LightGBM という多くの人が使う強力なGBDTライブラリにポジションバイアスを除去する機能が実装されたらしく、これが使い物になるのであれば実務で利用するハードルがグッと下がると思い、実験して性能を検証してみた。 検証に使うデータセット ここ
GBDTのハイパーパラメータの意味を図で理解しつつチューニングを学ぶ - まずは蝋の翼から。
この記事は何か lightGBMやXGboostといったGBDT(Gradient Boosting Decision Tree)系でのハイパーパラメータを意味ベースで理解する。 その際に図があるとわかりやすいので図示する。 なお、ハイパーパラメータ名はlightGBMの名前で記載する。XGboostとかでも名前の表記ゆれはあるが同じことを指す場合は概念としては同じ。ただし、アルゴリズムの違い（Level-wiseとLeaf-wise）によって重要度は変わるし、片方にのみ存在するハイパーパラメータもあるので注意。 lightgbm.readthedocs.io また、記事の構成などは以下を大いに参考にさせていただいた。 nykergoto.hatenablog.jp 網羅的には以下の記事もよさげ qiita.com この記事は何か そもそもGBDTとは ハイパーパラメータ どのような決定木
The Bitter Lesson
Rich Sutton March 13, 2019 The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin. The ultimate reason for this is Moore's law, or rather its generalization of continued exponentially falling cost per unit of computation. Most AI research has been conducted as if the computation ava
決定木系アルゴリズムはなぜ特徴量同士の四則演算を明示的に入れる必要があるか（実験編）｜CO-WRITE
どうも、最近SmartnewsでAIのニュースばかり見ていたら、歌手のAIさんの記事がレコメンドされてきた分析官の岡部です。 この記事では、決定木系アルゴリズムを使用するとき、特徴量同士の四則演算が有用となるケースがあることを、簡単な実験で確認しました。 その結果をまとめていきます。 事の発端 Kagglerに人気のGBDTをはじめとした決定木系のアルゴリズムは非常に強力で、 弊社の製品である自動機械学習ツールForecastFlowでも採用しています。 さて、入社まもないあるとき、そのForecastFlowに突っ込むデータセットを用意していると上司の方から、「この特徴量とこの特徴量の足し算は効きそうだね」と言われ、？？？となりました。 （え？足し算って、、、情報増えてないから、全く意味ないんじゃないの？？？） などと思ったんですね。 あれから時は経ち、数多のモデルを作っていくうちにだん
lightgbm カテゴリカル変数と欠損値の扱いについて+α - てばさきさんの自由研究
一発目から自由研究をしていないのですが、ご容赦ください。笑 lightgbmのカテゴリカル変数の扱い等がチーム内で話題になったため、メモも兼ねてまとめました。 本題 話題となったのは、以下の３点です。 label encoding1して入力するのと、カテゴリカル変数として入力する違い trainに存在しないが、testには存在するカテゴリーの扱い 欠損値の扱い これより、順に説明します。 1. label encoding[^1]して入力するのと、カテゴリカル変数として入力する違い label encodingして入力すると、普通の数値型変数と同様に閾値との大小関係で判定されます。カテゴリカル変数として入力すると、marugariさんがブログで紹介しているように変数A (is or is not) category_xで判定されるようです。ただ、カテゴリーに順序性がある場合は、カテゴリカル
Piro🎉"ｼｽ管系女子"ｼﾘｰｽﾞ累計5万部突破!!🎉 on Twitter: "これ、作者の人や一部の人は「明らかにおかしい（botによって参考画像に寄せる攻撃が行われている）」と判断してるけど、素直に信じてる人が結構いるのが興味深い https://t.co/2rRPCHurkO"
これ、作者の人や一部の人は「明らかにおかしい（botによって参考画像に寄せる攻撃が行われている）」と判断してるけど、素直に信じてる人が結構いるのが興味深い https://t.co/2rRPCHurkO
Hiroshi Takahashi
Skip to the content. 機械学習の研究者を目指す人へ 機械学習の研究を行うためには、プログラミングや数学などの前提知識から、サーベイの方法や資料・論文の作成方法まで、幅広い知識が必要になります。本レポジトリは、学生や新社会人を対象に、機械学習の研究を行うにあたって必要になる知識や、それらを学ぶための書籍やWebサイトをまとめたものです。 目次 プログラミングの準備 Pythonを勉強しよう 分かりやすいコードを書けるようになろう 数学の準備 最適化数学を学ぼう 基本的なアルゴリズムとその実践 機械学習の全体像を学ぼう 基本的なアルゴリズムを学ぼう 深層学習の基礎を学ぼう scikit-learnやPyTorchのチュートリアルをやってみよう サーベイの方法 国際会議論文を読もう Google Scholarを活用しよう arXivをチェックしよう スライドの作り方 論文の
Over-/Under-samplingをして学習した2クラス分類器の予測確率を調整する式
不均衡データ (imbalanced data) からクラス分類を行うとき、マイナーなクラスに属するサンプルの oversampling や、メジャーなクラスに属するサンプルの undersampling (downsampling とも) が大切（cf.『不均衡データのクラス分類』）： （▲ Tom Fawcett氏による記事 "Learning from imbalanced data" 中の5番目の図を引用） このテクニックを使って学習した分類器による予測確率は、少し調整してから解釈したほうがいいらしい、という話。 Imbalanced data と Oversampling/Undersampling たとえば2クラス分類をしたいとき、ラベル1のサンプル（正例）がわずか 0.01% しか存在せず、その他 99.99% のサンプルはラベル0（負例）、みたいな状況がある。 そこまで顕著
【記事更新】私のブックマーク「反実仮想機械学習」（Counterfactual Machine Learning, CFML） | 人工知能学会 (The Japanese Society for Artificial Intelligence)
Home » リソース » 私のブックマーク » 【記事更新】私のブックマーク「反実仮想機械学習」（Counterfactual Machine Learning, CFML） 反実仮想機械学習（Counterfactual Machine Learning, CFML）齋藤 優太（東京工業大学） はじめに機械学習の応用において，反実仮想（Counterfactual）─起こり得たけれども実際には起こらなかった状況─についての情報が得られるとうれしい場面が多くある．例えば，「今動いている推薦アルゴリズムを仮に別のアルゴリズムに変えたときにコンバージョン率はどれくらいになるだろうか？」や「あるユーザに仮にクーポンを与えた場合に離反率はどれくらい減少するだろうか？」などの実務現場でよくある問いに答えるためには，反実仮想についての情報を知る必要がある． 反実仮想機械学習（CFML）とは，因果効果
推薦システムの改修と機械学習システムの開発プロセス改善、実施中！ - エムスリーテックブログ
こんにちは、エムスリーエンジニアリングG・AIチームの大瀧です。 この記事では、推薦システムの改修/プロセスの改善に至ったエピソードをお話させて頂こうと思います。 現在機械学習を活用したシステムを開発・運用している方や、 これから開発・運用を行おうとする方と知見を共有できれば幸いです。 大瀧は今年2月にエムスリーにジョインし、 Archimedesというシステムで初めてプロダクションレベルのコードを書くことになりました。 振り返ってみるとWEB × 機械学習な領域なら当たり前に発生し得ることばかりなのですが、 SIerで研究開発をしていた私の目線からは学び・知見に満ちた経験でした。 Archimedesについて この記事の主役は、Archimedesという名前で呼ばれているシステムです。 M3 Tech Blogを見てくださっている方の中には、覚えてくださっている方がいるかもしれません。
決定木の可視化ライブラリ「dtreeviz」が凄かったのでまとめる - St_Hakky’s blog
こんにちは。 決定木の可視化といえば、正直scikit-learnとgraphvizを使うやつしかやったことがなかったのですが、先日以下の記事をみて衝撃を受けました。そこで今回は、以下の解説記事中で紹介されていたライブラリ「dtreeviz」についてまとめます。 explained.ai dtreevizの概要 dtreevizとは より良い決定木の可視化を目指して作られたライブラリです。 解説記事 : How to visualize decision trees Github : GitHub - parrt/dtreeviz: A python machine learning library for structured data. Sample Imagesdtreeviz/testing/samples at master · parrt/dtreeviz · GitHub 多
リバストのブログ Deep Learningの概要
これからDeep Learningの開発環境を導入していきますが、その前にDeep Learningについて簡単に説明します。Deep Learningは、日本語では深層学習と呼ばれている機械学習の研究分野の一つで、データを高次に抽象化するための多階層なモデルを学習する技術の総称です。 機械学習の枠組みには、大きく分けて教師あり学習、教師なし学習、半教師あり学習および強化学習があります。 （引用元強くなるロボティック・ゲームプレイヤーの作り方 実践で学ぶ教科学習） これらの機械学習の方法は、入力（質問）として数値ベクトルを前提にしています。そのため、機械学習の枠組みを、画像認識などに応用するためには、それぞれの応用に合わせてデータをベクトルに変換する必要があります。このデータからベクトルへの変換のことを特徴抽出と呼びます。この特徴抽出は、それぞれの応用に関する専門的な知識が必要なため、画像
Feature scaling - Wikipedia
Feature scaling is a method used to normalize the range of independent variables or features of data. In data processing, it is also known as data normalization and is generally performed during the data preprocessing step. Since the range of values of raw data varies widely, in some machine learning algorithms, objective functions will not work properly without normalization. For example, many cl
Leakage in Data Mining
データマイニングの現場で頻発する Leakage という問題について本気出して考えてみた、的な論文を読んだ： Leakage in Data Mining: Formulation, Detection, and Avoidance. KDD 2011. 概要 Leakage とは、モデルを作るときに、本来知らないはずの情報（変数やデータ）を不当に使ってしまうこと 手元のデータではメッチャ高い精度が出たのに、本番環境ではまったく精度が出ない、といった事態になる その問題について定式化を試みると同時に、Leakage を検知・回避する方法を考える こういう議論がまじめにされてこなかったせいで、KDD Cup 2008 のようなプロが企画・主催したコンペでさえ、問題の不備による Leakage が発生している おもしろ事例集 はじめに、データマイニングコンペでの Leakage 事例が幾つか紹
カテゴリカル変数のEncoding手法について - ysaz (ImanazaS) blog
Structured Data（構造化データ）の下処理をおこなう際に避けて通れないのがFeature Engineering（特徴量エンジニアリング）。 特に悩ましいのがカテゴリ変数の扱いで、どのように扱えば良いか困ることが多く、また、使った手法もすぐに忘れてしまいがちなので、自分なりに整理して記事にまとめておきたいというのが趣旨。 １．よく使われる手法 ２．次元を増やさない場合 Label Encoding Count Encoding LabelCount (Count Rank) Encoding Target Encoding ３．次元を増やす場合 One hot encoding Entity Embedding ４．参考記事 １．よく使われる手法 まずはよく用いられる定番の手法から。次元を増やすかどうかで大まかに次の２つに分類できる。 ・次元を増やさない場合（Label, Co
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Using case weights with tidymodels
Shinichi Takaŷanagi on Twitter: "”仕事ではじめる機械学習”的な内容の論文。「運用が難しいモデルはやめとけ」や「MLモデルにもテストをちゃんと書け」など大学での教育では見落としがちな内容を示唆している Return on Investment in Machine… https://t.co/RWPhVwYQEP"
What is the meaning of hand crafted features in computer vision problems?
機械学習技術とその数理基盤
https://brohrer.github.io/how_decision_trees_work.html