shikimihuaweiのブックマーク / 2020年8月26日

第2回：「Kaggle」の面白さとは--食品宅配サービスの購買予測コンペで考える

印刷するメールで送るテキスト HTML 電子書籍 PDF ダウンロードテキスト電子書籍 PDF クリップした記事をMyページから読むことができます今回は、筆者がKaggleで準優勝した「Instacart Market Basket Analysis」というコンペについて話します。食料品の配達サービスを提供するInstacartのデータを活用して、ユーザーが次に購入する商品を予測するというものです。このコンペは2017年5月16日～8月14日の3カ月にわたって開催されました。 Instacartという企業について Instacartはオンラインで商品（食料品）を注文すると、最短1時間で自宅に配達してくれるサービスを提供している米国の企業です。こう書くとネットスーパーのように聞こえますが、正確に言えば買い物代行サービスであって、Instacart自身は在庫を持っていません。フードデ

shikimihuawei 2020/08/26

リンク

[Instacart Market Basket Analysis]のような商品購入履歴から、ユーザーと商品の特徴ベクトルを同時に求める（ための事前検証）（２）

前の記事（[Instacart Market Basket Analysis]のような商品購入履歴から、ユーザーと商品の特徴ベクトルを同時に求める（ための事前検証））で、ユーザーと商品（つまり文書と単語、または行側と列側）の特徴ベクトルを同時に求めるコードのサンプルを示しました．あまり説明していなくて申し訳なかったのですが、先のソースコードは、一人のユーザー（行）に対して、購入した商品購入していない商品を、被説明変数（教師データ）として入力していました．商品リストが2,000あっても、一人のユーザーが購入する商品のリストは１０とか２０とか、あって５０とか、もちろんもっと多い人もいますが、それくらいのオーダーです．するとそれ以外の商品は「購入していない商品」ということになりますが、数がとても多くなります．この購入していない商品というのを教師データとして入力することもできますが、先の

shikimihuawei 2020/08/26

リンク

[Instacart Market Basket Analysis]のような商品購入履歴から、ユーザーと商品の特徴ベクトルを同時に求める（ための事前検証）

前回の7つのグループを持つサンプルデータを用いて、ユーザーと商品の特徴ベクトルをニューラルネットワークで、同時に求めてみます． Kaggelのカーネルを用いて実行しています．ソースコードと結果は Calc features of users and prods simultaneously となります． NNのための重みの初期値を計算するランダムな初期値から特徴ベクトルを学習しても良いのですが、それなりの結果と時間の短縮のためにgensimのLSI（またはLSA：潜在意味解析）を用いて、商品側の特徴ベクトルを算出し、その後ユーザー側の特徴ベクトルも計算しておきます。これでNN使わなくても商品とユーザーの特徴ベクトルが計算できたように思いますが、グラフにしてみると、ちょっとこのままではなと感じる人が多いのではないかと思います．商品の特徴ベクトル利用用途によるので、これで使えるのならN

shikimihuawei 2020/08/26

リンク

[Instacart Market Basket Analysis]のような商品購入履歴から、ユーザーと商品の特徴ベクトルを同時に求める（ための事前調査）

Instacart Market Basket AnalysisはKaggleのCompetitionのひとつです．別に商品購入履歴でなくても良いのです．これまでもこのブログの記事で、文書を表す特徴語を出力してきたりしていますね．これも文書と単語の特徴ベクトルを同時に求めることができれば同じことが可能です．こういった「商品購入履歴」や「文書と単語」のデータは疎なマトリックスなことが多いですよね。まずは手始めに、構造があるサンプルデータを用いて、いろいろな特徴ベクトル抽出メソッドでの結果を見てみましょう．以下はKaggleのkernelを用いて実行しました．動くソースコードと結果はKaggleのkernelを参照してください．まずは以下の構造を持ったサンプルデータを作成しています．ユーザー数：10000 商品の種類：2000 （後で用いるときに、商品のIDが1から始まっているので

shikimihuawei 2020/08/26

リンク

Kaggle - Instacart上位陣解法まとめ - Qiita

KaggleのInstacart Market Basket Analysis1の上位陣解法についてまとめました．参考になりそうでしたら幸いです． Instacart Market Basket Analysis1とはユーザーが次に注文する商品の予測．データ構成2 ユーザー数: 20万注文回数: 340万商品数: 5万全体の把握には記事2が参考になります． [2位] 2nd Place Solution Name: ONODERA Kaggle Discussion: https://www.kaggle.com/c/instacart-market-basket-analysis/discussion/38143 Code: https://github.com/KazukiOnodera/Instacart Writeup: http://blog.kaggle.com/2