世界最大の小売企業「ウォルマート」の新サービス 米ウォルマートが5月、データ分析サービス「ウォルマート・ルミネート（以下、ルミネート）」をメキシコ、カナダに拡大すると発表した。世界最大の小売企業である同社は、米国内で4600店舗以上、全世界で19カ国に1万500店舗以上を展開している。同サービスはいずれ米国、メキシコ、カナダ以外の各国にも広がると考えていい。 「ルミネート」は2021年に始まったサプライヤー（ウォルマートに商品を卸している企業）向けのサービスで、同社のリアル店舗やECサイトにおける商品の販売状況や買い物客の購買行動をデータ分析して提供するというもの。 ウォルマートについては、今年3月に「なぜウォルマートは5000億円以上を『広告』で稼げるのか…日本の小売業が誤解する『リテールメディア』の本質」という記事を公開した。「リテールメディア」は、小売（リテール）企業が顧客データなど

はじめに 簡単に機械学習ができる、PythonのAutoMLライブラリである 「PyCaret」 について紹介いたします。 初めてのqiita投稿なので、温かい目で読んでいただけると嬉しいです。 機械学習は開発に時間がかかったり、専門的で難しいと感じる方もいると思いますが、AutoML を利用することで、効率よく機械学習を行うことができます。 AutoML とは、データの前処理やモデルの作成を自動化し、少ないコードで行うことができる仕組みです。 その一つに PyCaret というPythonベースのライブラリがあります。 PyCaret は以下のような方におすすめだと思います。 時間や手間をかけず機械学習をしたい方 「機械学習の勉強をしたいけれど、実装とか難しそう」と不安を抱えている方 PyCaret とは PyCaret は、PythonのAutoMLライブラリです。OSSで、MITライ

1: 購入 0: 閲覧(したが購入してない) -: 未観測 ユーザーベース型 ユーザー同士の類似度を計算 「あなたと購入履歴の似たユーザーはこんな商品を買っています」 行を各ユーザーのベクトルとみなして、似たユーザーを見つける（上位N人） 似たユーザーが購入しているアイテムを推薦する（N人の平均値などで購入しそうな順に提示） アイテムベース型 アイテム同士の類似度を計算 「この商品を買ったユーザーはこんな商品も買ってます」 列を各アイテムのベクトルとみなして、類似度の高いアイテムを推薦する（上位M件） 類似度計算には、コサイン類似度やJaccard類似度が使われる。 類似度を計算する際に、未観測「-」は適当な値（0, 0.5など）で埋めるか、無視をする。 ログデータを使うため、情報の少ない新規アイテム/新規ユーザーに弱いコールドスタート問題がある。 コンテンツベースフィルタリング アイテム

因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し

紹介 回帰モデルを用いたデータ分析は基本的で有用である反面、回帰変数の選択が恣意的になったり、回帰式の設定が不適切になったりするなどの問題も抱えている。本書は、これらの問題に対して、統計学者や計量経済学者がどのような解決策を考えてきたのか、分野の発展の歴史をたどりながら解説する。特に近年、機械学習の手法を取り入れることで従来の統計学では扱えなかった問題に対処できることも多くなった。分析者の恣意性を極力排除したデータ駆動型の回帰分析の可能性を、理論的な側面から考える。

GoogleはChromeでサードパーティーCookieを廃止することを宣言しており、ウェブマーケティングはCookieレスのシステムを整えることが求められています。コードのパフォーマンス診断ソフトを開発するSentryが、実際にサードパーティーCookieを自社サイトから廃止した場合についてまとめています。 We removed advertising cookies, here’s what happened | Product Blog • Sentry https://blog.sentry.io/we-removed-advertising-cookies-heres-what-happened/ Cookieはウェブサイトがウェブブラウザに保存する情報で、サイトを訪れた日時や訪問回数などが記録されています。このCookieのおかげで、IDとパスワードを入力しなくても再び同じサイ

あーあーあー^^　またこういう「データ」が出てきてしまった．そして相も変わらず「増税のせいで婚姻・出産が減っている」みたいなtweetpostがちらほら．．． 計量経済学の入門講義で必ず勉強するはずの「トレンドをもつ変数同士」なわけです．長期的に上昇している国民負担率と同じく長期の下降トレンドにある出生・婚姻の単純な相関とりゃ．．．そりゃバリバリマイナスなわけですよ． 例えば．．．大学進学率と癌での死亡率はともに戦後上昇を続けています．両方＋トレンドあるから相関係数もかなり高い．でも両者の因果なんて誰も言わないでしょ？　ところが，同様の見せかけ上の相関だったとしても・・・国民負担率と婚姻数みたいな「なんか関係あってもおかしくない」データ同士だとついついトレンド問題が頭から消えちゃうんだよね． ついでにこの国民負担率と出生・結婚はトレンド以外にも見せかけ上の相関をつくりやすい関係がある．国民

はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量（最小値、最大値、平均、分散、四分位数）などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検

naki @naki_mk 私のツール遍歴 新社会人「Excelの機能たくさん覚えて市場価値アップだ！まずはショートカットっと」 2年目「BIツール超便利じゃん…Excelとか必要なくね…ｽｸｼｮ貼ﾘ付ｹ-」 3年目「BIツールだけだと何かと不便…Python覚えるか…」 6年目「誰でも使えるように設計されてるExcelが便利すぎる…」 2022-08-19 09:58:41

経済セミナー2022年6・7月号 通巻726号【特集】経済学と再現性問題 日本評論社Amazon 最近は計量経済学・統計学方面の方々との交流が多いんですが、そのご縁で『経済セミナー』の2022年6・7月号が再現性問題を取り上げていたと知り、入手して読んでみました。特集部分の目次を以下に引用すると、 特集＝ 経済学と再現性問題 【鼎談】再現性の問題にどう向き合うか？……川越敏司×會田剛史×新井康平 心理学における再現性の危機――課題と対応……大坪庸介 経済学における再現性の危機――経済実験での評価と対応……竹内幹 フィールド実験・実証研究における再現性……高野久紀 健全な研究慣習を身に付けるための実験・行動経済学101……山田克宣 再現性問題における統計学の役割と責任……マクリン謙一郎 という内容で、幾つかの分野にまたがって論じられています。特に、このブログ含めて個人的に度々お世話になってい

こんにちは。 データアナリスト 兼 チームのマネージャ としてメルカリという会社に4年ほど勤めていたのですが、色々やった気はするが、思い返してみると結局の所何をしたんだっけ？という気持ちに突然なりました。僕は忘れっぽいので、今後もこういう瞬間は何度も訪れそうな気がしています。 ということで、この4月から新しいことを始めるこのモーメントに自分が何をしたのかをちゃんと書き残しておくことにしました。 自分自身の記憶のアーカイブの役割とともに、誰かの参考になれば望外の喜びです。 大体2016−2019年くらいの話です（今のメルカリのデータ分析チームはもっと進化していますのであしからず。） LTVの概念を導入した2022年現在となってみると非常に不可解ではあるが、私がメルカリに入社した2016年頃には、社内では「LTVを見る」という概念はなかった。 ゆえに、投資がリクープ（回収）できているかどうかを

Rsolnpというライブラリを使用するとRで非線形制約条件付非線形最適化を行うことができた。 install.packages("Rsolnp",repos="http://cran.r-project.org/") でインストール完了。 （いつの間にかCRANに登録されていたのでレポジトリをR-ForgeからCRANへ変更 2010/4/14） 元から入っているサンプルの例題を解いてみる。 library(Rsolnp) # POWELL Problem fn1=function(x) { exp(x[1]*x[2]*x[3]*x[4]*x[5]) } eqn1=function(x){ z1=x[1]*x[1]+x[2]*x[2]+x[3]*x[3]+x[4]*x[4]+x[5]*x[5] z2=x[2]*x[3]-5*x[4]*x[5] z3=x[1]*x[1]*x[1]+x[2]*

id:Vorspiel Changelogを入れたら末尾が切れてしまった…Changelogはリプにします。https://anond.hatelabo.jp/20220308162009 -- Twitterで流れていた以下の文書を翻訳したものです。 https://twitter.com/igorsushko/status/1500301348780199937 最初はTwitterに流しましたが(https://twitter.com/Vorspiel2/status/1500677825044819971)、誤訳を修正し、追加情報を入れて清書しました。 なお、この文書の真正性について、まずこちらの評価をご参照ください。(イギリスの情報サイトBellingcatの幹部Christo Grozev氏による) https://twitter.com/christogrozev/statu

rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化した13億パラメータのGPT言語モデルを開発し、公開しました。 ■背景 rinna社はこれまでに、日本語の自然言語処理 (NLP) に特化したGPT (3.3億パラメータ) やBERT (1.1億パラメータ) の事前学習モデルを公開し、多くの研究・開発者にご利用いただいています。最近のNLPに関する研究では、モデルのパラメータ数が多いほど高い性能であることが知られています。 そこでrinna社は、これまでに公開してきたモデルより大規模な13億パラメータを持つ日本語に特化したGPT言語モデルを開発し、日本語のNLPコミュニティに貢献するために、この言語モデルをNLPモデルライブラリ Hugging Face に商用利用可能なMITライセンスで公開しました。 ■ Hugging Fac

前回の記事でも触れましたが、ここ最近いわゆる需要予測系のマーケティングモデル（特にMedia Mix Modeling: MMM）を手掛けることが増えています。 この手の統計モデルは経済学で言うところの「実証分析」に当たると思われ、一般には「予測」よりも「説明」に用いられることが多いです。より具体的に言えば、回帰モデルを推定した上で個々の変数のパラメータを比較して、例えば「デジタル動画広告をもっと強化した方が良い」というようなマーケティング上の示唆を得る、というような目的で用いられます。 ところが、これまた前回の記事で触れた通りでそれらのモデルに基づく「説明」には、どうしても「羅生門効果」の問題が生じ得ます。即ち、同じデータセットに対して似たような性能を示す回帰モデルが複数並び立った場合、どのモデルの「説明」を優先すべきか？という問題です。これは純粋に統計的学習分野の問題として捉えればある