agwのブックマーク - はてなブックマーク

Gunosy MLチームでのABテストの設計と運用 - Gunosyデータ分析ブログ
こんにちは、Gunosy Tech LabのMLチームでマネージャーをしている id:skozawa です。今日はMLチームで取り組んでいるABテストの設計と運用について紹介したいと思います。 MLチームはプロダクト横断のチームです。メンバーはグノシー、ニュースパス、LUCRAなどのプロダクトチームにも属しながら、開発を進めています。 ABテストについては以前も少し書いたことがあり、基本方針は同じなのですが、横断チーム、ロジック開発だからこそある難しさもあり、そのあたりで少し工夫していることなどを書きたいと思います。 tech.gunosy.io ABテストの設計について ABテスト開始のために、タスク、KPI、拡大判断基準の設計をするようにしています。タスク設計仮説を立て、タスクのゴールを設定します。ここでは、controlとtreatmentの差分を明確にすることと、contr
agw 2019/08/29
リンク
A/Bテストよりすごい？はじめてのインターリービング - Gunosyデータ分析ブログ
はじめにこんにちは。メディアデータ分析部の飯塚(@zr_4)です。弊社では現在、複数のニュース形式のアプリケーションを運用しており、各プロダクトでユーザーの趣向にあうような記事リストのパーソナライズを行っています。左から：LUCRA、ニュースパス、グノシーそのため、記事のランキングに関するA/Bテストをする機会が多々あり「少数のユーザーで高速に有力なパラメータを探したい」というニーズがありました。今回は上記ニーズを満たすべく、グノシーの本番環境に導入したインターリービングを紹介します。インターリービングとは概要インターリービングは高感度なランキング評価手法です。実験的に、10倍から100倍従来のA/Bテストよりも効率的であることが知られています。*1 従来のA/Bテストにおいて、2つのランキングリストを評価する際は、ユーザを2つの群に分け各々に別々のランキングリストを提示
agw 2018/10/16
deferred

AI

PRML
リンク
【Edward】MCMCの数学的基礎からStochastic Gradient Langevin Dynamicsの実装まで - Gunosyデータ分析ブログ
こんにちは。初めまして。データ分析部新入りのmathetake(@mathetake)と申します。先日個人ブログでこんなエントリを書いた人です: mathetake.hatena blog.com そんなこんなでTwitter就活芸人(?)として活動(?)してましたが、これからは真面目に頑張っていこうと思います。今日はみんな大好きベイズモデリングおいて、事後分布推定に欠かせないアルゴリズム(群)の一つである*1 マルコフ連鎖モンテカルロ法(Markov chain Monte Carlo) 通称MCMCに関するエントリです。より具体的に、 MCMCの意義(§1.)から始め、マルコフ連鎖の数学的な基礎(§2.,3.,4.)、MCMCの代表的なアルゴリズムであるMetropolis-Hastings法(§5.)、その例の１つである*2Langevin Dynamics(§6.)、そして(僕
agw 2017/03/12
リンク
1