A/Bテストに用いられる統計的検定手法（ロジック）のまとめ＆比較 | RCO Ad-Tech Lab Blog
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら 汎用人型雑用AIの stakaya です。 たまたま数年前に社内のBLOGに書いたABテストのロジックのまとめ＆比較記事を発掘したので、 このまま眠らせているのはもったいないぞと、 圧倒的もったいない精神を発揮し、シェアさせていただきます。 あの頃は私も若かった。 社内では”堅物・真面目・一途”で有名なものでして、下記文章がお硬いのはご勘弁ください。 はじめに 本記事は、施策の評価手法としてしばしば用いられるA/Bテスト（A/B testing)について、できる限り背後にある仮定を明記した上で、まとめたものである。 A/Bテストとは、主にインターネットマーケティングにおける施策の良否を判断するために、2つの施策（通常、A・Bと記載）を比較す
ベイズの定理で解くモンティ・ホール問題 - Qiita
機械学習に必要な高校数学やり直しアドベントカレンダー Advent Calendar 2016の5日目の記事です。 4日目の記事はkazutarosuさんで数学ガールについてでした。 数学ガール、聞いたことがあるだけで読んだことはないので、これを気に読んでみようかと思いました。 この記事では、ベイズの定理を使ってモンティ・ホール問題を解いてみようかと思います。 一部高校数学の範囲を超えているところがあるかもしれませんが、ご容赦ください。 確率の復習 確率変数 確率とは、「ある事象が起こる確からしさの度合い」です。 サイコロで言えば、「6の目が出る確率」は$\frac{1}{6}$です。 この「6の目が出る確率」は以下のような式で表されます。 $$P(X=6)=\cfrac{1}{6}$$ ここで、$X$を確率変数、$P(X)$は$X$の確率といいます。 サイコロの例で言うと、$X$はサイコ
文系出身の自分が統計学んだ方法(統計検定二級攻略法) - あれもPython,これもPython
データ分析やりたい、知りたい、 でも僕文系・・・ な人って結構いるんじゃないかと思います。 そういう人向けのロードマップを書きます。 あと理系だけど、統計苦手とか、 専門じゃないけど触れておきたい 人にも役に立つと思います。 前提 高校までの確率を知ってる人 (微積や線形代数は必要なし) 目標 統計検定二級をとる なぜ統計検定二級かというと 一級だとしっかり数式がわからないといけない 三級だと理論にあまり触れない からです。 この記事が役に立つ人の目標ラインとしては二級が妥当かと。 資格所持に価値があるか、というのは人によるとは思います。 （少なくとも就職や転職ではあまり役には立たない印象です) が、資格試験ベースで勉強すると、過去問を解くことで進捗が可視化できます。 自分の成長を確認したり、弱点がわかりやすくなるので、 勉強の目標としては有効だと思っています。 （何より合格できるとうれし
統計学の基礎の基礎
2. 自己紹介 ・Facebookページ https://www.facebook.com/matsukenbook ・Twitterアカウント @kenmatsu4 ・Qiitaでブログを書いています（統計、機械学習、Python等） http://qiita.com/kenmatsu4 （3500 contributionを超えました！） ・趣味 - バンドでベースを弾いたりしています。 - 主に東南アジアへバックパック旅行に行ったりします （カンボジア、ミャンマー、バングラデシュ、新疆ウイグル自治区 etc） 旅行の写真 : http://matsu-ken.jimdo.com Twitterアイコン
はじめよう多変量解析～主成分分析編～
第31回Tokyo.Rで発表した資料です。Rを用いて主成分分析について解説しています。Read less
プリキュア600話分のサブタイトルを分析したら見えてきた事。テキストマイニング分析より - プリキュアの数字ブログ
2016年５月15日放送分の 魔法つかいプリキュア15話「ハチャメチャ大混乱！はーちゃん七変化！」で プリキュア放送回数が通算600回を迎えました。 せっかくなので、何か記念をと思いプリキュア600話分の「サブタイトル」を テキストマイニングで分析してみました。 最も使用されていた語句は 共起ネットワーク図 クロス集計 クロス集計の結果 キャラクタ別のクロス集計 対応分析 まとめ サブタイトルってのは 「私たちが変身！？ありえない！」（無印１話） みたいなヤツですね。 全６００話のタイトルは、下記祥太様のつぶやきにすごいまとめがあります。 歴代『プリキュア』シリーズ通算600話までの全サブタイトル #precure pic.twitter.com/eqCdAV5sad— 祥太(レイフレE13,14「SHOWTIME」) (@shota_) 2016年5月14日 関係ないですけど、今回は60
プログラマ向けニュースキュレーションサービスを作ってみた話 - Qiita
はじめに 2015年度新卒でドワンゴに入社しました@ytanakaといいます。普段はAndroidアプリ開発を主に担当していますが、大学院時代は増井俊之先生のもとでユーザインタフェースと情報推薦システムの研究をしていました。 ドワンゴに入社後、それまでの研究を活かしプログラマ向けのニュースキュレーションサービスMenthas(メンタス)を個人開発しました。今回はせっかくの機会なので、開発の経緯と概要そして仕組みについて述べたいと思います。 追記： 続編を書きました こちらの記事は以前のバージョンの内容になります。現行のMenthasの仕組み・構成は以下にまとめています。 約3年かけてプログラマ向けニュース推薦アプリを作り直した話 背景 さて、この記事をご覧になっているのはプログラマの方が多いと思いますが皆さん普段どうやって情報収集をしていますか？ 自分の見聞きする限りではTwitterやは
データ分析の「7つの進化のステップ」を今一度おさらいしてみる - 渋谷駅前で働くデータサイエンティストのブログ
2016年最初の記事ということで、もはや1月下旬に差し掛かりつつありますがこちらでは改めて、あけましておめでとうございます＆本年もよろしくお願いいたします。 で、新年一発目のお題は。。。実は似たようなお題で過去にも記事を書いていますが（笑）、年も改まったことなので今一度備忘録的におさらいしてみたいと思います。観点としては、どちらかというと「これからデータ分析のカルチャーを職場に導入していくとしたらどうやってステップアップさせていくか」みたいなところです。なお過去記事はこちら。 この辺の話題を踏まえながら、過去記事リンクのオンパレードで恐縮ですがちょっと一席やってみます。なお以下に挙げる「ステージ」はあくまでも一例であり、業界によってはもっと高度な方向に展開させられる（orもっとプリミティブなレベルに留まる）こともあるので、参考程度に見てもらえればと。 特にここでは「まだデータ分析を始めてい
調査票の実施手順と作り方のコツ｜良い例・悪い例の例文つきで説明
調査票の設計は、調査結果の質を左右する重要な要素です。 以下では、調査票を効果的に設計するための８つのステップを踏むのがおすすめです。 1. 調査目的の明確化 はじめに、調査目的を明確にすることが重要です。 何を明らかに […]
発生確率が低くても大丈夫！ポアソン分布でマーケティングを博打にしない - マーケティングメトリックス研究所/MARKETING METRICS Lab. – コミュニケーションの最適化を考える。マーケティングメトリックス研究所
最近の趣味は、漫画喫茶で何時間もマンガを読み耽ることです。ちょっとした自慢は、二晩で島耕作の課長から会長までの人生を一気通貫で読んだことです。 小さい頃からマガジン派だったので、最初は「神様の言うとおり」「サイコメトラー」「進撃の巨人」「アルスラーン戦記」「金田一少年の事件簿」を読んでいました。 最近はジャンプ系に手を伸ばし始めています。「友情」「努力」「勝利」。基本コンセプトがしっかりしているので読んでいて飽きません。 「暗殺教室」のような突拍子もない設定であっても、コンセプトが明確ならば応用は可能という証明がされたことは記憶に新しいですね。 圧倒的に不利な状況で、全員がもうダメだと諦めていても、主人公だけは「まだまだ解らない、チャンスはある」と前を向きます。 その姿に私は感化され、時に涙を流すこともあります。マンガは常に勇気と希望を与えてくれます。 ただし、それに感化され過ぎて、絶望的
gacco 「統計学Ⅰ：データ分析の基礎」のまとめ - akiyoko blog
11月から12月にかけて受講していた、無料オンライン講座 gacco の「ga014: 統計学Ⅰ：データ分析の基礎」の個人的なまとめです。 統計学Ⅰ：データ分析の基礎 なお、12月20日の東京会場での反転授業も受講してきました。 こちらは有料（9,000円）でした。 Week1 : 統計学への誘い 竹村 彰通 氏 （東京大学大学院情報理工学系研究科 教授） 1-1. 現代社会における統計学 データに基づいた意思決定を行うことが重要 人口予測、等 人口ピラミッド ビッグデータの時代 1-2. このコースの概要 このコースは、「統計検定3級」（高校卒業から大学入試程度）から「統計検定2級」（大学の基礎科目程度）の間のレベルを想定 統計検定3級 ＋ データ解析の実用的な内容 確率論を用いた推測統計学は扱わない 1-3. 統計学の歴史 国家(state) の数量的な状況把握が起源 人口センサス（ロ
実務で使う統計手法は、５つ。すごい、そんなシンプル？
このセミナー、冒頭の渋谷 直正さん(日本航空 旅客販売統括本部Web販売部 1to1マーケティンググループ アシスタントマネジャー)のお話がとても参考になりました。 まず、渋谷さんはご存知のように、2014年に「データサイエンティスト・オブ・ザ・イヤー」を受賞され、ビジネス・サイドにおける、データサイエンスのリーダー的存在です。 その渋谷さんの「実務で使う分析手法は５つで十分、マーケターこそデータサイエンティスト候補」という講演は、多くの示唆に富んだものでした。 まず、みなさんが気にしている５つの手法とは、 クロス集計 ロジスティック回帰 決定木 アソシエーション分析 非階層的クラスター分析（k-meansなど） の５つです。統計の教科書にはさまざまな手法が出てきますが、マーケターが実務で使うのはこの５つ程度だと説明されるのです。でも、この説明には、私も思い当たる部分があります。東大の数学
統計検定を受けるのでRで統計学を基礎から勉強していく - Qiita
統計（とうけい）は、現象を調査することによって数量で把握すること、または、調査によって得られた数量データのことである。(Wikipedia より) 統計に関する研究を行う学問が統計学。 用語 観測値：統計学が対象とする現象において観測を行うことで得られる値や属性。例）日本人の身長・体重など データ：観測値をまとめたもの。 データの基本統計量（代表値） データの分布の特徴を代表的に、要約して表す値を 基本統計量 あるいは 代表値 という。代表値には以下のようなものがある。 (算術）平均値 (arithmetic mean) 観測値 $x_1, x_2, \dots , x_n$の和をその総数で割った値 $\bar{x}$を 算術平均値、あるいは単に 平均値 という： 中央値 (median) 観測値を小さい順に並べた時、中央に位置する値を 中央値 という。 観測値が偶数個の場合は真ん中ふたつ
ダメな統計学：目次｜Colorless Green Ideas
2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と
文系がゼロから統計を勉強するときに最初の１年で読むべき本 - StatsBeginner: 初学者の統計学習ノート
最初の１年で読むべき本を考える 私の統計学の理解はまだまだ初歩レベルに留まっていますが、昨日飲んでる時に「初心者向けの統計の本ってどういうのが分かりやすいですか」というようなことを訊かれて、「俺に訊かれてもあまり参考には……」とか思う一方、まだ初歩レベルの位置にいる人間だからこそ言える「この本が分かりやすかったよ論」ってのもあるよなと思ったので、現時点での読書感想みたいなものをメモしておきます。一昨年、統計の勉強を始めた頃の自分にむかって書いてる感じです。 理系の人とか、ある程度統計の理解ができている人からみれば、「本質的な理解のためにはもっと難しい本がいいよ」ってなるかも知れませんが、「いやそんな難しいの勧められても独学のモチベーションが続かねーよ」っていう立場でまとめておきますｗ ここでは、 統計の勉強はしたことがなく、標準偏差とか言われても意味分からない プログラミングも全くわからな
統計解析用フリーソフト・R-Tips
R は有名な統計言語『 S 言語』をオープンソースとして実装し直した統計解析ソフトです．さまざまなプラットフォーム（OS）に対応しており，誰でも自由にダウンロードすることができます．それにも関わらず，世界中の専門家が開発に携わっており，日々新しい手法・アルゴリズムが付け加えられています．とにかく計算が速い上にグラフィックも充実しているので数値計算などにも持ってこいです．このドキュメントは Windows 版 R と Mac OS X 版 R（と一部 Linux 版 R ）でコマンドを調べた足跡です． ちなみに，この頁の内容を新しくした書籍は こちら ，電子書籍版は こちら で販売されております．
Excelで始めるデータ分析 ～第5回 ポアソン分布でマーケティングを博打にしない～ - マーケティングメトリックス研究所/MARKETING METRICS Lab. – コミュニケーションの最適化を考える。マーケティングメトリックス研究所
最近の趣味は、漫画喫茶で何時間もマンガを読み耽ることです。ちょっとした自慢は、二晩で島耕作の課長から会長までの人生を一気通貫で読んだことです。 小さい頃からマガジン派だったので、最初は「神様の言うとおり」「サイコメトラー」「進撃の巨人」「アルスラーン戦記」「金田一少年の事件簿」を読んでいました。 最近はジャンプ系に手を伸ばし始めています。「友情」「努力」「勝利」。基本コンセプトがしっかりしているので読んでいて飽きません。 「暗殺教室」のような突拍子もない設定であっても、コンセプトが明確ならば応用は可能という証明がされたことは記憶に新しいですね。 圧倒的に不利な状況で、全員がもうダメだと諦めていても、主人公だけは「まだまだ解らない、チャンスはある」と前を向きます。 その姿に私は感化され、時に涙を流すこともあります。マンガは常に勇気と希望を与えてくれます。 ただし、それに感化され過ぎて、絶望的
統計学・機械学習でよく使われる数学記号リスト（主に自分用） - About connecting the dots.
統計学とか機械学習周りの本を読んでいると，何の説明もなくややこしい数学記号が出てきて，そういえばこれはなんだっただろう？ と途方に暮れてしまうことが少なくないので，自分用にまとめなおしてみました，というのが今回のエントリ．あくまで自分用なので，全部の数学記号を扱ってるわけではありません*1． 代数学 記号 意味 用例 用例の意味 備考 総和 要するに足し算 総乗 要するにかけ算 クロネッカーのデルタ i=jなら1，それ以外なら0 要するにブーリアン条件 ナブラ *2 3次元ベクトルの微分 要するに各要素の微分 ラプラシアン 3次元ベクトルの2階微分 要するに各要素の2階微分 下限 のとき与式は0になる との違いは，は当該値を含む必要があるが，はないこと 上限 との違いは，は当該値を含む必要があるが，はないこと 関数値が最大となるような定義域の元の集合 を最大にするような がの下にくる場合も
2014年春版：初心者にお薦めする「本当にゼロから統計学と機械学習の基礎を学ぶ」ための6冊 - 渋谷駅前で働くデータサイエンティストのブログ
前回リストの記事から半年ぐらい経ちましたよー、ということで初心者向けに関しても書籍リストをアップデートした最新版のリストをお送りします。あまり中身が変わってないかもしれませんが、かぶっている本は良い本だということで（笑）。 ところで、昨年秋に比べると「これから統計学・機械学習について学びたい！」という人たちの動機が変わってきているような気がしなくもないんですね。以前は主に「エンジニアでこれからデータ分析について学びたい」という層が多かったんですが、最近になって「営業や企画をやっているんだけど数字を見る際にデータ分析とか知っていると良いことがありそう」という層が増えてきているように見聞します*1。 そういう意味で言うと「エンジニア向けの本を推薦するのが必ずしもベストとは限らない」という側面もありそうなんですが、それは次回までの宿題ということで、今回も基本的にはエンジニア向けの本を一旦揃えてみ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The best stats you've ever seen
