株式会社ブレインパッドの2023年新卒研修資料です。基礎統計学について扱っています。
このセミナー、冒頭の渋谷 直正さん(日本航空 旅客販売統括本部Web販売部 1to1マーケティンググループ アシスタントマネジャー)のお話がとても参考になりました。 まず、渋谷さんはご存知のように、2014年に「データサイエンティスト・オブ・ザ・イヤー」を受賞され、ビジネス・サイドにおける、データサイエンスのリーダー的存在です。 その渋谷さんの「実務で使う分析手法は5つで十分、マーケターこそデータサイエンティスト候補」という講演は、多くの示唆に富んだものでした。 まず、みなさんが気にしている5つの手法とは、 クロス集計 ロジスティック回帰 決定木 アソシエーション分析 非階層的クラスター分析(k-meansなど) の5つです。統計の教科書にはさまざまな手法が出てきますが、マーケターが実務で使うのはこの5つ程度だと説明されるのです。でも、この説明には、私も思い当たる部分があります。東大の数学
こんにちは、買物情報事業部でサーバサイドの開発を担当している荒引 (@a_bicky) です。 今回のエントリでは R で A/B テストの結果検証を行う方法の一例について紹介します。 エンジニアでも自分の関わった施策の効果検証のために簡単な分析をすることがあるかと思いますが、そんな時にこのエントリが役立てば幸いです。 なお、次のような方は対象外です。 A/B テストや KPI の設計に興味のある方 この辺には全く触れません プログラミング初心者 わからない単語が大量に出てくるでしょう R で統計学や機械学習の手法をバリバリ使いたい方 世の中の “分析” の多くは集計処理がメインです Python, Julia など既に分析する上で使い慣れた言語・ツールがある方 今回のエントリ程度の内容であればわざわざ乗り換える必要もないでしょう OS は Mac を前提として説明するので、Windows
6. 1.統計学の基礎 1.1 統計学とは 1.2 統計データと統計手法 1.3 統計データの分析プロセス 2.1次元のデータ 2.1 度数分布とヒストグラム 2.2 代表値 2.3 散らばりの尺度 3.2次元のデータ 3.1 2次元のデータとは 3.2 散布図と分割表 3.3 相関係数 3.4 直線および平面のあてはめ 4.確率 4.1 ランダムネスと確率 4.2 標本空間と事象 4.3 確率の定義 4.4 加法定理 4.5 条件付確率と独立性 5.確率変数 5.1 確率変数と確率分布 5.2 確率変数の期待値と分散 5.3 モーメントとモーメント母関数 5.4 チェビシェフの不等式 5.5 確率変数の変換 6.確率分布 6.1 超幾何分布 6.2 二項分布とベルヌーイ分布 6.3 ポアソン分布 6.4 幾何分布と負の二項分布 6.5 一様分布 6.6 正規分布 6.7 指数分布 6.8
最近は業務で、ソーシャルゲームの分析&改善施策の提案を行っています。そこで、本ブログではミニ連載という形で、ソーシャルゲームの分析手法について紹介をしていきます。基本編は8回程度を予定しており、好評であれば応用編も書きます。第3回は「継続率」に関してです。 ■過去の連載記事 ソシャゲ分析講座 基本編(その1):「売上の方程式」を理解する ソシャゲ分析講座 基本編(その2):「DAU」を理解する ソシャゲ分析講座 基本編(その3):「継続率」を理解する ソシャゲ分析講座 基本編(その4):「スペンド率」を理解する ソシャゲ分析講座 基本編(その5):「ARPPU」を理解する ソシャゲ分析講座 基本編(その6):「4つのステージとKPI」を理解する ソシャゲ分析講座 基本編(その7):「イベントの分析」を理解する(前編) ソシャゲ分析講座 基本編(その8):「イベントの分析」を理解する(後編)
僕の得意分野は計量時系列分析(Econometric time series analysis)なんですが、実際にソーシャルwebサービス企業でデータ分析に取り組む上ではそんなに細かいことやる必要はない、というかそこまで正確な分析をする前に実務上色々やるべきことがある、ということは結構多いです。 実際のところ、本当は異常値検出・外れ値検出みたいな手法でゴリゴリやりたい(例えばyokkunsさんが提供なさっているRの{ChangeAnomalyDetection}パッケージとか、はたまた{tsDyn}パッケージでも実装されているようなSETARとか、もしくは{MSwM}パッケージでやれるマルコフ状態転換モデルとか)んですが、Rを使ってもらうだけでも一苦労という現場ではそうも言ってられないという実態もあります。 ということで、もう何もかも面倒なのでお手軽に「KPIの上がり下がりを見て『これ凄く
概要 ここしばらく某社でデータの解析基盤を構築する仕事に携わっています。一からの構築になるので打てる手が多く楽しい一方で、適切な判断を下すのは難しいと実感しています。 解析基盤というのはもちろん解析を行うためのものですので、どう解析を行うかによってどういう基盤を構築していけばよいかが決まります。 ところで、データ(構造や収めているDBなども含めて)というのは寿命の長いもので、初期の設計を間違えてしまうと、その時点で戦略的な敗北は決まってしまいます。その後は運用しながら変更可能なところでゲリラ的に対応していくしか手を打てません。 そのため、実際に構築を行う前に、求められている解析がどのようなものかを十分に吟味した上で、適切なハードウェア、ミドルウェア、データ構造を選択し基盤を構築していくことが大変重要です。 着目すべき点 では解析のどのような点に着目すればよいかというと、私は次の5点を考えて
はじめに 先日、「言語研究者のための統計の学び方―基礎を身につける」という記事で、統計の基礎の学び方を紹介した。そこで紹介したことを学ぶだけでも、結構色々な言語研究ができる。だが、もう少し本腰を入れて言語研究をする場合は、統計に関して、より高度な内容を学んでおく必要がある。 今回は、統計の基礎を学び終えた言語研究者が次にどう勉強していけば良いかについて紹介する。 この記事で扱う内容 先日書いた「言語研究者のための統計の学び方―基礎を身につける」という記事では、統計の基礎をどう勉強すれば良いかについて触れた。今回は、より高度な内容を学ぶためにはどうすれば良いかについて紹介したい。図示すると、以下のとおりになるだろう。 言語研究者のための統計の学習順序 上に掲げた図からも分かるように、今回扱う内容は、「コーパス処理向け」・「言語実験向け」・「言語教育向け」の3つに分かれている。このように分けた
総和 総和と言っても、ピンと来ない人もいる。要するに与えられた規則に基づいて、数を足していくだけの話なのだけれども、慣れないとどういったものだか分かりづらいところがある。 総和記号の使用例 \[ \sum_{n=3}^{7} 2i = 2 \cdot 3 + 2 \cdot 4 + 2 \cdot 5 + 2 \cdot 6 + 2 \cdot 7 \] いずれにせよ、統計の教科書では、総和の記号がよく出てくるので、総和記号の取り扱いに把握しておくと統計が理解しやすくなる。高校の教科書だと、普通、数列について扱っている章に載っている。 組み合わせ論と確率 組み合わせ論と確率については、統計の入門書にもしっかり載っているので、特に力を入れる必要はないと思う。「そう言えばこんな感じなのだな」と、軽く確認するだけで十分だ。 対数 言語現象は対数の形で表されることが多いので、しっかり把握しておくこ
久しぶりの投稿です。この一年間、Rの勉強会などに参加したり主催したりしてきて、後輩や勉強会の方々の話をいろいろ聞くとこができました。そんな中、一年間でRと統計学・機械学習を身に付けれるようなフローを作れるかも?と思ったので、ここで記録しておきます。統計学や機械学習は理論を勉強するだけでなく、Rで実際に解析してみることで、より理解が深まります。 ステップ1. 分布・検定 理論 統計学入門 (基礎統計学?) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メディア: 単行本購入: 158人 クリック: 3,604回この商品を含むブログ (79件) を見る R本 Rによるやさしい統計学 作者: 山田剛史,杉澤武俊,村井潤一郎出版社/メーカー: オーム社発売日: 2008/01/25メディア: 単行本購入: 64人 クリック: 782回この商品を含
私がよく参考にする所を三箇所紹介します。いずれも、説明が極めて明瞭で、論理的な整合性や用語の丁寧な使い方を志向している所に好感が持てるサイトです。 ▼Econom01 Web Site, Sophia University, Tokyo, Japan 上智大学の大西博氏のサイト。私が統計関連で最もよく参照する所です。説明の仕方の明瞭さや、具体例を用いた解説がとても良いと思います。確率統計の一つ一つの概念について、大変丁寧に説明されています。たとえば、「相関(および因果関係)」については、 2つの変数の同時分布と、その条件付き分布は、変数の間の数量的結び付きを示しています。この数量的結び付きは、統計的頻度分布として観察されるものであり、現象の背後にある実態的な「関係」や「構造」から導かれる法則性を必要としません。 例えば、人間の身長と体重とは密接な統計的分布関係を持っていますが、両変数を決定
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く