統計検定を理解せずに使っている人のために I - J-Stage
318 化学と生物 Vol. 51, No. 5, 2013 セミナー室 研究者のためのわかりやすい統計学-1 統計検定を理解せずに使っている人のために I 池田郁男 東北大学大学院農学研究科 319 化学と生物 Vol. 51, No. 5, 2013 1 1 320 化学と生物 Vol. 51, No. 5, 2013 2 μ σ σ 3 * 2 3 * 321 化学と生物 Vol. 51, No. 5, 2013 4 * 5 * 6 σ 4 5 6 σ * * 322 化学と生物 Vol. 51, No. 5, 2013 μ μ μ μ μ σ 7 σ σ σ σ σ σ σ σ σ σ 8 8 9 7 σ 323 化学と生物 Vol. 51, No. 5, 2013 9 10 11 * σ σ * * * * 10 11 * * * * 324 化学と生物 Vol. 51, No.
[PDF]第10章 マルコフ連鎖モンテカルロ法入門
2019年10⽉1⽇ 統計科学のための電子図書システムは 統計数理研究所の機関リポジトリに移行しました。 移行後のページ
Microsoft PowerPoint - bayes-juku_2015_03010(public).pptx
専修大学 岡田謙介 第2回ベイズ推定WS Stanによるベイズ推定の可能性と課題 2015年03月04日 ベイズ塾 実践篇 STANの魅力・使い方 階層ベイズ、その他ベイズ統計いろいろ 2 「塾生」さんらよりいただいたお題 ①他のMCMC実行ソフトウェアにない、STANの特 徴 (STANのここがウリ!!という 点) ②STANでいくつかの代表的な統計モデルを推定 する際の実例や注意点 ③階層ベイズモデルによる推定 ④事前分布の設定方法 3 4 Stanの特徴 Stanは速いか？ 卒論生の研究より（神馬, 2014） Oh & Raftery (2001)のベイズ多次元尺度法モデ ルを用いて、同じシミュレーションデータで OpenBUGS （Brugs経由）とStan（RStan経由）の実 行速度を比較 標準正規分布（条件1）・自由度5のT分布（条件2） からの8x8の乱数データ生
機械学習のための仮説検定 | POSTD
統計学者は、さまざまな機械学習のモデルに関して、複雑な推論を行うべく多くの時間を費やしてきましたが、実は、これを完全に一般化できる非常に簡単で単純な方法があります。テストセットにある2つのモデルのパフォーマンスを、対応のあるt検定を使って比較するのです。 以下に詳細を記載します。 ある真の分散 $ (X,Y) $ から独立同分布で導かれた $n$ 対の $ (x,y) $ があるとしましょう。 “機械学習” は、 $ (x,y) $ の例が与えられた時、 $ x $ を使って $ y $ を推定しようとする問題です。 最終的に、 $ y $ の妥当な推定と思われる関数 $ f(x) $ を生成します。 典型的には損失関数 $ L(y,f(x)) $ を有していますが、この損失関数とは、推定がどれほど良好かを表すものです。 推定量は、期待損失 $ L(f)=E[L(Y,f(X))] $ によ
分子に1を足し、分母に2を足すだけで予測が良くなる話 - CARTA TECH BLOG
コインを投げを観測し、コインの表になる確率を予測するとき、みなさんはどのように予測するでしょうか。 （コイン投げに限らず、表か裏のように二値になるような予測であれば、例えば、広告のクリック率や、単語の出現率、ナンパの成功率でもなんでもいいです。） コインが表になる確率が0から1まで一様だ（まんべんなく出る）とすれば、n回投げてs回表を観測したら、平均であるs/nをその確率として予測するのではないでしょうか。 この方法をもっと複雑な言い方をすれば最尤推定(maximum likelihood; ML推定)とよびます。コインが表になる確率が一様という事前確率まで分かっている前提ならば、これは最大事後確率推定(maximum a posteriori estimation; MAP推定)ともいえます。なんか最強っぽいですよね。 他に方法があるのでしょうか。スムージングという方法もあります。スムー
Quick-R: Power Analysis
For each of these functions, you enter three of the four quantities (effect size, sample size, significance level, power) and the fourth is calculated. The significance level defaults to 0.05. Therefore, to calculate the significance level, given an effect size, sample size, and power, use the option "sig.level=NULL". Specifying an effect size can be a daunting task. ES formulas and Cohen's sugges
サンプリング時の最適なサンプルサイズをRパッケージ{pwr}で求める - 渋谷駅前で働くデータサイエンティストのブログ
最近、「ビッグデータ」というバズワードに対するアンチテーゼとして叫ばれるようになってきたのが、 「統計学ってのは限られたサンプル（抽出）データから、まだ見ぬ全体像を知るためのもの」「だからビッグデータなんて苦労して集める必要はない、サンプリングされたデータだけで十分だ」 という主張。えーと、半分はその通りだと思います。けれども、半分はそうでもないかなぁ、と。 何故なら、レコメンダーとかSPAMフィルタなどのバックエンドシステム開発では、できれば全数データを使って可能な限り精度を上げ続けた方が良いものが多いからです。だからHadoop以下大規模分散処理などの高度な手法を沢山駆使しているわけで、そこでは依然として全数データは非常に重要です。 一方、マーケティングなどでオフライン＆アドホックで分析する際には、そこまでやらんでもええやん的な状況は多くあります。手動でデータ分析したいんだけど、全数デ
Microsoft Word - EffectSize_KELES31.doc
『英語教育研究』31 (2008), 57-66. - 57 - 研究論文における効果量の報告のために ―基礎的概念と注意点― 水本 篤 （流通科学大学） 竹内 理 （関西大学） Basics and Considerations for Reporting Effect Sizes in Research Papers Atsushi MIZUMOTO (University of Marketing and Distribution Sciences) Osamu TAKEUCHI (Kansai University) キーワード： 効果量，統計的検定，検定力，サンプルサイズ，メタ分析 Keywords： effect size, statistical testing, power, sample size, meta‐analysis SUMMARY Reporting effe
ズバリ！ 必要なサンプルサイズはいくつ？ A/Bテストのための例数設計入門 - 廿TT
こういう状況を考える 広告 A と広告 B で CVR（コンバージョンレート）に差があるかテストしたい。しかも仮説検定をやりたい。 A/Bテストに長い時間をかけるのは無駄だからやめたい（リスティング広告でやってはいけない8つの施策 | スポンサードサーチ再入門 | Web担当者Forum） 一方で一定のクリック数がなくては判断できない（Sexyなリスティング広告プレイヤーになるために…、スライドを公開します。 | SEM-LABO） では、結局一定のクリック数っていくつあればいいの？ R で計算してみる。 用意するもの： 有意水準（α） 検出力（1-β） 広告 A の経験的 CVR 広告 B の期待される CVR ↑これらについては後で説明する。 CVR は CTR（クリック率）と読み替えてもらってもかまわない。なにかをなにかで割った「割合」なら同じように考えて問題ない。 広告 A という
ネットマーケティングにおける統計的検定の活用事例 – WebAntenna活用ノート
以前、バナー広告の2つのコンバージョン率(CVR)に差が出たのかを調べる手段として、次の2つの手段を取り上げました（コラム：「コンバージョン率に差が出たか見極めるには」を参照）。 真のCVRを推定する。 2つのCVRに有意な差があるか検定する。 しかし、これらの方法はCVRについてだけでなく、割合・比率を扱う他の場面で活用できます。特に2つ目の「2つのCVR（割合・比率）に有意な差があるか検定する」という方法は、以下の場合にも適用できます。 入り口別のコンバージョン率の評価 リスティング広告のコンバージョン率の評価 A/Bテストの結果評価 ダイレクトマーケティング・キャンペーンの比較評価 今回は、以前ご紹介した事例・検定方法を復習した後、活用範囲を広げられるような事例を2つご紹介します。 ■ 復習：バナー広告変更の効果を測定 以前のコラムでは、バナー広告のクリエイティブを変更した事例を取り
untitled
1 µ 2 σ 1 n i i x n = ∑ n µ 2 n σ x ( ) log x Shapiro-Wilk n 2 σ n σ2 n ( ) 2 1 n s − 2 σ n ( ) 2 1 n s − 2 σ 食品総合研究所 National Food Research Insitute, Japan 2 1) np nq 10 10 5 2)0.1 0.9 p ≤ ≤ 5 npq < 3) 25 npq < n p 1 q p = − (2003). , , , p.483. P ( ) 1 P P − n nP ( ) 1 P P n − n ( ) 1 P P n − Clopper&Pearson(1934) >> (141KB A4 3 ) (1981). 2 , , , pp.158-164. 2 2 2k n s CI ⎛ ⎞ ⎟ ⎜ ≈ ⎟ ⎜ ⎟ ⎟ ⎜ ⎝ ⎠
A/Bテストと統計的検定の注意点(その1) - ほくそ笑む
素晴らしい記事が上がっていたので言及したい。 仮説検証とサンプルサイズの基礎 - クックパッド開発者ブログ この記事では、A/Bテストにおいて、意味のある差が出たかどうかを統計的検定を用いて判断する方法を説明しています。 Web上にある多くのA/Bテストの記事と異なるのは、単に検定手法にデータを突っ込んでp値を出すのではなく、 意味のある差とは何かを事前に決定する サンプルサイズを事前に決定する という統計的検定のフレームワークに則ったまともな方法で判断を行っているという点です。 よく言われる統計的検定は無意味だなどという言論の多くは、このフレームワークを使っていないだけに過ぎず、不確実な事象に対する科学的な検証方法として、統計的検定のフレームワークの強力さはいまだ健在です。 さて、統計的検定のフレームワークについては上の記事および記事中で紹介されている参考文献にお任せするとして、ここでは
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
「p値や有意性に拘り過ぎるな、p < 0.05かどうかが全てを決める時代はもう終わらせよう」というアメリカ統計学会の声明 - 渋谷駅前で働くデータサイエンティストのブログ
以前から同様の指摘は様々な分野から様々な人々が様々な形で出してきていましたが、アメリカ統計学会が以下のような明示的な声明をこの3月7日（現地時間）に発表したということで注目を集めているようです。 AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ON STATISTICAL SIGNIFICANCE AND P-VALUES Provides Principles to Improve the Conduct and Interpretation of Quantitative Science https://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf The ASA's statement on p-values: context, process, and p
Free Intro Statistics Course
Get ready to analyze, visualize, and interpret data! Thought-provoking examples and chances to combine statistics and programming will keep you engaged and challenged. Get ready to analyze, visualize, and interpret data! Thought-provoking examples and chances to combine statistics and programming will keep you engaged and challenged.
Difference between Machine Learning & Statistical Modeling
One of the most common question, which gets asked at various data science forums is: What is the difference between Machine Learning and Statistical modeling? I have been doing research for the past 2 years. Generally, it takes me not more than a day to get clear answer to the topic I am researching for. However, this was definitely one of the harder nuts to crack. When I came across this question
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://hosho.ees.hokudai.ac.jp/~kubo/stat/2014/nicoFeb/kubo2014nicoFeb.pdf
PDF:階層ベイズモデル
Online Statistics Course | Intro to Statistics
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
