平均値に関して広まった迷信?1/3 文責 : 神山 敏 平成28年7月6日 (1) 最近のできごと 大気への排出係数を施設ごとに算出し、それらの「平均値」を算出することになった。その目的は、「全国排出量を推計するための排出係数」を設定することである。 その際、関係者の間で「どのように平均値を算出すべきか」が議論となった。平均値といっても、算術平均とか加重平均とか幾何平均とか、いろいろな種類の平均があるではないか・・・という議論である。
平均値に関して広まった迷信?1/3 文責 : 神山 敏 平成28年7月6日 (1) 最近のできごと 大気への排出係数を施設ごとに算出し、それらの「平均値」を算出することになった。その目的は、「全国排出量を推計するための排出係数」を設定することである。 その際、関係者の間で「どのように平均値を算出すべきか」が議論となった。平均値といっても、算術平均とか加重平均とか幾何平均とか、いろいろな種類の平均があるではないか・・・という議論である。
検定は有意差を知るための、代表的な統計学の手法です。 有意差検定のやり方 【検定を分かりやすく説明します】基本的に仕事で気になるのは、平均値の有意差ですがおそらくそれと同じくらいに気になるのが、“ばらつき”の有意差だと思います。 という事で今回はばらつきの検定である、F検定を紹介していきます。 このF検定は様々な場面で活用する機会がありますから、ぜひ使えるようになってください。 動画でも解説しています。 参考になったら、ぜひチャンネル登録とグッド評価をお願いします。 F検定って何? F値とは?まず気になる事があると思います。 F検定のFって何? って事です。 これはこの手法を作った(というか推計統計学のパパ)R.A.フィッシャーのFです。 そしてこのF検定では ・F値 とそのF値がとる ・F分布 を使用して検定を行います。 という事で、まずはF値を解説いたします。 F値というのは、ズバリ分
実験はギャンブルのようなもので、 どんな結果が出るかはわからないが、 実験計画を立てる。 「2群に差がない!」という帰無仮説を立てる。 群間のサンプルの選択は公平にしなければならないが、 勝率が高くなるような実験計画をデザインも必要である。 生物実験では、物理科学実験とは異なり、 得られるデータは必然的にばらつきを伴う。 測定者による誤差 ---実験技術の向上に伴い、 データの信頼度は上がる! 測定装置、あるいは測定方法による誤差 測定されるものの性質による個体差
【宣伝】2016/09/14 このページに来た方へ。あなたが求めている本はこれです。 StanとRでベイズ統計モデリング (Wonderful R) 作者: 松浦健太郎,石田基広出版社/メーカー: 共立出版発売日: 2016/10/25メディア: 単行本この商品を含むブログ (10件) を見るまずこれを予約してから下記を読むといいです。 【宣伝終】 最近、ベイズ統計の入門書がたくさん出版されているので、ここで一旦まとめてみようと思います。 1. 基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による実践的入門 (2015/6/25) 基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による実践的入門 作者: 豊田秀樹出版社/メーカー: 朝倉書店発売日: 2015/06/25メディア: 単行本この商品を含むブログ (6件) を見る データ分析業界ではかなり有名な豊田秀樹先生の本です
このセミナー、冒頭の渋谷 直正さん(日本航空 旅客販売統括本部Web販売部 1to1マーケティンググループ アシスタントマネジャー)のお話がとても参考になりました。 まず、渋谷さんはご存知のように、2014年に「データサイエンティスト・オブ・ザ・イヤー」を受賞され、ビジネス・サイドにおける、データサイエンスのリーダー的存在です。 その渋谷さんの「実務で使う分析手法は5つで十分、マーケターこそデータサイエンティスト候補」という講演は、多くの示唆に富んだものでした。 まず、みなさんが気にしている5つの手法とは、 クロス集計 ロジスティック回帰 決定木 アソシエーション分析 非階層的クラスター分析(k-meansなど) の5つです。統計の教科書にはさまざまな手法が出てきますが、マーケターが実務で使うのはこの5つ程度だと説明されるのです。でも、この説明には、私も思い当たる部分があります。東大の数学
統計をこれから学ぼうという方にとって、非常に重要な概念ですが理解が難しいものに「標準偏差」があると思います。「平均」くらいまでは馴染みもあるし、「わかるわかるー」という感じと思いますが、突如現れる「標準偏差」 の壁。結構、この辺りで、「数学無理だー」って打ちのめされた方もいるのではないでしょうか。 先にグラフのイメージを掲載すると、下記の赤い線の長さが「標準偏差」です。なぜこの長さが標準偏差なのか、ということも解き明かしていきます。 (code is here) 本記事では数学が得意でない方にもわかるように1から標準偏差とはなにか、を説明してみようという記事です。 数式はわかるけど、イマイチ「標準偏差」の意味わからんという方にも直感的な理解がしてもらえるような説明もしていきますので、ぜひご覧ください。 (※ この記事では標準偏差の分母に $n$を使用しています。$n-1$を使用するケースも
1:以下、\(^o^)/でVIPがお送りします 2014/06/11(水) 01:29:19.45 ID:1ybSD3q90.net
線形代数に固有値という概念が出てきます。最初はイメージしにくいのでは、と思うのですが重要な概念かつ、統計学でも頻繁に利用されるので、これもこの可視化シリーズとしてアニメーショングラフを書いて説明することを試みたいと思います。 このようなグラフの意味を読み解いていきます。 1.固有値・固有ベクトルとは? まず、固有値・固有ベクトルとはなんぞや。数式で表すと下記のことです。 ${\bf x}\neq {\bf 0}$の${\bf x}$で、行列Aをかけると、長さが$\lambda$倍になるような${\bf x}$の事を固有ベクトル, $\lambda$を固有値と言います。 知らない人は???で、これだけではよくわからないですね。 早速、グラフィカルな説明も交えて説明していきたいと思います。 2.行列Aによる線形変換 固有値・固有ベクトルの説明の前に、行列による線形変換について取り上げます。 例
こんばんは。最近めっぽう暑くて困ってしまいますね。 暑いといえば、こないだの大阪都構想選挙は予想以上にアツい戦いとなりましたね。関係者でもないのに、ハラハラしながら見てしまいました。ところで、開票速報を見ていて、いきなり『多数確実』と表示されてびっくりしたのは、わたしだけではないかと思います。 こんなに接戦な上に、どうして残り19%も未開票なのに、多数確実なんだろう?ヽ(`Д´)ノ と思われた方も多いのでは無いでしょうか?? そこで、今回はいわゆる『当選確実』がどのように出るのかについて、考えてみました。 『当選確実』の統計学 開票速報を行い、投票数の50%を取れば、他の票全てが反対側に回っても結果が覆ることは無いため、『当選確定』と言えます。一方、『当選確実』はこれまでのデータから、他の票数の動きを予想しても『ほぼ間違い無いでしょう』といえる状態です。 統計の世界では、『少ないサンプルか
統計の話題で、こういう誤りをよく見るなあ、とか、ここら辺はややこしいなあ、的なものを、エッセイ風に書いてみます。 各トピックの最後に、参考資料を紹介したりします。 色々な話題を扱うので、エントリー全体で、このくらいの知識を持っている層向け、みたいな想定はしていないです。下に行くほど、知っている人向けになる、という感じ。 標本数と標本の大きさ 調べたい集団全体から採り出した個体の数の事を、標本数と書くのをよく見かける。でも正確にはこれは、標本の大きさと言う。この違いは、標本という言葉をどのように捉えるか、に起因するもの。標本を、調べたい集団に属する要素と考えるか、含まれる集合と捉えるか。前者で考えると標本数を使う事になるけれど、抽出した集まりそのものを標本とすれば、標本数とは言えなくなる。で、集合に属する要素の数の事を、集合論では大きさというので、それを踏まえて、標本の大きさと言う。 たとえ
どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学(様相論理)へと語る流れ(ここのスライド前半参照)になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準(ここのスライド後半参照)の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが(予告)、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には
まちがえるな、統計学は道具だ。統計は学ぶものではなく、使うもの。 これはわたし自身への戒言。だから、使い方を誤らない程度に理解していればいいし、そのために教科書をイチから読み込む必要も、Rをマスターする必要もない。もちろん様々な武器(統計手法)が使えるに越したことはないが、次のような問題と向き合っているなら、本書をオススメする。 あと500人お客を呼び込むためには、いくら広告費が必要か? カスタードケーキがチョコパイに勝つには、「味の改良」と「販促キャンペーン強化」のどちらが有効か? クラス全体の成績が低迷している。国語と数学の両方が苦手な生徒だけ補習したほうがいいのか、全員に国語の補習をしたほうがいいのか 前任者から引き継いだデータが大量にあるが、それぞれの関係や着眼点がまとめられてない。どこから手をつければいいか? 社内のKPI(Key Performance Indicator :
_ 統計の教科書を公開 2013年度の学部の講義「統計学」で使用するための教科書を公開します. http://ruby.kyoto-wu.ac.jp/~konami/Text/ このテキストは,今年度まである出版社から出してもらっていたのですが,かなりの訂正と加筆を行い,元の本からはかなり内容が離れてきてしまいました.また出版社も,売れ行きがぜんぜん悪いし,カリキュラムが変わって100人以上いた受講者が30人程度に激減して儲けのタネにならなくなり,書店から引き上げてしまったようです. そこで,思い切って改訂版はネットに公開して一般の人に自由に使ってもらい,学生が授業で使う分については,小部数印刷の業者に必要なぶんだけ印刷製本してもらうことにしました.なんと2日で製本までやってくれるということで,初回の授業で注文をとってから印刷すれば,次の講義では使えるわけです.便利な世の中です. どんな教
もちろん僕はそういうアツさが決してキライではない。だから確かに一読の価値はある内容だとは思う。ただ、「これからの10年で最もセクシーな職業」というハル・ヴァリアンの有名な台詞に言及してはいるものの、本書の中身からは統計学のセクシーさが最後まで伝わって来なかったのが、個人的にはとても残念でならない。 以下の3冊と比肩するくらいの、セクシーでワイルドでエキサイティングな統計学書が登場したかと思ったのだが、果たしてそれは期待し過ぎだっただろうか。
マイクロソフト社が技術分野でもっと熱い専攻の一つとして分析/統計をあげている(Microsoft JobsBlog)。同社以外でも統計学は、今後最も有益なスキルの一つだと考えているようだ(NYT - For Today’s Graduate, Just One Word: Statistics)。しかし、データマイニングの話も一般化しつつあって学習ノウハウなども公開されているが、経験にあわない部分が多い。統計学を初めて勉強するときに知っておいた方が良い7つのポイントをあげてみた。 1. 学習機会やテキストは山のようにあるので利用する 確率・統計の日本語テキストは山のようにあり、大学のコースワークを振り返っても、理文問わずにほとんどの学部で確率・統計はあったはずだ。大学院のコースワークでは英語の文献を好む傾向があるが、上級テキストでも日本語のものも少なくない。また「マンガでわかる統計学」のよ
Rは統計解析を行うことができる強力なツールです。計算上の信頼性はとても高く、世界中の分析者が日々分析用パッケージを公開しております。近年では行政機関で使われているという事例もちらほら聞きます。 ・姫路市役所での事例 これまでSASは使ってきたけどRは全く使ったことがない!JAVAとかC++とかガリガリ書けるけどRはよく分からない!という方々がすんなりRの世界に入れるよう、資料の探し場所や導入部分をまとめておきます。 ※まだ不完全ですが情報を入手し次第アップデートしていきます。 1. 資料を探す場所 CRAN R本体、パッケージ、PDF資料などの置き場 Task Viewに分野ごとのまとめ Searchでパッケージや資料の検索 CRANの読み方は「しーらん」派と「くらん」派でわかれる(どっちでもいいw) Rjpwiki 日本語で書かれている、これまでのRに関する資料の集大成 データの加工技、
分かっているようで意外と分かっていないのが回帰分析です。回帰分析の考え方をできるだけ図だけで説明した資料を作りましたので、適宜ご参照ください。 「(ほぼ)図(だけ)で説明する回帰分析」(PDF) 主な内容は、以下のとおりです。 説明変数と撹乱項の相関の理解 予測値の信頼区間をプロットすることの重要性の理解 「変数をコントロールする」ということで曖昧に理解されている内容の理解
googleさんやマイクロソフトさんは「次の10年で熱い職業は統計学」と言っているようです。またIBMは分析ができる人材を4,000人増やすと言っています(同記事)。しかし分析をするときの基礎的な学問は統計学ですが、いざ統計学を勉強しようとしてもどこから取りかかればいいか分からなかくて困るという話をよく聞きます。それに機械学習系の本は最近増えてきましたが、統計学自体が基礎から学べる本はまだあまり見かけないです。 そこで今回は、統計学を初めて勉強するときに知っておいた方が良い10ポイントを紹介したいと思います。 1. 同じ手法なのに違う呼び名が付いている 別の人が違う分野で提案した手法が、実は全く同じだったということがあります。良く聞くのは、数量化理論や分散分析についてです。 数量化理論 数量化I類 = ダミー変数による線形回帰 数量化II類 = ダミー変数による判別分析 数量化III類 =
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く