【基本】平均値・中央値・最頻値はどう使い分ける？ | なかけんの数学ノート
主なデータの代表値に、平均値、中央値、最頻値の3つがあります。どれも、データ全体の特徴を表すものですが、どうして代表値が3つもあるのでしょうか。「1個なら覚えるのも楽なのに！」と言いたい人もいるでしょう。また、結局どれを使えばいいのかわからないという人もいるかもしれません。 ここではそういった疑問について考えていきます。3つの代表値のメリット・デメリットや、使い分けについて考えていきます。 各代表値の得意・不得意 代表値とは、データ全体の特徴を表した値のことです。平均値は、「すべての数値を足して、数値の個数で割ったもの」、中央値は、「数値を小さい方から並べたときに、真ん中に来るもの」、最頻値は、「一番個数が多いもの」です。どれも「データを特徴づける値」ですが、それぞれの代表値には、得意・不得意があります。 データが次のようにきれいな左右対称の山の形に分布していた場合は、平均値も中央値も最頻
統計データ・市場調査データを提供するサービス11選
業界の市場動向を調べる際に、皆さんはどのように根拠データを入手していますか？自社のホームページに新規コンテンツを立ち上げたい時、どの方向に展開をしていけばそのマーケットを押さえることができるでしょうか。これらを解決するのが、Web上で閲覧できる統計や調査データの数々です。各企業が自社で調査した数値を公開しているものもあれば、国が統計データとして公開しているものもあります。 今回は調査や統計データを入手できるサイト、調査機関のサイトをまとめました。皆さんのビジネスにお役立てください。 ※データの引用や利用にあたり制限がある場合があります。詳しくは各サイトの利用規約などをご確認ください。 統計データや市場調査データが公開されているサービスまとめ 総務省統計局 http://www.stat.go.jp/ 今回紹介する中では最も利用され、また目にする機会も多い調査の一つかもしれません。総
「統計学」が会社を救う！ 銘酒「獺祭」誕生秘話 | 週刊ダイヤモンドの見どころ | 週刊ダイヤモンド
『週刊ダイヤモンド』2015年１月31日号は、「統計学 自由自在！」。その中から、経営難で杜氏から見放された山口県の酒蔵、旭酒造が、徹底したデータ管理で杜氏抜きの酒造りを成功させた逸話をお送りします。 「目的は杜氏に頼らない酒造り。杜氏に頼っている限り、若い人に技術移転ができないからだ」。旭酒造の桜井博志社長は、酒造りの素人がデータ重視の科学的な酒造りを始めた理由をそう語る。 同社の「獺祭」は純米大吟醸酒のトップブランドとして知られ、品薄が常態化している人気の酒だが、実は1999年に存続の危機にひんしたことがある。 山口県の山奥の小さな酒蔵だった旭酒造が全国で注目を集めるようになったのは、桜井社長が主力商品だった普通酒を捨て、製造コストが5倍も掛かる高品質な純米大吟醸酒一本に絞ることを決断してからだ。90年には酒造米の最高品種である山田錦だけを使った「獺祭」ブランドを誕生させ、大消費地・東
どちらも一長一短の「短時間集中 vs 長時間ダラダラ」 - StatsBeginner: 初学者の統計学習ノート
効率的なコードが書けない 年末年始、帰省してたのですが、12/28〜1/2ぐらいまで、実家の部屋にこもってずっと実験データの分析をやっていました（たまに家族で食事に出かけたりした）。 まともな体勢で寝た日が１日ぐらいしかなく、机の後ろにベッドがあるので後ろに倒れ込むような形で仮眠してたら朝になってたみたいなのが続き、脚とかがむくんできました。 といっても、大した分析をやったわけではなく、ごくありきたりな分析を何パターンもやってただけなのですが、データの種類が多かったので前処理部分でやることが色々あったのと、あとは単純作業を自動化するプログラミングのスキルが不足しているせいで、時間がかかってしまいました。 一回書き上げたコードや計算結果を見なおしていて、何か前提とか処理方法の間違いに気づいた時、効率的に書けていればごく少数の箇所を直すだけでいんでしょうが、そういうのがまだ全然できないです。
統計学の初心者が入門として最初に読むべき一冊｜Colorless Green Ideas
統計についてほとんど何も知らない人が読むべき本としては『マンガでわかる統計学』が一番のおすすめである。 『マンガでわかる統計学』 「統計って、今まで全然勉強したことはないけれども、将来必要になるかもしれないから、勉強してみようかな」とか、「統計を勉強してみたいとは思ってるんだけど、何から始めれば良いか見当がつかないんだよね」と思っている人は少なくないと思う。こうした人、すなわち統計学についてほとんど何も知らない人は何を使って勉強し始めれば良いのだろうか。 こうした初心者は、まず入門として『マンガでわかる統計学』という本を読むのが良いと私は考えている。この本は、統計に関する知識がほとんどない人にとって、わかりやすく、そして取り組みやすい本だ。 高橋信. (2004). 『マンガでわかる統計学』 東京：オーム社． この『マンガでわかる統計学』という本は、統計について特に何も知らない女子高生のル
【宣言】統計の勉強をはじめます！（分かりやすい統計の本を買いました） - Livre para Viver
こんにちは。 博論の修正中です。博論の修正も先が見えず、博論提出後の来年の見通しも全くたたず、そんな中、子どもも産まれるので、嬉しくはありますが、不安な毎日を送っています。 突然ですが、統計の勉強を始めようかなと思っています。 はじめての統計学 学部生の時に、統計学の授業（年間３０コマの授業）を履修していました。 まず１年生の時に受講しました。このときは、再度受講したいために、聴講のような形で出席していました。 その後、留学から帰国した４年生の時に受け直しました。 私の出身大学は、入試の際に、数学が必要なく、しかも外国語学部のみの単科大だったため、統計学の履修者も数学が苦手、という人が多かったように思います。（まあ、それでも、本当に苦手な人はそもそも受けていなかったのですが） そんなわけで、本当に基礎の基礎を勉強したといった感じです。 挫折の連続 大学院に進学しても、そもそも統計的なアプロ
データ分析を「させる（依頼する）」側に最低限知っていて欲しい4つの分析コンセプト - 渋谷駅前で働くデータサイエンティストのブログ
世の中データ分析部門を立ち上げる企業が増えてきて、「データサイエンティスト」と名乗ろうが名乗るまいがデータ分析者を置いて様々なビジネス上のデータを分析させるところが目立ってきました。 でも、一方で実際のデータ分析者たちが何をやっていて、どういうアウトプットを出しているのか？について、きちんと理解している人はあまり多くなさそうに見えます。うっかりすると、「金とデータは渡すから良きに計らえ」*1ってところも少なくないかも。。。 それではあまりにもざっくりし過ぎているので、実際のデータ分析者がどんなことをしているのかを、超絶大ざっぱに4つに分けてみました*2。即ち、「回帰・分類・推定・予測」の4つのコンセプトです。今回はこの4つのコンセプトについて、データ分析を「させる（依頼する）」側の人たちに出来る限り分かりやすく説明してみようと思います。 ということで、データ分析を「させる（依頼する）」側の
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
自称、統計学をやっていますとドヤ顔するものなので - 驚異のアニヲタ社会復帰の予備
赤ちゃんに保湿剤を塗るとアトピー性皮膚炎が減るらしい。 赤ちゃんに毎日保湿剤 アトピー減 生後まもない赤ちゃんの皮膚に保湿剤を毎日塗ると、アトピー性皮膚炎になるリスクを30%減らすことができたとする研究成果を、国立成育医療研究センターのグループが発表しました。 特定の方法にアトピー性皮膚炎の予防効果があると証明できたのは、これが初めてだということです。 この研究を行ったのは、国立成育医療研究センターの斎藤博久副研究所長らのグループです。 グループでは、アトピー性皮膚炎になった家族が1人以上いる、生後まもない赤ちゃん118人を無作為に半分に分けました。 そして、一方のグループの赤ちゃんには、一般の薬局などで売られている保湿剤を毎日、全身に塗り、もう一方のグループでは皮膚の乾燥している部分にのみワセリンを塗りました。 そして8か月後に調べたところ、保湿剤を塗った赤ちゃんのグループでは19人がア
文系がゼロから統計を勉強するときに最初の１年で読むべき本 - StatsBeginner: 初学者の統計学習ノート
最初の１年で読むべき本を考える 私の統計学の理解はまだまだ初歩レベルに留まっていますが、昨日飲んでる時に「初心者向けの統計の本ってどういうのが分かりやすいですか」というようなことを訊かれて、「俺に訊かれてもあまり参考には……」とか思う一方、まだ初歩レベルの位置にいる人間だからこそ言える「この本が分かりやすかったよ論」ってのもあるよなと思ったので、現時点での読書感想みたいなものをメモしておきます。一昨年、統計の勉強を始めた頃の自分にむかって書いてる感じです。 理系の人とか、ある程度統計の理解ができている人からみれば、「本質的な理解のためにはもっと難しい本がいいよ」ってなるかも知れませんが、「いやそんな難しいの勧められても独学のモチベーションが続かねーよ」っていう立場でまとめておきますｗ ここでは、 統計の勉強はしたことがなく、標準偏差とか言われても意味分からない プログラミングも全くわからな
ミクロ計量分析の常識が身につく『実証分析入門 データから「因果関係」を読み解く作法』
各章のサブタイトルがアニメや時事ネタのパロディーになっていると話題の『実証分析入門 データから「因果関係」を読み解く作法』だが、法学セミナー連載「法律家のための実証分析入門」をまとめたもので、連載時の原稿が著者の森田果氏のページに微妙な形（dvi形式）で公開されていたので幾つかの章を拝読してみた。面白いし、ミクロ計量分析の常識が身につきそうで、分野外の人や学部生が読むと丁度よさそうな感じになっている。 常識と言うのは、専門用語と分析上の注意点のことだ。ミクロ計量分析をする人々は専門用語をそうではないように気軽に使うし、分析上の注意点も大雑把には共有している。この共有レベルが高いので、計量分析者の中には「クロスセクションではなくパネルでやってみたら・・・」「弱相関テストの結果・・・」「同時性が考えられるため・・・」のような事を、一般人にも容赦なく言うコミュニケーション障害者がよく稀に存在する
統計屋のためのAWK入門 - あんちべ！
はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。 AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです。 awk /fail/ input.txt つまり、スラッシュ記号で文字列を指定するだけで その文字列を含む行を抽出できるのです。 大変簡単ですね！ また、awkはLinuxやMacには標準で入っており、 Windowsでもawk.exeを一つ用意するだけなので、 面倒なインストール作業や環境構築は不要で誰でも即座に使えるため、 自分で書いた処理を他人に渡したり*2各サーバに仕込むなども簡単に出来ます。 複雑な処理をする場合はPythonや
時系列データの相関係数はあてにならない
元官僚の高橋洋一氏が時系列データの相関係数が高い事を論拠にしているが、この論証方法は全くもって厳密ではない。 計量経済学では時系列データの相関係数はあてにならない事は80年代から良く知られており、これに関連した業績でエングルとグレンジャーは、2003年にノーベル経済学賞を受賞している。 高橋氏のトリックを説明したい。世の中には時間とともに変化していくトレンド*1と言うのが多くある。このトレンドがあるデータを二つ比較すると、どちらも時間に対して相関しているため、相関があるように見えてしまう。 例えば戦後、一人あたりの米の消費量は減少し、コンピューターの普及台数は飛躍的に伸びたが、この二つの現象を結びつけて考える人はいない。しかし、米の消費量とコンピューターの普及台数は、高い相関を持つ事になる。 実データの場合は屁理屈をつける事も可能かも知れないので、シミュレーションして確かめてみよう。
速水桃子「パターン認識と機械学習入門」
250. Reference "Pattern Recognition and Machine Learning" Christopher M. Bishop Springer; 1st ed. 2006. Corr. 2nd printing edition (October 1, 2007) "Truth and Probability" Frank Plumpton Ramsey (1926) "The physical basis of IMRT and inverse planning" S Webb British Journal of Radiology (2003) 76, 678-689 251. Wikipedia 渡辺慧 http://ja.wikipedia.org/wiki/%E6%B8%A1%E8%BE%BA%E6%85 %A7 『No Free Lunch T
声優の誕生日のカレンダープロット - 驚異のアニヲタ社会復帰の予備
カレンダープロットなんてものを見てしまうと声優の誕生日でやってみたくなってしまう。 1月生まれが多そうな感じ。
異端的統計学者としてのナイチンゲール : 人類応援ブログ
そんな彼女に科学者、しかも「戦闘的」で「異端的」で「革命的」な「統計学者」としての顔があったことを、皆さんはご存知でしょうか。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本の深刻な殺人離れ
統計セミナーのご案内（大会連動企画：サンプルサイズの検討） ｜日本社会心理学会
統計の素人のMBA学生がある程度のレベルになるためのブックガイド - 競争と共創のあいだ
ワタクシが考える #文系がゼロから統計を勉強するときに最初に読むべき本
