統計の基本事項
トップページ→研究分野と周辺→システムの評価→ 基本統計量 平均（算術平均）値は、（データ値の総和）÷（データ数）となる。（或るデータの値）－（平均値）を、そのデータの偏差という。偏差の絶対値の大きいデータが多ければ、そのデータ群はばらつきが大きい。データ群のばらつきの大きさを単純に偏差の総和とすると、偏差には正負があるので相殺されてしまう。 そこで、各データの偏差を二乗する（こうすれば必ず正の値になる）。（各データの偏差の二乗の総和）÷（データ数）をそのデータ群の分散と呼び、ばらつきの大きさを表す。また、分散の平方根を標準偏差という。英語では偏差はDeviation、分散はVariance、標準偏差はStandard Deviationとなるので、標準偏差はS.D.と略記される事も多い。 統計の最も基本的な量である基本統計量としては、他に最大値、最小値、範囲（最大値－最小値）、中央値（デ
究極のデータサイエンティストVS至高のデータサイエンティスト - Analyze IT.
ネットで面白いコピペを発見したので貼り付けておきますね。 山岡「こちらが我々の考える究極のデータサイエンティストです。」 京極「なんやて、経済学部出身やないか！ITに統計学、業務、この中で先の二つの技術的素養が必要なデータサイエンティストには理系出身者が定石やで山岡はん。」 山岡「確かに、数学のスキルが要求されるデータサイエンティストには普通の文系出身者は厳しい。しかし、彼の学部時代の専攻は計量経済学。実務では高度なアルゴリズムやビックデータの解析基盤の構築のスキルなんか本当は必要ない、経済学の手法が求められているんだ。」 京極「なんやてっ！」 山岡「ビッグデータといっても、小売りの場合大きくて１千万件程度、普通のRDBMSで処理可能だし、非構造化データなんて必要ない。アルゴリズムもSPSSやRなんかのツールに入力して結果を解釈できれば十分なんだ。一方で、政府の統計を駆使して地域の需要を推
統計を学びたい人へ贈る、統計解析に使えるデータセットまとめ - ほくそ笑む
はじめに 統計解析の手法を学ぶのに、教科書を読むのは素晴らしい学習方法です。 しかし、教科書で理論的なことを学んだだけでは、統計手法を使いこなせるようにはなりません。 統計解析手法を身につけるには、実際のデータについて手法を適用し、パラメータを変えるなどの試行錯誤を行い、結果を考察するというような経験を積むことが大切です。 それでは実際のデータをどうやって手に入れましょうか？ 実験や調査をして実際のデータを得るのは大変でお金もかかります。 幸運なことに、世の中には適度なサイズの自由に使えるデータがたくさん存在します。 例えば、統計言語 R には、100以上ものデータセットがデフォルトで付属しています。 ただし、不幸なことに、それらのほとんどは英語で説明が書かれています。 英語は、いつかは乗り越えなければならない壁ですが、最初のうちはちょっと避けて通りたいところです。 というわけで、今日は、
女性を無視したマーケティングがどれだけ痛いかがわかるデータたち – TechDoll.
どんどんパワーアップしていく女性たち。女性の収入はどんどん上がっているし、家庭でお財布の紐を握っているのも女性。そんな女性を理解するためのデータがTheNextWebにあったので紹介するよ。 米国では、購入判断の85%を女性が決めたり影響したりしてるそう。従来の男性商品に関しても、その50%以上を女性が購入している。その一方で、女性の91%が、マーケターや広告主は自分たちを理解していないと回答してる。 収益力 1. 平均的なアメリカ人女性の収入は2028年には男性を上回ると予測されている 2. 米国の私有財産の51%が女性によってコントロールされている 3. 米国の持ち株制度の50%以上が女性によって保持されている 4. 米国の個人資産の60%以上を女性がコントロールしている 女性の購入パワー 5. 自動車からヘルスケアまで、消費者購買の85%は女性によって行われている 6. ヘルスケア関
データマイニングで使われるトップ10アルゴリズム - データサイエンティスト上がりのDX参謀・起業家
2006年のデータマイニング学会、IEEE ICDMで選ばれた「データマイニングで使われるトップ10アルゴリズム」に沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は原論文をご確認下さい。また、データマイニングの全体観をサーベイしたスライド資料がありますので、こちらも併せてご覧下さい。 データマイニングの基礎 View more presentations from Issei Kurahashi 1. C4.5 C4.5はCLSやID3といったアルゴリズムを改良してできたもので、決定木を使って分類器を作ります。決定木といえばCARTが良く使われますが、CARTとの違いは以下のとおりです。 CARTは2分岐しかできないがC4.5は3分岐以上もできる C
『シルシルミシル』(2011/5/4)が調べた日本人の誕生日に関するランキング｜Time files ～風に吹かれて～
Time files ～風に吹かれて～ 水郷(みさと) が 綴(つづ)る 小さな日々 -episode 2011- PR カレンダー <<5月>> 日 月 火 水 木 金 土 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 プロフィール 『2011年5月4日放送の『シルシルミシル… 6時間前 »なうを見る プロフィール｜なう｜ピグの部屋 ニックネーム：水郷 誕生日：6月23日 血液型：AB型 ブログジャンル：つれづれブログ/日々のできごと メッセージを送る アメンバーになる プレゼントを贈る [記事作成・編集] 最近の記事一覧 『シルシルミシル』(2011/5/4)が調べた日本人の誕生日に関するランキング モドカシ 2011/05/03 AMXX:XX 2004年6月2
世界の見方が変わる地図たち - GAGAZINE（ガガジン）
世界の見方が変わる地図たち 今回は、world mapper.com を紹介するよ。 このサイトでは、世界各国の人口、輸出入品目、平均寿命などのさまざまな統計を、世界地図の形で視覚的に表しているんだ。きっと世界の見方が変わると思うよ（ミシガン大学とシェフィールド大学の研究者が作成していて、ソースが示されているから信頼性もあるよ。統計の基準年は断りのない限り2002年だよ） クリエイティブ・コモンズ・ライセンス表示 © Copyright SASI Group (University of Sheffield) and Mark Newman (University of Michigan). -------- まずは面積 メルカトル図法にだまされてたけど、実は日本ってそれほど小さくないよね？ これを人口比に対応させると うわ、中国が広がるのは予想してたけど、インドも大きいね！そしてロシアが
第1回 Rは統計解析のブッシュナイフだ - 実践！ Rで学ぶ統計解析の基礎 - ＠IT
今ほど統計解析が必要とされる時代はありません。オープンソースの統計処理言語・環境の「R」を使って実践的な統計解析のテクニックとリテラシーを習得しましょう！ 読者にとってRは、世に溢れるデータの密林を切り開くための“ブッシュナイフ”となることでしょう（編集部） 統計解析の必要性とリテラシー 21世紀になって、経営学者の故ピーター・ドラッカー氏が言うところの知識労働者は、ますます統計解析を必要する局面が増えてきました。この状況は、20世紀後半から21世紀に起きた計算機能力の増大とインターネットの発展を基礎に、3つの大きな潮流が現れたことがキッカケとなっているように思います。その3つの潮流とは、オープンソース、オープンデータ、そしてオープンアイデアです。後ろの2つは今筆者が名付けました。 オープンソースは、皆さんがご存知のように、Linux、Apache、Perl、Python、RubyなどのO
実践! Rで学ぶ統計解析の基礎 | wrong, rogue and log
告知です。@ITのCoding Edigeというフォーラムにて「実践! Rで学ぶ統計解析の基礎」という連載を始めました。第一回は「Rは統計解析のブッシュナイフだ」と題して、連載の仁義を切ることとRを用いたカイ二乗検定の導入を書きました。 第1回 Rは統計解析のブッシュナイフだ http://www.atmarkit.co.jp/fcoding/articles/stat/01/stat01a.html この連載では、実務者が公知になっているデータ（「オープンデータ」と連載では呼んでいます）を利用して、手でRを動かしながら統計解析を実践するように企画しました。そして、読者がそのことによって、統計的なリテラシーを喚起されたり、統計的な認知モデルを頭に描いたりできるといいな、と思っています。対象読者は、統計解析や統計学をきちんと学習する機会が得られなかったけれど、それを知りたいと望む全ての人で、
世界のマクロ経済指標の変化が超わかりやすいアプリ－GapMinder - My Life After MIT Sloan
これはMITの先生に教えてもらったサイト。 世界の国々のマクロ経済指標の変化がひと目でわかる、という優れものアプリ－GapMinder http://www.gapminder.org/world/ あらゆる経済学のサイトの中でも、特に優れている、ということで近年注目を浴びているサイトだ。 経済指標の歴史がすぐ分かる視認性の良さだけでなく、見た目にも美しく、さらに遊んで楽しい、素晴らしいサイト。 超オススメ。 あ、でも1度見ると1時間くらい遊んじゃうと思うから、覚悟して望むように（笑） でもこのサイトで遊んでいるだけで、マクロ経済について色々なことが学べる。 （更にその年に何が起こったかを調べるためのWikipediaがあれば万全） いろんな種類の指標があるのだが、ここでは一番メジャーな、縦軸に平均寿命を、横軸に一人当たりGDPをとったグラフをご紹介。 平均寿命はその国の国民の健康状況を表
どうして日本は癌大国になってしまったのか？ - NATROMの日記 - NATROM 2009/07/25 10:01
癌大国であることはむしろ誇りである 日本人の死因の1位は悪性新生物（癌）である。1980年ごろから、脳血管疾患を抜いた。WHO Mortality Database*1で調べてみると、2006年で日本の総死亡数は108万4450人、うち悪性新生物が原因なのが32万9314人で、総死亡の30.4％を占める。ちなみに、イギリス 27.0%、アメリカ合衆国 22.8%、イタリア 27.0%、ドイツ 25.7%、フランス 28.2%であった。ダントツとはいえないまでも、日本は確かに癌による死亡率は高い。ではその原因は？「化学物質」「食物添加物」による汚染や、「放射線」「石油から作った薬」などの不適切な医療が原因だという主張もあるが、間違いである。以下は、食生活の変化が原因だという主張。 ■どうして日本は癌大国になってしまったのか？（食と健康）*2 今日本で、ようやく食育に取り組み始めてきましたが、
トレードオフを否定する人々 - 池田信夫 blog
趣味の悪い邦題がついているが、原題は"Trade-offs: An Introduction To Economic Reasoning And Social Issues"。経済学者はつねに絶対的な価値を疑い、トレードオフを考えるが、世の中には特定の目的が他のすべてに優先すると主張する人が多い。 特に多いのが、本書も指摘する「命は何よりも尊い」というレトリックだ。建築基準法が過剰規制だというと、「人命のために企業活動が制約されるということが池田先生には許せないのだと思います」などとからんでくる弁護士がいる。彼らは人命と経済的利益のトレードオフを否定し、「命を守るためには企業活動がいくら制約されてもかまわない」と主張する。それなら自動車の生産はすべて禁止しなければならない。 医療過誤訴訟による医療のゆがみも深刻な問題だ。アメリカでは訴訟ひとつで病院がつぶれるので、訴訟を避けるためにあり
The Black Swan | wrong, rogue and log
The Black Swan: The Impact of the Highly Improbable 予想不可能だが、一度起きるとそのインパクトが強大で、起きた原因を後知恵解釈しかできない事象を"Black Swan"と名付けて、そのBlack Swanの例示と、Black Swanに対処できないアカデミックと経済界のセレブを揶揄している本である。著者は哲学読書が趣味なので、書籍全体が衒学的なレトリックに満ちている。 これは、賛否の分かれる本であり、僕の評価は、読み始めた頃は賛だったが、読み終わった今は否である。 まず賛なところは次の通り。 俗物成功哲学への批判 「となりの金持ち」などのたぐいの、「金持ちになるには一生懸命、前向きに」とか「一円を大切に」とか、「感謝の気持ちを大切に」等の俗物成功哲学を批判し、成功者になったのは単なる確率事象でラッキーだったにほかならないということを指摘し
「凶悪犯罪は低年齢化」していない〜子どもに対してせっかちな大人たち (広田教授の「教育も、教育改革もけしからん」)：NBonline(日経ビジネス オンライン)
【特命助手サイトーの前説】 これからしばらくの間、「子ども」をテーマにした話をお届けしていこうと思います。子どもの話というと、身近にいる子どもをサンプルにして、一般論を展開しがちです。実際、僕が尋ねても「（子どもたちが）おかしくなっている」と答える人もいれば、「昔と大して変わってない」と言う人もいます。 こうした床屋談義は、それはそれで面白いのですが、もう少し客観的なデータで見ると、どうなのか。教育改革論が下敷きにしている「青少年の規範が低下している」「少年犯罪が凶悪化している」といった現状認識は正しいのか。広田先生は、早くからこうした言説に疑いの目を向け、安易な＜青少年の凶悪化＞論に警鐘を鳴らし続けてきました。 誤った現状認識のもとでは、ソリューションもまた誤ってしまいます。果たして子どもは本当に変わったのか？ 実は子どもを見る大人の視線が変わっただけではないのか。今回も、皆様からのさま
元シンクタンクの達人が明かす「だまされない統計データの読み方」
ブロガーが絶大な信頼を寄せる「社会実情データ図録」 今やインターネットには星の数ほどのウェブサイトがあふれ、検索サイトを使えば誰でも知りたい情報を容易に探せる時代だ。しかし、その一方でインターネットには必ずしも正しいことが書かれているとは限らず、都市伝説や常識の誤認識などもあとを絶たない。 あるウェブサイトで「真実」と言われる情報でも、その分野に詳しくない人に取っては真偽を見分けるのは難しい。ましてや個人サイトからの情報発信となると、情報の信憑性を低く感じてしまう人もいるかもしれない。 そのような状況にあって、多数のブロガーや読者から絶大な信頼を得ているのが「社会実情データ図録」だ。官庁や国際機関、新聞社などが作成したさまざまな統計データをまとめたウェブサイトで、大手ポータルサイトもたびたび引用している。顔の見えるインターネット第8回は、その管理人・本川氏に、情報を取捨選択する極意について
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「新年おめでとう」はＮＧ？ 震災で年賀状に異変 「謹賀新年」控え、「笑門来福」「絆」「笑顔で」 ：日本経済新聞
JR東日本：乗車人員ベスト100
年収ラボ-最新の平均年収・給料・賃金動向を調査-
週末に読む二つのレポート: 雄牛と熊と欲豚と