総務省｜報道資料｜データサイエンス・オンライン講座「社会人のためのデータサイエンス入門」の開講
総務省は、将来の経済成長を担う“データサイエンス”力の高い人材育成のための取組として、自らの学びをサポートするウェブ上で誰でも参加可能なオープンな講義「社会人のためのデータサイエンス入門」を本日開講します。 この講座は日本政府が初めて提供するMOOC（ムーク）講座です。 我が国の国際競争力を強化し、経済成長を加速化させるためには、ビジネスの現場においても、データに基づいて課題を解決する能力の高い人材、いわゆるデータサイエンスを身に着けた人材が不可欠となっています。 このような状況を踏まえ、総務省統計局及び統計研修所は、“データサイエンス”力の高い人材育成のための取組として、自らの学びをサポートするウェブ上で誰でも参加可能なオープンな講義「社会人のためのデータサイエンス入門」を本日開講します。 この講座は日本政府が初めて提供するMOOC講座です。 今回開講する講座は、統計学の基礎やデータの見
10秒以内にウォーリーを探す合理的な方法
これが大人だ！ ｢ウォーリーを探せ｣って絵本、覚えてますか？ そう、このごちゃごちゃした人混みから赤と白のボーダーの服を着たウォーリーを探し出すゲーム。子どものころ必死で探した覚えがあります。でも見つけられないときって、ほんとに見つからないんですよね…。試しに今すぐ探してみてください。上の画像のウォーリー、いました？ ｢…ま、気長に探すしかないよね〜｣で許されるのは子どものときだけです。そう、大人というものは、短時間で効率的に結果を出すことが求められます。それはウォーリーを探すことだって同じなのです。 ではウォーリーのいる場所には、規則性があるのでしょうか。実はSlateが、シリーズ7冊中68カ所のウォーリーの居場所をリストアップしています。それがこちら。 …あまり規則性は見えてこないですね。強いて言えば、真ん中よりちょっと上と下にそれぞれ、なんとなく集まっているくらい。でもまだ結論づける
「教育と格差」をいい立てるうさんくさいひとたち 週刊プレイボーイ連載（186） – 橘玲 公式BLOG
トマ・ピケティの『21世紀の資本』が経済書としては異例のベストセラーになったことで、また「格差」をめぐる議論がにぎやかになってきました。 ある大学では、4万人を対象に、親の年収や学歴を合成した指標（家庭の社会経済的背景＝SES）と子どもの学力の関係を調べました。それによれば、SESが最低で毎日3時間勉強する子どもよりも、SESが最高で学習時間ゼロの子どもの方が、小中学校ともに学力が上だったといいます。 これを報じた記事では、この結果を「衝撃的」として、「親の経済力などが高い子どもほど高学力と高学歴を獲得しやすく、それが次の世代への連鎖を生む」としています。 しかし、この話は明らかにヘンです。SESは親の年収と学歴を合成したといいますが、なぜこんなことをしなければならないのでしょう。子どもの学力の決定要因を知りたければ、年収と学歴を別々にしてその影響を推計すればいいだけです。 記事では「親の
O'Reilly Japan - Google BigQuery
本書は、クラウド上でSQLを使ってビッグデータを解析するGoogle BigQueryについて包括的に解説する書籍です。Google BigQueryの使い方から内部動作、そしてBigQueryならではのSQLの活用法、サードパーティのツールとの連携までを詳しく解説します。また、BigQueryを支えるGoogleのインフラストラクチャについても総覧しており、現代最高の超巨大インフラストラクチャの姿を知ることができます。BigQueryの全体像をマスターできる本書は、ビッグデータをSQLで活用したいデータサイエンティスト、ソフトウェア開発者必携の一冊です。 訳者まえがき はじめに I部 BigQueryの基礎知識 1章 Googleにおけるビッグデータの物語 1.1 ビッグデータスタック 1.0 1.2 ビッグデータスタック 2.0（そしてその先にあるもの） 1.3 オープンソースのスタッ
第1回 推薦システムが求められる背景 | gihyo.jp
はじめに 今回から全11回の予定で、情報推薦システムの入門という題目で連載させていただくことになりました。連載は株式会社Gunosyの福島、関、吉田が連載ごとに担当します。よろしくお願いします。 近年、ビッグデータやデータサイエンティストといった言葉が巷を賑わせています。筆者自身は、これらの言葉はバズワードであり、盛り上がり過ぎていると冷静に見ています。一方で、Gunosyというサービスを提供する側としては、以下の2点について非常に重要な課題であると思っています。 データの分析結果を中心にした意思決定をどうやって組織に組み込んでいくか 大量で非構造なデータの解析結果をどうやってユーザの満足度の向上に反映させるか そしてデータ解析の有力な応用先といった文脈で、情報推薦システムへの注目が大きくなっていると筆者は感じています（それが少々過大にも思えるほど）。 本連載では、情報推薦システムとは
Understanding Linux CPU stats | Scout APM Blog
Updated version of an article first published on February 24th, 2015. Your Linux server is running slow, so you follow standard procedure and run top. You see the CPU metrics: But what do all of those 2-letter abbreviations mean? The 3 CPU states Let's take a step back. There are 3 general states your CPU can be in: Idle, which means it has nothing to do. Running a user space program, like a comma
四半世紀に渡る経済政策の誤ちがわかる1枚の図 - シェイブテイル日記2
最近ピケティ本ブームで、高所得者と低所得者の所得格差が話題を集めています。 ただ、そこにもうひとつデータを追加してみると、日本では政府が大きな政策の誤りを犯していることが見えてきます。 早速ですが図１をご覧ください。 この図で折線グラフは平均年収が高位10％グループの平均年収と残りの低位90％グループの平均年収推移を2010年水準を基準に実質化して示したものです。 それに加えて、棒グラフで日本全体の実質GDPの推移を示しています。 図1 日本での高位10％・低位90％平均年収とGDP推移 出所：年収=The World Top Incomes Database、GDP=IMF 年収・GDPともに2010年を基準に実質化している。 高位10％の人たちの年収は同じグラフに収めるために、 1/4にスケールダウンして描いた。 殆どの期間で実質GDPは伸び続けているにもかかわらず、 所得高位10％グ
小標本問題と t検定 - ほくそ笑む
統計を学び始めると「t検定」というのが最初のほうで出てくると思います。 t検定は、20世紀前半に活躍した統計学者、ウィリアム・ゴセットによって「小標本問題」というのを解決するために考案されました。 小標本問題とは、正規分布の平均値の検定に正規分布を用いると、サンプルサイズが小さい場合にαエラーを過小評価してしまうという問題です。 今日はこの小標本問題とそれを解決する t検定について R によるシミュレーションを使って説明してみたいと思います。 正規分布の平均値の検定 確率変数 が正規分布に従うとき、その平均値もまた、正規分布に従います。 数式で書くと、 となります。（分散が されていることに注意） なので、正規分布の平均値の検定には正規分布を使用すれば良いように思われます。 これを R でシミュレートしてみましょう。 # 正規分布を使用して平均値が 0 と等しいかの p値を求める norm
マイナーだけど最強の統計的検定 Brunner-Munzel 検定 - ほくそ笑む
対応のない 2 群間の量的検定手法として、最も有名なのは Student の t 検定でしょうか。 以前、Student の t 検定についての記事を書きました。 小標本問題と t検定 - ほくそ笑む しかし、Student の t 検定は、等分散性を仮定しているため、不等分散の状況にも対応できるように、Welch の t 検定を使うのがセオリーとなっています。 ただし、これら 2つの検定は分布の正規性を仮定しているため、正規性が仮定できない状況では、Mann-Whitney の U検定というものが広く使われています。 Mann-Whitney の U検定は、正規性を仮定しないノンパラメトリック検定として有名ですが、不等分散の状況でうまく検定できないという問題があることはあまり知られていません。 今日は、これらの問題をすべて解決した、正規性も等分散性も仮定しない最強の検定、Brunner-
なぜ統計学がビジネスの 意思決定において大事なのか？
This document discusses methods for automated machine learning (AutoML) and optimization of hyperparameters. It focuses on accelerating the Nelder-Mead method for hyperparameter optimization using predictive parallel evaluation. Specifically, it proposes using a Gaussian process to model the objective function and perform predictive evaluations in parallel to reduce the number of actual function e
当社データサイエンティストがこよなく愛している『mコマンド』で数億行を高速集計する話 - ハウテレビジョンブログ
どうも。 1月に入社したばかりの、データ分析担当のn_maoです。 と言いながら、最近はHTMLとjsばかりいじっております。 それはそれで楽しいです。 さて今回はデータ分析のざっくりとした仕事内容と、その分析にかかる手間を省くツールをご紹介します。 データ分析の仕事 まずは私の行っているデータ分析という仕事の内容をご紹介します。 私の主な仕事は大きく分けて４つです。 売上げ、会員登録数などの簡単な集計&自動レポーティング データベースからの知識発見（いわゆるデータ分析） 分析結果をもとにした企画立案 実施された企画の効果検証 あくまで私個人の仕事内容であり、データ分析者全員に当てはまるわけではありません。 アルゴリズムの研究開発の方や、インフラ寄りの方もいらっしゃるでしょう。 ですが、同じ職種の方で業務範囲が被っている方も少なからずいらっしゃると思います。 これら４つの業務の中で一番時間
お金がすべてではないけれど、お金もある程度は効く。 - 山形浩生の「経済のトリセツ」
ビヨルン・ロンボルグが言及していたので知った報告書。 Legatum Institute, Commission on Wellbeing and Policy Wellbeing and Economy (pdf) まだ読みかけだけれど、なかなかおもしろいわー。作った委員はアンガス・ディートンからレイヤードなど、えらい人いっぱいで、非常にきちんとしたもの。 で、この中で出てくるのが冒頭に挙げたグラフ。職業別に見た、平均年収と人生満足度。これを「幸福」と解釈すべきかどうかは議論のわかれるところ。「幸せ」「人生の満足度」「福祉」といったことばの選択で、この手の調査の結果がごろごろ変わるのは有名だから。でも、まあ幸福みたいなもんですな。 明らかに全体的な傾向としては、満足度と年収とには相関があって、しかも収穫逓減が効いてるらしい。だけれど、職業別の差は非常に大きい。酒場のオヤジ (public
『ダメな統計学』冊子PDFの公開｜Colorless Green Ideas
『ダメな統計学』表紙 現在の科学研究において統計が誤用されていることが非常に多く、そのために科学研究の信頼性が揺らいでいることを記した『ダメな統計学』の冊子PDFを公開する。これは、アレックス・ラインハート氏が書いたStatistics Done Wrongの全訳である。理解を深めるために、訳注を比較的豊富に加えた。 2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』の冊子PDFに比べると、大幅に加筆されている。ページ数で言うと2倍以上になっている。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 『ダメな統計学
秘密の話、訴えたい思い 2014年の「はてな匿名ダイアリー」アクセスランキング - はてなニュース
匿名で日記が書ける「はてな匿名ダイアリー」には、誰にも言えない秘密の話から誰かに訴えたい熱い思いまで、さまざまな話題が投稿されます。2014年は、どんな“声”に注目が集まったのでしょうか。この1年に公開されたはてな匿名ダイアリーの記事の中から、アクセス数が多かったトップ50を紹介します。（集計期間：2013年12月11日～2014年12月10日） 2014年 はてな匿名ダイアリー年間アクセスランキング（2013/12/11-2014/12/10） 1位 強姦されて分かったことを書く 2位 「家事」は、レベルを上げて物理で殴れ 3位 不動産管理会社の人間だが、おまえらに言いたいことがある（削除） 4位東京都心の求人状況がヤバイ。はよ移民入れろ、もしくはニート本気出せ。（削除） 5位 早稲田大学の理工系におけるコピペ文化について 6位 「それがAmazonですから」～Amazonに殺されそうな
夫の大掃除に「満足した」妻は半数以下 NHKニュース
大掃除をした夫の７０％余りが、「妻は満足したと思う」と考えているのに対し、「満足した」と答えた妻は、半数以下にとどまることが、アンケート調査で分かりました。 このアンケート調査は、清掃道具の販売レンタルをしている「ダスキン」が、去年、大掃除をした男女を対象に実施し、２５１１人が回答しました。 それによりますと、結婚している男性に対し、大掃除での働きぶりについて「妻が満足したと思うか」と尋ねたところ、７２％が「満足したと思う」と答えました。 これに対し、「満足した」と答えた女性は２５ポイント低い４７％で、中でも４０代は３１ポイントの差がありました。 夫の大掃除に満足していない女性からは「すぐに休もうとする」とか、「すぐに文句を言う」など、やる気のなさを指摘する声が多く寄せられたということです。 一方、満足した女性からは「道具の買い出しから張り切ってくれた」とか、「細かい部分まで丁寧に掃除して
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 史上最強図解 これならわかる！ベイズ統計学: 涌井良幸, 涌井貞美: 本
ベイズ推定の概要 超入門
カップルが一緒にお風呂に入る割合をベイズ推定してみた
Amazon.co.jp: 入門ベイズ統計―意思決定の理論と発展: 松原望: 本
Amazon CAPTCHA
