この学習計画について更新しています。 データ分析に欠かせない五つの考え方【データ分析手法をたくさん知っても活用できない根本理由】 誰でもすぐわかるデータベース基礎の基礎~ 初心者が押さえておくべきSQLガイド データ分析をやっても無駄？実例から見る本当のデータ分析～【連載-1】 データ分析をやっても無駄？実例から見る本当のデータ分析～【連載-2】 ダッシュボードを作ってみたらそんなに難しくない 業務知識すら知らないとデータ分析をやれないでしょう【連載-1】 業務知識すら知らないとデータ分析をやれないでしょう【連載-2】 データ分析に最低限押さえるべき10つのビジネスフレームワーク 「文学系の人はデータ分析に向いていますか」 「プログラミング経験がありませんが、データアナリストになれますか」 「データ分析を勉強するなら、RとPythonを勉強しなければならないですか」 などはよく聞かれる話で

世論調査の結果が政権にとって厳しくなってくるにつれて、ますますネットではそれに反発した「内閣支持率アンケート」が熱気を帯びています。そうした世論調査を否定したい人たちの憩いの場を侵害するつもりは毛頭ないのですが、それを見て誤った認識を持つ人がでないようにネットのアンケートは世論調査の名に値しないと書いておくことにします。 「時として10万人規模の回答数となるネット調査だと、安倍政権の支持率は８割を超える。旧来的な電話調査は信頼性に疑問がある」と記事に書いてしまったケント・ギルバート氏のように、ネットのアンケートをとりあげる人たちは「回答数の多さ」を持ち出します。しかしケント・ギルバート氏にもぜひ知ってもらいたい話なのですが、実は日本の有権者約1憶人を対象にして内閣支持率を調査する目的では10万人規模の回答を集める必要はありません。多ければいいというわけではないのです。それはスープの味見をす

やぁ。4月も終わりだというのに、いやに寒い日が続いてるね、元気かい？ 面白い話がtwitterに流れていたので紹介したい。 日経コンピュータの話。ビックデータ神話に乗り、多額の費用で解析した靴屋の話、解析結果、冬にブーツが売れ、夏にサンダルが売れるw。 https://twitter.com/yawachi/status/326460494154194944 これを見て君はどう思う？ twitterでは皆がこのニュースに対して嘲笑を投げかけていた。 そりゃそうだろう、大金を掛けて誰でもわかることしか出てこないなんて、笑われて当然さ。 データマイニングってのは、やっぱり、もっとこう、あの有名な「おむつとビール」ような意外性のあるものじゃないとね。 そう、データマイニングに必要なのは意外性だ！ あの靴屋は全く馬鹿なことをしたもんだ、ゲラゲラ！ OK、笑いが取れたようなので、もう一つ同じような話

（※今回の記事の内容はかなり難解かもです） 大竹文雄の経済脳を鍛える（2月13日分記事） 幾何ブラウン運動と見せかけの回帰 - My Life as a Mock Quant 得てして多くの企業では、「毎日の数字（売上高・利益・在庫etc.）を追いかけ」、「その結果を元手に毎日改善する」ということを日々励行しているのではないかと思います。 ところで、こんな体験したことはありませんか？ 「毎日毎日、物凄く一生懸命数字を見ながら頑張ってカイゼンし続けて、確かに頑張った時は数字は上がったし、頑張りが足りない時は数字が下がった。それに一喜一憂しつつもずっと物凄く頑張り続けた・・・でも、あれからもう数ヶ月経ったのに全体としては数字は下がってきている。どうしてなんだろう？？？」 なるほど、もしかしたらその時の改善努力が正しくなかったのかもしれません。でも、実は「そもそも改善努力と数字とは何の関係もなか

追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層

主張 縦軸に目盛のない棒グラフや折れ線グラフを描くのはやめよう。 棒グラフ 以前の職場でよく見かけた棒グラフがこのようなものでした。 これは万能棒グラフです。 2007-10-22 - 定義すれば存在する 目盛のベースラインが 0 スタートでなくてもいい 目盛線は省略していい という風に棒グラフを書いてしまうとどんなデータにもあてはまる、万能棒グラフができあがります。 どんなデータにもあてはまるとは、つまりデータの特徴をなにも表せていない統計グラフということです。 統計グラフとしての機能をはたしません。 折れ線グラフ また、このような折れ線グラフもよく見かけました。 ここで、折れ線グラフは縦軸の幅を広くとれば大きな差を小さくみせ、狭くとれば小さな差を大きく見せることができることに注意してください。 縦軸に目盛がないと、この目盛操作に気づくのは困難です。 退職の理由 わたしは新卒で Web

2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と

レファレンス協同データベース（レファ協）は、国立国会図書館が全国の図書館等と協同で構築している、レファレンス（調べものの相談）のデータベースです。詳しくは「事業について」の各ページをご覧ください。

経済学部1年生対象の統計学の講義で用いた資料です。統計学を学び始めた学生さんに、企業で統計学を用いるとはどういうことかを紹介し、就活や仕事でも役立つと言うことを説明しました。 学生さんの統計学を学ぶモチベーションを高められたら幸いです。Read less

先日、とあるコンサルの社長さんとお酒を飲みながらお話していて出てきた話題が「畢竟データ分析って何の役に立つんだろう？」というものだったんですが、そこで僕が思い出して紹介したのが「獺祭」で世界進出を成功させている旭酒造のエピソードだったのでした。 ということで、その事例を振り返りながら久しぶりにちょっと与太話でもしようと思います。 http://www.tv-tokyo.co.jp/cambria/backnumber/20140116.html ちなみに上ははてブでも大きな話題を呼んだ東洋経済の特集記事ですが、僕にとってはテレ東カンブリア宮殿で紹介された時の映像の方が遥かに衝撃的でした。 「獺祭」は杜氏でも何でもない普通の社員が、データに基づいて一挙手一投足を決めながら仕込んでいる 東洋経済の記事では割とざっくりとしか書かれてないんですが、カンブリア宮殿で放映された映像では獺祭の製造工程の

アイスバスケットチャレンジの広がりに伴って、メディアも一時期、関連記事の公開を盛んに行っていました。その中でVoxの記事「The truth about the Ice Bucket Challenge: Viral memes shouldn’t dictate our charitable giving」を取り上げます。 この記事では、CDC（アメリカ疾病予防管理センター）のレポート（2011年版）をソースとして、病死者が多い病気（アメリカ）と主なチャリティー活動の募金額の順位を並べて見せています。 image by Vox このようにデータを最低限の編集で視覚化して見せたものを「データ・ビジュアライゼーション」と呼び、データを視覚化するだけではなく、そこから導いた答え・ストーリーもビジュアルに組み込んでわかりやすく解説するものを「インフォグラフィック」と呼び分けたりもします。 Vox

予備校とは，現役の高校生や浪人生を対象として，大学受験のための準備教育を行う機関です。制度上は，各種学校に含まれます。この予備校ですが，大学全入時代の到来により，顧客はさぞ減っていることでしょう。 大学や短大の学生数のデータは，新聞や文科省の白書などでよく目にするのですが，予備校の生徒がどれほどいるか，またどのように推移してきたか，ということはあまり明らかにされていないようです。興味を持ったので，当局の資料に当たって調べてみました。 文科省『学校基本調査（初等中等教育機関・専修学校・各種学校編）』の「各種学校」の章に，「課程別修業年限別生徒数」という表があります。この表に，予備校の生徒数が掲載されています。2011年度版の資料によると，同年5月1日時点における予備校生の数は24,060人となっています。主要な顧客である18歳人口が約120万人であることを思うと，いかにも少ない印象を持ちます

概要 私が機械学習の勉強を始めた頃、何から手を付ければ良いのかよく分からず、とても悩んだ覚えがあります。同じような悩みを抱えている方の参考になればと思い、自分が勉強していった方法を記事にしたいと思います。 目標としては、機械学習全般について、コンパクトなイメージを持てるようになることです。 そのためにも、簡単な本から始めて、少しずつ難しい本に挑戦して行きましょう。 入門書 何はともあれ、まずは機械学習のイメージを掴むことが大切です。 最初の一冊には、フリーソフトでつくる音声認識システムがおすすめします。 フリーソフトでつくる音声認識システム - パターン認識・機械学習の初歩から対話システムまで 作者: 荒木雅弘出版社/メーカー: 森北出版発売日: 2007/10/17メディア: 単行本（ソフトカバー）購入: 45人 クリック: 519回この商品を含むブログ (38件) を見るレビュー :

データサイエンティストブームが去りつつある一方で、データ分析ブームそのものはじわじわと広がり続けている感じのする昨今ですが。最近また、色々なところで「本当にビジネスやるのに統計学って必要なの？」みたいな話題を聞くことが増えてきたので、何となくざっくりまとめて書いてみました。 ちなみに今回の話題の参考図書を挙げようと思ったら、この辺ですかね。 とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた― 作者: 石田基広,りんと出版社/メーカー: 共立出版発売日: 2013/09/25メディア: 単行本この商品を含むブログ (13件) を見る 統計学入門 (基礎統計学) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メディア: 単行本購入: 158人 クリック: 3,604回この商品を含むブログ (78件) を見る 本当は赤

ニュース・フォーカス視力失った人に光もたらす「人工網膜」　世界で開発続々(2018/12/3) 視力をほとんど失った人に「光」を届ける――。そんな医療機器の開発が本格化している。すでに米国では承認されたものがあり、日本のチームも新た…[続きを読む] コンドームの達人、本音の性教育　「性」から「生」問う[ニュース・フォーカス](2018/12/3)  放影研の被爆２世調査、受診率向上が課題　背景に高齢化[ニュース・フォーカス](2018/12/3)  札幌の地下鉄・市電が４月から割り引き　精神障害者向け[ニュース・フォーカス](2018/12/3) MMRワクチン騒動は、不正論文だけの問題ではない[内科医・酒井健司の医心電信](2018/12/3) 脳腫瘍の子へ「元気玉」　世界のエール、ボールに込めて[ニュース・フォーカス](2018/12/2) 治療後も続く小児がんのフォロー　成長に

元官僚の高橋洋一氏が時系列データの相関係数が高い事を論拠にしているが、この論証方法は全くもって厳密ではない。 計量経済学では時系列データの相関係数はあてにならない事は80年代から良く知られており、これに関連した業績でエングルとグレンジャーは、2003年にノーベル経済学賞を受賞している。 高橋氏のトリックを説明したい。世の中には時間とともに変化していくトレンド*1と言うのが多くある。このトレンドがあるデータを二つ比較すると、どちらも時間に対して相関しているため、相関があるように見えてしまう。 例えば戦後、一人あたりの米の消費量は減少し、コンピューターの普及台数は飛躍的に伸びたが、この二つの現象を結びつけて考える人はいない。しかし、米の消費量とコンピューターの普及台数は、高い相関を持つ事になる。 実データの場合は屁理屈をつける事も可能かも知れないので、シミュレーションして確かめてみよう。

11. • 問い１ ゆがみの無いコイン → 表裏の出る確率は 1/2 • 問い２ ある商店街 → 場所によって男女比が違う 男女の通る確率は不確定 ベイズ確率