企業に移って5年が経ちました - 渋谷駅前で働くデータサイエンティストのブログ
月日が経つのは早いもので、かつてボンクラ研究者だった僕が企業（そしてインダストリー*1）に移ってからちょうど今日で5年が経ちました。インダストリーに移ってからのこの5年間で様々なことを体験し、あるいは見聞し、あるいは決断したりしてきたわけですが、良い区切りなので自分にとってのマイルストーンとするためにも、ここでこれまでの5年間を振り返ってみようと思います。 Disclaimer 以下に体験談もしくは見聞談として記載されている内容は、特に断りがなければ自分自身の複数の体験や見聞及び同業の友人知人からの見聞をマージして一般化したものであり、過去現在の個々の特定の所属先における特定のエピソードや職務内容及び特定の個々人のエピソードなどを意味するものではありません。またここで述べられている意見はあくまでも個人の主観的な意見であり、いかなる特定の企業・組織・機関も代表するものではありません。 この5
統計屋による新社会人のための統計系入門書お薦め一覧 - あんちべ！
本稿では統計学・データマイニング・機械学習関連書籍について 内容が易しいこと。数学力（特に微積・線形代数）を求められないこと 入手しやすいこと。絶版や学会に入らないと入手不可などではない、値段が安いこと 実務に繋げやすいこと。 持ち運びしやすいこと。忙しい新社会人が通勤中や休み時間ポケットからさっと取り出し、継続して勉強出来ること を主眼に選定したお薦め書籍を紹介します。 （満たせない要望も多いですが） 主な対象者は、文系で数学や統計学をやってこなかった、 プログラミングもわからない（Excelで四則演算やマウス操作くらいは使える） けどいつかマーケティングやデータマイニングやってやるぜ！ って考えてる新卒の方です。 筆者自身は経済学科出身の文系で、あまり数学力に自信がないなりに Web企業でデータマイニングをしているという人間です。 ここで紹介している内容で 「統計学・機械学習・データマ
そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか - 渋谷駅前で働くデータサイエンティストのブログ
データサイエンティストブームが去りつつある一方で、データ分析ブームそのものはじわじわと広がり続けている感じのする昨今ですが。最近また、色々なところで「本当にビジネスやるのに統計学って必要なの？」みたいな話題を聞くことが増えてきたので、何となくざっくりまとめて書いてみました。 ちなみに今回の話題の参考図書を挙げようと思ったら、この辺ですかね。 とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた― 作者: 石田基広,りんと出版社/メーカー: 共立出版発売日: 2013/09/25メディア: 単行本この商品を含むブログ (13件) を見る 統計学入門 (基礎統計学) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メディア: 単行本購入: 158人 クリック: 3,604回この商品を含むブログ (78件) を見る 本当は赤
オンラインで無料で読める統計書22冊｜Colorless Green Ideas
はじめに 今回は、ウェブを通じて無料で読むことができる統計に関する書籍を紹介したい。英語で書かれた本が多いが、日本語で書かれた本も若干ある。 入門書 まず、統計の初学者のために書かれた入門書を紹介したいと思う。 福井正康 (2002). 『基礎からの統計学』基礎から扱っている統計の入門書である。統計を扱う際に必要となる場合の数、確率などについて詳しく説明している。理解を助けるための演習問題とその解答がついている。統計処理用のソフトとしてはExcelを使っている。同じサイトに社会科学系の学生向けの数学の教科書もある。 小波秀雄 (2013). 『統計学入門』基礎から扱っている統計の入門書。内容としては、記述統計、確率、確率分布、簡単な推定・検定、相関と線形回帰などがある。確率や確率分布などの理論的な話が占める分量が多いので、分量のわりには、具体的な統計手法はあんまり載っていない。もちろん理論
産総研：ビッグデータから新たな科学的発見をもたらす統計手法を開発
ビッグデータからの科学的発見のためには、正確な検定値（Ｐ値）の算出が必要。 超高速アルゴリズムを用いた新たな統計検定手法を開発し、発見力を大幅に改善した。 物理学、医学、化学など全ての実験科学において世界中での広い利用が期待される。 ＪＳＴ 課題達成型基礎研究の一環として、産業技術総合研究所 生命情報工学研究センターの津田 宏治 主任研究員（ＪＳＴ ＥＲＡＴＯ「湊離散構造処理系プロジェクト」グループリーダー）、東京工業大学 大学院情報理工学研究科 計算工学専攻の瀬々 潤 准教授、理化学研究所 統合生命医科学研究センターの岡田 眞里子 チームリーダーらは、従来に比べて格段に高い精度で誤発見の確率を示す検定値（Ｐ値）を計算するアルゴリズム（手順）を開発しました。 自然科学で得られるデータ量は増加の一途をたどり、これらを有効に解析できる方法が望まれています。しかし、従来の統計検定手法は観測できる
統計的消去で擬似相関を見抜こう！ - ほくそ笑む
今日は初心者向け記事です。 はじめに ある範囲の年齢の小学生32人を無作為に選び、算数のテストを受けてもらい、さらにその身長を測定しました。 身長に対する算数の点数のグラフは次のようになりました。 なんと、身長の高い子供の方が、算数の点数が高いという結果になりました！ 身長が算数の能力に関係しているなんて、すごい発見です！ しかしながら、結論から言うと、この結果は間違っています。 なぜなら、抽出したのは「ある範囲の年齢の小学生」であり、年齢の高い子も低い子も含まれているからです。 年齢が高いほど算数能力は高くなり、年齢が高いほど身長も高くなることは容易に推測できます。 この関係を図で表すと次のようになります。 つまり、年齢と算数能力に相関があり、年齢と身長にも相関があるため、身長と算数能力にも見かけ上の相関が見えているのです。 このような相関を擬似相関と言います。 統計解析では、このような
【データ分析】『統計学が最強の学問である』西内 啓 : マインドマップ的読書感想文
統計学が最強の学問である 【本の概要】◆今日ご紹介するのは、先日の「未読本・気になる本」の記事でも人気だった1冊。 サブタイトルとして「データ社会を生きぬくための武器と教養」とあり、なるほどそうだと感じいりました。 アマゾンの内容紹介から一部引用。あえて断言しよう。あらゆる学問のなかで統計学が最強の学問であると。 どんな権威やロジックも吹き飛ばして正解を導き出す統計学の影響は、現代社会で強まる一方である。 「ビッグデータ」などの言葉が流行ることもそうした状況の現れだが、はたしてどれだけの人が、その本当の魅力とパワフルさを知っているだろうか。 私はぶっちゃけ「超文系人間」ですが、本書に目を通しておいて良かったと思っております。 いつも応援ありがとうございます！ 【ポイント】■1.統計的にあみだくじは端が当たりにくい 友人たちのクセなのか、人間心理の傾向なのか、両端の縦棒を先に選ばれたことはほ
独立成分分析―その概念と有用性について―(第13回 Zansa 勉強会) - Slideshare
1. Dec. 18, 2012 第13回 Zansa 勉強会 独立成分分析 ー その概念と有用性について ー 東京大学大学院 工学系研究科 システム創成学専攻 博士課程1年 安川 和孝 1 2. 1. Introduction アメリカ合衆国・テキサスA&M大学 自己紹介 氏名 安川 和孝 所属 東京大学大学院 工学系研究科 システム創成学専攻 専門分野 深海底掘削船 JOIDES Resolution号 資源地質学，古環境学 (深海底堆積物の化学分析) “地球の環境はなぜ・どのように変動してきたのか？” 趣味 フットサル Twitter @kaz__83 From website of the ODP/TAMU 2
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
TechCrunch | Startup and Technology News
Yellow, an asset financier for solar energy and digital devices in Africa has raised $14 million series B funding in a round led by Convergence Partners with participation from the Energy Entrepreneur Fisker, the electric carmaker founded by the Danish auto designer Henrik Fisker, is gearing up to enter the Chinese market where competition is increasingly cut-throat, following in the footsteps of
大数の法則と中心極限定理を恋愛小説風に語ってみる - Willyの脳内日記
拓也「ごめん、ちょっと遅れちゃったよ。課長が話し好きでさ。」 麻衣「いいのよ、私も今、一杯目のカクテル頼んだとこ。」 ウエイター「飲み物は何になさいますか？」 拓也「あ、僕はウォッカのロックで。」 麻衣「今週もお疲れ様！」 拓也「麻衣の方こそ、お疲れ様。今週はどうだった？何か変わったことあった？」 麻衣「いろいろあったけど、いつも通りだよ。インドに出した注文 また納期遅れたけど、そんなのしょっちゅうだし。」 拓也「僕の方もぼちぼちかな。クライアントの希望する仕様が少し 変更になって残業が少し増えそうだけど、よくあることだし。」 麻衣「・・・ねえ、拓也。」 拓也「なに？」 麻衣「こうして週末にバーで会うの、もう何回目かしら？」 拓也「そうだな、もう３０回くらいにはなるかな。」 麻衣「私が拓也と会うときは、すごくテンション高い時もあるし、機嫌が悪い事もある。 だから言い合いになっちゃたりするこ
統計学を勉強するときに知っておきたい10ポイント - Issei’s Analysis ～おとうさんの解析日記～
googleさんやマイクロソフトさんは「次の10年で熱い職業は統計学」と言っているようです。またIBMは分析ができる人材を4,000人増やすと言っています（同記事）。しかし分析をするときの基礎的な学問は統計学ですが、いざ統計学を勉強しようとしてもどこから取りかかればいいか分からなかくて困るという話をよく聞きます。それに機械学習系の本は最近増えてきましたが、統計学自体が基礎から学べる本はまだあまり見かけないです。 そこで今回は、統計学を初めて勉強するときに知っておいた方が良い10ポイントを紹介したいと思います。 1. 同じ手法なのに違う呼び名が付いている 別の人が違う分野で提案した手法が、実は全く同じだったということがあります。良く聞くのは、数量化理論や分散分析についてです。 数量化理論 数量化I類 = ダミー変数による線形回帰 数量化II類 = ダミー変数による判別分析 数量化III類 =
Rが使えるフリをするための14の知識
米国FDAで公認され、ハーバード大学やイェール大学の授業で利用されるようになり、世間での認知度が着実に上昇している統計用プログラミング環境のRだが、ユーザーなのか、ユーザーになりたいのか、ユーザーとして振舞いたいのか分からない人が増えてきた。 スノッブなユーザーとして振舞う場合は、Rの特性を語れる必要があるので、ユーザーになるよりもRへの知識や理解が必要で、実は難易度が高い行動である。それでもあえて意識の高いRユーザーとして振舞いたい人々のために、最低限求められる事のチェック・リストを用意してみた。 1. 参考文献や参考ページを押さえておく 一番大事な事だが、参考文献や参考ページを押さえておこう。公式サイトで配布されている、「R 入門」「R 言語定義」「R のデータ取り込み/出力」は持っておくべきだ。R-TipsやRjpWikiも参考になる。 2. 演算子や制御構文をマスターする 四則演算
ベイズ推定を知っているフリをするための知識
最近はベイジアンが増えてきて、実用分野での利用も進んでいるようだ。話題としては知っておきたいが、世間一般には理解に混乱を生んでいるようだ。 ベイズ推定は入門レベルの統計学の教科書ではオマケ的な扱いがされており、実際に伝統的な統計手法を拡張している面が強い。そういう意味では、誤解や混乱があっても仕方が無い。 利用する必要があるのか無いのか良く分からない点も多いのだが、知らないと告白するのも気恥ずかしいかも知れない。自分ではベイズ推定で分析を行わない人が、ベイズ信者と話をあわせるために最低限知っておくべき事をまとめてみた。 1. ベイズ推定とは何か？ ベイズ推定とは、ベイズの定理を応用した推定手法だ。端的に理解するためには、最尤法に事前確率を導入している事だけ覚えれば良い。これで哲学的議論を全て回避してベイズ推定を把握することができる。 下の(1)式ではπ（θ）が事前確率、π(θ|x)が事後確
◇正規分布◇
■はじめに 統計の基本となる最も重要な確率分布が正規分布． 正規分布の解説に登場する関数や記号が分からなくても，実際の問題は「ノリとハサミ」で切り紙・張り紙する感覚で誰でも簡単に解ける．（小数の足し算，引き算ができればよい．） ■解説（視覚的なイメージでつかむと分かりやすい）■ ○ 正規分布は，統計でしばしば登場する確率分布で，右のように「富士山型」「釣り鐘型」のグラフになる． 正規分布は，これを最初に研究したドイツの数学者の名前をとってガウス分布とも呼ばれる． ○ 期待値（平均値）がm，標準偏差がσの正規分布を表わす確率分布関数は で表わされる．特に，期待値（平均値）が0，標準偏差が1の正規分布は標準正規分布と呼ばれ，確率分布関数は になる． <実務上はこの式自体を使うことはなく，正規分布表<を使う．（正規分布表は，数学や統計の書物の巻末に付いていることが多い．手元になければ[このページ
ヤバい統計学 - 情報考学 Passion For The Future
・ヤバい統計学 統計の失敗やウソを暴くのではなく、統計が正しく使われた成功事例を１０のエピソードで解説する。統計学の成果を現実の社会に応用するには、難しい計算ができるだけではまったく不十分で、その数字が人間にもたらす心理効果や、実際の経済効果をよく考えなければならないということがよくわかる本。 最初のエピソードはディズニーランドのファストパスは統計学の成功例だ。ファストパス発券によってアトラクションの待ち行列が短くなるわけではない。しかしファストパスにより「ディズニーのテーマパークでアトラクションを待つ行列は年々長くなっているにもかかわらず、出口調査によるとゲストの満足度は上昇し続けている。」そうである。 ファストパスの役割は待ち時間を短くすることではなかった。パスがあっても、アトラクションの収容能力は変わらないからだ。統計学的にはパスの真の機能はゲストの待ち時間のばらつきを排除することに
〈統計学へのお誘い本リスト（11 Nov. 06 版）〉 - leeswijzer: een nieuwe leeszaal van dagboek
→ アップデート：〈6-September-2011版〉． 数理統計研修の受講生から，「統計学の参考図書を紹介してほしい」との依頼があったので，下記のような「お誘い本リスト」をつくってみた．“門前”から“門”までの「参道」がやや長い気がするが，そこは気の迷いや逡巡が憑いてまわる相手のために，ということでご容赦を．また，いったん“入門”してしまった後は，手法ごとにそれぞれ適切な本（中級書）がきっとあると思うが，上のリストではそこまでは考えていない．ただし，ぼくの担当している講義が「実験計画法」だったりするので，この分野については数冊選んで，リストに付けた．なお，〈R〉に関する参考書は別のリストを参照されたい． ご意見などありましたら，ご連絡ください． 門前で迷っている人のためのコミック系入門書 高橋信『マンガでわかる統計学』（2004年7月刊行，オーム社，ISBN:4274065707→版元
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NHK クローズアップ現代
はてなブログ | 無料ブログを作成しよう
はてなブログ | 無料ブログを作成しよう