統計屋による新社会人のための統計系入門書お薦め一覧 - あんちべ！
本稿では統計学・データマイニング・機械学習関連書籍について 内容が易しいこと。数学力（特に微積・線形代数）を求められないこと 入手しやすいこと。絶版や学会に入らないと入手不可などではない、値段が安いこと 実務に繋げやすいこと。 持ち運びしやすいこと。忙しい新社会人が通勤中や休み時間ポケットからさっと取り出し、継続して勉強出来ること を主眼に選定したお薦め書籍を紹介します。 （満たせない要望も多いですが） 主な対象者は、文系で数学や統計学をやってこなかった、 プログラミングもわからない（Excelで四則演算やマウス操作くらいは使える） けどいつかマーケティングやデータマイニングやってやるぜ！ って考えてる新卒の方です。 筆者自身は経済学科出身の文系で、あまり数学力に自信がないなりに Web企業でデータマイニングをしているという人間です。 ここで紹介している内容で 「統計学・機械学習・データマ
そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか - 渋谷駅前で働くデータサイエンティストのブログ
データサイエンティストブームが去りつつある一方で、データ分析ブームそのものはじわじわと広がり続けている感じのする昨今ですが。最近また、色々なところで「本当にビジネスやるのに統計学って必要なの？」みたいな話題を聞くことが増えてきたので、何となくざっくりまとめて書いてみました。 ちなみに今回の話題の参考図書を挙げようと思ったら、この辺ですかね。 とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた― 作者: 石田基広,りんと出版社/メーカー: 共立出版発売日: 2013/09/25メディア: 単行本この商品を含むブログ (13件) を見る 統計学入門 (基礎統計学) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メディア: 単行本購入: 158人 クリック: 3,604回この商品を含むブログ (78件) を見る 本当は赤
今さら人に聞けない「重回帰分析の各手法の使い分け」 - 渋谷駅前で働くデータサイエンティストのブログ
（※※※続編記事書きました→「使い分け」ではなく「妥当かどうか」が大事：重回帰分析＆一般化線形モデル選択まわりの再まとめ） 今ちょうどadtech tokyo 2013の会期中で、職場からも近い＆会社から行ってこいという指示が出たということで僕も色々セッションを聞いたり企業ブースのお話を聞いたりしてる*1ところです。 ところで、いくつかのセッションの中でキーワードとして「重回帰分析」という言葉が出てきてました。ま、それ自体はこのブログでもRによるデータ分析絡みで頻出だし、ぶっちゃけありふれた手法と言って良いでしょう。やりようによっては普通にExcelでもできますし、それだけ人口に膾炙していると言って良いのかもですね。 ただし。意外にも内部のパラメータというか細かい手法の分岐というか、それこそ普通の線形モデルvs.一般化線形モデル（バリエーション多数）があることを無視して漫然と重回帰分析をや
今回は因果関係があるのに相関関係が見られない4つのケースをまとめてみた（前編：検定力が低い） - Take a Risk：林岳彦の研究メモ
どもお久しぶりです。林岳彦です。ローソンなどで売ってるいなばのタイカレーはそうめんのつけ汁として使ってもマジうまいのでオススメです。 さて。 今回は前々回の記事： 因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） - Take a Risk：林岳彦の研究メモ の続編として、逆のケースとなる「因果関係があるのに相関関係が見られない」ケースについて見ていきたいと思います。あんまり長いと読むのも書くのも大変なので、今回はまずは前編として「検定力の問題」に絞って書いていきます。 （＊今回は上記の前々回の記事での記述を下敷きに書いていきますので、分からないところがあったら適宜前々回の記事をご参照ください） まずは（今回の記事における）用語の定義：「相関」と「因果」 今回も少しややこしい話になると思うので、まずは用語の定義をしておきたいと思います。（＊細かいと
Fringe81、統計物理学によるオンライン広告予算の最適配分サービス
Fringe81は8月1日、統計物理学に基づく予算配分アルゴリズムを用いて、コスト効率をウェブ広告全体で最適化する「ボルツマンウェイト分析 広告予算 最適配分サービス」を開始した。 Fringe81は、オンライン上でユーザーがとる行動が、原子や分子のように、確率的に動いている粒子の状態と似ており、統計物理学の理論で記述可能であることに着目。自然現象をシミュレーションできるボルツマンウェイト理論を導入した、予算配分シミュレーション手法を確立したとしている。 予算配分アルゴリズムの分析には、Fringe81の第三者配信サービス「digitalice（デジタリス）」を使用。別途ツールがなくとも、ディスプレイ広告の閲覧から発生している検索連動型広告を経由したサイト流入と、自然検索を経由したサイト流入の計測が可能だ。 従来のウェブマーケティング改善手法のように、インプレッション（imp）、クリック（
【日本の解き方】馬券にも使える「ビッグデータ」 統計学の基礎知識が重要に - 政治・社会 - ZAKZAK
競馬の外れ馬券を経費として認めた５月２３日の大阪地裁（西田真基裁判長）の判決は大きな話題となった。国税庁では競馬の払戻金を一時所得としていたが、それが雑所得となった点が税務上の関心を呼んだが、筆者が注目したのは、被告の元会社員の馬券購入手法だった。 元会社員の戦績は凄い。２００７～０９年の３年間では約２８億７０００万円分の馬券を購入し、払戻金は約３０億１０００万円。元会社員はＪＲＡ－ＶＡＮやＪＲＤＢ（電子競馬新聞）が提供する過去１０年分の競馬データから、前走着順や血統、騎手、枠順、牡牝、負担重量など約４０項目を独自に分析し、回収率の高い馬を選択する計算式を作成。それに基づき、土日の全国のほとんどのレースについて自動的に購入するシステムを開発した。 これは今流行の「ビッグデータ」の統計処理である。ギャンブルは胴元のテラ銭（控除率）があるので、長期的に勝つことは難しい。競馬の場合、２５％な
はてなブログ | 無料ブログを作成しよう
うめぇヨーグルトソースでもいかがですか。個人差にもよりますが。もしよろしければ。 お久しぶりです。 最近うんめぇ〜と思ってるヨーグルトソースがあるので、書いていこうと思います。 ヨーグルトとハーブ類をもりもり使うので、そういうのが食べられない方にはうんめぇソースではないです。ごめんなさい…。もしよろしければお茶だけも…旦~ 【用意する…
少しの手間で説得力アップ！意外と使える官公庁の統計データ利用法 : LINE Corporation ディレクターブログ
こんにちは、ウェブサービス本部の鳴海です。 突然ですが、あなたが24歳男性だったとすると、同い年の年男は日本全国で何人いるでしょう？ また36歳男性には、同じく年男の同級生は何人いるでしょうか？ 答えは、24歳男性が64万人、36歳男性が87万人。実は、世代間で20万人以上の差があります。また、今年の年男・年女世代の中で、最も人口の少ない12歳女性（57万人）と最も人口の多い48歳男性（89万人）では1.5倍以上の開きがあります。最近、身の回りに小学生の女の子よりも中年男性の方が多いなと思っていましたが、気のせいではなかったようです。 同級生の人口なんて普段意識することはないですが、仕事をする上ではたまに大事だったりします。いま自分が手がけているサービスのターゲットはどの層で、人口で言えばどのくらいの規模なのか、前後の世代に比べてどのような傾向があるのかなどは感覚的に掴めているといいですね
確率の意味について考えた
梅干チャリティ、想像していたよりたくさん応募していただき、1週間残っている今日の時点で、263,000円の寄付や支援物資購入が行われました。もちろん、こんな企画があってもなくても寄付されていた方が多いと思うので、何とも言えませんが、まあでも、オープンに寄付したことを話せるだけでも大きな価値ですね。それに、20瓶の梅干しを販売して収益を寄付するよりはいい方法だったかな、と思います。皆様、ありがとうございます。あと1週間、どうぞよろしくお願いいたします。 で、先日、当選する確率の計算をしてて思ったことのメモ。 今の応募数が258口。今1口応募すると、20 / 259 = 7.72%の確率で当たります。今2口応募して少なくとも1つ当たる確率は、1- { (240/260) * (239/259) } = 14.82%です。今10口応募して少なくとも1つ当たる確率は、...54.59%です。...
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
《Gunosy》開発チームから学ぶ、WEB業界人のための“統計学入門” | キャリアハック（CAREER HACK）
今、WEB業界で最もホットなテーマの一つである“統計学”。だが、一般的にはなかなか馴染みのない分野でもある。そこで、統計解析・データマイニングに基づいた高精度なパーソナルニュースキュレーションサービス《Gunosy》の開発チームを直撃。「はじめての統計学」と題し、統計学の基礎を教えていただいた。 今さら聞けない、統計学の基礎知識。 ここ最近、WEB業界において“統計”がキーワードになっている。だが、そもそも“統計学”は数ある専門分野の一つ。実はよく分かっていなくて…という方も、少なくないのではないだろうか？ 今回、その統計学について基礎の基礎から教わるべくお話を伺ったのが、話題のニュースキュレーションサービス《Gunosy》（グノシー）を手がける、福島良典さん、関喜史さん、吉田宏司さんの3名。まずは《Gunosy》について、簡単にご紹介しておこう。 左から、吉田宏司さん、福島良典さん、関喜
ロジスティック回帰
目次 1)ロジスティック回帰分析概説 2)ロジスティック回帰分析はどんな時に使用するか ３）ロジスティックモデルとは 4)ロジスティック回帰分析で得られるのは 5)オッズ比とは 6)オッズ比の95%信頼限界とは 7)ダミー変数について 8)変数選択上の注意点 9)ロジスティック回帰分析が可能な統計ソフト 10)ロジスティック回帰分析に関する参考書 1)ﾛｼﾞｽﾃｨｯｸ回帰分析概説 近年の外国の論文にロジスティック回帰分析が非常に増えており、これが理解できないと論文を読めないことが多い。このことは、単変量解析では十分な解析ができないことが多いことを示唆しており、今後日本の論文でも、ロジスティック回帰分析が確実に増加していくものと思われる。しかし、ロジスティック回帰分析を理解しようと思っても、やさしい教科書は非常に少ない。ロジスティック回帰分析は、疫学調査などの大規模なスタディには必須で
ブログは移転しました。 因子分析における因子数選択のための基準
Author:norimune 社会心理学を研究している大学教員です。 コミュニケーションと対人関係について研究しています。 あと階層的データ解析についても興味があります。 Twitter
「子供に解けて大人に解けない問題」を統計的に無理やり解いてみた - ほくそ笑む
今日は、R-bloggers に面白い記事が上がっていたので、それを紹介してみようと思います。 問題 「子供にはすぐに解けて、大人にはなかなか解けない不思議な問題」をご存知でしょうか？ 最近ネットで割と話題になりました。 その問題は、次のようなものです。 8809 = 6 7111 = 0 2172 = 0 6666 = 4 1111 = 0 3213 = 0 7662 = 2 9312 = 1 0000 = 4 2222 = 0 3333 = 0 5555 = 0 8193 = 3 8096 = 5 7777 = 0 9999 = 4 7756 = 1 6855 = 3 9881 = 5 5531 = 0 2581 = ? https://twitter.com/#!/yappyJP/statuses/172086299099004928 なかなか面白い問題です。 答えはここでは書きませ
統計学を勉強するときに知っておきたい10ポイント - Issei’s Analysis ～おとうさんの解析日記～
googleさんやマイクロソフトさんは「次の10年で熱い職業は統計学」と言っているようです。またIBMは分析ができる人材を4,000人増やすと言っています（同記事）。しかし分析をするときの基礎的な学問は統計学ですが、いざ統計学を勉強しようとしてもどこから取りかかればいいか分からなかくて困るという話をよく聞きます。それに機械学習系の本は最近増えてきましたが、統計学自体が基礎から学べる本はまだあまり見かけないです。 そこで今回は、統計学を初めて勉強するときに知っておいた方が良い10ポイントを紹介したいと思います。 1. 同じ手法なのに違う呼び名が付いている 別の人が違う分野で提案した手法が、実は全く同じだったということがあります。良く聞くのは、数量化理論や分散分析についてです。 数量化理論 数量化I類 = ダミー変数による線形回帰 数量化II類 = ダミー変数による判別分析 数量化III類 =
WEBで読める統計関係の良質な資料 - Interdisciplinary
私がよく参考にする所を三箇所紹介します。いずれも、説明が極めて明瞭で、論理的な整合性や用語の丁寧な使い方を志向している所に好感が持てるサイトです。 ▼Econom01 Web Site, Sophia University, Tokyo, Japan 上智大学の大西博氏のサイト。私が統計関連で最もよく参照する所です。説明の仕方の明瞭さや、具体例を用いた解説がとても良いと思います。確率統計の一つ一つの概念について、大変丁寧に説明されています。たとえば、「相関（および因果関係）」については、 ２つの変数の同時分布と、その条件付き分布は、変数の間の数量的結び付きを示しています。この数量的結び付きは、統計的頻度分布として観察されるものであり、現象の背後にある実態的な「関係」や「構造」から導かれる法則性を必要としません。 例えば、人間の身長と体重とは密接な統計的分布関係を持っていますが、両変数を決定
統計を学びたい人へ贈る、統計解析に使えるデータセットまとめ - ほくそ笑む
はじめに 統計解析の手法を学ぶのに、教科書を読むのは素晴らしい学習方法です。 しかし、教科書で理論的なことを学んだだけでは、統計手法を使いこなせるようにはなりません。 統計解析手法を身につけるには、実際のデータについて手法を適用し、パラメータを変えるなどの試行錯誤を行い、結果を考察するというような経験を積むことが大切です。 それでは実際のデータをどうやって手に入れましょうか？ 実験や調査をして実際のデータを得るのは大変でお金もかかります。 幸運なことに、世の中には適度なサイズの自由に使えるデータがたくさん存在します。 例えば、統計言語 R には、100以上ものデータセットがデフォルトで付属しています。 ただし、不幸なことに、それらのほとんどは英語で説明が書かれています。 英語は、いつかは乗り越えなければならない壁ですが、最初のうちはちょっと避けて通りたいところです。 というわけで、今日は、
Rが使えるフリをするための14の知識
米国FDAで公認され、ハーバード大学やイェール大学の授業で利用されるようになり、世間での認知度が着実に上昇している統計用プログラミング環境のRだが、ユーザーなのか、ユーザーになりたいのか、ユーザーとして振舞いたいのか分からない人が増えてきた。 スノッブなユーザーとして振舞う場合は、Rの特性を語れる必要があるので、ユーザーになるよりもRへの知識や理解が必要で、実は難易度が高い行動である。それでもあえて意識の高いRユーザーとして振舞いたい人々のために、最低限求められる事のチェック・リストを用意してみた。 1. 参考文献や参考ページを押さえておく 一番大事な事だが、参考文献や参考ページを押さえておこう。公式サイトで配布されている、「R 入門」「R 言語定義」「R のデータ取り込み/出力」は持っておくべきだ。R-TipsやRjpWikiも参考になる。 2. 演算子や制御構文をマスターする 四則演算
ベイズ推定を知っているフリをするための知識
最近はベイジアンが増えてきて、実用分野での利用も進んでいるようだ。話題としては知っておきたいが、世間一般には理解に混乱を生んでいるようだ。 ベイズ推定は入門レベルの統計学の教科書ではオマケ的な扱いがされており、実際に伝統的な統計手法を拡張している面が強い。そういう意味では、誤解や混乱があっても仕方が無い。 利用する必要があるのか無いのか良く分からない点も多いのだが、知らないと告白するのも気恥ずかしいかも知れない。自分ではベイズ推定で分析を行わない人が、ベイズ信者と話をあわせるために最低限知っておくべき事をまとめてみた。 1. ベイズ推定とは何か？ ベイズ推定とは、ベイズの定理を応用した推定手法だ。端的に理解するためには、最尤法に事前確率を導入している事だけ覚えれば良い。これで哲学的議論を全て回避してベイズ推定を把握することができる。 下の(1)式ではπ（θ）が事前確率、π(θ|x)が事後確
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
数式をなるべく使わないベイズ推定入門
