「n日間移動平均」＋「±2σ境界線」をExcelでプロットしてお手軽にKPIの異常値をチェックする（厳密ではないけど） - 渋谷駅前で働くデータサイエンティストのブログ
僕の得意分野は計量時系列分析(Econometric time series analysis)なんですが、実際にソーシャルwebサービス企業でデータ分析に取り組む上ではそんなに細かいことやる必要はない、というかそこまで正確な分析をする前に実務上色々やるべきことがある、ということは結構多いです。 実際のところ、本当は異常値検出・外れ値検出みたいな手法でゴリゴリやりたい（例えばyokkunsさんが提供なさっているRの{ChangeAnomalyDetection}パッケージとか、はたまた{tsDyn}パッケージでも実装されているようなSETARとか、もしくは{MSwM}パッケージでやれるマルコフ状態転換モデルとか）んですが、Rを使ってもらうだけでも一苦労という現場ではそうも言ってられないという実態もあります。 ということで、もう何もかも面倒なのでお手軽に「KPIの上がり下がりを見て『これ凄く
データサイエンティストを目指すに当たって、ぜひ揃えておきたいテキストたちを挙げてみる - 渋谷駅前で働くデータサイエンティストのブログ
追記2 2015年末の時点での最新リストはこちらです。 追記 この記事の5カ月後にもう少し更新した内容の「お薦め本リスト」記事を2つupしてますのでそちらもお読みください。 2013年秋版：データサイエンティストを目指すなら揃えておくべき10冊 - 六本木で働くデータサイエンティストのブログ 2013年秋版：データ分析初心者にお薦めする「基礎を本当にゼロから学ぶ」ためのテキスト5冊 - 六本木で働くデータサイエンティストのブログ 今回は、僕が実際に自然科学の研究者からデータサイエンティストへと転身するに当たって、いつも脇に置いていたテキストや同僚が参考にしていたテキストをまとめて紹介します。 ※以下僕も持っているものには「＊」を打ってあります*1*2*3 統計学 統計学入門 (基礎統計学) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メ
「毎日の数字を追いかけ、毎日改善する」ことの意外な落とし穴 - 渋谷駅前で働くデータサイエンティストのブログ
（※今回の記事の内容はかなり難解かもです） 大竹文雄の経済脳を鍛える（2月13日分記事） 幾何ブラウン運動と見せかけの回帰 - My Life as a Mock Quant 得てして多くの企業では、「毎日の数字（売上高・利益・在庫etc.）を追いかけ」、「その結果を元手に毎日改善する」ということを日々励行しているのではないかと思います。 ところで、こんな体験したことはありませんか？ 「毎日毎日、物凄く一生懸命数字を見ながら頑張ってカイゼンし続けて、確かに頑張った時は数字は上がったし、頑張りが足りない時は数字が下がった。それに一喜一憂しつつもずっと物凄く頑張り続けた・・・でも、あれからもう数ヶ月経ったのに全体としては数字は下がってきている。どうしてなんだろう？？？」 なるほど、もしかしたらその時の改善努力が正しくなかったのかもしれません。でも、実は「そもそも改善努力と数字とは何の関係もなか
はてなブログ | 無料ブログを作成しよう
スロウでローファイ Xをやめてから急に写真を撮る速度が落ちたようで、そういえば最近このblogにもフィルム写真の話題を書いていない。 写真に飽きたわけではなくペースが落ちただけなのだが、よくよく考えてみれば写真なんて分野はそうそう目新しいことが起きるわけでもなくイノベーショ…
《Gunosy》開発チームから学ぶ、WEB業界人のための“統計学入門” | キャリアハック（CAREER HACK）
今、WEB業界で最もホットなテーマの一つである“統計学”。だが、一般的にはなかなか馴染みのない分野でもある。そこで、統計解析・データマイニングに基づいた高精度なパーソナルニュースキュレーションサービス《Gunosy》の開発チームを直撃。「はじめての統計学」と題し、統計学の基礎を教えていただいた。 今さら聞けない、統計学の基礎知識。 ここ最近、WEB業界において“統計”がキーワードになっている。だが、そもそも“統計学”は数ある専門分野の一つ。実はよく分かっていなくて…という方も、少なくないのではないだろうか？ 今回、その統計学について基礎の基礎から教わるべくお話を伺ったのが、話題のニュースキュレーションサービス《Gunosy》（グノシー）を手がける、福島良典さん、関喜史さん、吉田宏司さんの3名。まずは《Gunosy》について、簡単にご紹介しておこう。 左から、吉田宏司さん、福島良典さん、関喜
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
Treasure Data Platform で始めるデータ分析入門 〜8. Data Visualization Patterns 〜 Part.1 - doryokujin's blog
Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズではデータ分析を以下の7つのレイヤーに分解し，各々について解説していくものとします。（Slide Shareの資料は常時更新されます。） Data Collection Data Storage Data Management Data Processing Data Processing Design Part.1 Part.2 Part.3 Part.4 Part.5 Part.6 Data Visualization Treasure Viewer, MetricInsights, Tableau Data Visualization Patterns Part.1 Part.2 Part.3 本日は「7. Data Visulizations」の全
WEBで読める統計関係の良質な資料 - Interdisciplinary
私がよく参考にする所を三箇所紹介します。いずれも、説明が極めて明瞭で、論理的な整合性や用語の丁寧な使い方を志向している所に好感が持てるサイトです。 ▼Econom01 Web Site, Sophia University, Tokyo, Japan 上智大学の大西博氏のサイト。私が統計関連で最もよく参照する所です。説明の仕方の明瞭さや、具体例を用いた解説がとても良いと思います。確率統計の一つ一つの概念について、大変丁寧に説明されています。たとえば、「相関（および因果関係）」については、 ２つの変数の同時分布と、その条件付き分布は、変数の間の数量的結び付きを示しています。この数量的結び付きは、統計的頻度分布として観察されるものであり、現象の背後にある実態的な「関係」や「構造」から導かれる法則性を必要としません。 例えば、人間の身長と体重とは密接な統計的分布関係を持っていますが、両変数を決定
統計を学びたい人へ贈る、統計解析に使えるデータセットまとめ - ほくそ笑む
はじめに 統計解析の手法を学ぶのに、教科書を読むのは素晴らしい学習方法です。 しかし、教科書で理論的なことを学んだだけでは、統計手法を使いこなせるようにはなりません。 統計解析手法を身につけるには、実際のデータについて手法を適用し、パラメータを変えるなどの試行錯誤を行い、結果を考察するというような経験を積むことが大切です。 それでは実際のデータをどうやって手に入れましょうか？ 実験や調査をして実際のデータを得るのは大変でお金もかかります。 幸運なことに、世の中には適度なサイズの自由に使えるデータがたくさん存在します。 例えば、統計言語 R には、100以上ものデータセットがデフォルトで付属しています。 ただし、不幸なことに、それらのほとんどは英語で説明が書かれています。 英語は、いつかは乗り越えなければならない壁ですが、最初のうちはちょっと避けて通りたいところです。 というわけで、今日は、
pandas - Python Data Analysis Library
pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, built on top of the Python programming language. Install pandas now!
〈統計学へのお誘い本リスト（11 Nov. 06 版）〉 - leeswijzer: een nieuwe leeszaal van dagboek
→ アップデート：〈6-September-2011版〉． 数理統計研修の受講生から，「統計学の参考図書を紹介してほしい」との依頼があったので，下記のような「お誘い本リスト」をつくってみた．“門前”から“門”までの「参道」がやや長い気がするが，そこは気の迷いや逡巡が憑いてまわる相手のために，ということでご容赦を．また，いったん“入門”してしまった後は，手法ごとにそれぞれ適切な本（中級書）がきっとあると思うが，上のリストではそこまでは考えていない．ただし，ぼくの担当している講義が「実験計画法」だったりするので，この分野については数冊選んで，リストに付けた．なお，〈R〉に関する参考書は別のリストを参照されたい． ご意見などありましたら，ご連絡ください． 門前で迷っている人のためのコミック系入門書 高橋信『マンガでわかる統計学』（2004年7月刊行，オーム社，ISBN:4274065707→版元
痛みと鎮痛の基礎知識 - Pain Relief
Pain Reliefー私のための統計処理 →→→→→→ UMINサイトに 移動しました！
図（だけ）で説明する回帰分析 - 社会学者の研究メモ
分かっているようで意外と分かっていないのが回帰分析です。回帰分析の考え方をできるだけ図だけで説明した資料を作りましたので、適宜ご参照ください。 「(ほぼ)図(だけ)で説明する回帰分析」(PDF) 主な内容は、以下のとおりです。 説明変数と撹乱項の相関の理解 予測値の信頼区間をプロットすることの重要性の理解 「変数をコントロールする」ということで曖昧に理解されている内容の理解
統計学を勉強するときに知っておきたい10ポイント - Issei’s Analysis ～おとうさんの解析日記～
googleさんやマイクロソフトさんは「次の10年で熱い職業は統計学」と言っているようです。またIBMは分析ができる人材を4,000人増やすと言っています（同記事）。しかし分析をするときの基礎的な学問は統計学ですが、いざ統計学を勉強しようとしてもどこから取りかかればいいか分からなかくて困るという話をよく聞きます。それに機械学習系の本は最近増えてきましたが、統計学自体が基礎から学べる本はまだあまり見かけないです。 そこで今回は、統計学を初めて勉強するときに知っておいた方が良い10ポイントを紹介したいと思います。 1. 同じ手法なのに違う呼び名が付いている 別の人が違う分野で提案した手法が、実は全く同じだったということがあります。良く聞くのは、数量化理論や分散分析についてです。 数量化理論 数量化I類 = ダミー変数による線形回帰 数量化II類 = ダミー変数による判別分析 数量化III類 =
私のための統計処理ー基本解説
実験はギャンブルのようなもので、 どんな結果が出るかはわからないが、 実験計画を立てる。 「2群に差がない!」という帰無仮説を立てる。 群間のサンプルの選択は公平にしなければならないが、 勝率が高くなるような実験計画をデザインも必要である。 生物実験では、物理科学実験とは異なり、 得られるデータは必然的にばらつきを伴う。 測定者による誤差 ---実験技術の向上に伴い、 データの信頼度は上がる！ 測定装置、あるいは測定方法による誤差 測定されるものの性質による個体差
NumPy — NumPy
NumPy is the fundamental package for scientific computing with Python. It contains among other things: a powerful N-dimensional array object sophisticated (broadcasting) functions tools for integrating C/C++ and Fortran code useful linear algebra, Fourier transform, and random number capabilities Besides its obvious scientific uses, NumPy can also be used as an efficient multi-dimensional containe
カルバック・ライブラー情報量 - Wikipedia
カルバック・ライブラー情報量（カルバック・ライブラーじょうほうりょう、英: Kullback–Leibler divergence）は2つの確率分布の差異を計る尺度である。 確率論と情報理論で利用され様々な呼び名がある。以下はその一例である： カルバック・ライブラー・ダイバージェンス（KLダイバージェンス） 情報ダイバージェンス（英: information divergence） 情報利得（英: information gain） 相対エントロピー（英: relative entropy） カルバック・ライブラー距離 ただしこの計量は距離の公理を満たさないので、数学的な意味での距離ではない。 応用上は、「真の」確率分布 P とそれ以外の任意の確率分布 Q に対するカルバック・ライブラー情報量が計算される事が多い。たとえば P はデータ、観測値、正確に計算で求められた確率分布などを表し、Q
関西学院大学 KWANSEI GAKUIN University
現在、関西学院の各WEBサイトに障害が発生しています。 ご不便、ご迷惑をおかけしますがご了承ください。 お問い合わせ、アクセスは以下をご覧ください。 オープンキャンパスのお申し込みについては以下のボタンよりお申し込みください。 関西学院大学オープンキャンパスについてはこちらから（開催日：3月23日（土）） 聖和短期大学オープンキャンパスについてはこちらから（開催日：3月23日（土）） 聖和短期大学オープンキャンパスについてはこちらから（開催日：3月24日（日）） お問い合わせ一覧 交通アクセス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
A/Bテストがビジネスルールを変えていく（あるいは、ぼくらの人生すらも？）
こんにちは統計学：Pythonによるχ２乗検定・ｔ検定・Ｕ検定・分散分析・多重比較・相関係数の計算