「毎日の数字を追いかけ、毎日改善する」ことの意外な落とし穴 - 渋谷駅前で働くデータサイエンティストのブログ
（※今回の記事の内容はかなり難解かもです） 大竹文雄の経済脳を鍛える（2月13日分記事） 幾何ブラウン運動と見せかけの回帰 - My Life as a Mock Quant 得てして多くの企業では、「毎日の数字（売上高・利益・在庫etc.）を追いかけ」、「その結果を元手に毎日改善する」ということを日々励行しているのではないかと思います。 ところで、こんな体験したことはありませんか？ 「毎日毎日、物凄く一生懸命数字を見ながら頑張ってカイゼンし続けて、確かに頑張った時は数字は上がったし、頑張りが足りない時は数字が下がった。それに一喜一憂しつつもずっと物凄く頑張り続けた・・・でも、あれからもう数ヶ月経ったのに全体としては数字は下がってきている。どうしてなんだろう？？？」 なるほど、もしかしたらその時の改善努力が正しくなかったのかもしれません。でも、実は「そもそも改善努力と数字とは何の関係もなか
統計の教科書を公開 - 【小波の京女日記】(2013-03-12)
_ 統計の教科書を公開 2013年度の学部の講義「統計学」で使用するための教科書を公開します． http://ruby.kyoto-wu.ac.jp/~konami/Text/ このテキストは，今年度まである出版社から出してもらっていたのですが，かなりの訂正と加筆を行い，元の本からはかなり内容が離れてきてしまいました．また出版社も，売れ行きがぜんぜん悪いし，カリキュラムが変わって100人以上いた受講者が30人程度に激減して儲けのタネにならなくなり，書店から引き上げてしまったようです． そこで，思い切って改訂版はネットに公開して一般の人に自由に使ってもらい，学生が授業で使う分については，小部数印刷の業者に必要なぶんだけ印刷製本してもらうことにしました．なんと2日で製本までやってくれるということで，初回の授業で注文をとってから印刷すれば，次の講義では使えるわけです．便利な世の中です． どんな教
H24:Introduction to Statistical Topic Models
統計数理研究所 H24年度公開講座 「確率的トピックモデル」サポートページ 講師: 持橋大地 (統数研), 石黒勝彦 (NTTコミュニケーション科学基礎研究所) 講義スライド 持橋分 (2013/1/15) [PDF] (12MB) 石黒分 (2013/1/16) [PDF] ソフトウェア UM (Unigram Mixtures) um-0.1.tar.gz DM (Dirichlet Mixtures) dm-0.1.tar.gz, dm-0.2.tar.gz PLSI (Probabilistic Latent Semantic Indexing) plsi-0.03.tar.gz (外部サイト) LDA (Latent Dirichlet Allocation) lda-0.1.tar.gz 参考文献 「私のブックマーク: Latent Topic Model (潜在的トピックモデ
データサイエンティストではない人に知っておいて欲しい事 - hotokuとは
統計を専門にしている訳ではない人と話していて感じた違和感があったので、書き留めておきたい。 疑うべき順番は モデル → 推定法 データ分析をしていれば、当然、期待を掛けたモデルのデータへの当てはまりそうが悪いという事が度々ある。こういう時、統計屋さんとして自然に浮かぶのは「モデルが間違っている」という発想である。と思うのだが、非統計屋さんと話していると、このような時に「別の推定法を試してみたらどうだろう」と言われる事がある。多分、目の前のモデルに対する過度の期待から来るのだろうと思うが、このような態度では統計的に見ると妥当性を欠いた分析をしてしまう危険を孕んでいる。 ひとつの事例 とある線型状態空間モデルのパラメータを推定した所、どうしてもデータに合わない部分があった。実は、それが合わない理由は簡単で、ある潜在変数は常に正であるはずなのだ。線型状態空間モデルでは、潜在変数の分布は正規分布で
はてなブログ | 無料ブログを作成しよう
思いは言葉に。 はてなブログは、あなたの思いや考えを残したり、 さまざまな人が綴った多様な価値観に触れたりできる場所です。
Statistics 110: Introduction to Probability - Download free content from Harvard University on iTunes
Description Statistics 110 (Introduction to Probability), taught at Harvard University by Joe Blitzstein in Fall 2011. Lecture videos, homework, review material, practice exams, and a large collection of practice problems with detailed solutions are provided. This course is an introduction to probability as a language and set of tools for understanding statistics, science, risk, and randomness. Th
統計学を勉強するときに知っておきたい10ポイント - Issei’s Analysis ～おとうさんの解析日記～
googleさんやマイクロソフトさんは「次の10年で熱い職業は統計学」と言っているようです。またIBMは分析ができる人材を4,000人増やすと言っています（同記事）。しかし分析をするときの基礎的な学問は統計学ですが、いざ統計学を勉強しようとしてもどこから取りかかればいいか分からなかくて困るという話をよく聞きます。それに機械学習系の本は最近増えてきましたが、統計学自体が基礎から学べる本はまだあまり見かけないです。 そこで今回は、統計学を初めて勉強するときに知っておいた方が良い10ポイントを紹介したいと思います。 1. 同じ手法なのに違う呼び名が付いている 別の人が違う分野で提案した手法が、実は全く同じだったということがあります。良く聞くのは、数量化理論や分散分析についてです。 数量化理論 数量化I類 = ダミー変数による線形回帰 数量化II類 = ダミー変数による判別分析 数量化III類 =
Graphical Models A Brief Introduction to Graphical Models and Bayesian Networks By Kevin Murphy, 1998.
A Brief Introduction to Graphical Models and Bayesian Networks By Kevin Murphy, 1998. "Graphical models are a marriage between probability theory and graph theory. They provide a natural tool for dealing with two problems that occur throughout applied mathematics and engineering -- uncertainty and complexity -- and in particular they are playing an increasingly important role in the design and ana
Conjugate prior - Wikipedia
In Bayesian probability theory, if the posterior distribution is in the same probability distribution family as the prior probability distribution , the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function . A conjugate prior is an algebraic convenience, giving a closed-form expression for the posterior; otherwise, numer
ベイズ統計と統計物理(統計科学のフロンティア12 計算統計II マルコフ連鎖モンテカルロ法の基礎)
サポートページ (ベイズ統計 ＆ マルコフ連鎖モンテカルロ) 2008年度より，新シリーズ「確率と情報の科学」が刊行開始となりました． 伊庭は編集のみで執筆の予定はありませんが，それとは別に新作の計画も練っております． 「統計科学のフロンティア」12巻『計算統計II』は好評6刷りとなりました． 伊庭は，第I部「マルコフ連鎖モンテカルロ法の基礎」，補論A「逐次モンテカルロ法 入門」を執筆しております． また，おかげさまで「ベイズ統計と統計物理」も5800部以上(7刷り)を超えました．フロンティア，確率と情報の科学ともどもよろしくお願いします． ― 伊庭幸人 店頭にない書店も多いので，ご友人やご同僚の方にお勧めの場合，ご購入はアマゾンまたは岩波書店の直売を利用していただくのが確実な旨，お伝えくださると幸いです． 統計科学のフロンティア12 計算統計II マルコフ連鎖モンテカルロ法の基礎 アマゾ
手で読む統計 - 書評 - STATISTICS HACKS(和訳) : 404 Blog Not Found
2008年01月26日02:30 カテゴリ書評/画評/品評Math 手で読む統計 - 書評 - STATISTICS HACKS(和訳) オライリー・ジャパンの矢野様より献本御礼。 STATISTICS HACKS Bruce Frey 鴨澤眞夫監訳 / 西沢直木訳 [原著:STATISTICS HACKS] これは面白くて使える。 ただし、競争も激しい分野でもある。 本書、「STATISTICS HACKS」は、統計をハック、すなわち実践を通して学ぶ本。「クラック」の意味で流通している「ハック」を統計に応用したものに関しては、すでに「統計でウソをつく法」というロングセラーがあるのでそちらを参照。 目次 - oreilly.co.jp -- Online Catalog: Statistics Hacksより クレジット はじめに 統計の基本 秘密を盗め 2つの数字で世界を記述 オッズの計
404 Blog Not Found : 書評 - 統計を学ぶ三冊+1
2010年07月13日17:00 カテゴリ書評/画評/品評Math 書評 - 統計を学ぶ三冊+1 返答に窮する問題というのがある。 私の場合、そのうちの一つは「統計を学ぶときに読むべき本」というものだ。 すごく悩ましい。現時点で「特効薬」とか「決定打」というのは見当たらない。Perlのラクダ本や、JavaScriptのサイ本といった、いわゆるバイブルは存在しない。 が、AIDSにカクテル療法があるように、統計もカクテル読みで学ぶ事は出来る。というわけで現時点で最強のカクテルならこうなるというものを取り上げてみたい。 結論から言うと、「マンガ統計学入門」で統計の世界を鳥瞰しつつ、「運は数学にまかせなさい」で統計の落とし穴に実際にはまってみながら、「統計学入門 (基礎統計学)」と「STATISTICS HACKS」の問題を手を動かして解いてみる、ということになる。うち"STATISTICS H
ピアソンの積率相関係数
計算手順： 2 変数 $X$，$Y$ が $n$ 組あるとする。 ピアソンの積率相関係数 $r$ は，「変数 $X$と変数 $Y$の共分散」と「それぞれの変数の標準偏差」から求められる。 \[ \begin{align*} r &= \frac{\text{変数}X\text{と変数}Y\text{の共分散}}{\text{変数}X\text{の標準偏差} \times \text{変数}Y\text{の標準偏差}Y} \\ &= \frac{\displaystyle \frac{1}{n-1}\sum_{i=1}^n \left ( X_i-\bar{X} \right )\ \left ( Y_i-\bar{Y} \right )}{\sqrt{\displaystyle \frac{1}{n-1}\sum_{i=1}^n \left ( X_i-\bar{X} \right )^2
統計ソフト・統計学習用データ
統計関係総合リンク｜ 統計ソフト紹介関係｜ 統計ソフト会社｜ 共分散構造モデル｜ 統計ソフト おもらい君(リンク集 |全般|多変量解析・多次元尺度解析|多変量解析 |多次元尺度解析|基礎統計等| 分布|特定アプリマクロ)｜ 統計用データ｜ WWW上での統計処理｜ 人｜ 日本の統計学関係｜ 日本のメーリングリスト｜ ＜ＷＷＷで統計を学習しよう＞｜ 検索系相談等｜ 統計教育リンク｜ 統計学用語集｜ case study(問題集)｜ 統計学から分散分析・重回帰まで｜ 総合的｜ 特定分野 （ 統計教育・注意｜ 研究法｜ 歴史｜ 測定｜ サンプリング｜ 分布｜ 検定力｜ meta-analysis｜ resampling｜ exact test｜ conjoint analysis｜ 実験計画法・分散分析 ｜ 多変量解析｜ 因子分析・共分散構造モデル｜ multi level｜ 多次元尺度解析｜ グ
R言語による統計学
R言語による統計学 * はじめに * 基本的統計量 ** 分散 *** 共分散 *** 共分散行列 *** 相関係数 *** 分散共分散行列 ** 標準偏差 ** 標準誤差 * 分散分析の原理 ** 一元配置分散分析 ** 二元配置分散分析 * χ2乗検定 * 重回帰分析 ** 標準偏回帰係数 ** 3次元散布図 * 因子分析 ** 骨密度データの例 * 共分散構造分析 ** 下部消化器癌の例1 ** 下部消化器癌の例2 ** Kleinの例 ** パス図 * 多重ロジスティック解析 * クローンバッハα係数 * 入出力 ** ファイル出力 * はじめに > で始まる行はRへのコマンド入力を表します。一方、%で始まる行は、ターミナルからの入力を意味します。Rからの 出力は特に区別していませんが、文脈から明らかでしょう。 なお、私の実行環境は、 Debian GNU/Linux woody
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本統計学会創立75周年記念出版『21世紀の統計科学』(全3巻) 増補HP版 (2012年1月)
岩波書店
Elements of Statistical Learning: data mining, inference, and prediction. 2nd Edition.
http://case.f7.ems.okayama-u.ac.jp/statedu/hbw2-book/
統計学自習ノート