Analysis with Programming
If you have been following this blog, you may have noticed that I don't have any update for more than a year now. The reason is that I've been busy with my research, my work, and I promised not to share anything here until I finished my degree (Master of Science in Statistics). Anyways, at this point I think it's time to share with you what I've learned in the past year. So far, it's been a good y
TAKENAKA's Web Page: 有意性検定の無意味さ
The Insignificance of Statistical Significance Testing 統計学的な有意性検定の意味のなさ Johnson, Douglas H. 1999. The Insignificance of Statistical Significance Testing. Journal of Wildlife Management 63(3):763-772. 全文 この論文の存在は， 久保拓弥さん（北大）の ページで知りました． The Wildlife Society Award for Outstanding Publication in Wildlife Ecology and Management を受賞したものです． 安易に使われがちな統計学的有意性検定がいかに無意味かを解説しています． なかなか勉強になりました． 自分用に下手な抄録を作って
統計検定二級に合格しました - tetsunosukeのnotebook
統計検定二級合格！ 統計検定 の二級 に合格しました。 久しくRとかに関しての記事を書いていなかったのですが、特にアウトプットできることもなく、ひたすらインプットの日々でした。 2011年の二級合格者は143名（41.3%）、2012年の合格者は319名（37.98%）ということで、少なくとも500人以内には入っていることになります:-) まあ受験してみようと思ったのは、なんといっても新しかったからでして受かったらネタにできるだろうと思いこうしてネタにしています。 当日 受験会場は東京大学。ほら。東大（で）受験とかかっこいいじゃないですか！現役の時に受けておけばよかったよ！という悔しい思いもしつつ、ここが受験会場になりそうだったことも受験動機の一つ。なんせ受験者数そんなに多くないわけですから、会場がここになるのは確実！ 当日周囲を見ると、結構なお年の人が2割くらい？学生が5割くらいという印
クラシックな機械学習入門 １ 導入
2. 情報源を記号列（例えば単語列 あるいは文字列）とする Noisy Channel Model 機械学習の先史時代 --情報の変換過程のモデル化-- 情報源記号 列：t tx 情報変換 雑音（N(0,σ2) etc) 推定処理 :推定さ れた情報 源記号列 出力された記号 列＝推定処理 への入力 x 出力された記号列＝推定処理への入力データxから 情報源記号列tを推定し を計算する tˆ tˆ 3. Bayesの定理 P(t|x)は、新たな出力記号列xが得られたときの情 報源から出力された記号列 t を推定する式で、これ を最大化する t すなわち を求めるのが目標。 ところが、このままでは、既に得られている情報を 使えないので、Bayesの定理で変換する。 すると、既知の情報源状態と出力記号列のペアに 関する条件付き確率P(x|t) （＝教師データ） 情
ほくそ笑む
ロジスティック回帰について調べている。 ロジスティック回帰モデルのパラメータの最尤推定量は、不偏推定量ではなく、バイアスがある。 例として、サンプルサイズ 、入力変数の数 のときを考える。 パラメータ 300個の真の値を、最初の 100個は 、次の 100個は 、残りの 100個は に設定して推定してみよう。 n <- 1500 p <- 300 # データの生成 set.seed(314) x <- rnorm(n * p, mean = 0, sd = sqrt(1/n)) X <- matrix(x, nrow = n, ncol = p) beta <- matrix(c(rep(10, p/3), rep(-10, p/3), rep(0, p/3))) logistic <- function(t) 1 / (1 + exp(-t)) prob <- logistic(X %*
untitled
1 µ 2 σ 1 n i i x n = ∑ n µ 2 n σ x ( ) log x Shapiro-Wilk n 2 σ n σ2 n ( ) 2 1 n s − 2 σ n ( ) 2 1 n s − 2 σ 食品総合研究所 National Food Research Insitute, Japan 2 1) np nq 10 10 5 2)0.1 0.9 p ≤ ≤ 5 npq < 3) 25 npq < n p 1 q p = − (2003). , , , p.483. P ( ) 1 P P − n nP ( ) 1 P P n − n ( ) 1 P P n − Clopper&Pearson(1934) >> (141KB A4 3 ) (1981). 2 , , , pp.158-164. 2 2 2k n s CI ⎛ ⎞ ⎟ ⎜ ≈ ⎟ ⎜ ⎟ ⎟ ⎜ ⎝ ⎠
meta-analysis
メタアナリシス meta-analysis Last modified: May 16, 2002 ここでは，meta-analysis の簡単な説明をします。 まず，手始めに簡単なところから， http://www.fu-berlin.de/gesund/gesu_engl/meta_e.htm にあった，“Meta-Analysis Programs” by Ralf Schwarzer を解析例を加えて要約しました。 （この URL は頻繁に変更されるようです，アクセスできなくなったときにはお知らせください） meta-analysis とは何か 複数の検定結果を統合する手法(1) 複数の検定結果を統合する手法(2) 複数の研究結果から effect size を統合する手法(1) 複数の研究結果から effect size を統合する手法(2) 相関係数の統合(1) 相関係
データセット一覧 : DoDStat@d
DoDStat@d データ指向統計データベース Data oriented Database of Statistics based on Analysis Scenario/Story
セクシー女優で学ぶ画像分類入門
2. 解析動機 2013年5月18日Tokyo WebMining #26 2 最後の春だし画像処理の勉強でもしとくか 後輩からAV女優の類似画像検索の話を聞く （ぱろすけ 2012） DMMにはアフィリエイトあったよな これでウェブサービス作れば儲かるかも 決して下半身からの要望で解析したのではありません http://blog.parosky.net/archives/1506 3. 計算環境 2013年5月18日Tokyo WebMining #26 3 使用言語：Python ２．７ （少しだけR） 使用モジュール：Numpy, Scipy, OpenCV 科学技術計算用のライブラリ MATLABにできることは大体できる numpy.ndarray 型付き多次元配列 numpy.linalg 線形代数計算 scipy.cluster 今回はこれのk-means法を使用
コラム別に読む : 統計学を知る 佐藤俊樹さんが選ぶ本 - 佐藤俊樹（東京大教授・社会学） | BOOK.asahi.com：朝日新聞社の書評サイト
■どんな場合に使えないのか 統計は今、何度目かのブームにある。「最強」と謳（うた）う本が３０万部も売れ、一般の人向けのセミナーも好評のようだ。私も大学では１・２年生向けの統計を担当しているが、４、５年前から学生の数が急増して、教室と教員の手当てに毎年汗をかく。 「統計」の２文字には神秘的な魔力があるらしい。よく知らない人も、いやむしろ知らない人ほど変に持ち上げたりする。 ■ブームの切実さ しかし、今回のブームはもっと切実な中身があるようだ。今の私たちは、良い意味でも悪い意味でも、リスクとつきあって生きていかざるをえない。この数年で、そのことを痛いくらい経験させられた。 金融や市場の開拓だけでない。例えば「原発は絶対安全だ」と信じようとしたり、「減災よりも防災、防災よりも地震予知」と、リスクをリスクとして見ないようにしてきた。それがかえって大きな被害をうむことがある、と気づかされたのだ。そう
Microsoft PowerPoint - kougi20080414.ppt
Ｎａｇａｓａｋｉ ＵＮＩＶ． ＨＯＮＤＡ 1 医療統計学のエッセンス －統計的仮説検定・信頼区間の推定を学ぶ－ 長崎大学大学院・医歯薬学総合研究科 社会医療科学講座・医療情報学分野 （病院・医療情報部） 本多正幸 長崎大学医学部 臨床特論（臨床疫学、医療情報学） 平成２０（２００８）年４月 対象５年 Ｎａｇａｓａｋｉ ＵＮＩＶ． ＨＯＮＤＡ 2 話の進め方（１） z 導入（参考としたテキスト紹介） z データの種類と尺度 z パラメトリック統計とノンパラメトリック統計 z 平均値と中央値 z 変動の測度（標準偏差と標準誤差） z 正規分布と偏差値 z 標本平均の分布 z 区間推定－信頼区間の構築 Ｎａｇａｓａｋｉ ＵＮＩＶ． ＨＯＮＤＡ 3 話の進め方（２） z 統計的仮説検定 －検定の例、概説 －１標本における平均値に関する推測 －第１種の過誤と第２種の過誤 －片側検定と両側検定 －標本
統計的テキスト解析(13)～テキストのクラスター分析～
図書館の図書は何らかの特徴別にグループ分けしており、新聞の紙面は総合、社会、経済、国際、生活、料理、スポーツ、地域などに分けられている。図書は図書館の管理者が、新聞の紙面は編集者たちがグループ分けしている。しかし、インターネット上の大量のテキストを何らかの特徴別にグループ分けする場合、すべての内容を読み、グループ分けすることは現実的ではない。また、人為的にグループ分けすることは読む側の主観の印象や認識などに左右されるため、客観的なグループ分けが求められている。 本稿では、テキストがどのグループに属するかに関する情報(外的規準とよぶ)を用いずにグループ分けする方法を説明する。このようなグループ分け方法をクラスター分析と呼ぶ。テキストのクラスター分析は、主に次のようなアプローチ多用されている。 (１)個体の特徴の情報に基づいて、平面や立体空間上で散布図を作成し、分布状況からクラスターの形成状況
二値変数 - 機械学習の「朱鷺の杜Wiki」
二値変数 (binary variable)† 二値変数とは二つの値をとりうるカテゴリ変数．数値として扱う場合は 0/1 または +1/-1 で符号化する． 対称な二値変数： 男性/女性などどちらの値も同じ重みの二値変数．男性=0，女性=1と符号化しても，男性=1，女性=0 と符号化しても類似度などが変化しないようにする． indicatingな二値変数： ある性質(例：クエリのレコードへの適合)を持つか，持たないかという重要性に差がある二値変数．ある性質があるときを1，そうでないときを0と符号化したなら，二つの二値変数が両方とも1であるときの方が，両方とも0であるときより類似しているように符号化する． ↑ 二値変数の類似度† \(m\)個の0/1の値をとる二値変数のベクトル \(\mathbf{x}\) と \(\mathbf{y}\) の類似度を考える． \(i=1,\ldots,m\
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 入門統計解析法: 永田靖: 本
.pdf)
pdf-library
カップルが一緒にお風呂に入る割合をベイズ推定してみた
サンプルサイズの決め方 (統計ライブラリー)