統計を学びたい人へ贈る、統計解析に使えるデータセットまとめ - ほくそ笑む
はじめに 統計解析の手法を学ぶのに、教科書を読むのは素晴らしい学習方法です。 しかし、教科書で理論的なことを学んだだけでは、統計手法を使いこなせるようにはなりません。 統計解析手法を身につけるには、実際のデータについて手法を適用し、パラメータを変えるなどの試行錯誤を行い、結果を考察するというような経験を積むことが大切です。 それでは実際のデータをどうやって手に入れましょうか？ 実験や調査をして実際のデータを得るのは大変でお金もかかります。 幸運なことに、世の中には適度なサイズの自由に使えるデータがたくさん存在します。 例えば、統計言語 R には、100以上ものデータセットがデフォルトで付属しています。 ただし、不幸なことに、それらのほとんどは英語で説明が書かれています。 英語は、いつかは乗り越えなければならない壁ですが、最初のうちはちょっと避けて通りたいところです。 というわけで、今日は、
Rを使えるようになるための10のこと - Issei’s Analysis ～おとうさんの解析日記～
Rは統計解析を行うことができる強力なツールです。計算上の信頼性はとても高く、世界中の分析者が日々分析用パッケージを公開しております。近年では行政機関で使われているという事例もちらほら聞きます。 ・姫路市役所での事例 これまでSASは使ってきたけどRは全く使ったことがない！JAVAとかC++とかガリガリ書けるけどRはよく分からない！という方々がすんなりRの世界に入れるよう、資料の探し場所や導入部分をまとめておきます。 ※まだ不完全ですが情報を入手し次第アップデートしていきます。 1. 資料を探す場所 CRAN R本体、パッケージ、PDF資料などの置き場 Task Viewに分野ごとのまとめ Searchでパッケージや資料の検索 CRANの読み方は「しーらん」派と「くらん」派でわかれる（どっちでもいいw） Rjpwiki 日本語で書かれている、これまでのRに関する資料の集大成 データの加工技、
海外のRの情報源 - yasuhisa's blog
Tokyo.Rに参加してきて、色んな人とお話させてもらったけど、結構Rを使いこなしているなぁと思う人が多いというのが第一印象だった(やってる内容とか悩んでいる問題とか)。が、悩んでいる問題を解決する術がすでに存在しているにも関わらず英語なので、その人たちに情報が伝わってないっていうのが結構あるなぁというのを感じた。日本語で誰かがBlogとかでキャッチアップするとしても結構タイムラグがあるし、(最近多くの本が出ているとは言え)本になるのを待っていたら数年単位でしか情報を得ることができない。というわけで結論としては「英語のリソース読め!!!」ってことになるんだけど、自分も最初はどこ読めばいいかとかよく分からなかったなぁと思ったので、自分が読んでる英語で書かれているRの情報源になっているところを列挙していこうと思います。 僕はIRCとかは使ってないので、その付近はよく分からないのと他にもまだまだ
twitteRたのしいよtwitteR | Okumura's Blog
楽しすぎる統計・データ解析用言語 R の欠点は，Googleで検索しにくいことである。 そのRに twitteR というTwitter APIを操るパッケージができていた。これまた楽しい！ 使い方の例： install.packages("twitteR") library(twitteR) userTimeline("h_okumura") # 例 sess = initSession("h_okumura", "パスワード") tw = tweet("MacのRならtwitteRで化けないのかな", sess) # もし化けたら deleteStatus(tw, sess) する 詳しい使い方はvignetteやreference manualを見ればわかるが，実例がほしい。しかし残念なことに，Google検索ではtwitteRもTwitterも同じと扱われてしまう。Twitterで教
効果量の信頼区間 - Memorandums
投稿中の論文で、効果量の信頼区間（CI）の記述を求められた。効果量についてはすでにAPAも求めているが、その信頼区間も必要という考え方が一般的になりつつある。 cf. --- 分散分析 効果量の信頼区間を求めるsyntax http://www.ec.kagawa-u.ac.jp/~hori/spss/tokidoki18.html#186 固定要因 分散分析の効果量の90%信頼区間を求める syntax http://www.ec.kagawa-u.ac.jp/~hori/spss/spss.html#intervalanova --- F値から効果量のCIをもとめるために、F値の信頼限界をもとめるには以下などが利用できる。 Scripts and Software for Noncentral Confidence Interval and Power Calculations htt
パターン認識 (Rで学ぶデータサイエンス 5) - 朱鷺の杜(IBIS)ブログ
R については以前にも少し触れたことがありますが、最近 R に関する本が雨後の竹の子のようにたくさん出てきてどれを選んだらいいかよくわからない状態です。 そんな中、共立から最近出た パターン認識 (Rで学ぶデータサイエンス 5) を入手しましたので紹介します。 著者の金森、竹之内、村田の３氏は統数研の江口先生と共に U-divergence を用いたブースティングで有名で、私も個人的に知り合いです。 本には当然ブースティングも入っていますが、クラスタリング、判別分析、ロジスティック回帰、k-近傍法、LVQ, 決定木、SVM などの機械学習の基本的なアルゴリズムが網羅されています。 このシリーズがややこしいのは、既刊にマシンラーニング (Rで学ぶデータサイエンス 6)というのもあることで、こちらは統計や平滑化などの著書で有名な辻谷 将明,竹澤 邦夫両先生の著によるものです。 SVM とニュー
Rのパッケージを紹介するコミュニティ·crantastic! MOONGIFT
crantastic!はRuby on Railsで開発されたオープンソース・ソフトウェア。Rというのは有名な統計解析ソフトウェアだ。オープンソース・ソフトウェアとして公開されており、多数の学生および研究者によって使われている。世界中の方々が使っているとあって、Rを拡張するパッケージも無数に存在する。 パッケージ更新情報 そんなRのパッケージアップデータ情報や、レビュー、紹介を通じてコミュニティを構築するのがcrantastic!というWebサイトであり、そのコード自体がオープンソースとして公開されている。このシステムはRに限らず利用ができるのではないかと思わされる仕組みだ。 主な機能は新着情報、各パッケージの情報（紹介、メンテナー、ライセンス、依存パッケージ、変更履歴）、レビュー、レーティングとなっている。既に登録数が2000を越えており、数多くのパッケージがあることが分かる。これだけの
統計グラフの色 | Okumura's Blog
時間がないのでメモだけ。 Excel（特に2007より古いもの）の色のセンスは最悪。専用ツールで作画する場合も，ついred，green，blue，yellowのような原色を使ってしまうが，広い面積を原色で塗りつぶすと長く見つめるのが難しくなり，統計グラフには不向き。彩度・明度の調節が必要。参考文献： Ross Ihaka (Rの作者), Colour for Presentation Graphics, DSC 2003 Achim Zeileis, Kurt Hornik and Paul Murrell, Escaping RGBland: Selecting colors for statistical graphics, Computational Statistics & Data Analysis, 53, No.9, 3259-3270 (2009); 著者最終稿PDF Rで
対話型プロット | Okumura's Blog
RやAsymptoteやAdobe Illustratorでいろいろグラフを描いているが，最終産物がスタティックな図になってしまうのはおもしろくない。Rなら identify() などを使えばクリックした点の情報がわかる対話型のプロットができる（例）が，Webに載せる段階で固定されてしまう。それではおもしろくないので，JavaScriptで簡単な対話型プロットを作ってみた。 これはJavaScriptとHTML 5の canvas 要素を使っている。これについては少し前に グラフを描く（canvas編） という短い解説を書き，昨年度の卒業生の一人が卒研でこの技術を使って子どもに幾何学を教えるツールを作った。他の例としては Blob Sallad という物理シミュレーションがおもしろい（作者による解説）。 おもしろい応用があったら教えてください。
Rによる最適化、パラメータ推定入門 - yasuhisa's blog
パラメータの推定、でもその前に optimize関数について 補足 パラメータの推定 ベルヌーイ分布 定式化(尤度関数) 尤度関数の実装 尤度関数の最適化(パラメータ推定) 正規分布におけるパラメータ推定 まとめ パラメータの推定、でもその前に統計におけるパラメータの推定というのは大体最適化問題に帰着します。「なんとか関数を(最大|最小)にするようなパラーメータほにゃららを求めたい」とまあこんな感じで。というわけで、パラメータ推定は置いておいて、Rで最大化問題、最小化問題をどう解くかというところを最初にやってみようと思います。最適化問題は離散最適と連続のほうの最適に分けられますが、ここでは連続についての最適化問題について考えることにします。 optimize関数について Rにおける最適化をするための関数はoptim関数、optimize関数があります(他にもnlsなどありますが、とりあえず
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
URLからそのサイトの曲を作ってくれる「C O D E O R G A N」