How to speed up R code: an introduction
Most calculations performed by the average R user are unremarkable in the sense that nowadays, any computer can crush the related code in a matter of seconds. But more and more often, heavy calculations are also performed using R, something especially true in some fields such as statistics. The user then faces total execution times of his codes that are hard to work with: hours, days, even weeks.
Supervised Classification, beyond the logistic
In our data-science class, after discussing limitations of the logistic regression, e.g. the fact that the decision boundary line was a straight line, we’ve mentioned possible natural extensions. Let us consider our (now) standard dataset clr1 <- c(rgb(1,0,0,1),rgb(0,0,1,1)) clr2 <- c(rgb(1,0,0,.2),rgb(0,0,1,.2)) x <- c(.4,.55,.65,.9,.1,.35,.5,.15,.2,.85) y <- c(.85,.95,.8,.87,.5,.55,.5,.2,.1,.3)
Statistical Methods and Computing for Big Data
Big data are data on a massive scale in terms of volume, intensity, and complexity that exceed the capacity of standard software tools. They present opportunities as well as challenges to statisticians. The role of computational statisticians in scientific discovery from big data analyses has been under-recognized even by peer statisticians. This article reviews recent methodological and software
多項ロジット（Multinomial Logit）, R - mlogit 使用メモ - 東京に棲む日々
Rのmlogitパッケージで多項ロジット（Multinomial Logit）を使用する際のメモ。 まず、用語の整理。参考文献(A) p.8より。 ------------------------- A model with only individual specific variables is sometimes called a multinomial logit （多項ロジット）model, one with only alternative specific variables a conditional logit（条件付ロジット） model and one with both kind of variables a mixed logit（混合ロジット） model. This is seriously misleading: conditional logit mode
いろいろな確率分布のパラメータをいじくるアプリ @ksmzn #Shiny
いろいろな確率分布のカタチを見ることができるWebアプリです。 パラメータをいじくって、確率分布のカタチがどのように変わるのか観察しましょう。 上部メニュー からお好きな確率分布を選んでください。 このアプリはR言語のWebアプリフレームワークであるShiny で、@ksmznが作りました。 ご指摘や、追加すべき確率分布などがありましたらTwitterで教えてくださると助かります。 また、全てのコードはGitHubにもおいてありますので、拙いコードでよろしければ参考にしてください。 時間があれば、グラフをggplot2ではなく、D3.jsなどを使ったインタラクティブなものにしたいですね。 参考文献 このアプリを使う際に参考にしたページは以下です。 特に、まだまだShinyの日本語情報が少ないなか、 @hoxo_mさんの記事やコードはとても参考になりました。 @hoxo_mさん、ありがとうご
■Hamiltonian Monte Carlo - eizoo3010の日記
2015-02-20 ■Hamiltonian Monte Carlo R PRML ここ最近、自分の周りのすごく局所的な範囲でStan需要が高まっている。このStanが取り入れているMCMCのアルゴリズムとしてNo-U-Turn samplerとHamiltonian Monte Carloがある。このHamiltonian Monte Carloについてよくわかっていないし、知らないまま使っていくのは気持ち悪いしかなり恥ずかしいので調べたことをまとめる。 導入：Metropolisアルゴリズム 現在の状態に依存した提案分布からのサンプリングは容易とし、これを使ってサンプルし辛い分布からサンプリングしたい。で、このについて正規化定数以外の分布型はわかっていてと書けるとする。要は分布の形はわかっていて値も計算できるけど、その分布からのサンプリングは難しい、そんな状況を仮定する。Metrop
おっと危ない：信頼区間と予測区間を混同しちゃダメ - Take a Risk：林岳彦の研究メモ
今回は仕事で解析をしていて「おっと危ない」と思ったことについて書いてみます。結論からいうと「信頼区間と予測区間を混同しないように注意しましょう！」という話です*1。 課題：BODの値からTOCの値を推定したい 最近ややあってBOD（生物化学的酸素要求量）の値からTOC（全有機炭素量）の値を推定してみようと思いました*2。 試しに東京都の15地点から得られている水質データを用いてRで両者の散布図を描いてみると以下のようになりました（データはこちら：BOD-TOC.txt ）。相関はあるものの、バラツキもかなりあります。 BOD2TOC.data <- read.table("BOD-TOC.txt",sep=",") TOC <- BOD2TOC.data$TOC BOD <- BOD2TOC.data$BOD plot(BOD,TOC,type="p",xlim=c(0,6),ylim=c
Home - RDocumentation
Easily search the documentation for every version of every R package on CRAN and Bioconductor.
R に「もしかして」機能を追加する - 捨てられたブログ
対話コマンド環境において，コマンドを打ち間違えた時，本当に打ちたかったコマンドがサジェストされる機能，便利ですよね[A]。 R にも欲しいですね。ということで作りましょう。 以下のような感じに動くものを作ります。 > t_test エラー: オブジェクト 't_test' がありません Did you mean 't.test'? > map エラー: オブジェクト 'map' がありません Did you mean any of ['mad', 'Map', 'max']? まずは関数 (または変数) 一覧の取得から始めます。関数一覧は ls 関数により取得することができます。対話環境の基本となる環境である .GlobalEnv から遡っていき，アクセスできる関数一覧を取得します。 getNames <- function(envir=.GlobalEnv){ current <- en
統計言語 R の公式ヘルプでさらっと目を通しておくと良いトピックまとめ - ほくそ笑む
『アート・オブ・Rプログラミング』の日本語訳が出たので早速買いました。 細かい仕様の解説が多くちりばめられていて結構いい感じです。 プログラミング初心者向けではないですが、他の言語になじんでる人が R に入門したい場合には、他の入門書よりもこっちを読んだ方が手っ取り早いのではないかと思います。 例えば、下記のように、他言語との比較による解説が各所に見られます。 他のスクリプト言語の経験がある読者は、Python での None や Perl での undefined などの「存在しない」値を知っているかもしれません。実は、R にはこのような値が2つあります。NA と NULL です。 http://www.amazon.co.jp/gp/product/4873115795 さて、今日はこの本の 1.7.4 節からの話題です。 統計言語 R には、公式ヘルプが付属しており、例えば平均値を計
R.NETとExcel-DNAでRで動くExcelアドインを作る - My Life as a Mock Quant
手元にあるVisual StudioがExpress版だと中々作るのが難しいExcelアドインですが、CodePlex Archiveというものを使うと驚くほど簡単にExcelアドインを.NET言語を使って作成できます。またさらに、.NET言語からR言語を呼び出すことを可能にするDLLを、我らが偉大なる@kos59125氏が作成されているので、それらを組み合わせて「Rで動くExcelアドイン」を作ってみましょうというお話です。相互の依存関係をポンチ絵で示すとこんな感じです。 もちろん、Rには既にRExcelというExcelとの連携を強力にサポートするものがあるのですが、こちらインストールの手間が結構面倒なのと、更にインストールの際に管理者権限が必要となる一方、今回紹介する組み合わせだと簡単＆管理者権限必要ないので、セキュリティにうるさい会社でも使えるし、何より第三者に渡す場合の配布物が少な
Gradient Boosting Decision Treeでの特徴選択 in R | 分析のおはなし。
Gradient Boosting Decision Tree(GBDT)を勉強したので、その概要とRでのパッケージの簡単な使い方を乗っけておきます。 1. そもそもGBDTってなんだよっていう話。 単純に言えば、複数の決定木を作成して、集団で学習させる方法の事です。 １本決定木を作り、上手くモデルで説明が出来なかったobservationに対して重みを付け、重みのついた状態で次の木を作り、また重みを付けて・・・ というステップを指定した本数分だけ繰り返します。 誤差に対して学習しなおしてくれるので、決定木よりもっと良いモデルが出来上がります。 理論の詳細はこちらの本を参考にしていただければと。 英語版は著者サイトで無料公開されています。英語大丈夫な人はこちらを参照するとよいかと。 http://statweb.stanford.edu/~tibs/ElemStatLearn/ あとこのイ
foreachについてまとめたい - J's blog
foreachパッケージのforeach関数についてです。 Rで並列処理を行う際に今まで使用してきましたが、引数は.combineをいじるくらいでした。他にも%dopar%とかよくわからないものを蔑ろにしていました。この関数は今後もよく使うことになりそうなので、頑張ってまとめてみたいと思います。 基本 基本形としてはこんな感じです。 foreach(i = 範囲) %do% { -- 処理 -- } 1~3の平方根の計算例が以下になります。返り値はデフォルトでlistです。 > foreach(i = 1:3) %do% { sqrt(i) } [[1]] [1] 1 [[2]] [1] 1.414214 [[3]] [1] 1.732051 イテレータをここではiとしていますが、もちろんaでもbでもokです。さらに言えば、イテレータは2つ以上あっても大丈夫で、その場合は要素数の少ない方に
SSH転送しながらRMySQLでAWS上のDBにつなぐ - 盆栽日記
社内データを取得する際に踏み台を介してAWS上のDB(MySQL)につなぐ必要が出てきた。 データ取得関数は社内用のパッケージに実装していたのだがこれを少し変える必要がある。 もっと良いやり方ないだろうか。 とりあえず以下メモ。 踏み台接続用のサーバを立ち上げる TeraTermProを使ってSSHで接続する。SSH接続の設定などは下記参考文献を確認のこと。 sshlogin <-function(){ system('"C:/Program Files (x86)/teraterm/ttermpro.exe" 踏み台のIP /auth=publickey /user=踏み台のユーザ名 /keyfile=keyのパス', wait=FALSE, invisible=FALSE ) } で、これをパッケージ読み込み時に動かしたいので.onLoad関数に下記のように指定した。 .onLoad
K-means clustering is not a free lunch
David Robinson Director of Data Scientist at Heap, works in R. Email Twitter Github Stack Overflow Subscribe Recommended R Bloggers RStudio Blog R4Stats Simply Statistics Upfront I recently came across this question on Cross Validated, and I thought it offered a great opportunity to use R and ggplot2 to explore, in depth, the assumptions underlying the k-means algorithm. The question, and my respo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RPubs - Logistic regression Tokyo.R #46
http://www.singularpoint.org/blog/r/r-tips-rsqlite-1/
Automated Data Collection with R - Making R Files Executable (under Windows)
Blog | Data Science Articles
RPubs - Brunner-Munzel 検定