Rでのナウなデータ分割のやり方: rsampleパッケージによる交差検証 - 株式会社ホクソエムのブログ
前処理大全の「分割」の章では、予測モデルの評価のためのデータセット分割方法が解説されています。基礎から時系列データへ適用する際の注意まで説明されているだけでなく、awesomeなコードの例がRおよびPythonで書かれており、実践的な側面もあります（お手元にぜひ！）。 しかし今回は、Awesome例とは異なる、より新しいやり方で・簡単にRでのデータ分割を行う方法を紹介したいと思います。前処理大全でも取り上げられているcaretパッケージですが、その開発者のMax Kuhnが開発するパッケージの中に rsample を使う方法です。ここでは前処理大全で書かれている一般的なデータと時系列データの交差検証による分割をrsampleの使い方を紹介しながらやっていきます。加えて、rsampleの層化サンプリングについても最後に触れます。 1. レコードデータにおけるモデル検証用のデータ分割 zeal
本日の懺悔：dplyrでsliceをもっと活用しようね - 盆栽日記
懺悔です。 今まで私はある列の最小値を含む行を抽出する際、filter()を用いて以下のように書いていました。 library(dplyr) iris %>% filter(Sepal.Length == min(Sepal.Length)) しかしbaseの書き方であればwhich.min()を使って以下のように書けます。 iris[which.min(iris$Sepal.Length), ] dplyrでもwhich.minしたいな〜でもfilterにはTRUE/FALSEを返す関数しか指定できないしな〜とか独り合点していたわけです。 ですが、dplyrには行番号を入力にとるslice()があり、これを使えばwhich.min()できる。 library(dplyr) iris %>% slice(which.min(Sepal.Length)) 手癖で書ける範囲で満足し修練を怠って
モダンな繰り返し処理purrrの使い方 - 医療職からデータサイエンティストへ
データの繰り返し処理やapply族を使ったデータフレームの処理などはデータ解析をする上では欠かせませんよね。 そんな時に役に立つのが{purrr}パッケージです。このパッケージは、今までfor-loopさせていた処理や、apply族を使っていた処理をスマートに処理することができます。 慣れるまでに少し時間がかかりますが、使いこなせるようになれば処理の幅が広がることは間違い無いです！ 今回はその使い方をまとめていきます。 {purrr}とは map map2,pmap よく使うpurrrの活用法 まとめ 参考 {purrr}とは そもそも{purrr} とは、リストやベクトルを受け取って反復処理をするパッケージです。for文やapply族を使う場合が多いかと思いますが、{purrr}は色々な機能をそなえたモダンなパッケージとなっております。 全部は紹介しきれないので、よく使いそうな関数だけを
統計言語 「R」の神はなぜ無償で貢献したのか
統計データを分析する際に使う「R」というプログラミング言語がある。無料のオープンソース・ソフトウェアで、Rを使えば、データの加工や操作、線形回帰、ランダムフォレストのような機械学習の分析、解析したデータの可視化が可能になる。「Python（パイソン）」と並び、統計分析を手がける人々に人気の言語だ。 Rはオープンソースのため世界中のエンジニアが修正や機能追加を進めている。その中で、データフレームの操作に特化した「dplyr（ディープライヤー）」やデータ可視化の「ggplot2（ジージープロット2）」など、人気のパッケージ開発で貢献した人物がいる。ソースコードの入力からコンパイルやデバッグまでが可能なRの総合開発環境を提供するRStudioのチーフ・サイエンティスト、ハドリー・ウィッカム氏だ。 ウィッカム氏が独力で作り上げたパッケージは今では大学の研究者からジャーナリストまで、数多くの人間が使
RStudioアドイン「codicR」で酷い英語力による変数名をなんとかする - Dimension Planet Adventure 最終章 最終話『栄光なる未来』
この記事は 「RStudio Advent Calendar 2017」 15日目のエントリーです。 こんにちは、皆さんは英語が得意ですか。私はもう駄目です。 それなのにコーディングなどをしているので、変数名とかカラム名を付けるときにいつも苦労します。僕が書いたコードを見せると、「この変数名はちょっと」という反応が返ることがよくあります。すみません。もう一度リーダブルコードを読み直せ。 そんなときには、 「codic」 にお世話になります。 このサービスはあちこちで紹介されているのでご存知かもしれませんが、 日本語を入力するとプログラミング向けの英語に変換してくれるサービスです。最高ですね。 そんな素敵なcodicですが、お世話になりすぎてしまい、いちいちRStudioからブラウザに切り替えるのも苦痛になってきました。ありがたいことにcodicでは API が公開されているので、RStud
[R] 非ガウシアン状態空間対応パッケージ, KFAS の使い方 - ill-identified diary
概要 まだ日本語情報の少ない KFAS を一連の状態空間モデルネタの続きとして紹介する. KFAS には一番良く使われている dlm パッケージよりも優れた点がいくつもある. 前回のように, パッケージの理念・構文・具体例を用いた実験を順に紹介していく. 状態空間モデルを扱う Rパッケージの中では dlm が最も有名だが, これは名前の示すように動的線形モデル dynamic linear model, すなわちノイズが正規分布になる, ガウシアン線形状態空間モデルしか扱うことができない. これに対して KFAS の長所はいくつもあり, 特に正規分布いがいの分布も扱うことができるという点は特筆すべきである. なお, KFAS を日本語で紹介している文献は, 伊東先生の発表スライド, Rパッケージ“KFAS”を使った時系列データの解析方法 from Hiroki Itô 伊東 (2017,
![[R] 非ガウシアン状態空間対応パッケージ, KFAS の使い方 - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/55dde84011f89d2bb3b373c108a980d209ee20e8/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fill-identified%2F20180811%2F20180811000928.png)
グラフ描画ggplot2の辞書的まとめ20のコード – MrUnadon – Bayesian Statistical Modelings with R and Rstan
Rによる美しいグラフの作成に欠かせないパッケージ "ggplot2" ですが、 グラフ作成のたびにネット検索したり自分の以前のコードを掘り起こしたりしませんか？ author: Unadon (見習い飯炊き兵) 動作環境:Mac OS Sierra 10.12.1; R version３.３.１; rstan 2.10.1 まずはTwitterでこの記事をシェアする はじめに ggplot2のグラフ作成で迷った時、チートシートやマニュアルは役に立つけど援用しにくいんですよね。「何を言ってるのかわからない」っていうのが結構あります。 「軸ラベル」と「軸タイトル」ってどれがどれなん？など、そういう初歩的なところで引っかかったりして、 目的(こういう図にしたい！)と手段(コード)の間の知識を埋めるのが手間で「もうイヤ！」ってなる。 で、次すぐに忘れてる。 なので、頻繁に使用するggplot２の基
Rで様々な表を書く。<br />パラメータの多いStanの結果も美しい表に。 – MrUnadon – Bayesian Statistical Modelings with R and Rstan
まずはTwitterでこの記事をシェアする author: Unadon (見習い飯炊き兵) 動作環境:Mac OS Sierra 10.12.1; R version３.３.１; rstan 2.10.1 はじめに Rを使う時、私はわざわざ表など使わず、”head(data)”なんかでデータの確認を済ませてしまったりすることが多いです。 でも、他人と共有するとなると、見せ方を考えなければならない。それで、面倒だけどエクセルにコピペして…とやっていました。 また、Rのコンソールに収まりきれないデータを確認したいときなども、何らかの手立てを考える必要があるとおもいます。 今回は、そんなデータの確認に使える”表の出力”についてまとめていきます。 本稿のお品書き package{DT}: dataframeをHTMLの表に一発変換(データが大きい場合有用) package{knitr}: dat
[R] 予測モデルを作るには formula を活用せよ - ill-identified diary
概要 formula オブジェクトは変数変換や交互作用項など, 多彩な表現ができる. xgboost や glmnet では model.matrix() を併用することで formula を利用できる. 統計モデリング/機械学習で予測モデルを構築するとき, 予測性能の向上のため, しばしば変数を入れ替えたり, 変換したりといった推敲が必要となる. R ではこういうときに formula オブジェクトを使うと, いちいちデータフレームに変換後の数値を追加したり書き換えたりする必要がなくなる. glmnet や xgboost など, formula が直接使えないものでも model.matrix() 等を併用すれば可能である*1. formula オブジェクトを解説した記事を探すと, かなり前から存在する. 例えば以下の記事. m884.hateblo.jp なお, 上記はタイトルが「f
![[R] 予測モデルを作るには formula を活用せよ - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a15c64ba0ceec233d86d71001ebb29a9dcbf5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)
auditR：会計監査に統計分析ツールを使ってみる - auditR
CAATに興味のない方は、このサイトを見るより他に有意義なことをしたほうがよいでしょう。 このサイトで説明されているほとんどのことは表計算ソフトやデータベースソフトを使って実現できます。会計監査領域外の優れた知性を統計ソフトを通じて気軽に活用するという基本コンセプトがあるため、あえてＲを使ってみるところに意義を見出しています。 実務での適用に当たって、本当にＲを使うメリットがあるかどうかは、各自よくよく考えた上でご利用ください。 RおよびRStudioが設定された環境を前提としています。RおよびRStudioの利用条件等はそれぞれのサイトの記載に従ってください。 このサイトに書かれていることによって生ずる一切の損害については当方は責任を負いません。 また内容については個人の備忘メモですので途中で書きかけのまま終わっているものや、未確認の内容も含まれます。 サイトの目的 第一の目的：自分の備
RユーザーのためのJulia100問100答 - りんごがでている
R Adevnt Calendar 8日目の記事です。大幅に遅れて大変申し訳ないです。 この記事ではR言語ユーザーのために100問100答形式でJuliaを紹介していこうと思います。 Julia言語 Juliaってどういう言語なの? Juliaは高レベルでハイパフォーマンスな技術計算のための動的言語だよ。書きやすさと実行速度の両立がウリの言語だよ。 誰が作ってるの? 主にボストンのMITの人達が中心に作っている言語だよ。特にJeff Bezonson, Stefan Karpinski, Viral Shah, Alan Edelmanの4人が初期の重要人物だよ。 自由に使えるの? Juliaの処理系はMITライセンスで配布されているから、商用でもなんでもかなり自由に使えるよ。 どれくらい速いの? すごく速いよ！大体C言語の2倍以内くらいの収まる速度だよ。 Rと比較してどうなの? 数倍から
RStudioPreview版でR Notebookを使ってみたメモ | takemikami's note
MacOSX上のRStudio Previewで、R Notebookを使ってみたので、 利用するまでの手順をメモに残しておきます。 このエントリで試したのは、以下の点です。 RとRStudioPreview版のインストールRStudioからR Notebookのサンプルを表示作成したR NotebookをGitHub Pagesで公開するMySQLに保存されたデータを使ってNotebookを作成するこのエントリでは以下のバージョンのRStudioを利用しました。 RStudio 1.0.25 - Mac OS X 10.6+ (64-bit) RStudioでのR Notebook機能については、以下のURLに記載があります。 R Notebooks http://rmarkdown.rstudio.com/r_notebooks.html RとRStudioPreview版のインストー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Let’s Git started | Happy Git and GitHub for the useR
significantdigits.org
http://rtokei.tech/stan/2049/
New community features for Google Chat and an update on Currents
Kazutan.R
https://houstonusers.github.io/intro-to-R-guide/index.html
Google Drive: Sign-in
https://www.rmetrics.org/files/Meielisalp2009/Presentations/Iacus.pdf