🍭データフレームからランダムにデータを抽出したい - cucumber flesh
北のマエショリストこと（面識もない私が勝手に呼んでいる） id:WAFkw さんがこんな記事を書いていた。 wafdata.hatenablog.com 手持ちのテーブルから、無作為（ランダム）にサンプルを抽出する（リサンプリング）、という記事。そしてそのレスポンスとして、{dplyr}でこれできるよ、という話（マエショリストさんのやりたいことと違っていたらどうしよう）。自分自身もちょっと前に得た知見なので共有のために書いておく。 data <- data.frame(ID = seq(1, 9999)) head(data) ## ID ## 1 1 ## 2 2 ## 3 3 ## 4 4 ## 5 5 ## 6 6 tail(data) ## ID ## 9994 9994 ## 9995 9995 ## 9996 9996 ## 9997 9997 ## 9998 9998 ##
モダンなRによるテキスト解析 - Qiita
概要 すぐに使えるKNBCコーパスを対象に、モダンなRの書き方でテキスト解析したときのメモです。TF-IDFや共起頻度（ネットワーク作成）、LDAやGloVeまでをパッケージで実行しました。 - 解析済みブログコーパス 定義・設定 最初に処理で利用するライブラリの読み込みや定数・関数の定義。 library(pacman) library(widyr) # 読み込むパッケージ SET_LOAD_PACKAGE <- c("tidyverse", "Rcpp", "chunked", "tidytext", "visNetwork", "textmineR", "Matrix", "topicmodels", "LDAvis", "text2vec") # コーパスファイルの設定 SET_CORPUS_FILE <- list( DOWNLOAD_URL = "http://nlp.ist.
dplyr & purrr を用いたデータハンドリング
dplyr & purrr を用いたデータハンドリング 1. dplyr & purrr を用いたデータハンドリング 2. About Me • 杣取 恵太(そまとり けいた) • 専修大学大学院文学研究科心理学専攻 博士2年 • 日本学術振興会 特別研究員(DC1) • 研究テーマ: ⎻ 恐怖条件づけの個人差 ⎻ メタ認知の認知モデリング • 趣味: ⎻ 麻雀、ダーツ 3. 本資料の内容 dplyr と purrr(ちょこっとtidyr)を使って データを楽にハンドリングする！ 4. tidyverseワークフローにおける本資料の位置付け データの 読み込み 可視化 モデル化 dplyr purrr 整然化 変形 プログラミング 5. 本発表で使うパッケージ library(tidyverse) library(stringr) 6. まずはデータの読み込み データの 読み込み 整然化
tidyrの使い方
はじめに データフレームを縦長・横長・入れ子に変形・整形するためのツール reshape2を置き換えるべく再設計された改良版(Ｃ++での記述) dplyrやpurrr と一緒に使うことで真価を発揮する Rstudio社が提供する{tidyverse}に含まれる 登録関数 # 登録数 funcCountFuncs(tidyr) ## [1] 41 # 関数内訳 funcCountFuncs(tidyr, FALSE, TRUE) ## [1] "%>%" "complete" "complete_" ## [4] "crossing" "crossing_" "drop_na" ## [7] "drop_na_" "expand" "expand_" ## [10] "extract" "extract_" "extract_numeric" ## [13] "fill" "fill_" "
土屋 政雄 (Masao Tsuchiya) - Rメモ（tidyverse） - researchmap
データセットにどんな変数が入っているか要約値を確認したい場合，元々Rで使える方法ではsummary( )関数がありました。 Sepal.Length Sepal.Width Petal.Length Petal.Width Species Min. :4.300 Min. :2.000 Min. :1.000 Min. :0.100 setosa :50 1st Qu.:5.100 1st Qu.:2.800 1st Qu.:1.600 1st Qu.:0.300 versicolor:50 Median :5.800 Median :3.000 Median :4.350 Median :1.300 virginica :50 Mean :5.843 Mean :3.057 Mean :3.758 Mean :1.199 3rd Qu.:6.400 3rd Qu.:3.300 3rd Q
purrr: ループ処理やapply系関数の決定版
forループやlistの処理などをより簡潔に書けるようにしてくれるパッケージ。 標準のapply系関数よりも覚えやすく読みやすい。 dplyr や tidyr と組み合わせて使う。 いまのところ並列化する機能はないので、 それに関してはforeach/parallelページを参照。 tidyverse に含まれているので、 install.packages("tidyverse") で一括インストール、 library(tidyverse) で一括ロード。 list, vector操作 各要素に関数を適用するapply系関数 library(conflicted) library(tidyverse) v = list(1, 2L, "3") check_class = function(x) {paste0(x, " is ", class(x))} # 自分でfor文を書くと結構大変
tidyverse脳になって階層構造のあるデータフレームを使いこなそう
@yutannihilationが書いたtidyverseの記事を眠気眼の状態で読んでしまって、眠気も吹き飛んで3時起きしました。訴訟。 さて、Rアドベントカレンダーの中で @yutannihilation や @takeshi0406 がtidyverseについての記事を続けて書いていることからも、tidyverseの普及具合がわかる昨今ですが、これらの記事の中であまり言及されていないことがあります。それはtidyverseに含まれるパッケージの一つである{dplyr}や{tidyr}が提供するnested data frameです。私個人はこれを階層構造のあるデータフレームと呼んでいます。 一人Rアドベントカレンダーの3日目では、tidyverseに欠かせない思想である、この階層構造のあるデータフレームについて説明をしたいと思います。といっても春先に書いたこの記事の再放送的な感じでもあ
dplyr入門 (新版)
はじめに 修正履歴 2020/06/28: 公開 2020/07/01: データの結合を追加 2020/07/03: factor型の扱い方を追加 誤字・脱字は随時修正しております。 以下の内容は現在執筆中の内容の一部となります。 Song Jaehyun・矢内勇生『私たちのR: ベストプラクティスの探求』(E-book) 前半は「データハンドリング [基礎編: 抽出]」章、後半は「データハンドリング [基礎編: 拡張]」章に基づいており、factor型の扱いについては「データハンドリング [基礎編: factor型]」章を一部抜粋しております。 したがって、いきなりオブジェクト、関数、引数といった馴染みのない概念が出てきます。これらの概念に馴染みのない方は、予め「Rプログラミング入門の入門」をご一読ください。 2020年6月に公開されましたdplyr 1.0.0に対応しております。 20
dplyrを使いこなす！JOIN編 - Qiita
はじめに 今回は、複数(主に2つ)のdata.frameを結合する方法についてまとめます。 実際に分析する際に、1つのdata.frameだけで完結することはあんまりなく、マスタデータの結合など複数のdata.frameを組み合わせて使う必要がありますが、またまたdplyrを使えば簡単にできます。 結合と言っても、結構色んな方法があるので、分かりやすいようにチートシートからイメージ図を拝借してきました。 1つのdata.frameを操作する場合は、↓の記事を参照してください。 dplyrを使いこなす！基礎編 dplyrを使いこなす！Window関数編 JOINの種類 JOINの種類は大きく分けて以下の3つあります。 種類 説明
dplyrで時系列データの処理 - My Life as a Mock Quant
dplyrを拡張してデータフレームっぽい俺俺クラスを動かす - My Life as a Mock Quant で書いた、”dplyrでの時系列処理ってどうするんじゃい”というのの簡単な例。 下で示したようなやり方で大半は片付くのではないだろうか（たぶん）。 まず、ライブラリ＆サンプルデータの作成。 lubridateパッケージが大事で、こいつで日付を操作しつつdata.frameのままdplyrで裁いてデータ処理をしていくという方針である。 library(xts) library(lubridate) library(dplyr) # 適当なxtsデータ x <- as.data.frame(sample_matrix) x$index <- as.Date(rownames(sample_matrix)) > head(x) Open High Low Close index 200
日付データを年ごとや月ごとや週ごとで集計 - 廿TT
R です。 lubridate パッケージを使うとかんたん。 [1301 東証1部] 極洋 日足 時系列データ CSVダウンロード のデータを使います。 > library(lubridate) > library(dplyr) > stocks <- read.csv("~/Downloads/stocks_1301-T.csv",fileEncoding = "cp932") > head(stocks) 日付 始値 高値 安値 終値 出来高 売買代金 1 2016-12-22 2727 2729 2720 2729 15600 42518900 2 2016-12-21 2736 2745 2724 2731 16500 45131600 3 2016-12-20 2725 2739 2715 2733 31800 86682900 4 2016-12-19 2727 2736 27
dplyrのmutate_if()とかについて - Technically, technophobic.
1か月前にｷﾀｰとつぶやいたものがついにCRANにきたのでそれについて書きます。 Colwise update https://t.co/AotXyUjYmv ｷﾀｰ！— Hiroaki Yutani (@yutannihilation) 2016年5月31日 これは何なのか 複数のカラムに対して同じ処理をするとき、これまではmutate_each()、summarise_each()という関数がありました。 たとえば、Sepalから始まるカラムすべてにmin()とmax()を適用したいときはこんな感じです。 library(dplyr) iris %>% group_by(Species) %>% summarise_each(funs(min, max), starts_with("Sepal")) #> Source: local data frame [3 x 5] #> #> S
dplyr: 高速data.frame処理
data.frameに対して抽出(select, filter)、部分的変更(mutate)、要約(summarize)、ソート(arrange)などの処理を施すためのパッケージ。 前作plyrのうちdata.frameに関する部分が強化されている。 purrr や tidyr と一緒に使うとよい。 tidyverse に含まれているので、 install.packages("tidyverse") で一括インストール、 library(tidyverse) で一括ロード。 https://r4ds.hadley.nz/data-transform.html https://github.com/tidyverse/dplyr パイプ演算子 |> による関数の連結 x |> f(a, b) は f(x, a, b) と等価。 左の値 x を第一引数として右の関数 f() に渡す。 一時変数
Kobe.R #10 xts 時系列の簡単操作
Kobe.R #10を開催しました。 URL: http://kobexr.doorkeeper.jp/events/15060 日時: 2014/10/4 Sat. 10:00-12:00 場所: 三ノ宮駅周辺 Kobe.Rは関西で毎月定期的に開催している、統計用プログラミング言語 R の勉強会です。最初の発表「dplyr & xts を使った時系列データの簡単集計」についてご紹介します。 xtsは時系列データの操作に便利 株価や売上のような時系列データには、日付や時刻が記録されています。このようなデータから特定の期間を抽出したい、もしくは、月ごと、週ごとの集計を求めたいという時に便利なパッケージが xts eXtensible Time Series です。 データフレームをxts型に変換する まず、データフレーム型のデータをxts型のデータに変換します。 例えばこんなデータフレームが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://delta0726.web.fc2.com/packages/data/00_dplyr.html
GitHub - datasciesotist/files: ファイル置き場
20161220
Rと競馬データで学ぶ統計学 第4回 パッケージを活用する - どこかWiki
2016年6月版データマエショリスト入門
http://dsforum.biz/topics/648/