【翻訳】整然データ｜Colorless Green Ideas
効果的なデータ分析に関して、「整然データ」という概念を提唱した論文 “Tidy Data” の全訳。整然データは、Rなどでデータ分析を容易にする有用な概念である。 ここに公開するのは、以下の論文の全訳である。 Wickham, H. (2014). Tidy data. Journal of Statistical Software, 59 (10). doi:10.18637/jss.v059.i10 この論文は、「整然データ」(tidy data) という概念を提唱したものである。これは、Rなどでデータ分析を容易にする有用な概念になっている。 なお、この概念についての簡単な解説として、「整然データとは何か」という文章を用意したので、先をそちらを読んでもよいだろう。また、“tidy” という英語をなぜ「整然」という日本語に訳したかについては「なぜ“tidy data”を「整然データ」と訳
統計・データ解析
『Rで楽しむ統計』が出ました。サポートページ 『Rで楽しむベイズ統計入門』が出ました。サポートページ，第7章のRコードをStanで書き直したRで楽しむStan 全国学力・学習状況調査の個票の疑似データがこちらで公開されています。データ分析の練習に使えそうです。SSDSE（教育用標準データセット）も。 R 4.x では stringsAsFactors=FALSE がデフォルトになりましたが，本サイトの古い記事ではそうなっていないところがあるかもしれません（read.csv() などで as.is=TRUE は不要になります（あってもかまいませんが））。 R 4.2 ではWindowsでもMac同様UTF-8がデフォルトになりました。もう fileEncoding オプションに "UTF-8"，"UTF-8-BOM" を指定する必要はなくなりそうです。一方で、SJIS（CP932）データの場
Twitterがリリースした時系列異常値検出のためのRパッケージ{AnomalyDetection}を試してみる - 渋谷駅前で働くデータサイエンティストのブログ
もう松の内も明けてしまいましたが、遅ればせながら皆さん明けましておめでとうございます。今年もよろしくお願いいたします。 で、年明け早々にTwitterエンジニアブログに面白いネタが上がっていたのでした。 その名も{AnomalyDetection}というRパッケージ。バルス砲に備えてTwitterが鉄壁の防御を敷いていることは多くの人がご存知だと思いますが（笑）、そういうバルス砲のような異常なアクセスの跳ね上がりだったり、逆にサーバダウンなどでアクセスの異常な落ち込みが出た時にいち早く検出するというのが目的の分析フレームワークのようです。 ということで、話題が新鮮なうちにちょっと試してみようと思います。 どういう仕組みで動いているのか 理論的背景としては、そもそもgeneralized ESD (extremely Studentized deviate) testという外れ値検出の手法が
R で超簡単に並列処理を書けるパッケージ pforeach を作った - ほくそ笑む
※この記事は R Advent Calendar 2014 : ATND の 22 日目の記事です。 0. この記事の要約 R の foreach パッケージを改良して、デフォルトで並列計算するようにしたパッケージ pforeach を作りました。 pforeach - Easy to parallel processing in R これにより、R での並列計算を下記のようにシンプルに書くことができます。 library(pforeach) pforeach(i = 1:100)({ i ** 2 }) これは、従来の foreach で次のように書いたものと同じ動作をします。 library(foreach) library(doParallel) cl <- makeCluster(detectCores()) registerDoParallel(cl) foreach(i = 1
Shiny を使ってR言語のプログラムをWeb アプリ化する - Tech-Sketch
R は統計解析向けのプログラミング言語で、お手軽にデータ分析を行うことができます。そして、R での分析結果は、Shiny というR のパッケージを使うことで、簡単にWeb アプリ化することができます。今回はR プログラムを簡単にWeb アプリ化するShiny パッケージと、Web アプリとして公開することができるShiny Server について紹介します。 What's Shiny? Shiny とはR のIDE である RStudio の開発元のRStudio Inc. が開発しているプロダクトです。Shiny を使うとR のプログラムを簡単にWeb アプリにすることができます。 Shiny で作成したWeb アプリはブラウザからのユーザー入力などをトリガーに、インタラクティブにR のプログラムを即時実行し、その実行結果を動的に確認できます。見た目に関しては、Shiny が内部的に T
OpenBLAS と ATLAS の性能を R 上で比較する | 永田 晴久
BLAS ライブラリにはいくつかの実装があり，x86 アーキテクチャに対して最適化された OpenBLAS や，オートチューニングを備えた ATLAS などが有名である．この記事では，R で計算を行う際にどの BLAS 実装を使うべきかを検討するために，R 標準の BLAS，参照 BLAS，OpenBLAS，ATLAS の４つについて簡単なパフォーマンス測定を行った結果を公開する． 内容 測定対象は，R 標準の BLAS (RBLAS)，参照 BLAS (RefBLAS)，OpenBLAS，ATLAS の４つ．マルチスレッドに対応している OpenBLAS と ATLAS ではシングルスレッド実行 (1T) と 実コア数での並列実行 (nT) のそれぞれで記録した． 今回は，R での使用頻度が高い問題として，行列積，逆行列の計算，固有値計算，線形回帰の４つを測定することにした．2000×2
「統計解析ソフトRのスクリプト集」公開のお知らせ - 心理発達科学専攻からのお知らせ
石井准教授の作成した「統計解析ソフトRのスクリプト集」をオンラインで公開します。名古屋大学教育学部の「心理・教育の統計学」の授業で実際に使用されている教材です。学習・研究にご活用下さい。 2016.4.5 Ver. 4.0βを公開しました。棒グラフオプション、オメガ係数、効果量、標本サイズの推定などの記述が加わりました。 2015.3.18 Ver. 3.0βを公開しました。記述統計量の算出の部分を統一的にしたのと、データ例を書籍にあわせて変えています。 2014.11.4 Ver. 2.2βを公開しました。 統計解析ソフトＲのスクリプト集 (PDF) 下記のサイトでは、シラバスと講義資料が公開されています。あわせてご活用下さい。 「心理・教育の統計学」（名大の授業） 講義資料 (PDF) ーーー はじめに 石井秀宗 この冊子は，心理学や教育学の研究でよく用いられる統計手法に関して，統計解
Rのforeach関数を使って並列計算をしたい (その1) - 300億円欲しい
foreach関数とは Rでfor文を回すことはご法度らしいです. 計算が遅いので. Rの高速化のために様々な手段が考えられます. その1つが並列計算です. Rのforeach関数は, Rで並列計算をする際にしばしば登場します. この関数で何ができるのかよく分かりません. なので, 今回は並列計算の前に, foreach関数の確認をします. 使い方 for文のような関数らしいです. 基本的な使い方... foreach(i = 範囲, .combine = 結果の出力形式) %do% {関数} イテレータの範囲と出力, 関数を指定します. 詳しくはドキュメントを参照します. http://cran.r-project.org/web/packages/foreach/foreach.pdf よく分かりません. # foreach.r 2013-08-17 # foreach package
「R言語による Random Forest 徹底入門 －集団学習による分類・予測－」 - #TokyoR #11
「R言語による Random Forest 徹底入門 －集団学習による分類・予測－」 - #TokyoR #11Read less
第４２回Tokyo.Rを開催しました。 - yokkunsの日記
第４２回Tokyo.Rを開催しました！ https://atnd.org/events/54680 今回は、いつもと違って、Y!Jのでの開催で、 株式会社Qubital（キュービタル）データサイエンスさんの社員の方々がスタッフをやってくださいました。 ありがとうございます！！ 前半セッション R入門（dplyrでデータ加工)：@gepuro R入門（dplyrでデータ加工)-TokyoR42 from Atsushi Hayakawa ggplot2によるデータ可視化：@yokkuns Tokyor42 ggplot2 from Yohei Sato Rコードと実行結果：http://rpubs.com/yokkuns/27108 データ分析するときの4つの視点：@yokkuns Tokyor42_r_datamining_18 from Yohei Sato Rコードと実行結果：http
はてなブックマーク記事のレコメンドシステムを作成 PythonによるはてなAPIの活用とRによるモデルベースレコメンド - データ分析がしたい
私は情報収集にはてなブックマークを多用しており、暇な時は結構な割合ではてなブックマークで記事を探してます。しかし、はてなブックマークは最新の記事を探すのは便利ですが、過去の記事を探すにはいまいち使えません。個人的には多少過去の記事でも自分が興味を持っている分野に関しては、レコメンドして欲しいと感じてます。 ありがたいことにはてなはAPIを公開しており、はてなブックマークの情報を比較的簡単に取得できます。そこでこのAPIを利用して自分に合った記事を見つけるようなレコメンド機能をRとPythonで作成してみたいと思います。 利用するデータは、はてなAPIを使って収集します。具体的には、はてなブックマークフィードを利用して自分のブックマークしているURLを取得し、そのURLをブックマークしているユーザをエントリー情報取得APIを用いて抽出し、そのユーザのブックマークしているURLを収集します。こ
統計解析 & R言語超初心者入門資料まとめ
興味を持ち続けていた統計解析や、R言語の勉強をはじめました！ まだまだ初歩の初歩ですが、この記事がいつか偉大な一歩になれるように頑張っていく所存ですw まずは、R言語や統計解析に関する入門記事や、モチベーションがアップしそうな記事をまとめていきます！ (02/23 11:00) 初学者の人にお勧めな資料にフォーカスしてまとめ直し 🍮 [スライド] 統計学入門 統計学の全体像をつかむのに最適なスライドです。初歩…とはちょっと呼べないくらい内容が深いです！ 🏈 [スライド] 初めての「R」 統計解析を始めるときにWindowsな方も、Macな方もとっつきやすのが『R』です。このRを完全初心者をターゲットに説明をしていただけている資料です。超わかりやすいです！ 🍄 [デスクトップアプリケーション] R用のIDE: RStudioRStudio RStudioはR言語用のIDEです。Wind
Rから利用するオープンデータAPI
2. Linked Open Data • Web上で利用可能な，オープンなグラフデータベース • オープンデータの主要なデータモデルの１つ Wikipedia日本語版 DBpedia Japanese クエリ結果の可視化例 LOD化 クエリ実行 3. SPARQL • LODデータセットに対するクエリ言語 • W3C標準のAPI（エンドポイントと呼ぶ） PREFIX dbpja: <http://ja.dbpedia.org/property/> PREFIX dcterms: <http://purl.org/dc/terms/> select distinct ?movie ?director ?actor // 映画名，監督名，出演者名を取得 where { ?m dcterms:subject <http://ja.dbpedia.org/resource/Category:日本
ブートストラップ法で信頼区間を求めるときの注意点 - ほくそ笑む
1. はじめに ブートストラップ信頼区間について調べていたんですが、理論的な求め方は教科書などに載っているのですが、実践的な情報が少ないように思います。 今回、少し調査してみて、実際に適用する際に注意が必要だなと感じたことについて書いておきます。 2. ブートストラップ信頼区間 ブートストラップ法は、理論的に求めるのが難しい統計量を、経験分布からのシンプルなリサンプリングによって推定できるという手法です。 ブートストラップ法では、推定された統計量に対して、その信頼区間を求めることもできます。 このような信頼区間をブートストラップ信頼区間といいます。 ブートストラップ信頼区間を求める方法については色々議論があるようですが、主な手法は次の5つです。 正規分布近似法 ベーシック法 パーセンタイル法 BCa法(bias-corrected and accelerated percentile me
小標本問題と t検定 - ほくそ笑む
統計を学び始めると「t検定」というのが最初のほうで出てくると思います。 t検定は、20世紀前半に活躍した統計学者、ウィリアム・ゴセットによって「小標本問題」というのを解決するために考案されました。 小標本問題とは、正規分布の平均値の検定に正規分布を用いると、サンプルサイズが小さい場合にαエラーを過小評価してしまうという問題です。 今日はこの小標本問題とそれを解決する t検定について R によるシミュレーションを使って説明してみたいと思います。 正規分布の平均値の検定 確率変数 が正規分布に従うとき、その平均値もまた、正規分布に従います。 数式で書くと、 となります。（分散が されていることに注意） なので、正規分布の平均値の検定には正規分布を使用すれば良いように思われます。 これを R でシミュレートしてみましょう。 # 正規分布を使用して平均値が 0 と等しいかの p値を求める norm
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ベイズ推定の概要 超入門
R と SQL を対応付けてみた 〜data.table 編〜 - あらびき日記
Rにおける大規模データ解析(第10回TokyoWebMining)
Index of /repo/public/
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
