R で超簡単に並列処理を書けるパッケージ pforeach を作った - ほくそ笑む
※この記事は R Advent Calendar 2014 : ATND の 22 日目の記事です。 0. この記事の要約 R の foreach パッケージを改良して、デフォルトで並列計算するようにしたパッケージ pforeach を作りました。 pforeach - Easy to parallel processing in R これにより、R での並列計算を下記のようにシンプルに書くことができます。 library(pforeach) pforeach(i = 1:100)({ i ** 2 }) これは、従来の foreach で次のように書いたものと同じ動作をします。 library(foreach) library(doParallel) cl <- makeCluster(detectCores()) registerDoParallel(cl) foreach(i = 1
【#R言語】One Class SVM（1クラス サポートベクターマシン）を使った外れ値検出 #統計学 #機械学習 - Qiita
R言語を使ってOne Class SVM（1クラス サポートベクターマシン）を使った外れ値検出を行う手順を自分用のメモとしてまとめました。 手順 1: サンプルデータ UKgas を読み込みます
Python と R で連携する - Qiita
R と Python の連携を考える 最近 R による基本的なデータプロッティングやファイル入出力の方法について説明しました。 データ分析の言語としては Python ですべてをやろうという傾向があるようですが、やはり過去の膨大な R による資産は魅力的でそう簡単に切り捨てられるものではありません。 よくあるケースとしては、部分的なデータ解析については R を流用したいが、全体的なプログラミングは Python で書きたいというシーンでしょう。また、プロッティングだけ R でおこないたいという場合もあるでしょう。こんなとき Python と R で連携できれば問題が一気に解決して便利です。 Python から R を利用するライブラリ PypeR かつては RPy2 というライブラリが使われていたようですが、最近使われており主流なのは PypeR です。 PypeR のインストール インス
Python + PypeRでPythonからRをつかってみる - 工作とかオーディオとか
Pythonは機械学習周りのパッケージは充実している感じがあるのですが、どうにも統計周りのパッケージが不足している感じがあって、PythonからRを叩くパッケージを試してみることにしました。 PythonからRをつかうパッケージとしてはRPy2が有名っぽいですが、 There is currently no binaries or support for Microsoft Windows (more for lack of ressources than anything else). とのことで・・・ 試しにeasy_installでインストールしてみましたがエラーが出てインストールできなかったので、違う方法を試すことにしました。 PythonからRを使いたい -だがRPy2おめーはダメだ- - 盆栽日記を見てPypeRのほうを試すことにしました。 インストールはいつもどおりeasy_
kmeansで楽できる(かもしれない)パッケージを作った - yokkunsの日記
k-means法は、非階層的クラスタリングの代表的な手法ですごく便利ですが、使って行く上で、以下の2つが問題になってきます。 初期値がランダムなので、結果がぶれる 最適なクラスタ数が分からない この2つの弱点に対して拡張版や手法が提案されていますが、すごくシンプルな方法で解決するパッケージを作ってみました。 その名もykmeansパッケージ・・・！ http://cran.r-project.org/web/packages/ykmeans/index.html ※改良とか拡張とかしてるわけではないので、kmeans2とか付けるのは自重した このパッケージは、上記の二つの問題に対して、以下のアプローチで対応しています。 N回(デフォルトは100)実行して、一番分類されたクラスタを採用する 任意の変数のクラスタ内分散の平均値が小さくなるクラスタ数を採用する N回実行して一番多く分類されたクラ
PythonからRを使いたい -だがRPy2おめーはダメだ- - 盆栽日記
経緯 とある事情でランダムフォレストを使いたいのだがrandomForestパッケージは因子のレベルが32までというFORTRAN実装を引きずっており今回のデータには合わない。 ならばとpartyパッケージのcforestを使ってみたが今度はメモリが足りなくなった。 諦めて因子のレベルを32以内にすればいいのだろうが、せっかくなのでPythonを使ってみたい。 で、Scikit-learnにランダムフォレストが実装されてるとのことなので入れてみた。 http://www.lfd.uci.edu/~gohlke/pythonlibs/#scikit-learn Scikit-learnについてはこれでおしまい。 ところで、↑のサイトを眺めているとRPy2がある。 RPy2に関しては当方Win7の64bit環境だが以前は32bitのものしかなくインストールすらうまくいかなかったことを思い出した
データからの知識発見('12)
講義一覧 > データからの知識発見 > Last Modified: 1章 2章 3章 4章 5章 6章 7章 8章 9章 10章 11章 12章 13章 14章 15章 訂正等 このサイトついて このWebサイトは秋光が主任講師を担当している 放送大学の専門科目 「データからの知識発見('12)」 のための補助資料などを掲載しています. 科目は平成27年度で閉講しました。 資料については各章ごとにページを分けています. 上記のナビから見たい章を選んでご利用ください. これらのページは放送大学の学生や講義の受講生に限らず, 一般に公開しています. 受講生以外の方がご利用になるのは自由ですが, 自己責任にてご利用ください. また, このサイトのデザインや内容については予告なく変更することがあります. サイトをご覧になったからのお問い合わせについては 必ずしもお返事できるとは限りませんが, 修
Rを使えるようになるための10のこと - Issei’s Analysis ～おとうさんの解析日記～
Rは統計解析を行うことができる強力なツールです。計算上の信頼性はとても高く、世界中の分析者が日々分析用パッケージを公開しております。近年では行政機関で使われているという事例もちらほら聞きます。 ・姫路市役所での事例 これまでSASは使ってきたけどRは全く使ったことがない！JAVAとかC++とかガリガリ書けるけどRはよく分からない！という方々がすんなりRの世界に入れるよう、資料の探し場所や導入部分をまとめておきます。 ※まだ不完全ですが情報を入手し次第アップデートしていきます。 1. 資料を探す場所 CRAN R本体、パッケージ、PDF資料などの置き場 Task Viewに分野ごとのまとめ Searchでパッケージや資料の検索 CRANの読み方は「しーらん」派と「くらん」派でわかれる（どっちでもいいw） Rjpwiki 日本語で書かれている、これまでのRに関する資料の集大成 データの加工技、
「Rを教えるにあたってのクイック・ガイド」 - 勝虫日記
Rイメージングのデータをよりによって，エクセルでカット・アンド・ペーストを徹夜してやっている4年生を見て，こりゃいかんと思い，Rのスクリプトを書いて，「ほら，こんなに作業が簡単になるでしょ?」と，Rをオススメするはずだった． ところが，反応はイマイチ．こんな難しいことやってられません，と言いたげな顔になってしまったので，いきなり負荷をかけすぎたかと反省．やはり，教えるのってムズかしい． ヤマほどR関連のドキュメントがインターネットで自由に手にはいるようになってきたが，それでも，直面している問題にすぐ答えてくれるわけでもなく，じっくり学んでいく必要があるのがほとんどだ．情報が多すぎて，すぐに自分の問題の解決に役立つようには到底思えないことが多い． ちょっとプログラムが書けると生産性がぐんと上がることは多々ある．生物学科では，データ解析は必須であるから，統計解析環境のRはもってこいだ．しかし，
時系列データの解析（厚労省公開の医療費データ） - データサイエンティスト上がりのDX参謀・起業家
この本に沿って時系列データの解析方法をまとめました。 Rによる時系列分析入門 作者: 田中孝文出版社/メーカー: シーエーピー出版発売日: 2008/06/01メディア: 単行本購入: 12人 クリック: 113回この商品を含むブログ (19件) を見る サンプルデータを使っても面白くないので、厚労省が公開している医療費のデータを使いました。 厚労省の医療費データベース 例によってこのデータはエクセルで公開されていて、そのまま解析できる状態じゃありません。 今回は入院の総医療費だけを扱ったので、その部分だけ加工してcsvにしました。 一応、加工したデータはダウンロードのページに置いてます。 それでは、解析していきます。 まずはデータ読み込みと加工。 Iryouhi <- read.csv("医療費.csv", as.is = T) Nyuin <- ts(Iryouhi[, 2], fre
Rでisomap（多様体学習のはなし）
1. Tokyo.R #14 Rでisomap （多様体学習のはなし） 2011年5月28日 Tokyo.R #14 Kohta Ishikawa (@_kohta) 1 2. Tokyo.R #14 アウトライン l 多様体学習って？ l 線形と非線形 l isomap l 実装してみた l 実務的な難しさ 2 3. Tokyo.R #14 多様体学習(manifold learning)？ l 非線形な多様体(manifold)上に分布するような データの構造を学習する一連の手法 l 例えば、高次元空間に埋め込まれた実質的に低次 元な多様体を学習することで、非線形データの低次 元表現が可能になる l データの分布構造が線形なら… l 主成分分析 （線形変換によって低次元でデータをよ く説明しようと試みる） l 因子分析 l etc… 3 4.
Rookパッケージがすごい！Rだけで1分で0からウェブアプリ - はやしのブログ Rev.3
要R (≥ 2.13.0)です。では，おもむろに以下のスクリプトを実行してください。 install.packages("Rook") s <- Rhttpd$new() s$start(quiet=TRUE) s$browse(1) ブラウザが立ち上がり，テスト用のウェブアプリが表示されました。たったこれだけで！ なぜこんなことができるかというと，Rは実はウェブサーバーを内蔵していて，Rookパッケージはこれを使ってウェブアプリを稼働させています。 Hello, World! ではお約束にとりかかりましょう。 app.hw <- function(env){ res <- Rook::Response$new() res$write("<html>\n<head><title>Test</title></head>\n<body>\n") res$write("<h1>Hello, Wo
データサイエンティスト上がりのDX参謀・起業家
推定を作ってから約２ヶ月経ってからのコロナ陽性者数の推測結果、以下になりました。 第５波までの傾向だったらもう収束しているはずですが、収束しておらず、１日6,000〜7,000人くらいで停滞している感じです。これくらいの陽性者数が底になっている印象。恐らく、これからは今までと違う動きをすると思われるので、また違う推測モデルが必要かも。 2/6に、↓の記事で東京都のコロナ陽性者数に正規関数を当てはめて推移を予測しました。1ヶ月ほど経ったので、その予測の評価をしてみました。 iisssseeiiii.hatenablog.com 評価した結果は次の図のようになりました。 オレンジ線が実際の陽性者数で、青破線が2/6までのデータを使ったモデルで推測した値です。モデルを作ってから少し陽性者数が増加し、推測ではもっと増えると計算されてましたが、そこまで増えませんでした。ただ、その後の減り方は緩やかだ
RでYahoo!の日本語解析APIを使うパッケージを作ってみました - yokkunsの日記
Rでテキストマイニングをする場合、RMecabや、RCaBoChaがあるんですが、事前にMecabやCaBoChaをインストールする必要があり、これから始める人にはちょっと敷居が高いところがあるかと思います。 RMeCabとRCaBoCha - yokkunsの日記 RCaBoChaの64bit版が公開されたので試してみた - yokkunsの日記 もっと気軽にRだけで動かしてみるものがあっても良いかなと思い、Yahoo! Japanが提供しているテキスト解析APIを使うパッケージを作成してみました。CRANにコミット済みです。 CRAN - Package YjdnJlp 以下の機能をサポートしています。 形態素解析 係り受け解析 キーフレーズ抽出 インストールと読み込み > install.packages("YjdnJlp") > library(YjdnJlp) 要求されたパッケー
RMeCabとRCaBoCha - yokkunsの日記
先日（MeCabをyumでインストール@CentOS - yokkunsの日記）CentOSにMeCabとか入れていたのだが、仮想マシンの容量がいっぱいになってしまい、Rが入れられなかったので、新規でFedora11の仮想マシンを作成した。 今回は、ディスク容量を15Gにしたので大丈夫 MeCabのインストール 前回は、CentOSにrpmが用意されていなかったので、何かごにょごにょしてインストールしたが、今回はあるので、普通にyumでインストール。 $ sudo yum install mecab mecab-devel mecab-ipadic Rのインストール こっちも、普通にインストール $ sudo yum install R R-devel RMeCabのインストール http://groups.google.co.jp/group/rmecab/filesから、現在の最新版（
インターリュード: TwitterとR
今回はTwitterという身近な題材を使って、Rによるデータ収集と可視化をやってみます。Rの豊富なライブラリを使えば意外に手軽にできます。 今回は間奏的にIT寄りの話題を この連載は＠ITの連載でもかなり毛色の違う内容です。それにもかかわらず前回までの4回は、統計的検定をいきなり導入したり、日本政府や世界銀行の経済統計にアクセスしてみたり、さらにはWikiLeaksの暴露データを統計解析してみたりと、かなりハードコアな内容に走ってしまいました。 第4回の「あとがき」では同じ路線で突っ走ろうということを申し上げていたのですが、今回は間奏（インタリュード）として、より＠ITらしく、IT寄りの話題を取り上げたいと思います。 TwitterとR Twitterの人気は世界的にまだまだ続いているようです。2010年8月後半に発表された2010年6月分の統計によれば、現在はインドネシアやブラジル、ベネ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://r.livedocs.net/
http://atnd.org/events/22039
糞ネット弁慶