manabouのブックマーク - はてなブックマーク

ChangeAnomalyDetectionパッケージを使ってHadoopにあるデータの異常検知（変化点検出） - yokkunsの日記
先日作ったChangeAnomalyDetectionパッケージを使ってHadoop上のデータの異常検知する仕組みを考えてみる。今回は、以下のようにhadoop上にデイリーで蓄積される購買履歴のようなデータを想定する $ hadoop fs -ls /user/yokkuns/buying_history | head Found 100 it ems -rw-r--r-- 1 yokkuns supergroup 184 2012-10-14 13:00 /user/yokkuns/buying_history/2012-01-01 -rw-r--r-- 1 yokkuns supergroup 65 2012-10-14 13:00 /user/yokkuns/buying_history/2012-01-02 -rw-r--r-- 1 yokkuns supergroup 76 20
manabou 2015/01/06
r

algorithm

error
リンク
第４２回Tokyo.Rを開催しました。 - yokkunsの日記
第４２回Tokyo.Rを開催しました！ https://atnd.org/events/54680 今回は、いつもと違って、Y!Jのでの開催で、株式会社Qubital（キュービタル）データサイエンスさんの社員の方々がスタッフをやってくださいました。ありがとうございます！！前半セッション R入門（dplyrでデータ加工)：@gepuro R入門（dplyrでデータ加工)-TokyoR42 from Atsushi Hayakawa ggplot2によるデータ可視化：@yokkuns Tokyor42 ggplot2 from Yohei Sato Rコードと実行結果：http://rpubs.com/yokkuns/27108 データ分析するときの4つの視点：@yokkuns Tokyor42_r_datamining_18 from Yohei Sato Rコードと実行結果：http
manabou 2014/09/01
r

slide
リンク
RでHDFS上のデータを読み書きするパッケージを公開しました - yokkunsの日記
RでHadoopを使うパッケージは、RHadoopとかRHIPEとかありますが、単純にHDFS上のデータを読み書き出来るだけのシンプルなものが欲しかったのでパッケージを作って公開してみました。 http://crantastic.org/packages/rHadoopClient JavaとかPigで一次集計したデータをRで読み込む時に使うイメージです。準備 install.packages("rHadoopClient") library(rHadoopClient) HDFS上のデータを読み込む ./tmp/iris にアップしたirisのデータを読み込む data.hdfs <- read.hdfs("tmp/iris") names(data.hdfs) <- names(iris) head(data.hdfs) ## Sepal.Length Sepal.Width Pe
manabou 2013/08/05
hdfs

r

package

hadoop
リンク
第31回Tokyo.Rを開催しました - yokkunsの日記
第31回Tokyo.Rを開催しました。 ※ 資料がまだのものは、公開され次第追記します！前半(初心者セッション) 初心者セッション1 (所沢義男) TokyoR#31 初心者セッション from TokorosawaYoshio Rによるやさしい統計学第７章分散分析（後半の後半） (@aad34210) Tokyo r30 anova_part2 from Takashi Minoda 中の人が語る seekR.jp の裏技 (@hiratake55) 中の人が語る seekR.jp の裏側 from hiratake55 後半始めよう多変量解析〜主成分分析編〜 (@sanoche16) Tokyor31 from Hiroki Sano R言語で学ぶマーケティング分析 – 競争ポジショニング戦略 – (@yokkuns) R言語で学ぶマーケティング分析競争ポジショニング戦略 f
manabou 2013/06/03
slide

r
リンク
1