R言語を使ってOne Class SVM(1クラス サポートベクターマシン)を使った外れ値検出を行う手順を自分用のメモとしてまとめました。 手順 1: サンプルデータ UKgas を読み込みます
回帰分析 や 相関関係分析 を 行う前に、まず一番最初に、「データの検証」と「データの加工」が絶対に必要 上記のステップを踏まないと、例え、Excel や SPSS、Rで 回帰分析・相関関係を事項して、「実行エラー」起こらないで、ちゃんと数字が画面に出ても、それは『間違った数字』である可能性が非常に高い 回帰分析 や 相関関係分析に使えるデータは、次の 『 NG条件 』にあてはまらないデータだけ 「データの形」必須条件 ~その1 データ期間を通じて、データの平均値が変わるデータだとNG ⇒ 折れ線グラフでチェック必須! 「データの形」必須条件 ~その2 データ期間を通じて、データのぶれ・ばらつきが変わるデータだとNG ⇒ 折れ線グラフチェック必須! 「データの形」必須条件 ~その3 データ期間を通じて、データの値が直線的 or 曲線的に、増加する・減少するデータだとNG ⇒ 折れ線グラフチ
予告どおり複数通貨ペアを一気にまとめて1つの xts データに格納する R の関数です。 ちなみに、MetaTrader4 が標準エクスポートで書き出す csv ファイルは下図のとおりです。 ではコードです。 fun.xts.multi <- function(pairnames, timeframe, Open=FALSE, High=FALSE, Low=FALSE, Close=TRUE, Volume=FALSE){ reads <- c(FALSE, FALSE, Open, High, Low, Close, Volume) count <- length(pairnames) m.xts <- xts() for(i in 1:count){ x.df <- read.csv(paste(pairnames[i], timeframe, ".csv", sep=""), he
…旧版は下部… 1日30分くらい,30日で何とかRをそこそこ使えるようになるための練習帳 改め 「そこそこRが使えるようになるための練習帳」 下部の練習帳を作ってから,ずいぶんたちました。Rのバージョンアップも進み,情報が古くなったところもあります。授業でも,少し使いにくくなってきました。 そこで,コンセプトや内容はほぼそのままに,新しいバージョンに対応し,いくつか必要だろうなと感じていた情報も新たに加えたものを作成しました。 私自身は,Macユーザーなので,Mac版の「R」(3.5.2)をベースに作成しています。別途Win版を作成するかどうかは未定です…。多くの部分は共通なので,Windouwsユーザーも以下の資料で問題ないのではないかと思います。Win特有の点が含まれる日もありますので,その際は旧版も参照してください。 あと,他のサイトでしっかりと説明がされている,ダウンロードやセット
はじめまして。 こちらでは主にシステムトレードソフト、MetaTrader4 に関連する話題を書いて行きます。 へなちょこなので、すきま産業的しょぼいネタばかりになると思いますが、よろしくお願いいたします。 さて、初投稿からタイトル通りいきなりすきまに突っ込みます。 MT4 での EA やインジケーター開発、トレードログの分析に R を利用したいという人も多いと思いますが、R で時系列分析を行う場合、xts パッケージを利用すると何かと便利です。 ところが xts 形式にデータを変換するのにはちょこっと手間が掛かります。 そこで MT4 の吐き出した csv 形式のヒストリカルデータを xts に一発変換する関数を作ってみました。 参考にさせていただいたのは日本 R 界の大仏様、teramonagi さんのコチラです。 私のツイートに対するアンサー記事まで書いていただき、ありがたやありがた
むかーしに書いた記事 xtsへのコンバート - My Life as a Mock Quant のやり方「as.xts(read.zoo(hoge))」だと、日中足のデータが正しく読めねぇよ! Rでの日中足の扱いはググっても情報が少ない。昨夜のも日足データなら、 y<-as.xts(zoo(x)) だけでおk(by @teramonagi さん)なのに、日中足だと時間情報が消えて日付だけになっちゃうのどうしたら良いのかなかなかわからなかった。— LitopsQ (@LitopsQ) April 16, 2014 という話を見かけたので、こんなんいかがでしょうかというお話。 日中足が問題というよりも、xtsの時間の単位が日付ではなく時刻ベースになると困るという話だと思うんで、 それっぽい適当データをDropbox上にアップしておいたので、それを参考にやる。 〜データの読込&表示〜 > lib
私が分析を行う際、データ加工や集計作業は基本的にSQLで行い、分析やモデル作成はRで行うことが多いです。 しかし、DBが使えないような場合やちょっとした集計などRでデータを加工・集計したい場合があります。 RでSQLで行うようなデータ加工・集計を行うには、基本的にsubsetやorder、merge、aggregateといった関数を利用します。 (SQLとRの関係については、以下のページがわかりやすいです。 http://d.hatena.ne.jp/a_bicky/20110529/1306667230) ただ、こういった関数はよく使い方を忘れてしまい、Webなりヘルプなりを使うたびに調べるなんてことが起こります。 正直、かなり面倒なわけです。 そこでSQLクエリを使って直接Rのデータを加工できたら良いなーと思うわけですが、 「sqldf」パッケージを用いれば直接SQLを利用してデータを
R Advent Calendar 2011の24日目です。さて一昨日、R2.14.1がリリースされたのですが皆さんはもう使っていますか?この新しいバージョンでは遂にparallelライブラリのdetectCores()メソッドをSolarisOSで使用した時でも、物理コアの数字を正確に返すようになりました。Solarisユーザの皆さんやほーいですね。 さて、冗談はさておき今日はRのsqldfライブラリについての話をします。 RやSASなどの統計解析言語(というか)実行環境は多数の関数が実装されていてどのような手法であれとりあえずすぐに使ってみることができるというのが魅力であるのは間違いありません。しかし、とりあえず使ってみようとしても手持ちのデータをまずは関数に突っ込める形に変形しなければいけません。ここのデータ変形がうまくいかなくてイライラして窓からWindowsマシンを投げ捨ててしま
AWSソリューションアーキテクトの蒋(@uprush)です。 初期コストがなく、導入しやすいペタバイト級のデータウェアハウスAmazon Redshiftは、非常に多くの皆様に利用頂いています。そのなかでも特に多いのは、Redshiftに保存されているビッグデータをBIや可視化ツールを使った解析です。 データ解析ツールとしてRが有名です。Rは統計分析や可視化するためのオープンソースソフトウェアで、データマイニングや分析などの分野で広く使われています。 RはJDBCを利用してデータベースにアクセスすることができます。また、Redshiftは標準的なSQLが利用可能で、PostgresSQLのJDBC・ODBCドライバをそのまま使用することができるため、この2つを組み合わせるとRからRedshiftにもアクセスできます。 RedshiftとRを利用して、インタラクティブ、かつ高度なビッグデータ
どうもえいやです。 昨日、うちに住んでいる学生さんがWebスクレイピングをしようとしていたので、それならRを使うのがよろしかろうということでRの導入を教えたった話です。 今回の説明もOSはMac OS Xです。 Rとは ここ読んでください。 要するに統計・解析のための言語です。 Rの導入 インストールはBrewを使って簡単にできます。 gfortranが要る場合がありますので、次のようにします。 %> R R version 2.15.2 (2012-10-26) -- "Trick or Treat" Copyright (C) 2012 The R Foundation for Statistical Computing ISBN 3-900051-07-0 Platform: x86_64-apple-darwin11.4.2 (64-bit) Rは、自由なソフトウェアであり、「完全
How The Rise Of The "R" Computer Language Is Bringing Open Source To Science ⚙ Co.Labs ⚙ code + community 予算削減と科学ソフトウェアコストの上昇のおかげで、オープン科学信者は、科学界にオープンソースを持ち込むことに成功しつつある。あまり知られていない言語、Rも貢献している。 Rとは自由な、オープンソースの統計解析ソフトウェアである。MATLABのような民間に所有されている数値計算ソフトウェアや、SASのような統計ツールは、歴史的に、研究所には必要なツールであった。Microsoft Officeがオフィスに必要なように。しかし、ソフトウェアの爆発的なコスト上昇と、研究費の削減により、科学者はRを使いはじめるようになった。 現在、日々増えつつある多数の研究社がR開発コミュニティに参加し、
※xtsの使い方自体はxtsライブラリを使ってみるー1、xtsライブラリを使ってみるー2参照のこと csvファイルに金融時系列データを保存する場合、「1列目:日時、2列目以降:資産価格」のようなフォーマットが多い(Excel脳) このようなデータをRで扱う場合、read.csvで読み込むとdata.frame型になる。 これを処理が大変便利なxts型に変換したいので関数を書く・・・までもなく #hogeにdata.frame型のデータが入る as.xts(read.zoo(hoge)) でイケた。具体的なデータを使ってやってみると #テスト用データをdropboxにおいてあるのでそれを使う #ここで使用している為替レートのようなものは実際の値ではありません。あくまでサンプルデータです。 file.currency.rate <- "http://dl.dropbox.com/u/99233
2013-05-05 ■highfrequencyパッケージ R Finance highfrequencyパッケージというのがいいらしいのでメモ。何がいいかって言うとtickデータを5分足とか10分足に加工するのが楽だったり、高頻度データからいろんなボラティリティ指標を計算してくれる関数が備わってて今までC++とかRとかでゴチャゴチャ書いてた苦労がなくなるので快適研究ライフが送れるというもの。とりあえず、サンプルコードを回してみる。 ## http://cran.r-project.org/web/packages/highfrequency/ options(repos="http://cran.md.tsukuba.ac.jp") install.packages(c("highfrequency","timeDate","zoo")) library(highfrequency)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く