caretで独自アルゴリズムの実行 - sfchaos's blog
caretパッケージは，機械学習のモデル構築・評価を統一したフレームワークで実行するための機能を提供している．caretのバージョン6.0.29では150個のアルゴリズムが利用できる． > library(caret) > packageVersion("caret") [1] ‘6.0.29’ > head(modelLookup()) model parameter label forReg forClass probModel 1 ada iter #Trees FALSE TRUE TRUE 2 ada maxdepth Max Tree Depth FALSE TRUE TRUE 3 ada nu Learning Rate FALSE TRUE TRUE 4 avNNet size #Hidden Units TRUE TRUE TRUE 5 avNNet decay Weig
逐次モンテカルロ/(粒子|パーティクル|モンテカルロ)フィルタを実装してみた - My Life as a Mock Quant
このポストの概要 逐次モンテカルロ法 (Sequential Monte Carlo: SMC)/粒子フィルタ(Particle Filter)は、状態空間モデルの状態変数の系列を観測値の系列 のみから推定するアルゴリズム パッケージを使ってもいいんだど、お勉強も兼ねて自分でコード書いてみましたというお話(コアの部分だけならRで30行弱) コードは固定ラグ平滑化にまで対応(自己組織化 or フルベイズでのパラメータ推定系の機能はなし） 状態空間モデルの細かい話は適当な教科書読みましょう 逐次モンテカルロ/粒子(パーティクル)フィルタとは 逐次モンテカルロ法 (Sequential Monte Carlo: SMC)/粒子フィルタ(Particle Filter)は、線形状態空間モデルに対してはカルマンフィルタを使うように、非線形状態空間モデルに対して状態変数の推定を行うアルゴリズムです。具
Rでニューラルネットワーク誤差逆伝播による誤差関数微分を摂動数値微分で検証 - Qiita
PRML5.3.3に記載の通り、ニューラルネットワークの重みwの各要素をそれぞれ摂動させることで、wの各要素に関する二乗和誤差関数の偏微分について、そのwにおける値を求め、誤差逆伝播で求めた誤差関数の偏微分についてのwにおける値と並べて表示し、誤差逆伝播で求めた値が摂動による数値微分で求めた値とほぼ等しいことを確認します。 frame() set.seed(0) par(mfcol=c(2, 3)) par(mar=c(3, 3, 1, 0.1)) par(mgp=c(2, 1, 0)) xrange <- c(-1.5, 1.5) yrange <- c(-2, 2) x <- seq(-1, 1, 1/25) Zi <- rbind(x, 1) # bias input #t <- x^2 t <- sin(x * pi) #t <- abs(x) #t <- sign(x) EPS
Diving into H2O
Revolutions Milestones in AI, Machine Learning, Data Science, and visualization with R and Python since 2008 by Joseph Rickert One of the remarkable features of the R language is its adaptability. Motivated by R’s popularity and helped by R’s expressive power and transparency developers working on other platforms display what looks like inexhaustible creativity in providing seamless interfaces to
野球のスコアで一番多いのは何対何だと思う？ - 300億円欲しい
野球のスコア こんなツイートを見つけました. 本日は神宮で東都大学野球を観戦後、Ｈさん、Ｇさんと外苑前の居酒屋で一杯。Ｇさんから「野球のスコアで一番多いのは何対何だと思う？」とお題。Ｇさんによれば、過去のＭＬＢの試合を全て調べた人がいて、そのスコアは「３ー１」だったそうだ。続く— ふくださん (@fukudasun) 2014, 4月 22 知りませんでした. 手元にMLBのデータがあるので, 調べてみました. データの取得 http://retrosheet.orgからデータをダウンロードします. メジャーリーグの試合の, 全てのイベントに関するデータが取得できます. 下記参照. Rで野球データを取得したい - 300億円欲しい とりあえず, 1921年から2013年までのデータを取得しました. 全部で2GBくらいです. 準備は整いました. 早速調査しましょう. 2013年のスコア別試合
Reports
はじめに なんか変なタイトルですが、この記事では次のような現象について考えます。 これはぱっと見は通常の重回帰モデルですが、よく見るとの回帰係数はの関数になっています。本記事ではこういった 間の未知の（非線形かもしれない）交互作用について考えることを目的とします。 どういった状況でこんなよくわからないモデルを考えないといけないのでしょうか？ 例えば、とあるシステムの開発プロジェクトの開発にかかる工数を分析するモデルだとして、目的変数 が開発期間、説明変数 が開発規模（人数）、が開発者のコミュ力だとしましょう（※ 単なる例なので現象の妥当性は気にしてはいけません）。 小規模（が小）ならばコミュニケーションを取る相手が少なく文脈も常に共有しているため、コミュ力の影響は小さいと考えられます。つまり、は小さくなります。 一方で規模が大きくなる（が大きくなる）ほどコミュニケーションを取る相手が多く、
生態学データ解析 - FAQ モデル選択
統計学的なモデル選択 (とくに AIC を使ったモデル選択) についてよくある質問と 久保 によるてきとーなる回答を並べてみました 参照: FAQ 系ペイジ一覧, FAQ stepAIC() モデル選択 [項目] モデル選択とは何ですか モデル選択したあとに検定すればいいのですか? モデル選択規準 AIC が一番小さいモデルは一番あてはまりの良いモデルですか? AIC によって選択された統計モデルってどういう意味で「良い」のですか? AIC で選ばれる統計モデルは標本数に影響されますか? AIC が少しでも小さい統計モデルが「良い」モデルなのですか? 統計ソフトウェアが出力する AIC の値だけ確認すればいいのですか? 比較すべき統計モデルの個数が 100 個ぐらいあるんですけど，このときも AIC 最小のモデルを選べばよいのですか? 「パラメーターの重要性」をみるために ``Akaike
グラフ（ネットワーク状）構造のクラスタリング（グループ分け）基礎：The Markov Cluster Algorithm（MCL）まとめた - 分からんこと多すぎ
MCLのスライド an introduction to the MCL algorithm めちゃくちゃ基本らしい。けど微妙に関係ないので、さわりだけ読む。 無意味にグラフ理論の基礎に触れつつ、エッジリストから高速にクラスタを組む話をする。 元論文は有料だったので諦めた。ので、何か微妙に間違っているかもしれない。コードあるけどR言語です。 グラフ構造とは グラフ構造とは、網目状の構造である。例えば、鉄道とか道路とかネットとか神経回路がそれに相当する。 例えば、道路の例を考えよう。 丸（ノード）が交差点で、線（エッジ）が道路になる。 この図は、「1」の交差点から、2,3,4の交差点にいける事を意味している。 1から5,6,7には行けないし、1から1に行こうと思ったら、1→2→1のように移動しなければならない。 ちなみにこれは無向グラフと呼ばれ、一方通行とかはないものとしている。 一方通行が現
ゼロから始めるDeepLearning_その4_Restrictedボルツマンマシンとは - 分からんこと多すぎ
はじめに MNISTで全然うまく行かないことが発覚したので、最適化を調べ中きちんと動きました。 学部四年生向け。だった。 ニューラルネットワーク →（AutoEncoder） →（DenoisingAutoEncoder） →ホップフィールドネットワーク →ボルツマンマシン →Restrictedボルツマンマシン（この記事） →（Gaussian Binary - Restricted Boltzmann Machines） →（DeepBeliefNetwork） →（DeepNeuralNetworks） →畳み込みニューラルネット（後日） 太線以外は読み飛ばしてOK Restricted Boltzmann Machines（RBM）をとりあえず使ってみる RBMには、ホップフィールドネットワークという前身がある。 できることは、それと同じである。 即ち、RBMとは、脳的なもの（マル
2013-12-21
Rstudio/knitr/pandocでepubを作る 作者: ryamada発売日: 2014/01/05メディア: Kindle版この商品を含むブログ (2件) を見る てふの幅の問題について(こちら) Sweaveからknitrへ(こちら) texから電子書籍フォーマットへ(Review) Rstudio+knitr どうもtexの電子書籍化の問題は、htmlとの相性が悪く、さらにhtmlと相性のよい電子書籍フォーマットとの相性が悪いことらしい ということで、knitrというSweaveの新型のようなパッケージとRstudioとを使ってみましょうということになりました。 Rは必要 Rstudioはこちらからダウンロード texの環境は…Sweaveやらで整っていたものを特に変えていない状況からスタート package "knitr"は普通にダウンロード さて、Rstudioを立ち上
pHomパッケージでドーナッツの穴を数えてみた - アドファイブ日記（ミラー版）
CRANに登録されているpersistent homologyを計算できるpHomパッケージで3次元トーラスの穴を数えてみました。 ソースはこちら。 データ生成 まず与える人工データの生成ですが、極座標表示したときの回転パラメータ2つでそれぞれ20間隔にして20x20の400点作り、ドーナッツの直径が50に対して標準偏差1のガウスノイズを各点ごとに独立に乗っけてみました。下で呼ぶpHom関数はデフォルトでは1000以上の点がある場合は1000だけ適当にピックアップして動作するようです。なので400なら特に何も言わなくても全部を考慮してくれる。 実行結果 pHomパッケージに与えるのはフィルトレーション（点たちを見るときの解像度）の最大値と、調べたいホモロジーの次元の最大値で、それぞれ5, 2としています。トーラスにおいては、0次元ホモロジー（点のあつまりを点とみなすときの点）、1次元ホモロ
Stanでポアソン分布の状態空間モデル: Taglibro de H
正規分布以外の状態空間モデルということで、ポアソン分布の状態空間モデルをStanでやってみる。 コード。データにdata(discoveries)をつかってみる。 data(discoveries) library(rstan) model.text <- " data { int<lower=0> N; int<lower=0> Y[N]; } parameters { real loglambda[N]; real<lower=0> sigma; } model { for (t in 1:N) { Y[t] ~ poisson(exp(loglambda[t])); } for (t in 2:N) { loglambda[t] ~ normal(loglambda[t - 1], sigma); } loglambda[1] ~ normal(0, 100); sigma ~ un
■rstanでHestonモデルのパラメタ推定 - eizoo3010の日記
2014-02-26 ■rstanでHestonモデルのパラメタ推定 R Finance データサイエンス界隈で何かとよく聞くrstanを使ってみたお話。インストールについてはRcppが動く環境であれば以下を回すだけでOK。 Sys.setenv(R_MAKEVARS_USER="foobar") options(repos=c(getOption("repos"), rstan="http://wiki.rstan-repo.googlecode.com/git/")) install.packages("rstan", type="source") Sys.unsetenv("R_MAKEVARS_USER") RcppとPython(x, y)を共存させてたりするとインストールにコケるらしいのでその時は以下を参照すべし。{Rcpp}を入れる時はシステム内に既にあるgccに注意 - 銀
TokyoRの第36回R勉強会に行ってきました - Java Coffee Cafe
珍しく勉強会参加報告。 これ -> http://atnd.org/events/47713 統計解析に特化した言語なので発表内容もその方面に偏るわけだが、 とは言ってもいろんなドメインがあって、手法もそのぶんいろいろあるので よく聞く話から今まで全く知らなかったことまでいろいろ聞けて面白いものだ あと、難しい話はしないので詳しく知りたい方はslideshareを見てください というわけで内容まとめるよ 10分で分かるR言語入門 ver2.6 10分で分かるr言語入門ver2 6 from Nobuaki Oshiro Rの文法やCRAN、お役立ちサイトなどの紹介 タイトルから分かるようにこれからRを始める人に向けた内容だった 10分しか話してない(実際の発表時間は計ってませんw)ので導入といった感じ Rによるやさしい統計学 「第20章 検定力分析によるサンプルサイズの決定」 Rによるやさ
RPy2でpythonからRを呼び出して計算（基本〜線形回帰まで） - My Life as a Mock Quant
インストール〜基本操作〜線形回帰まで。 まずはaptでインストール。 sudo aptitude install python2.6-rpy2ubuntu便利。 パッケージのインポート＆rに対するインターフェイスオブジェクトを生成。 基本的にこのオブジェクトを介してRを操る。 import rpy2.robjects as robj r = robj.rまずRからπの値を取得してみる。 ()だとRのコードとして評価される。 []だとRのオブジェクトを取得する。 という点に注意。 print(r('pi')) print(r['pi']) は.でもある程度代用できるけど、Rの関数・変数名にはちょいちょい.が入ってくるのでを使っておくのが無難。 上述のように()を使えばRのコードを評価できる。 Rの関数オブジェクトを定義してそれを使って値を計算してみる。 #値を2乗する関数 r('f <- f
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SparkRを使ってRでSparkを動かす
RPubs - Nikuthon #1
Taiwan R User Group / MLDM Monday | Meetup
今私は小さな魚だけれど - FC2 BLOG パスワード認証
bayesian-inference.com