【R】4.4.3：ガウス混合モデルにおける推論：変分推論【緑ベイズ入門のノート】 - からっぽのしょこ
はじめに この記事は、「R Advent Calendar 2020」の10日目の記事です。 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、4.4.3項の内容です。「観測モデルを多次元ガウス混合分布(多変量正規混合分布)」、「事前分布をガウス・ウィシャート分布とディリクレ分布」とするガウス混合モデルに対する変分推論(変分ベイズ)をRで実装します。 省略してある内容等ありますので、本とあわせて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じような立場の人のお役に立てれば幸いです。 【数式読解編】 www.anarchive-beta.com 【他の節一覧】
「機械学習のパラメータをベイズ最適化でチューニング」をRで超簡単に書けるパッケージを作った - ★データ解析備忘録★
0. 要約 機械学習のハイパーパラメータをベイズ最適化でチューニングするのは既存パッケージの組み合わせで頑張ればできたのですが、頑張らなくても簡単に書けるパッケージを作りました。 github.com これにより、例えば iris データをXGboostの3-foldクロスバリデーション、エラー率評価でフィッティングさせたければ以下のように書くことでハイパーパラメーターである eta, max_depth, nround, subsample, bytree をベイズ最適化でチューニングしてくれます。 res0 <- xgb_cv_opt(data = iris, label = Species, objectfun = "multi:softmax", evalmetric = "merror", classes = 3, n_folds = 3) データセット名、ラベルの列名、XGbo
森を彷徨う - Qiita
本記事R Advent Calendar 201619日目の記事になります。 まえがき 皆様は今でも現役でrandomforest使っていますか？ xgboost, lightGBM, mxnetなど、新星が次々に登場しており、一時期に比べるとその存在感は薄くなってしまったかなと言う印象もあります。 とは言え、パラメータチューニングが比較的容易、結果が解釈しやすいなどの利点から、現在においても十分に一線級だと考えています。 最近のrandomforest実行パッケージ 最近のRを通じたrandomforest package色々については、 RでランダムフォレストやるならRboristかrangerか "ranger: A Fast Implementation of Random Forests"のメモ書き 最近のRのランダムフォレストパッケージ -ranger/Rborist- 新型の
miniCRAN で Azure Machine Learning 用のリポジトリーを作る - 捨てられたブログ
本記事は R Advent Calendar 2016 に参加しています。 Azure Machine Learning（Azure ML）を使うと、分析処理を容易に WebAPI 化することができて便利です。分析モジュールは細分化することができ、 R や Python で処理を記述することができます。 R Advent Calendar なのでもちろん R の話です。 R で処理を行う際に、自作他作問わず様々なパッケージを導入する必要がありますが、 Azure ML だとパッケージの導入は少し手間がかかります。というのは Azure ML の分析モジュールではインターネットアクセスを行うことができず、 `install.packages` 関数や `devtools` パッケージの install 系関数では単純にパッケージをインストールすることができないからです。 ではどうするかという
Deep Learningで遊ぶ(2): オンラインニュース人気度＋ベイズ最適化によるパラメータチューニング - 渋谷駅前で働くデータサイエンティストのブログ
追記（2016年8月22日） {rBayesianOptimization}の使い方を間違えていて、この記事の下部では実際にはテスト誤差ではなくトレーニング誤差を評価してしまっていますorz 実際にはScore返値にholdoutを入れるのが正解です。別に{rBayesianOptimization}単体で取り上げた記事を書きましたので、正しい使い方はそちらをお読みください。 Deep Learningをだらだらと実践してみるこのシリーズ、前回は分類だったので今回は回帰でやってみようと思います。お題はUCI ML repositoryの"Online News Popularity"です。とあるサイトに掲載されたオンラインニュース記事がそれぞれどれくらいシェア（おそらくSNS類に）されたかを、様々な特徴量と合わせて収めた39644行×61列のデータセットです。 元のニュース記事が非公開であ
機械学習分類器ごとに汎化vs.過学習の様子を可視化してみる - 渋谷駅前で働くデータサイエンティストのブログ
以前12回まで続けた「サンプルデータで試す機械学習シリーズ」ですが*1。 あれから色々分類器の手法やその実装もバリエーションが増えてきたということもあり、思い立って今回まとめてやり直してみようと思います。そうそう、12回シリーズの頃から愛用している線形分離不可能XORパターンのデータセットがあるんですが、あれってサンプルサイズがたったの100しかないので色々と粗いんですよね。ということで、サンプルサイズを10000まで増やしてみたものを新しく生成しておいたので、こちらで試してみましょう。 > xorc <- read.csv('https://github.com/ozt-ca/tjo.hatenablog.samples/raw/master/r_samples/public_lib/jp/xor_complex_medium.txt',sep='\t') > xorc$label <-
機械学習で広告の効果を推定したいお話。 | 分析のおはなし。
アメリカへの交換留学とノルウェーへの大学院留学を経た後に、データサイエンティストを目指そうとする人の戯れ言。 こんばんは。 数学ができなくて悩む今日この頃です。 が、データ分析は数学そのものでは無いので気にせずコツコツやっていこうと思う今日でもあります。 さて、 Japan.Rで発表してまいりました。 内容は「機械学習を使って広告の効果を推定する」という予測モデルを使って因果推論を試みる内容でした。 今回は内容の補足と解説を書きます。 発表した資料はこちらです。 1. Hal Varianのアプローチ そもそもこのトピックに興味を持ったのは Varianの書いた Big Data: New Tricks for Econometricsというペーパーと、 それに影響を受けたNBERのDemand Estimation with Machine Learning and Model Comb
次元削除 ( t-SNE ) - puyokwの日記
今回は、kaggle のOtto Group Production Classification Challenge の上位の方々が次元削除の手法としてt-SNE(t-distributed stochastic neighbor embedding) を使用されていたので調べてみようと思いました。個人的には、pca(主成分分析) ぐらいしか思い付かなかったのですが、それぞれ比較しながら見ていきます。 t-sne の詳細についてこちらを参考にするといいかと思います。 http://jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf こちらに書かれているようにt-SNE は高次元のものを2 または3 次元に写像するように作られています。とりあえず、R のtsne package を試してみます。(あとでより高速なRtsne
Microsoft Machine Learning Studio (classic)
Machine Learning Studio (classic) will be retired by 31 August 2024 – transition to Azure Machine Learning Azure Machine Learning now provides rich, consolidated capabilities for model training and deploying, we'll retire the older Machine Learning Studio (classic) service on 31 August 2024. Please transition to using Azure Machine Learning by that date. From now through 31 August 2024, you can co
caretで独自アルゴリズムの実行 - sfchaos's blog
caretパッケージは，機械学習のモデル構築・評価を統一したフレームワークで実行するための機能を提供している．caretのバージョン6.0.29では150個のアルゴリズムが利用できる． > library(caret) > packageVersion("caret") [1] ‘6.0.29’ > head(modelLookup()) model parameter label forReg forClass probModel 1 ada iter #Trees FALSE TRUE TRUE 2 ada maxdepth Max Tree Depth FALSE TRUE TRUE 3 ada nu Learning Rate FALSE TRUE TRUE 4 avNNet size #Hidden Units TRUE TRUE TRUE 5 avNNet decay Weig
Rでニューラルネットワーク誤差逆伝播による誤差関数微分を摂動数値微分で検証 - Qiita
PRML5.3.3に記載の通り、ニューラルネットワークの重みwの各要素をそれぞれ摂動させることで、wの各要素に関する二乗和誤差関数の偏微分について、そのwにおける値を求め、誤差逆伝播で求めた誤差関数の偏微分についてのwにおける値と並べて表示し、誤差逆伝播で求めた値が摂動による数値微分で求めた値とほぼ等しいことを確認します。 frame() set.seed(0) par(mfcol=c(2, 3)) par(mar=c(3, 3, 1, 0.1)) par(mgp=c(2, 1, 0)) xrange <- c(-1.5, 1.5) yrange <- c(-2, 2) x <- seq(-1, 1, 1/25) Zi <- rbind(x, 1) # bias input #t <- x^2 t <- sin(x * pi) #t <- abs(x) #t <- sign(x) EPS
関連の検出 MIC HSIC - ryamadaのコンピュータ・数学メモ
こちらでRの勉強会の演題紹介(こちら)がある 関連の検出手法としてMIC HSICの話 ryamadaブログ関係ならこの記事の前後か…(グリッドに区切るとよい→グリッドじゃあ困る→k-nearest neighborsへ…みたいな話にした記事)。 ユリアナ先生とのセミナーのスライド 上でリンクを張った動画で紹介されていた、いくつかの論文とリンクのメモ A Correlation for the 21st Century Detecting Novel Associations in Large Data Sets Consistent non-parametric tests of independence Measuring statistical dependence with Hilbert-Schmidt Norms はてな記事 統計数理研究所 福水先生のサイト MIC-> Rでは
caretEnsemble Classification example
Here's a quick demo of how to fit a binary classification model with caretEnsemble. Please note that I haven't spent as much time debugging caretEnsemble for classification models, so there's probably more bugs than my last post. Also note that multi class models are not yet supported. Right now, this code fails for me if I try a model like a nnet or an SVM for stacking, so there's clearly bugs
はてなブックマーク記事のレコメンドシステムを作成 PythonによるはてなAPIの活用とRによるモデルベースレコメンド - データ分析がしたい
私は情報収集にはてなブックマークを多用しており、暇な時は結構な割合ではてなブックマークで記事を探してます。しかし、はてなブックマークは最新の記事を探すのは便利ですが、過去の記事を探すにはいまいち使えません。個人的には多少過去の記事でも自分が興味を持っている分野に関しては、レコメンドして欲しいと感じてます。 ありがたいことにはてなはAPIを公開しており、はてなブックマークの情報を比較的簡単に取得できます。そこでこのAPIを利用して自分に合った記事を見つけるようなレコメンド機能をRとPythonで作成してみたいと思います。 利用するデータは、はてなAPIを使って収集します。具体的には、はてなブックマークフィードを利用して自分のブックマークしているURLを取得し、そのURLをブックマークしているユーザをエントリー情報取得APIを用いて抽出し、そのユーザのブックマークしているURLを収集します。こ
関数データ解析（Functional data analysis）について - データサイエンティスト上がりのDX参謀・起業家
教科書はこちら。 Functional Data Analysis (Springer Series in Statistics) 作者: James Ramsay,B. W. Silverman出版社/メーカー: Springer発売日: 2005/07/01メディア: ハードカバー クリック: 25回この商品を含むブログ (1件) を見る Silverman先生は確かカーネル回帰などノンパラ法の権威。 webの資料は以下の2つがあります。 http://www.r-project.org/conferences/useR-2007/program/presentations/ramsay.pdf http://ego.psych.mcgill.ca/misc/fda/index.html Rのパッケージ：fda 作者：Ramsay（教科書の作者と同じ） 内容：主に時系列データに対して、
R packages for machine learning and statistical learning - 手習い録
R package ElemStatLearn では, 統計学習の教科書 Elements of Statistical Learning に対する R package を紹介しましたが, これを紹介しているページ CRAN Task View: Machine Learning & Statistical Learning にある, 機械学習, 統計学習のための他の R パッケージを 以下のような項目にしました. 人工神経回路網 (neural networks) nnet: 単一隠れ層の人工神経回路網 決定木, 回帰木 rpart: CART のような木構造を作るのにお勧め. (base R に付属) mvpart: rpart を多変量の出力に対応した版. tree Weka + RWeka インターフェイス. Weka には, C4.5 の Java による実装 J4.8 などがあ
The caret Package
The caret package (short for Classification And REgression Training) is a set of functions that attempt to streamline the process for creating predictive models. The package contains tools for: data splitting pre-processing feature selection model tuning using resampling variable importance estimation as well as other functionality. These package documentation pages are now hosted on guthub. R-For
R で多様体学習の Isomap を実装する | Atsushi TATSUMA Web Page
はじめに 突然ですが、僕は、次元削減厨です。 高専の時に主成分分析・独立成分分析に出会ってから、次元を削減し続けてきました。 ウソです。途中、検索の特徴量の研究やったり、会社はいって Web サービス作ったりしてました。 それはさておき、多様体学習という学習アルゴリズムの枠組みがあります。 全体としては変な形でも局所的に見ればユークリッド空間という、多様体の性質を利用してます。 その多様体学習に Isomap という非線形次元削減手法があります。 難しそうですが、なんてことはない、多次元尺度構成法の距離に測地線距離を使ったものです。 測地線距離は、ユークリッド距離のような直線的なものではなく、道に沿ったものです。 Isomap では、データ点間をつないだグラフ上での、最短経路で近似します。 k近傍グラフの作成 測地線距離の計算の前に、データ点間をつないだグラフを作成します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
A Full Integration of XGBoost and Apache Spark | R-bloggers
General Regression Neural Network with R | R-bloggers