【機械学習】OOB (Out-Of-Bag) とその比率 - Qiita
ランダムフォレストに関する解説を読んでいるとよく遭遇するOOB(Out-Of-Bag)、その詳細に迫ります。 ブートストラップサンプリング $N$ 個の訓練標本 $\{\boldsymbol{x}_i, y_i \} _{i=1}^N$ から重複を許してランダムに同じだけの数$N$個を選ぶことで、訓練標本集合を作る方法をブートストラップサンプリングと呼びます。ランダムフォレストではこのブートストラップサンプリングで作った$M$個の訓練標本で多数の決定木を作ることから「フォレスト」という名称がついています。 このとき、$N$個から重複ありで$N$個選ぶので、中には選ばれなかったデータがあります。これをOOB(Out-Of-Bag)と呼びます。ランダムフォレストのエラーの評価に使われたりします(ココなど) $i$番目のデータ$ ( \boldsymbol{x}_i, y_i )$に着目すると、
【機械学習】Spark MLlibをPythonで動かしてレコメンデーションしてみる - Qiita
Sparkシリーズ第２弾です。今度はMLlibを使って協調フィルタリングを用いたレコメンデーションの実装を行います。 第一弾 【機械学習】iPython NotebookでSparkを起動させてMLlibを試す http://qiita.com/kenmatsu4/items/00ad151e857d546a97c3 環境 OS: Mac OSX Yosemite 10.10.3 Spark: spark-1.5.0-bin-hadoop2.6 Python: 2.7.10 |Anaconda 2.2.0 (x86_64)| (default, May 28 2015, 17:04:42) 本稿では上記の環境で行ったものを記載していますので、他の環境では設定が異なる場合もあるかと思いますのでご注意ください。また、基本的にiPython NotebookでのSparkの実行を想定しています。
【統計学】【R】分位点回帰を使ってみる。 - Qiita
分位点回帰、という手法のご紹介です。 通常の回帰直線は、$x$が与えられた時の$y$の条件付き期待値(平均)と解釈できますが、分位点回帰では、25%分位点、とか95%分位点、等で使われる "分位点" をベースに回帰直線を引いてみようというものです。 何はともあれ、まずはこれを使ってグラフを書いて可視化を試みます。 1.誤差の分散が説明変数に依存した正規分布の例 説明変数$x$が小さいところでは誤差の分散が小さく、大きいところでは誤差の分散も大きくなるようなケースです。そんなデータを生成して試しています。 分位点回帰では、分位点ごとに異なる $\beta$が設定されるので、それぞれ傾きが異なります。 分位点回帰の実行結果 下から順に5%, 10%, 25%, 75%, 90%, 95%の分位点回帰直線と、通常の回帰直線です。 まずはデータを生成して散布図を描きます。 # 未インストールならイ
JupyterでJuliaを動かして回帰分析をやってみる。 - Qiita
Julia上でデータセットを取得して回帰分析(線形回帰、ポアソン回帰)までやってみるという記事です。 MacにJuliaを導入して、Jupyter Notebookで動かすという最初の最初から書いていきます。なぜなら僕がJulia初心者だからです Jupyterの"Ju"はJuliaの"Ju"らしいので、ぜひJupyterを使いましょう ちなみに、Juliaの本を探そうとAmazonで"Julia"を検索すると痛い目にあうので（特に職場では）気をつけましょうw (参考： https://twitter.com/Kenmatsu4/status/663990102478028800) 環境 OSX Yosemite 10.10.5 コードの全文 本記事で扱ったコードの全文はGitHub https://github.com/matsuken92/Qiita_Contents/blob/mas
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今までの投稿記事のまとめ（統計学/機械学習/数学 etc） - Qiita
