勾配ブースティング決定木を理解する - hiyoko9t’s blog
本記事では、機械学習コンペなどでよく見られる勾配ブースティング決定木(gradient boosting decision tree)を説明します。勾配ブースティング決定木は、MNISTデータに対して、ニューラルネットの最高精度と同等の精度を出したり、また高速な実装xgboostなどで有名な手法です。ライブラリを使用している方も多いと思いますが、意外とどのような構造になっているかを知らない人もいるかもしれません。 そこで、本記事では、決定木とは何か、というところから始めて、アンサンブル学習、勾配ブースティング決定木について見ていきます。 決定木 情報利得 アンサンブル学習 バギング ブースティング 勾配ブースティング決定木 各反復での訓練 モデルの複雑性 最適解の導出 実装例 まとめ 参考 決定木 決定木(decision tree)は、データに対して一連の質問を与えることによって、目標に
Amazon Machine Learningを理解するために3つの方法で天気予測をしてみた（二項分類編）
今回は天候データをAmazon Machine Learningに流し込み3つの方法（二項分類、多項分類、回帰分析）で天気予測をしてみます。 記事の目的 記事の目的は以下の3つです。 ・もっとも簡単な機械学習サービスであるAmazon Machine Learningを理解する ・同一データに対して3つの方法を利用することで3つの違いを掴む ・機械学習に対する属性情報の重要性を掴む 同じデータを複数の方法で利用することで、3つの違いや使い方がわかりやすく理解できると思います。 今回利用するデータは気象庁が提供する過去の天候データです。 http://www.data.jma.go.jp/obd/stats/etrn/ 項目が多く載っている東京都のデータを利用しています。 http://www.data.jma.go.jp/gmd/risk/obsdl/index.php Amazon Ma
NVIDIA cuDNN | NVIDIA Developer
Accelerated Learning cuDNN provides kernels, targeting Tensor Cores, to deliver best available performance on compute-bound operations. It offers heuristics for choosing the right kernel for a given problem size. Expressive Op Graph API The user defines computations as a graph of operations on tensors. The cuDNN library has both a direct C API and an open-source C++ frontend for convenience. Most
EchizenBlog-Zwei
研究に直接関係ないタイプの労働をしていると、先端の研究を追いかけるのが困難になってきます。 なんといっても論文を読む時間がとれないので有識者の記事やらスライドやら書籍やらに頼ることになるのですが、とはいえ1次ソースであるところの論文を確認しないとどうにもならない場合もありますし、複数本の論文を見てはじめてトレンドがなんとなくわかってくるということもあるように思います。 というわけで論文を効率的に読む力を得るぞ！という試みをやっています。参考になるかわかりませんが、この試みについて共有しておきます。 続きを読む 好きなライトノベルを投票しよう!! (http://lightnovel.jp/best/)に投票しようという気持ちになったのでエントリつくりました。 数日前に書いた2015年度 有益新作ラノベまとめ(http://d.hatena.ne.jp/echizen_tm/20151228
Support Vector Machines (SVM) in Ruby - igvita.com
By Ilya Grigorik on January 07, 2008 Your Family Guy fan-site is riding a wave of viral referrals, the community has grown tenfold in last month alone! First, you've deployed an SVD recommendation system, then you've optimized the site content and layout with the help of decision trees, but of course, that wasn't enough, and you've also added a Bayes classifier to help you filter and rank the cont
確率推定つきの SVM を libsvm.rb で試してみる - Relevant, Timely, and Accurate
libsvm には、"-b 1" オプションという、確率推定機能があります。これを試してみました。学習には libsvm 付属のコマンド svm-train を使い、分類は自作の libsvm.rb を通じて JRuby 上で行えるようにしました。 英単語とドイツ語単語を分類するという例題に取り組んでみた結果、良好な分類性能と、意味ありげな推定確率が得られました。 libsvm の確率推定機能 libsvm のコマンド svm-train 及び svm-predict には、以下のような確率推定オプションがあります。 -b probability_estimates: whether to train a SVC or SVR model for probability estimates, 0 or 1 (default 0)この確率推定が何を意味しているいるのかを体感するために、適当な
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Machine Learning | Google for Developers
ローカルマシンで時間がかかる機械学習のトレーニングをGoogle CLOUD MACHINE LEARNING ENGINEを使って高速化する