勾配ブースティングについてざっくりと説明する - About connecting the dots.
最近xgboostがだいぶ流行っているわけですけど，これはGradient Boosting（勾配ブースティング）の高速なC++実装です．従来使われてたgbtより10倍高速らしいです．そんなxgboostを使うにあたって，はてどういう理屈で動いているものだろうと思っていろいろ文献を読んだのですが，日本語はおろか，英語文献でもそんなに資料がなかったので，ある程度概要を把握するのに結構時間を食いました． そんなわけで，今回は自分の理解の確認も兼ねて，勾配ブースティングについてざっくりと説明してみようかと思います．とはいえ生理解な部分も結構あるので，マサカリが飛んできそう感が大いにしています．腑に落ちる的な理解を優先しているため，数式は一切出てきません． 勾配ブースティングとは 複数の弱学習器を組み合わせるアンサンブル学習には，いくつかの手法がありますが，ブースティングは逐次的に弱学習器を構築し
Fast Sampling for Bayesian Max-Margin Models
Bayesian max-margin models have shown superiority in various practical applications, such as text categorization, collaborative prediction, social network link prediction and crowdsourcing, and they conjoin the flexibility of Bayesian modeling and predictive strengths of max-margin learning. However, Monte Carlo sampling for these models still remains challenging, especially for applications that
ちょっと変わったLisp入門 － ＠IT
Lispの一種であるScheme。いくつかある処理系の中でも気軽にスクリプトを書けるGaucheでLispの世界を体験してみよう（編集部） 「Gaucheでメタプログラミング」と題して、これからGaucheを使ったプログラミングの連載を書かせていただきます吉田裕美です。よろしくお願いいたします。 Gaucheとは 今回の連載で取り上げるGaucheはハワイ在住の日本人ハッカー、川合史朗さんが作った、Lispの一種であるSchemeのオープンソース処理系です。 Gaucheの特徴は、PerlやRubyのように気軽に使える軽い処理系だということです。Perl同様に正規表現や文字列操作が行え、ちょっとしたツールの作成にも使えます。しかし、非常に強力なCommon Lisp風オブジェクトシステムを持ち、Lispならではのマクロに加え、Webやグラフィックスなどの豊富なライブラリも持っているので実用
CaffeでMNISTを学習した経過をプロットしてみた - 斎藤侑輝のブログ
今回は 1. CaffeでMNISTを学習 2. 学習中に精度が上がっていく様子をプロット することを目標にする。 実験で使う環境などについては、下記をご参照ください。 【メモ書き】Ubuntu 14.04 CUDA6.5 GTX970 Caffeインストール - 下丸子のコネクショニスト MNISTの学習 以降はMNISTを学習する際の手順を示す。 進め方はCaffe | LeNet MNIST Tutorialを参考にした。 MNIST(http://yann.lecun.com/exdb/mnist/)はLeCunらが作成した手書き文字データセットで、様々な人間が書いた１～１０の数字をコンピュータに分類させるタスクとして取り組まれている。 例えば０が書かれた画像を一覧にすると、以下のようになる。 一人一人が書く文字の見た目は多様なため、多様さを吸収するようなアルゴリズムが必要なタスク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Understanding object-oriented programming in Julia – Inheritance (part 2)
