XGBoostの概要 - ともにゃん的データ分析ブログ
XGBoostの凄さに最近気がついたので、もうちょっと詳しく知りたいと思って以下の論文を読みました。 XGBoost: A Scalable Tree Boosting System せっかくなので、簡単にまとめてみたいと思います。。。と思っていたら結構な量になってしいました。 何か間違い等がありましたらコメントをしていただくか、@kefism へ連絡をしてくださると嬉しいです。 XGBoostとは 基本的に内部で行われていることは決定木を複数個作るということです。しかし、その作り方に特徴があります。 ここで記号を定義しておきましょう。 説明変数を次元として、目的変数を、とします。ここではデータの数です。またデータに対する予測値をとします。 まず決定木を１つ構築します。するとその決定木を使用して予測ができるようになります。１つ目の決定木から得られるデータに対する予測値をとしましょう。このと
「ベクトルで微分・行列で微分」公式まとめ - Qiita
\frac{ \partial f }{ \partial \boldsymbol{x} } = \left( \begin{array}{ccccc} \frac{ \partial f }{ \partial {x}_{1} }, & \cdots & \frac{ \partial f }{ \partial {x}_{i} }, & \cdots & \frac{ \partial f }{ \partial {x}_{n} }\ \end{array} \right)^T \in \mathbb{ R }^n \begin{eqnarray*} \frac{ \partial }{ \partial \boldsymbol{x} } \boldsymbol{a}^T\boldsymbol{x} &=& \boldsymbol{a} \\ \frac{ \partial }{ \p
サポートベクターマシンとは［カーネル法による非線形サポートベクターマシン］ - verum ipsum factum
ここからはこれまで述べてきたサポートベクターマシンにカーネル法を適用することにより非線形サポートベクターマシンへ拡張することを考えます。 カーネル法の導入 これまで述べてきたサポートベクターマシーン分離面が超平面であることを前提としていました。しかし、実際の問題では正例データと負例データの境界が超平面であるよりは、複雑に入り組んだ超曲面である可能性が高いことが想定されます。 このようなデータに、これまで述べてきたようなクラス境界を超平面とするサポートベクターマシーンを適用しても、高い分類性能を期待することは難しそうです。 たとえば下図のような単純なケースでさえ正例データ（○）と負例データ（×）を分ける直線は存在しないため、１００％の分類性能は達成できません。 しかし、このようなデータでも線形分離が可能になるような別の空間へ変換できれば、変換先の空間ではクラス境界が超平面になるのでサポートベ
アンサンブル学習のブースティングとバギングの違いについて | データ分析とインテリジェンス
どっちがどっちで何しているんだっけ？ ブースティングとバギングの区別がようやくつくようになってきた（気がする）がさらにそれぞれのアルゴリズムになるとまだ混乱する。というわけで、今のところの自分の認識を書いてみる。 アンサンブル学習とは アンサンブル学習とはようするに「1回で決めるよりたくさんやって平均取った方がいいんじゃね？」というアプローチということであると理解している。たしかにその方がより正しそうな結論がでそうだし、異常値などに引っ張られることも少なくなったりするだろうと想像はつく。細かいやり方は違うけどやっていることは至極自然な発想。 1つの方法として、データ全てを使うのではなくその一部を使って学習し、それを何度も繰り返して最後に合わせる方法が考えられる。それがバギングである。 ランダムフォレスト バギングの1つの方法。学習に決定木を使うのでこの名前らしい。抽出の際に説明変数もランダ
Watanabe理論勉強会で発表してきました - ほくそ笑む
このブログの読者には AIC (赤池情報量基準) をご存じの方は多いと思います. AIC は統計モデルの評価指標として世界中で広く使われていますが、これは赤池弘次という日本人統計学者により考案されたものです。 これに対し、近年、ベイズ統計学で利用可能な WAIC という情報量基準が考案され、世界中で爆発的に普及しています。 この WAIC を考案したのも日本人であり、東工大の渡辺澄夫先生です。 �L‚Žg‚¦‚é�î•ñ—Ê‹K�€(WAIC) WAIC は、算出すること自体は簡単なのですが、その理論的な根拠として非常に高度な数学が使われています。 この理論について、渡辺先生ご自身が書かれた書籍があります。 Algebraic Geometry and Statistical Learning Theory (Cambridge Monographs on Applied and Com
状態空間モデルの推定方法の分類 | Logics of Blue
大きく2つの観点があります。 計算の仕方（逐次処理かバッチ処理か）という観点と、私たちがやらなければいけない作業（パラメタ推定を別途やるかやらないか）がどう変わるかという観点です。 逐次処理とバッチ処理 最も大きい違いは、逐次処理かバッチ処理かの違いでしょう。 フィルタ系は逐次処理、MCMC系はバッチ処理です。 バッチ処理とは「データをまとめていっぺんに使って、まとめていっぺんに計算すること」くらいの意味合いだととらえてください。 例えば、データが増えるたびに1を足すという処理があったとします。 データが来るたびに1を足すのが逐次処理。 データが5つ来たならば、「1を足す処理を最後にまとめて5回やる」のがバッチ処理です。 当然ですが、逐次処理のほうが、一回一回の計算量は少なくなります。 一方、バッチ処理の場合は、「1を足す処理を最後にまとめて5回やる」という処理を、時と場合によっては「最後
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
【 Python で時系列解析 】状態空間モデル（カルマン・フィルター / パーティクル・フィルター）～ コード実装方法 基礎調査（編） コード掲載ウェブサイトまとめ - Qiita
Python では、（R言語とは様子が異なり）まだまだ、 「カルマン・フィルター」 「パーティクル・フィルター」 など の 「状態空間モデル」 の 実装コード事例 が ウェブ上 に 見当たらない。 この記事 では、日本語で読める 「状態空間モデル」 Python コード事例 掲載サイト を 集めてみました。 statsmodelsモジュールに、以下のメソッドがある模様 statsmodels.tsa.kalmanf.kalmanfilter.KalmanFilter SM StatsModels Statistics in Python 上記モジュールを使わない Python でのコード例 satomacoto「Pythonでカルマンフィルタを実装してみる」 Hatena::Diary how to code something shima_xさん Qiita投稿記事 「カルマンフィルタで
しましま/IBIS2015 - 機械学習の「朱鷺の杜Wiki」
オープニング† 佐久間 淳 （筑波大） IBISの役割：理論的基盤と社会応用の両面から先導 → 「このビックウェーブを導こう」 ポスター発表件数 135 （うち学生発表 70） 参加登録者数 約350 + 当日参加 ↑ 大規模機械学習のための事例と特徴のセーフスクリーニング† 竹内 一郎（名工大） スパースモデリング：線形モデルの重みパラメータやカーネルモデルの事例パラメータが 0 になる lasso：L1正則化項を用いる SVM：損失関数にヒンジ損失関数を利用した場合 スパース学習の計算コスト 学習後の最適解において，どのパラメータが 0 になるか分からない → スパースでないモデルと計算量は変わらない → スクリーニングによる高速化 スクリーニング：学習前にどうにか 0 になりそうなパラメータを探す ヒューリスティクス：0 になりそうなもの推測して取り除きあとで最適性を確認 安全スクリ
文系でも機械学習がわかるようになる教科書 - EchizenBlog-Zwei
社内の有志で機械学習や数学の勉強会をいくつかやっています（私以外の方が主催しているものもある）。とくに理系ではない方も参加されていますが、きちんと頑張ればだんだん機械学習ができるようになるということがわかってきたのでメモしておきます。 なお、機械学習をとりあえず実装するだけだったらもっと簡単に学ぶ方法もいろいろあり、今回はあくまで正攻法で機械学習を勉強する、という観点での書籍の選択となっています。急がば回れという言葉もあるように、焦って成果を求めないのであれば地道に頑張るほうが後々応用が効いて良いということもあります。 高専の数学 おそらく数学ができないという方は高校の数学あたりから理解が怪しいことになっていると思います。「高専の数学」は中学数学までの前提知識で読める教科書で、わかりやすい例題や理解の助けになる練習問題が多数用意されているため、きちんと問題を解いていけば無理なく高専の数学(
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.ism.ac.jp/~daichi/lectures/H26-GaussianProcess/gp-lecture1-matsui.pdf
ノンパラメトリックベイズ入門 〜ベイジアン HMM の実装まで〜
Kaggle: The Home of Data Science
機械学習の Python との出会い — 機械学習の Python との出会い