機械学習における勾配ブースティングのアルゴリズム「XGBoost」「LightGBM」「CatBoost」の違い
データアナリスト／データサイエンティストのためのカジュアルな勉強会「Data Gateway Talk」。「GBDTアルゴリズム」というテーマで登壇した工学院大学情報学部コンピュータ科学科のYasshieeee氏は、勾配ブースティングの基本、そしてアルゴリズム「XGBoost」「LightBGM」「CatBoost」の違いについて説明しました。 趣味はWebプロ・ゲーム・マインクラフト Yasshieeee氏：場違い感がすごいですが、一応、僕は大学生です。LTには若干慣れている予感はするんですけど、大学生なりのクオリティなのでご了承ください。 題名には「XGBoostについて」と書いたんですが、そもそも最初からXGBoostのすごく深いところまでいくのは、ちょっと初心者向けではないかなと思って……。今回は、XGBoostであるGradient Boost Decision Treeのア
Microsoft PowerPoint - Canon-MachineLearning27-jp.pptx
Canon ２０１２年９月１３日 トピックモデル概論 東京工業大学 計算工学専攻 杉山 将 sugi@cs.titech.ac.jp http://sugiyama-www.cs.titech.ac.jp/~sugi/ 概要 文書のモデル化は，自然言語処理や 機械学習の分野で盛んに研究されて いる 本講義では，文書のモデル化技術の 発展の経緯を概観する 2 講義の流れ 1. 2. 3. 4. 5. 6. 潜在意味解析（LSA） 多項混合（MM）モデル ポリヤ混合（PM）モデル 確率的潜在意味解析（pLSA）モデル 潜在的ディリクレ配分（LDA）モデル 拡張LDAモデル 3 文書単語行列 ：全文書データ（文書数 ：文書（長さ ） ：単語（語彙数 ） ：文書 中の単語 の出現回数を 要素に持つ文書単語行列 （大きさ ，一般にスパース） ） 4 潜在意味解析（LSA） 文書
クラスタリングの定番アルゴリズム「K-means法」をビジュアライズしてみた
集合知プログラミング を読んでいたら、K-means 法（K平均法）の説明が出てきました。 K-means 法はクラスタリングを行うための定番のアルゴリズムらしいです。存在は知っていたんだけどいまいちピンときていなかったので、動作を理解するためにサンプルを作ってみました。 クリックすると１ステップずつ動かすことができます。クラスタの数や点の数を変更して、Restart を押すと好きなパラメータで試すことができます。 こうやって１ステップずつ確認しながら動かしてみると、意外に単純な仕組みなのが実感できました。 (追記) HTML5 版の K-means 法を D3.js でビジュアライズしてみた も作成しました。Flash を表示できない環境ではそちらをご覧ください。 K-means 法とは K平均法 - Wikipedia に詳しく書いてあるけど、もうすこしザックリと書くとこんなイメージに
http://nakaikemi.com/clusterexp.htm
階層的クラスター分析（Hiearchical Cluster Analysis) その２ ウォード法とは 色々な問題にクラスター分析を用いて解析してみると、比較的安定した解が得られる手法があります。それが、ウォード（Ward)法です。ウォード法は、二つのクラスターを結合する際に、「群内平方和の増加量」が最小になる二つのクラスターを一つにまとめるという手法です。 １．ウォード法の定式化 これを、まず数式で追いかけてみましょう。 いま、 をクラスター{ A } に属する i 番目の対象（クラスター{ A } 内に ｎ個ある）の第 ｋ変数（全部でｐ個ある）についての値とすればクラスター{ A } 内の平方和は
k-meansクラスタリングによる画像分割，減色 | OpenCV.jp
C #include <cv.h> #include <highgui.h> #define MAX_CLUSTERS (10) /* number of cluster */ int main(int argc, char** argv) { int i, size; IplImage *src_img = 0, *dst_img = 0; CvMat tmp_header; CvMat *clusters, *points, *tmp; CvMat *count = cvCreateMat( MAX_CLUSTERS, 1, CV_32SC1); CvMat *centers = cvCreateMat( MAX_CLUSTERS, 3, CV_32FC1); const char *imagename; // (1)load a specified file as a 3-chann
non-Negative Matrix Factorization (NMF) - naoyaのはてなダイアリー
以前に Latent Semantic Indexing (LSI) や HITS 絡みで SVD や主成分分析について少し書きました。 http://d.hatena.ne.jp/naoya/20090212/latent_semantic_indexing http://d.hatena.ne.jp/naoya/20090301/hits LSI では SVD を使って単語文書行列を分解し、低階数近似を行います。これにより、似たような次元をまとめたりといった効果が得られるのでした。自分の考察では HITS も同様のことを行っているという認識でした。 さて、集合知プログラミングを読んでいたら、第10章で "non-Negative Matrix Factorization" (非負値行列因子分解, 以下NMF) という手法が出てきました。NMF も SVD や主成分分析に同じく行列を分解
非負値行列因子分解 - sonoshouのまじめなブログ
このエントリーは、集合知プログラミング第８章を参照にしています。 非負値行列因子分解は、データマイニングの手法の一つである。 データの重要な特徴を抽出するために用いられる。 非負値行列因子分解は、non-negative matrix factorizationの日本語訳であり、 よくNMFと省略されるので、こちらの省略形も覚えておきたい。 非負値行列因子分解の基本的なアイディア非負値行列因子分解は、その名の通り、行列を正の数（非負値）で因子分解することで、 特徴の抽出を行う。 因子分解とは、掛け合わせることで再び分解前の行列を構築できるような ２つの小さな行列を探し出すということである。 非負値行列因子分解の例以下、具体例を交えながら解説する。 文書の記事と記事内に存在する単語との対応付けがあるとき、 これらに対してNMFで特徴を抽出する。 対応付けの表は以下のようになっているとする。
ダイクストラ法（最短経路問題）
ダイクストラ法 (Dijkstra's Algorithm) は最短経路問題を効率的に解くグラフ理論におけるアルゴリズムです。 スタートノードからゴールノードまでの最短距離とその経路を求めることができます。 アルゴリズム 以下のグラフを例にダイクストラのアルゴリズムを解説します。 円がノード，線がエッジで，sがスタートノード，gがゴールノードを表しています。 エッジの近くに書かれている数字はそのエッジを通るのに必要なコスト（たいてい距離または時間）です。 ここではエッジに向きが存在しない（＝どちらからでも通れる）無向グラフだとして扱っていますが， ダイクストラ法の場合はそれほど無向グラフと有向グラフを区別して考える必要はありません。 ダイクストラ法はDP（動的計画法）的なアルゴリズムです。 つまり，「手近で明らかなことから順次確定していき，その確定した情報をもとにさらに遠くまで確定していく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Non-negative Matrix Factorization（非負値行列因子分解） - あらびき日記