ICML2011読み会で発表してきました - tsubosakaの日記
id:nokunoさんの主催したICML2011読み会で発表してきました 自分はSparse Additive Generative Model for Textという論文について発表しました 発表資料: Icml2011 reading-sage View more presentations from tsubosaka 他の発表についていくつかメモ Infinite SVM: a Dirichlet Process Mixture of Large-margin Kernel Machines データをある程度セグメントに分けて、それぞれで識別モデルを構成したほうが性能が上がるよねという話という理解 これは実務的にもユーザモデルの作成のときに性別で分けて独立にモデルを作成したほうが性能が高いことがあったり、決定木的な方法が割とうまくいくことからも納得できる GoDec: Random
[機械学習] CVB0を実装してみた - tsubosakaの日記
On Smoothing and Inference for Topic Models (UAI 2009) pdfで述べられているLDAの推論方法であるCVB0を実装してみた。 これはTehらのCVBで述べられている期待値の2次の項までの近似の部分をさらに近似して0次の項だけで近似したものとなっている。二次近似に比べexpの計算がいらない分、高速に実行することができる。 手元で実験したところ前回の記事で実装したCGS(Collapsed Gibbs samplerより2倍程度高速であった。 Token.java 前回のものに文章重みの項が付け加わっている public class Token { public int docId; public int wordId; public double weight; public Token(int d , int w ){ docId =
![[機械学習] CVB0を実装してみた - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/1076ded556cb2333ae5e387eee863e409f9bbd05/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124031153%2F1557332457)
[機械学習] LDAのコードを書いてみた - tsubosakaの日記
昔書いたことがあったけど、どこかにいってしまったのでもう一度書いてみた。推論方法にはギブスサンプリングと変分ベイズの2つがあるけど、導出も実装もより楽なcollapsed gibbs sampling(Griffiths and Steyvers, PNAS, 2004)の方を採用。 Token.java package lda; public class Token { public int docId; public int wordId; public Token(int d , int w){ docId = d; wordId = w; } } LDA.java package lda; import java.util.*; public class LDA { int D; // number of document int K; // number of topic int
![[機械学習] LDAのコードを書いてみた - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/496431e556868bdf2bfbac690d83310a1e4ba258/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124031279%2F1557332459)
[機械学習] トピックモデル関係の論文メモ - tsubosakaの日記
最近読んだトピックモデル関係の論文のざっとしたメモ。内容については間違って理解しているところも多々あると思います。 (追記 12/24) 最後のほうに論文を読む基礎となる文献を追加しました。 Efficient Methods for Topic Model Inference on Streaming Document Collections (KDD 2009) 論文の話は2つあって一つ目がSparseLDAというCollapsed Gibbs samplerの省メモリかつ高速な方法の提案と2つ目はオンラインで文章が入力されるような場合において訓練データと新規データをどう使うかという戦略について述べて実験している。 Collapsed Gibbs samplerを高速化しようという論文はPorteous et al.(KDD 2008)でも述べられているけどそれよりも2倍ぐらい高速(通
![[機械学習] トピックモデル関係の論文メモ - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7d7bebddebe117cac45f7a60d8849efcd2d85c8/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124031236%2F1557332459)
ダイガンマ関数 - tsubosakaの日記
http://mallet.cs.umass.edu/より class Digamma { public static final double EULER_MASCHERONI = -0.5772156649015328606065121; public static final double DIGAMMA_COEF_1 = 1.0 / 12; public static final double DIGAMMA_COEF_2 = 1.0 / 120; public static final double DIGAMMA_COEF_3 = 1.0 / 252; public static final double DIGAMMA_COEF_4 = 1.0 / 240; public static final double DIGAMMA_COEF_5 = 1.0 / 132; publ
マルチスレッドでのechoサーバ - tsubosakaの日記
マルチスレッドでのechoサーバのメモ server.cc #include <iostream> #include <sstream> #include <pthread.h> #include "ServerSocket.h" #include "Queue.h" using namespace std; string readLine(int sock){ char c; stringstream buffer; while(1){ int ret = read(sock, &c , 1); if(ret == -1){ perror("read"); break; }else if(ret == 0){ break; } buffer << c; if(c == '\n'){ break; } } return buffer.str(); } void * handleReques
Simple-9について解説 - tsubosakaの日記
前回に引き続き転置インデックスの圧縮を実装してみる。今回紹介するのは[2]で提案されているSimple-9というアルゴリズムである。 Simple-9は32bitのwordにできるだけ数字を詰めていくという圧縮アルゴリズムである。例えば2bitの数が16個ならんでいれば32bitで表現できる。しかし、実際は大きい数字も出現するため数字の長さの情報も格納する必要がある。Simple-9では4bitを用いて残りの28bitがどう詰められているかを表す。 28bitの表し方としては 上位bit 符号の個数 符号のビット長 0000 28 1 0001 14 2 0010 9 3 0011 7 4 0100 5 5 0101 4 7 0110 3 9 0111 2 14 1000 1 28 の9通りがあり、これがSimple-9の名前の由来となっている。 例えば ( 3 , 5 , 0 , 0 ,
転置インデックスの圧縮 - tsubosakaの日記
Managing Gigabytes勉強会で転置インデックスの圧縮の話が出たので実際に圧縮を行った場合にどれくらいのサイズになるかを計測してみた。 利用したデータは英語版Wikidiaの全記事で 文書数 2,872,589 単語数 2,735,620 転置インデックスのポインタの数 397,603,176 ぐらいのサイズのデータです。 無圧縮の転置インデックスのフォーマットは 単語ID,文書数,文書1,....文書N, 単語ID,...で各項目4byteとなっており、1.5Gぐらいのサイズになっています。 これに対して各圧縮アルゴリズムを適用した結果は アルゴリズム 無圧縮 Variable Byte Code unary符号 γ符号 δ符号 Rice Coding pforDelta(仮) サイズ 1537MB 497MB 239475MB 474MB 407MB 367MB 455MB
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[機械学習] PRML勉強会 - tsubosakaの日記![[機械学習] PRML勉強会 - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/95624e083de16f426e12e11ce9ab7cc96e469eb7/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124029980%2F1557332435)
PRML読書会06で発表してきました - tsubosakaの日記