NIPS2014で発表されたTop rank optimization in linear timeを紹介します.Read less
[Go home] Overview RankLib is a library of learning to rank algorithms. Currently six popular algorithms have been implemented: MART (Multiple Additive Regression Trees, a.k.a. Gradient boosted regression tree) [6] RankNet [1] RankBoost [2] AdaRank [3] Coordinate Ascent [4] LambdaMART [5] It also implements many retrieval metrics as well as provides many ways to carry out evaluation. Download (Sou
TwitterでつぶやいたIJCAI2011の論文についてのメモ。全てMachine Learning関連。 Improving Performance of Topic Models by Variable Grouping Latent Dirichlet AllocationでGibbs samplingを行う際、変数の数が増えるとサンプルを広範囲から取ることが難しくなり、局所解に陥ることがある。そこで、変数をグループ化してサンプリングを効率的に行うという手法を提案していた。同じような考えとしてblock samplingを挙げ、トピックの数が増えた時には変数をグループ化するアプローチの方が効率的であると主張している。 LDAではtoken(文書においては単語が相当)ごとにトピックが割り振られるが、gLDAではグループごとにトピックが割り振られ、各tokenはどのトピックに属するかに
ここのところ、周囲でランキング学習への興味が高まっているような気がする。 ランキング学習の一手法として、A Stochastic Learning-To-Rank Algorithm and its Application to Contextual Advertisingでは、ランキングの評価指標の一つであるNDCGを最大化するようなパラメータを推定するアプローチを取っている。この手法では、NDCGは微分することができないのでdownhill simplexを用いて最適化を行うのだが、その際に局所解に陥りにくくするためsimulated annealingの考えを取り入れている。 このannealingの部分の具体的なアルゴリズムが良くわからなかったので、単純なdownhill simplexではどれほどの結果が出るか試してみた。 データセットとしては先の論文と同じLETOR 3.0を、
ランキング学習の一手法であるPRankを実装しました. PRankはPerceptronに似たアルゴリズムであり,実装も非常に簡単です. ソースコード github 解説 ランキング学習及びPRankの解説は,先日のDSIRNLPで発表された以下の記事が詳しいです. DSIRNLP#1で「ランキング学習ことはじめ」を発表しました - シリコンの谷のゾンビ PRankは,1文書の特徴量と対応するランク情報のみを用いてパラメータ更新を行うPointwise手法の一種です. (2文書のペアを用いてパラメータ更新を行うのがPairwise,1つのクエリに対するランキング情報を全て用いてパラメータ更新を行うのがListwise手法) PRankでは,重みベクトルとランキング順位数と同じ数のしきい値を用意し,重みベクトルと特徴ベクトルとの内積の値を初めて超えるしきい値の番号を予測値として出力します.
めんどうなのでずっと避けてたんですが、3ヶ月ぐらい前に勉強会で発表した資料を公開しました。埋めこむとページが重くなるので、リンクを貼るだけにしておきます。 → http://www.slideshare.net/tkng/confidence-weighted Learning to RankでPairwiseの学習にConfidence Weightedを使ったらいいんじゃね?みたいな感じで実験してみたら恐ろしいぐらいにダメな結果が出て、やっぱり試してみないとわからないものね、というような顛末を書いてあります。 日本語でのLearning to Rankの初心者向け資料は見たことがないので、興味がある人はとりあえず読んでみたらどうでしょうか、と書こうと思いましたが、読み返してみると説明が不十分であまり初心者に優しい感じにはなれてなかった。以下の英語の資料を読んだほうが良いかもしれません。
Learning to rank[1] or machine-learned ranking (MLR) is the application of machine learning, typically supervised, semi-supervised or reinforcement learning, in the construction of ranking models for information retrieval systems.[2] Training data may, for example, consist of lists of items with some partial order specified between items in each list. This order is typically induced by giving a nu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く