What is the "hashing trick"? - MetaOptimize Q+A
Let's say we want to design a function v = phi(x), which from a d-dimensional vector x = (x(1), x(2), ..., x(d)) outputs a new m-dimensional vector v, with m either greater or smaller than d. In other words, phi can be used either for reducing dimensionality of x (d > m) or for sparsifying x (m > d). One way to do so is to use a hash function h to map x(1) to v(h(1)), x(2) to v(h(2)), ..., x(d) to
Hashing Representations
I've discovered that there are many 'hashing tricks' in machine learning. Some of these are like the count-min sketch in that they rely on an explicit bloom filter style datastructure. The ones here take a radical conceptual step: they only use one hashing function. This turns out to work out remarkably well when learning, because the learning algorithm can learn to deal with collisions. In severa
Hashing for Collaborative Filtering
This is a follow-up on the hashing for linear functions post. It’s based on the HashCoFi paper that Markus Weimer, Alexandros Karatzoglou and I wrote for AISTATS'10. It deals with the issue of running out of memory when you want to use collaborative filtering for very large problems. Here’s the setting: Assume you want to do Netflix-style collaborative filtering, i.e. you want to estimate entries
Practical Machine Learning Tricks
Practical machine learning tricks from the KDD 2011 best industry paper 上のブログはKDD 2011のindustry tracksでbest paperを受賞した論文を紹介しているのだけど、その紹介している内容がとても参考になったので日本語でまとめなおしている。間違った解釈をしていることがおおいにありうるので、英語が読める人は元のブログを読むことをおすすめします。 機械学習系の論文は新しい手法やアルゴリズムを提案していることが多い。問題の背景、データの準備、素性の設計は論文を読む人の理解を進めたり、手法を再現することができるように記述されていることが望ましいのだけど、スペースを割いて書かれていることはあまりない。研究の目標と、論文のフォーマットの制約が与えられた時、筆者がもっとも重要なアイディアにスペースを割くことは
Text Classification and Feature Hashing: Sparse Matrix-Vector Multiplication with Cython | Newsle Blog
by Erich Owens Optimizing the memory footprint of a classifier used here at Newsle set us down a rabbit hole of rewriting a basic Scipy function with Cython, something that only became a problem when our high-dimensional text spaces grew to a cartoonish size, thanks to the hashing trick. Here I motivate the use of the hashing trick, how we use sparse matrix-vector multiplication for text classific
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PFI Seminar 2012/03/15 カーネルとハッシュの機械学習
