Learning to Hash! 最新 Locality sensitive hashing 事情 - 武蔵野日記
高速に類似度計算をしたい場合、典型的に使われるのは Locality sensitive hashing (LSH)という技術であり、元々距離が近いインスタンス同士はハッシュ値が近くなるようにハッシュ関数を作ることで高速に類似度を計算したりできるというお話なのだが、最近 Semantic hashing や Spectral hashing、また Kernelized LSH という手法が登場して盛り上がりつつあるところ、同じグループの人がもっといいのを出しました、ということらしい。ちなみに情報推薦とか画像検索とか大規模クラスタリングとか、いろいろな分野で高速な類似度計算の応用例がある。 そういうわけで、今日は manab-ki くんが Brian Kulis and Trevor Darrell. "Learning to Hash with Binary Reconstructive
Locality Sensitive Hashing
【論文】M. Datar, N. Immorlica, P. Indyk, and V.S. Mirrokni, Locality-Sensitive Hashing Scheme Based on p-Stable Distributions, Proceedings of the twentieth annual symposium on Computational geometry, 2004. Overview Locality Sensitive Hashing(以下LSH，局所性鋭敏型ハッシュ)は高次元データを次元圧縮するための手法で，圧縮したデータによるハッシュテーブルを作成して，効率的に近似的最近傍探索を行うための手法です．基本的なアイディアとしては高次元空間内での距離が近い2つのベクトルが，ハッシュテーブルにおいて高確率で同じバケットに入るように確率的な処理を行うと
人間ドックいくより遺伝子検査するほうが安いし楽っぽかったので申し込んでみた | fladdict
Yahooヘルスケアの謎サービス、Yahoo遺伝子検査キットを注文してみた。 この胡散臭い遺伝子キット、使い方は唾液をとって送るだけ。たったそれだけで魅惑の遺伝子検査をしてくれるらしい。毎月1日に限定500個で販売、お値段は29800円ぽっきり（わりと高い）。 まぁ、人間ドックに入るよりは遥かに安いわけで。 最先端の技術で一度に68もの遺伝子をチェック！病気の発祥リスクや体質を判定！ この検査キットをつかえば、将来あなたがかかる病気の発症リスクをグラフ化してくれる・・・らしい。死亡率100%とか出たらどうしようね。うちの母方の家系は大半が50代ぐらいでお亡くなりなんですが。（父型はみんな90代まで生きる）。 このドッキドキの放置プレイ、嬉し恥ずかしの結果報告は2ヶ月後。 謎のサイキック能力やミュータント遺伝子、Xファクターなんかが発見されたら、またご報告してみたいと思います。
Excel 2016でUTF-8のCSVファイルがサポートされるようになりました。 | 初心者備忘録
ホーム Office関連, Office 2013 Excel 2013で追加された「WEBSERVICE」関数を使って、マクロを使わずWeb APIを利用する。 Microsoft Office 2013が登場し、Excelにも新しい関数がいくつか追加されました。 その中でも私が特に注目したいのが「Web」関連の関数です。 「WEBSERVICE」「ENCODEURL」「FILTERXML」の3つの関数が追加され、これらの関数を使うと、Webサービス、つまり公開されているWeb APIをVBAでコードを書くことなく利用できるようになります。 まずは関数の説明から。 ・ENCODEURL(文字列)：URL にエンコードされた文字列を返します。 ・FILTERXML(xml,xpath)：指定された XPath に従って、XML コンテンツの特定データを返します。 ・WEBSERVICE(u
アシックス“逆輸入ランニングシューズ”「ASICS33」の実力は？ - 日経トレンディネット
アシックスが従来と全く異なるコンセプトのランニングシューズとしてリリースし、ニューヨークをはじめとして全米でヒットしている「ASICS33（アシックスサーティースリー）」が2012年2月から日本でも発売される。その実力は？ 日本のスポーツシューズのトップブランドといえば、アシックス。学生時代に運動部に所属したことがある方なら、一度はその製品を着用した経験があるだろう。そんなアシックスだが、米国をはじめとして世界でも高いシェアを獲得していることは意外と知られていない。特にマラソンレースに定期的に参加するようなシリアスランナーのシューズ着用率はトップクラスで、筆者も2007年から9回ほど海外のロードレースに参加しているが、いずれのレースでもアシックスのシューズを履いているランナーが最も多かった。 海外でも特にアシックスの製品がポピュラーな存在となっている都市がニューヨーク。早朝からセントラルパ
Gehirn RS2へ移行 -Blog //ヴォルフロッシュ
Published on 2012-11-25 RSS Gehirn RS2へ移行 唐突ですが、当サイトが乗っかっているレンタルサーバをGehirnRS2という新鋭のサービスに変更しました。 今までこのサイトはXREAを経てCORESERVER.JPにいたのですが、正直CORESERVERに最近不満を感じていて、他のサーバに引っ越そうかなぁと夏頃から考えていたのです。やっと満足ができるサービスが見つかったので実行に至りました。 せっかくなのでその経緯をまとめてみます。 引っ越しに至った動機 XREAよりも好条件ながらほとんど同じ価格ということで、それなりに満足していたCORESERVERのcore-miniですが、最近いくつかの点で不満を感じるようになってきました。 具体的にはこの辺。 海外からのメール送信にエラーを返すようになった PHP5.3に対応してない keep-aliveに対応し
レコメンド, LSH, Spectral Hashing - DO++
WEB+DB press vol.49にレコメンド特集の記事をtkngさんと書きました。 内容は最初は、協調フィルタリングやコンテンツマッチの簡単な話から、特徴量をどのように表すか、大規模データをどのように処理するかにいき、特異値分解などの低ランク行列分解によるレコメンドやRestricted Boltzmann Machineといった最近のnetflix prizeの上位の手法など、かなり突っ込んだ議論もしてます。 個人的には三章でLocality Sensitive Hash(LSH)について扱っているあたりがお勧めです。 レコメンドの内部の問題を極言すると、データというのは疎な高次元の数値ベクトル（数百万次元とか）で表され、クエリでベクトルが与えられた時、これと似たようなベクトルを探してこいという問題になります。”似たような”を数学的にいえば、クエリのベクトルとの内積（各ベクトルは長
PFI Seminar 2012/03/15 カーネルとハッシュの機械学習
2. 自己紹介 得居 誠也 | Tokui, Seiya 東京大学 理学部 数学科 @beam2d 同 情報理工 数理情報学 M2 近傍探索のためのハッシュの学習 PFIアルバイト（一年半くらい） 来月から正社員 3. 今日のおはなし ハッシュ • 近傍探索：クエリに類似したデータを 効率良く取り出す • 機械学習：分類や回帰を効率良く学習する あると良い知識 • 線形学習器を一つでも知っていると わかりやすいと思います 4. 内容 • カーネルの簡単な説明（復習） • ハッシュ関数の導入 • 近傍探索に使えるハッシュ – データのハッシュ – いろいろな手法を紹介 (LSH系, カーネル, ハッシュの学習) • 機械学習に使えるハッシュ – 素性のハッシュ – ハッシュされたデータの学習
Text Classification and Feature Hashing: Sparse Matrix-Vector Multiplication with Cython | Newsle Blog
by Erich Owens Optimizing the memory footprint of a classifier used here at Newsle set us down a rabbit hole of rewriting a basic Scipy function with Cython, something that only became a problem when our high-dimensional text spaces grew to a cartoonish size, thanks to the hashing trick. Here I motivate the use of the hashing trick, how we use sparse matrix-vector multiplication for text classific
How to Build a Popularity Algorithm You can be Proud of
Many web sites allow users to casts vote on items. These visitors’ votes are then often used to detect the items’ “popularity” and hence rank the rated items accordingly. And when “rank” comes into play things gets tricky: The system can have inherent deficiencies in ranking items. That is mostly because developers tend to “re-invent the wheel” and throw in their own algorithms instead of basing t
異常検知の世界へようこそ - Preferred Networks Research & Development
比戸です。 先週Jubatusの最新0.4.0がリリースされましたが、外れ値検知機能の追加が目玉の一つとなっています（jubaanomaly）。昨年PFIへ入社して初めて手がけた仕事が公開されたということで感慨ひとしおですが、便乗してあまり語られることのない異常検知の世界について書きたいと思います。以下の資料は昨年のFIT2012で使ったものです。 異常検知とは簡単にいえば、「他に比べて変なデータを見つけ出す」タスクです。お正月にテレビで繰り返し流れた、おすぎとピーコのCM(*1)がわかりやすいイメージですね。機械学習の枠組みで言えば”教師無し学習”に属します。分類や回帰、クラスタリングなど応用も多く人気も研究熱も高いタスクに比べると、マイナーです。SVMとか、Random Forestとか、Boostingとか、最近だとDeep Neural Networkとか、有名な必殺技アルゴリズム
私のブックマーク ： 簡潔データ構造
田部井靖生（科学技術振興機構 ERATO湊離散構造処理系プロジェクト研究員) はじめに 近年、Web技術や計測技術の発展により言語やゲノムデータは大規模化しています。従来のデータ構造は大規模データを扱うにはサイズが大きくメモリに載らない、 しかし、圧縮するとランダムアクセスをすることができないという欠点があります。 簡潔データ構造とはデータを小さく保存かつ高速な操作が可能なデータ構造です。 近年、集合、文字列、木、グラフデータを扱うための簡潔データ構造が提案され注目を集めています。 私たちの身近なアプリケーションとして、Google日本語入力では簡潔木LOUDSの実装が使われ、実際に使われはじめています。 また、有志によるそれらを解説したサイトやライブラリなども利用可能になりつつあります。 そこで、このページでは簡潔データ構造を用いた研究開発のためのいろいろなリソースを紹介します。 解説記
厚さ約0.8mm、世界最薄をうたうステンレスと電子ペーパーでできた腕時計「CST-01」
電子ペーパーとステンレスでできた世界最薄をうたう厚さ約0.8mmの腕時計が「CST-01」です。この腕時計を製造して、一般に販売するためのプロジェクトが現在アメリカのクラウドファンディングサイトKickstarter上で行われており、実際に動いている製品のデモや内部の構造などが見られるムービーなどが公開されています。 CST-01: The World's Thinnest Watch by Central Standard Timing ― Kickstarter この腕時計を開発しているのはデザイナーでありエンジニアでもあるJerry O’Leary(左)とDave Vondle(右)の2人。 世界で最も薄い腕時計を作るために、1年間を費やしてデザインとプロトタイプの製作に打ち込んできたとのこと。 そして、完成したのがコレ。 本体の薄さはクレジットカードと同程度。 充電台(右)が付属し
サンコーの中華スティックはAndroid棒の真打か？ - BTOパソコン.jp
意味不明なタイトルにて失礼。 サンコーレアモノショップ（以下サンコー）より、テレビに接続出来るアンドロイド・スティックが新発売。過去にもサンコーやオンキヨーから出ていたけれど、今回の中華スティックは結構完成度が高いと思うので紹介。 機能や性能を適当に見て参りましょう。 サンコーから依頼された宣伝やステマでは無し。現物に触れず画像や仕様を見ただけで勝手にレビューするやり方。 なお、中華スティックという呼び方が良いとは思わないけれど、安い板PCが中華タブレットと呼ばれているようなので合わせただけで他意や悪意はございません。 テレビに接続するHDMIアンドロイド棒とは アンドロイド棒という言葉も私が作っただけなので覚えないよう。総称を何と言えば良いのか判らないので、勝手に中華スティックとか称しております。 リンク切れが怖いので行くならURLコピペにて。 サンコーレアモノショップ【Android
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模フィンガープリント データーの高速類似度検索
重くなったChromeをワンクリックで軽くしてくれる「OneClick Cleaner」｜男子ハック
On learning InnoDB: A journey to the core
【小寺信良の週刊 Electric Zooma!】 第582回:あれ、ちょっと時代来てる? スティック型Androidを試す 同じようで結構違う。サンコー/GEANEE/オンキヨー