高次元ベクトルデータ検索技術「NGT」の性能と使い方の紹介
この結果を見て単語ベクトルが変わるとNGTの性能が変わってしまうように感じた方がいるかもしれません。しかし、実はこれらの単語ベクトルはデータの次元数や件数が違っているため、それぞれの条件をあわせてみる必要があります。興味がある方は論文を読んで見比べて欲しいと思いますが、ここで重要なことは、NGTが高い精度にも関わらず、せいぜい100ミリ秒程度で検索できるという規模感であるということです。その規模感を感じてもらうために、これらの実験結果をご紹介しました。この実験以外にも論文の中では単語ベクトルの応用としてアナロジーと呼ばれる合成ベクトルでの実験やその他の比較手法の比較、実験結果の考察などもありますが今回は割愛します。 これまで紹介した内容と同じような実験はLinux系のサーバーであれば公開しているExperimental softwareという実験プログラムを使うと簡単に試すことができます。
ElasticsearchのAnalyzerを理解するため全文検索の仕組みをシンプルに考える - $shibayu36->blog;
Elasticsearchを使おうとしているとAnalyzerという概念が出てくるが、このAnalyzerという概念は最初理解することが難しかった。全文検索の仕組みを理解すれば分かるだろうと思い、https://speakerdeck.com/johtani/elasticsearchru-men?slide=5 やhttp://www.atmarkit.co.jp/ait/articles/1111/18/news148.html の記事などを読んで勉強してみたものの、こちらもいろんな言葉が出てきて非常に混乱した。例えば転置インデックス、tf-idf、トークナイズ、ストップワード、N-Gram、正規化などといった言葉が出てくる。 いろいろ調べてみて整理すると、全文検索の技術には、なぜ検索ができるかの話以外に、類似度の話、検索を高速に行うための話、あいまいな検索に対応する話など、いろんな話
月間20万稼ぐ！ブログを書く“神ツール”をドンッと紹介
今月は20万いくぞぉぉぉぉ！ というわけで僕がブログを書く時に使用しているツールを 全部っ！！ ご紹介したいと思います。 だって僕が作ったツールじゃないから、、、隠すなんてセコいマネはしない！ ぜひおすすめして作者さんに還元してもらいたいです。 僕が、「稼げて且つ、皆様に役立つ記事」を必死に考えるために利用しているツールです。WEBサービスからフリーソフト、iPhoneアプリまで！ ぜひ、ぜひ参考にして下さいっ 現在のブログの基本を見直すツール 自分のサイトがスパム判定されていないか？ Google スパムサイトチェック [browser-shot width="400" url="http://carpediemsolutions.com/blog/2009/11/google-%E3%82%B9%E3%83%91%E3%83%A0%E3%82%B5%E3%82%A4%E3%83%88%
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
