Amazon Elasticsearch Service で k 近傍法 (k-NN) 類似検索エンジンが構築可能に
Amazon Elasticsearch Service で、製品の推薦、不正検出、画像の取得、動画の取得、セマンティックドキュメントの取得といった類似性ユースケースでの検索を強化する、k 近傍法 (k-NN) 検索の提供が開始されました。軽量かつ効率的な非距離空間ライブラリ (NMSLIB) を使用して構築された k-NN を利用すると、通常の Elasticsearch クエリの実行と同じくらい簡単に、数千もの次元にわたる数十億ものドキュメントに対して、ハイスケールで低レイテンシーな最近傍探索を実行することができます。 k-NN プラグインは、データポイントの空間から、クエリデータポイントに最も近い距離のデータポイントを k 個見つけます。k-NN の新しいフィールドタイプにより、集約やフィルタリングといった Elasticsearch の広範な機能群にシームレスに k-NN 検索を統
Elasticsearchで類似ベクトル探索 / 類似画像検索 - Qiita
(目次はこちら) はじめに 3年ほど前に、Deep FeaturesとFaissというタイトルで画像検索に関して書いたが、2020年3月AWSから、Build k-Nearest Neighbor (k-NN) similarity search engine with Amazon Elasticsearch Serviceが発表されたことを教えてもらい飛びついた。しかもただただサポートされているだけじゃなくて、HNSWで実装されているとのこと。 Built using the lightweight and efficient Non-Metric Space Library (NMSLIB), k-NN enables high scale, low latency nearest neighbor search on billions of documents across tho
Deep Features と Faiss [TensorFlowでDeep Learning 15] - Qiita
(目次はこちら) はじめに もう1年前になるが、転移学習/Deep Features のことを書いた。 Deep Featuresの例として類似画像検索を試したが、実用に近づけるには精度以外にも処理速度を気にしなければならない。 以前から、YahooのNGT(Neighborhood Graph and Tree) は気にはなっていたが試したことはなかった。2ヶ月ほど前に、Facebookから、Faiss(Facebook AI Similarity Search) が公開された。とても気になるのでやってみる。 Faiss セットアップ リポジトリ: https://github.com/facebookresearch/faiss 今回は、手元のMacBookProで試した。 基本的には、https://github.com/facebookresearch/faiss/blob/mas
![Deep Features と Faiss [TensorFlowでDeep Learning 15] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d261f06105c6cc36c8e0195d11f59eec522f489e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9RGVlcCUyMEZlYXR1cmVzJTIwJUUzJTgxJUE4JTIwRmFpc3MlMjAlNUJUZW5zb3JGbG93JUUzJTgxJUE3RGVlcCUyMExlYXJuaW5nJTIwMTUlNUQmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTQ2Njg2NWQ4NjBhNTcwNjhmYzk1NmI4ZGMxYzA5ZDU4%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwa3Vtb25rdW1vbiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OTM1YzEzY2I3ZGE4NDY3ZDU4ZTY4NmRmZWJhNjkxMzc%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Df0c4aef3b45a788d5943e7a6ca9dfe48)
転移学習 / Deep Features [TensorFlowでDeep Learning 12] - Qiita
(目次はこちら) はじめに これまでの記事 で見てきた、Deep Neural Networks / Convolutional Neural Networks では、精度を高めるために中間層を増やすと、それに伴い、パラメータ数も多くなり、それを学習するためにさらに多くのデータが必要とされる。画像認識のコンペティションなどで上位に来るようなものは、複数のGPUを利用したとしても、当然のように学習に数週間以上かかっている。 正直、こんなに時間がかかるものなんて、頻繁に学習したくない。カテゴリ識別において、たとえば、カテゴリを1つ追加したくなった時、また数週間待つんだろうか？？ 嫌だ。こんなときに用いられるのが、転移学習 (transfer learning) / 深層特徴 (deep features)である。 転移学習 (transfer learning) / 深層特徴 (deep fe
![転移学習 / Deep Features [TensorFlowでDeep Learning 12] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/916fe1f58d7c0e6276292d0ea1f9595f4378b8ab/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU4JUJCJUEyJUU3JUE3JUJCJUU1JUFEJUE2JUU3JUJGJTkyJTIwJTJGJTIwRGVlcCUyMEZlYXR1cmVzJTIwJTVCVGVuc29yRmxvdyVFMyU4MSVBN0RlZXAlMjBMZWFybmluZyUyMDEyJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1iYjIyNjY1ODJhODZiZmM1ZDVhNGJjMmNhNDFiNjQ1Mw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrdW1vbmt1bW9uJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz00NjFhMmJlYTg2YzZkYjgxYjZiOWFjYmYzMmJkNTU2YQ%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4gTWVyY2FyaQ%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3Dfee50205a9a101da5456808bb97e1e59)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - nmslib/nmslib: Non-Metric Space Library (NMSLIB): An efficient similarity search library and a toolkit for evaluation of k-NN methods for generic non-metric spaces.
