Faiss: A library for efficient similarity search
This month, we released Facebook AI Similarity Search (Faiss), a library that allows us to quickly search for multimedia documents that are similar to each other — a challenge where traditional query search engines fall short. We’ve built nearest-neighbor search implementations for billion-scale data sets that are some 8.5x faster than the previous reported state-of-the-art, along with the fastest
Amazon Elasticsearch Service で k 近傍法 (k-NN) 類似検索エンジンが構築可能に
Amazon Elasticsearch Service で、製品の推薦、不正検出、画像の取得、動画の取得、セマンティックドキュメントの取得といった類似性ユースケースでの検索を強化する、k 近傍法 (k-NN) 検索の提供が開始されました。軽量かつ効率的な非距離空間ライブラリ (NMSLIB) を使用して構築された k-NN を利用すると、通常の Elasticsearch クエリの実行と同じくらい簡単に、数千もの次元にわたる数十億ものドキュメントに対して、ハイスケールで低レイテンシーな最近傍探索を実行することができます。 k-NN プラグインは、データポイントの空間から、クエリデータポイントに最も近い距離のデータポイントを k 個見つけます。k-NN の新しいフィールドタイプにより、集約やフィルタリングといった Elasticsearch の広範な機能群にシームレスに k-NN 検索を統
Elasticsearchで類似ベクトル探索 / 類似画像検索 - Qiita
(目次はこちら) はじめに 3年ほど前に、Deep FeaturesとFaissというタイトルで画像検索に関して書いたが、2020年3月AWSから、Build k-Nearest Neighbor (k-NN) similarity search engine with Amazon Elasticsearch Serviceが発表されたことを教えてもらい飛びついた。しかもただただサポートされているだけじゃなくて、HNSWで実装されているとのこと。 Built using the lightweight and efficient Non-Metric Space Library (NMSLIB), k-NN enables high scale, low latency nearest neighbor search on billions of documents across tho
Deep Features と Faiss [TensorFlowでDeep Learning 15] - Qiita
(目次はこちら) はじめに もう1年前になるが、転移学習/Deep Features のことを書いた。 Deep Featuresの例として類似画像検索を試したが、実用に近づけるには精度以外にも処理速度を気にしなければならない。 以前から、YahooのNGT(Neighborhood Graph and Tree) は気にはなっていたが試したことはなかった。2ヶ月ほど前に、Facebookから、Faiss(Facebook AI Similarity Search) が公開された。とても気になるのでやってみる。 Faiss セットアップ リポジトリ: https://github.com/facebookresearch/faiss 今回は、手元のMacBookProで試した。 基本的には、https://github.com/facebookresearch/faiss/blob/mas
![Deep Features と Faiss [TensorFlowでDeep Learning 15] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d261f06105c6cc36c8e0195d11f59eec522f489e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9RGVlcCUyMEZlYXR1cmVzJTIwJUUzJTgxJUE4JTIwRmFpc3MlMjAlNUJUZW5zb3JGbG93JUUzJTgxJUE3RGVlcCUyMExlYXJuaW5nJTIwMTUlNUQmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTQ2Njg2NWQ4NjBhNTcwNjhmYzk1NmI4ZGMxYzA5ZDU4%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwa3Vtb25rdW1vbiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OTM1YzEzY2I3ZGE4NDY3ZDU4ZTY4NmRmZWJhNjkxMzc%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Df0c4aef3b45a788d5943e7a6ca9dfe48)
転移学習 / Deep Features [TensorFlowでDeep Learning 12] - Qiita
(目次はこちら) はじめに これまでの記事 で見てきた、Deep Neural Networks / Convolutional Neural Networks では、精度を高めるために中間層を増やすと、それに伴い、パラメータ数も多くなり、それを学習するためにさらに多くのデータが必要とされる。画像認識のコンペティションなどで上位に来るようなものは、複数のGPUを利用したとしても、当然のように学習に数週間以上かかっている。 正直、こんなに時間がかかるものなんて、頻繁に学習したくない。カテゴリ識別において、たとえば、カテゴリを1つ追加したくなった時、また数週間待つんだろうか？？ 嫌だ。こんなときに用いられるのが、転移学習 (transfer learning) / 深層特徴 (deep features)である。 転移学習 (transfer learning) / 深層特徴 (deep fe
![転移学習 / Deep Features [TensorFlowでDeep Learning 12] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/916fe1f58d7c0e6276292d0ea1f9595f4378b8ab/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU4JUJCJUEyJUU3JUE3JUJCJUU1JUFEJUE2JUU3JUJGJTkyJTIwJTJGJTIwRGVlcCUyMEZlYXR1cmVzJTIwJTVCVGVuc29yRmxvdyVFMyU4MSVBN0RlZXAlMjBMZWFybmluZyUyMDEyJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1iYjIyNjY1ODJhODZiZmM1ZDVhNGJjMmNhNDFiNjQ1Mw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrdW1vbmt1bW9uJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz00NjFhMmJlYTg2YzZkYjgxYjZiOWFjYmYzMmJkNTU2YQ%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4gTWVyY2FyaQ%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3Dfee50205a9a101da5456808bb97e1e59)
VAEとGANを活用したファッションアイテム検索システム - ZOZO TECH BLOG
データサイエンティストの中村です。今回はイメージファーストなファッションアイテム検索システムを作ってみたのでそちらの紹介をしたいと思います。 本記事で紹介する技術はIBIS2016でも報告しています。 概要 ファッションアイテムを探すとき、見た目の印象はとても大事な要素です。ファッションは感覚的なものなので、自分が欲しい服について言葉で説明することは難しいですが、そのアイテムの良し悪しは画像を見ただけで判断できるからです。 今回開発した検索システムは見た目の印象を大事にしたいので、画像をクエリとします。ただし、ただの画像検索では面白くないので、色や形状などの属性情報を付加した状態で検索を実行できるようにしました。 例えば、「シルエットは良いんだけど、これの赤いやつが欲しい」のような感覚的な注文を、以下のGIFのように画像に属性を付加する形で拾っています。 よくある検索システムではカテゴリに
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - nmslib/nmslib: Non-Metric Space Library (NMSLIB): An efficient similarity search library and a toolkit for evaluation of k-NN methods for generic non-metric spaces.
メルカリ写真検索における Amazon EKS の活用事例と
プロダクトにおけるEdgeAI technologyの展望
Seven Tips for Visual Search at Scale