近似最近傍探索における新しいビット量子化手法、RaBitQとBBQ
Elasticsearch 8.16 で Better Binary Quantization (BBQ) という、新しい密ベクトルのフィールドタイプが追加されました。 Dense vector field type | Elasticsearch Guide | Elastic Elasticsearch version 8.16.0 New features | Elasticsearch Guide | Elastic Adding new experimental bbq index types by benwtrent · Pull Request #114439 · elastic/elasticsearch · GitHub Elasticsearch ではベクトルの各次元の int8 や int4 への量子化をサポートしていますが、BBQ ではビットにまで量子化することで、
高次元ベクトルデータ検索技術「NGT」のpythonライブラリ公開のお知らせ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに 検索技術の菅原です。 以前にこのTech Blogで紹介されたNGT（Neighborhood Graph and Tree）という高速な近傍探索を実現するソフトウエアのpython用インターフェースが公開されました。pythonは機械学習のライブラリが多く公開されており、より手軽にNGTを組み合わせて使うことができるでしょう。 そこで今回はword2vecのベクトルを近傍探索する実践的な内容を紹介します。word2vecを扱うライブラリとしてgensimを使用します。word2vecやgensimの詳しい説明は省略しますが、分からなくてもpythonの文法を知っていれば理解できると思います。今回使用した環境はMacBo
文字列アルゴリズムの学びかた - Hatena Developer Blog
こんにちは！はてなアプリケーションエンジニアの id:takuya-a です。 みなさんは、このような疑問をもったことはありませんか？ grep はどのように文字列を検索しているのか？ MeCab はどうやって辞書を高速にルックアップしているのか？ パーサやコンパイラを作りたいけど、何から始めればいいのか？ 本稿では、「文字列アルゴリズムとはどんなものなのか？」「なぜ重要なのか？」「何を知っておくべきか？」「どうやって勉強すればいいのか？」といった疑問にお答えしていこうと思います。 文字列アルゴリズムの意外な応用や、モチベーションを保ちやすい勉強のしかた、文字列アルゴリズムを勉強するために行った社内での取り組み、実装するときのコツといったトピックについても触れています。 このエントリは、はてなエンジニアアドベントカレンダー2016の22日目の記事です。昨日は id:syou6162 さんに
TinySegmenter.jl の高速化手法を追っかけてみた - 押してダメならふて寝しろ
今日の元ネタはこちらです． chezou.hatenablog.com 他言語との比較が行われているわけですが，Julia 版はアルゴリズムの作りが他とだいぶ変わってしまっているので， そのまま比較するのはどうかなと思うわけですが，でも，Julia が書けるわけでもないので，ざっくりどんな高速化が行われたのか golangで追っかけてみました（結局 golang ネタです）． TinySegmenter はもともと javascript でコンパクトに書かれた分かち書き用のプログラムです． TinySegmenter: Javascriptだけで実装されたコンパクトな分かち書きソフトウェア なるべくオリジナルに忠実に golang で実装して，そこから Julia 版の高速化手法を盛り込んでいってパフォーマンスを見ていきます． で，こちらにご用意したのが golang 版です． shogo
Minimal Acyclic Subsequential Transducerで遊ぶ - Negative/Positive Thinking
はじめに https://pycon.jp/2015/ja/proposals/vote/11/ Pycon2015で発表された「Pythonで作って学ぶ形態素解析」で紹介されていた辞書データ構造の「Minimal Acyclic Subsequential Transducer」について、勉強のために書いてみた。 Minimal Acyclic Subsequential Transducerとは Finite State Transducerの一種 Transducerにおいて、initial stateが一つで、同じ入力ラベルを共有する同じ状態からのの遷移が2つ以上なく、各最終状態での最終出力文字列が高々p個のとき、p-subsequentialで、pが整数ならfinitely subsequentialというらしい minimal(状態数が最少)、Acyclic(サイクルが無い)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Word2vec implementation in gensim
IBM Developer
はてなブックマーク全文検索の精度改善