Luceneのメモリ上でのインデックス構造とその仕組み - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 弊社では毎週水曜日にElasticsearchとLuceneのコードリーディング会が開催されています。最近ではLuceneのFSTやKD-Tree、もうすぐ公開されるNSWの実装周りを読んでいました。 先日、私の発表回でLuceneのメモリ上での転置インデックスのデータ構造について発表したので、その内容を紹介します。Luceneのことが少しでも身近に感じていただければ幸いです。 Luceneとは 転置インデックスに関する事前知識 Luceneの事前知識 Luceneのメモリ上での転置インデックス実装内部 確保したメモリがあふれた場合 まとめ We're hiring !!! Luceneとは github.com Elasticsearchの内部で利用されているオープン
GitHub - meilisearch/meilisearch: A lightning-fast search API that fits effortlessly into your apps, websites, and workflow
Search-as-you-type: find search results in less than 50 milliseconds Typo tolerance: get relevant matches even when queries contain typos and misspellings Filtering and faceted search: enhance your users' search experience with custom filters and build a faceted search interface in a few lines of code Sorting: sort results based on price, date, or pretty much anything else your users need Synonym
作って覚える転置インデックス、「検索エンジン自作入門」 - プログラマでありたい
先行発売で、検索エンジン自作入門を購入しました。まだペラペラと眺めている状況ですが、これが非常に面白いです。 「検索エンジン自作入門」は、集めた文章をいかに整理するかをテーマとして扱っている本です。整理するという意味は、検索エンジンを利用するというライフハック的な意味ではありません。整理する為の検索エンジン自体を自分で作ることで理解するという、極めて硬派な本です。 「検索エンジン自作入門」とは？ 「検索エンジン自作入門」は、未踏IT人材発掘・育成事業にスーパークリエータに認定された山田浩之氏と、Senna/groongaの開発者の末永匡氏の共著です。検索エンジンについて語らせたら、日本でこれ以上の人たちはいないだろうという組み合わせです。ということで、内容は非常に濃いのですが、難しい内容を解りやすく解説されています。 一方で、扱っている内容は非常にマニアックです。下に目次付けておくので見て
検索エンジン自作入門 ～手を動かしながら見渡す検索の舞台裏
2014年9月25日紙版発売 2014年9月25日電子版発売 山田浩之，末永匡 著 A5判／224ページ 定価2,948円（本体2,680円＋税10%） ISBN 978-4-7741-6753-4 ただいま弊社在庫はございません。 Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 まいにち使っている検索エンジンがどうやって動いているか，知っていますか？ 本書では，小さな検索エンジンを作りながら，ソースコードレベルで検索エンジンのしくみを解説。 Yahoo!Japanの検索エンジン開発チームを経て2008年度上期未踏IT人材発掘・育成事業において高性能分散型検索エンジンの開発によりスーパークリエータに認定さ
IIJ、ドキュメント共有を効率化するソフトウェア製品「SlicePoint」を提供開始 | IIJ
このニュースのPDF版 [359KB] English Version 株式会社インターネットイニシアティブ（IIJ、本社：東京都千代田区、代表取締役社長：勝 栄二郎、コード番号：3774 東証第一部）は、PDFやPowerPointなどのドキュメントを全文検索し、オンラインプレビューで確認、ダウンロードできるソフトウェア「SlicePoint（スライス・ポイント）」を開発し、本日より販売を開始します。SlicePointは、オンプレミスやプライベートクラウド、IIJ GIOサービスなどIaaSでの利用が可能です。 企業では、報告書や会議資料、提案書、仕様書など様々な資料が日々作成され、社内ポータルやファイルサーバ上で共有されています。しかし、そうした環境では、社内にある膨大な資料のなかから必要なドキュメントを探すために時間や手間がかかりすぎるといった課題がありました。SlicePoint
自社サーバ内で無償利用できる企業向け検索エンジン Microsoft Search Server Express 2010 をインストールしてみました - しあわせモノ
2013-07-08 自社サーバ内で無償利用できる企業向け検索エンジン Microsoft Search Server Express 2010 をインストールしてみました Microsoft Search Server Express Windows Server Microsoft さんの公式ページはこちら http://technet.microsoft.com/ja-jp/library/dd183108.aspx シソーラス（キーワードや類義語など）の登録もできる、Windows Server 上で動く企業向け無償検索エンジンです。有償版のうち FAST Search Server と呼ばれるものは、検索者に応じた優先付けが出来たり、機能がかなり充実しているようです。"FAST" も "Express" もつかない有償版は、無償版と違いがあまりわかりません（汗）。 今回、ほぼまっ
高速文字列解析の"別"世界 - 気ままなブログ
1月に「高速文字列解析の世界」を購入してから半年が経ちました。以下、文字列本と呼びます。 高速文字列解析の世界――データ圧縮・全文検索・テキストマイニング (確率と情報の科学) 作者: 岡野原大輔出版社/メーカー: 岩波書店発売日: 2012/12/27メディア: 単行本購入: 15人 クリック: 324回この商品を含むブログ (4件) を見る 全文検索として、「CSA」や「FM-Index」が紹介されていますが、「全文検索システム」を作るには、これらだけでは不十分です。なぜなら、以下のような特徴があるからです。 文書IDの識別が遅い。 各文書IDに出現する頻度を求めるのが遅い。 ちなみに、転置インデックス(or N-gramインデックス)を使った場合、これらの処理は高速ですね。 インデックスを圧縮しているのだからしょうがないとも考えられますが、作りたいですよねぇ、「全文検索システム」。こ
ツイートID生成とツイッターリアルタイム検索システムの話
8. ツイートID生成システムSnowflakeとは l ユニークなIDを生成するネットワークサービス l ツイッターのツイートID(ステータスID)の割り当てに使われている l ツイッター社がOSSで公開中 (*) l 特徴 l 64 bitのIDを生成 l ざっくり時刻順 l 速い l 10000 ID/秒 のスピードでIDを生成できる(1プロセスあたり) l レスポンス 2 ms (+ネットワークのレイテンシ) l スケールする l 複数のマシン・プロセスで協調動作しない l 並べただけスケールする(はず) (*) https://github.com/twitter/snowflake 8 9. Snowflakeが開発されるまで l ツイートの流速増加とツイッターのシステム移行 l 5億ツイート/日(約6000ツイート/秒) (*1) l 2012年1
Lucece Indexing
The document discusses Lucene indexing which is used to build search indexes. It describes the key components of a Lucene index including documents, fields, terms, and inverted indexes. It explains the indexing and search algorithms used by Lucene to add and retrieve documents from the index in an efficient manner through the use of techniques like segmenting, merging, skipping, and compression.Re
wat-arrayでラクラク実装☆FM-Indexの作り方 - EchizenBlog-Zwei
というわけで大変便利なライブラリwat-arrayを使ってFM-Indexを簡単に実装してみるよ。本格的なライブラリは既にFM-Index++という良いものがあるので、本記事では仕組みの解説を目的とする。 参考資料: FM-index++を公開しました - tb_yasuの日記 An alphabet-friendly FM-index (P. Ferragina, G. Manzini, V. Makinen, G. Navarro, 2004) なお、本記事では前回の記事で実装した(ってほどでもないけど)text2bwt()とLF()を使っている。 話題のwat-arrayを使ってBurrows-Wheeler変換(BWT)してみた - EchizenBlog-Zwei 今回もテキストとしてmississippi#を使う。まずテキストから任意のキーの出現回数を得る関数get_rows(
転置インデックスとTop k-query
7. 代表的なクエリのタイプ AND検索 (Conjunctive query) クエリ������ = (������1 , … , ������������ )が与えられた時に全ての������������ が含まれる文章を返す 例 : ������ = (������������������������ℎ, ������������������, ������������������������������)ならば”watch”, “iwc”, “rolex”全てが含まれる文章を返す OR検索 (Disjunctive query) クエリ������ = (������1 , … , ������������ )が与えられた時に������������ のいず れかが含まれる文章を返す 例 : ������ = (����������������������
全文検索エンジン Miniseをリリース + WEB+DBで全文検索の特集記事 - DO++
全文検索エンジンの Minise: MIni Search Engineをリリースしました． このエンジンは全文検索の基本的な機能をサポートしたもので，索引手法は逐次検索（索引無），N-gram，転置ファイル，接尾辞配列をサポートしており，そこそこ最適化を行ってます．Wikipedia日本語版を実験で使ったもので20万文書で構築時間が500秒前後，検索時間が一クエリあたり数msとなっています． BSDライセンスで公開しています． 割りきって，機能を絞ってシンプルな構成にしていますので改造したりしやすいようになっています。まだ、ドキュメントはないですが、C++ APIとして利用しやすいようにもなっていますので、研究用途などで新しい索引やランキングとかでの利用も想定しています（実際に研究用で使ってます）． --- 今回の全文検索ライブラリを開発する機会になったのが，私が担当した今月号のWEB+
From Solr to elasticsearch - Government Digital Service
https://gds.blog.gov.uk/2012/08/03/from-solr-to-elasticsearch/ Search is right at the centre of GOV.UK. It’s the main focus of the homepage and it appears in the corner of every single page. Many of our recent and upcoming apps such as licence finder also rely heavily on search. So, making sure we have the right tool for the job is vital. Recently we decided to begin switching away from Solr to el
慎ましい構成で使うSolr « NAVER Engineers' Blog
お世話になっております、開発チームの池上です。 最近ちょっとした検索機能にSolrを導入しました。Solrは検索エンジンのミドルウェアでご存知の方も多いと思います。大規模な構成による導入実績が豊富でWeb上にもたくさんの事例がありますが、今回は慎ましい構成の事例を紹介させて頂こうと思います。 使用しているSolrのバージョンは2012年1月時点で最新の3.5.0です。 なお、検索エンジンやSolrに関する基礎的な情報につきましては、有用な解説がすでに多数存在していますので割愛させて頂きます。 今回はつぎの前提条件と要件を意識して構築しました。 前提条件 サーバは極力少なめで ミッションクリティカルな機能ではない データ量はそれほど多くない 要件 更新はある程度頻繁 遅くとも数分以内にはインデックスに更新を反映させたい 一般的なWeb検索のように「いい感じに見つける」よりは「（入力されたキ
Milkode0.2.9リリース、大量のテキストをgrepの10倍以上の速度で検索出来るgmilkコマンドを追加 - おんがえしの blog
前回のバージョンアップから大分間が空いてしまいましたが、Milkode 0.2.9をリリースしました。 0.2.9の特徴 gmilkコマンドの追加 grepのようにコマンドラインから検索 mcdコマンドの追加 Milkodeに登録したパッケージ間を簡単にディレクトリ移動 要望の多かったコマンドラインツールを追加することが出来ました。 mcdとgmilkコマンドを使いはじめて一週間程経ちますが、かなり便利です。個人的にはgrepをほとんど使わなくなりつつあります。 ホームページ 今回のバージョンアップに合わせて大幅に更新しました。 メインページ - Milkode ページ構成変更 ダウンロード - Milkode Windowsのインストール方法が少し変わりました マニュアル - Milkode データベースの作成、パッケージ登録 - Milkode パッケージ間を簡単にディレクトリ移動 コ
イントラ・ローカル検索に使えそうなLuceneベースの管理コンソール付き検索システム「SearchBlox」:phpspot開発日誌
イントラ・ローカル検索に使えそうなLuceneベースの管理コンソール付き検索システム「SearchBlox」 2011年06月10日- Lucene Search Solution ? eDiscovery, Website, Enterprise, Intranet Search ? SearchBlox イントラ・ローカル検索に使えそうなLuceneベースの管理コンソール付き検索システム「SearchBlox」 Googleカスタム検索等は便利ですが、インターネットに公開されていないと検索できません Google検索アプライアンスのようなサービスもありますが、自前で手軽に安価に構築したいというニーズもあると思います。 そんな際に１つの選択肢となりそうなソフトウェアのご紹介です。利用はフリーでサポートは有償というモデルです。 Lucene自体が優秀なので高速に検索でき、SearchBox
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - quickwit-oss/tantivy: Tantivy is a full-text search engine library inspired by Apache Lucene and written in Rust
https://archive.apachecon.com/eu2012/presentations/06-Tuesday/PR-Lucene/aceu-2012-lucene-4-performance-tuning.pdf
GitHub - shibukawa/oktavia: Full text search engine for JS environments
LinkedIn Open Sources IndexTank: What Is IndexTank and How Does It Compare to Lucene and Solr