Lucece Indexing
The document discusses Lucene indexing which is used to build search indexes. It describes the key components of a Lucene index including documents, fields, terms, and inverted indexes. It explains the indexing and search algorithms used by Lucene to add and retrieve documents from the index in an efficient manner through the use of techniques like segmenting, merging, skipping, and compression.Re
SIOS "OSSよろず" ブログ出張所: GIN を利用したタグ検索の最適化
SIOS "OSSよろず"ブログ出張所はサイオスが新たにオープンしました「SIOS Tech.Lab」ブログに移設します。 新サイトのURLは下記となります。引き続きのご愛読をよろしくお願いします。 https://tech-lab.sios.jp/ こんにちは、OSS テクノロジーセンターの渡辺です。 今回は PostgreSQL の配列型と GIN インデックスを使用したタグシステムについて解説します。 はじめに データにタグを付けて分類するシステムは多くあります。タグはデータ分類を行う為によく利用される仕組みで、様々なアプリケーションに利用されています。 タグを使ったシステムの特徴 タグの名前が自由に登録できる 一つのデータに対して、タグを任意の数、設定できる 任意のタグ名を任意の数、指定して検索できる タグはデータを分類する仕組みとして柔軟で便利な仕組みですが、検索する場合のコスト
第11回 転置索引の圧縮 | gihyo.jp
はじめに 第2回で、索引は多くの場合圧縮されていることに言及しました。また第7回では、索引構築時にどの部分で索引を圧縮すればよいかを疑似コードを用いて説明しました。今回は、転置索引の具体的な圧縮方法について説明していきます。 圧縮の目的 中規模から大規模な索引の場合、転置リストは非常に長くなり、検索時にはディスクからの大量のデータの読み取りが行われます。転置索引（を用いた検索エンジン）では、これによる検索処理時間の増加を防ぐために、転置リストを圧縮しディスクからの読み込み時間の短縮を図ります。 この場合、圧縮された転置リストをディスクから読み込みさらに復元処理を行う必要がありますが、通常は次のようになります。 これは、近年のCPUとディスクの速度差が大きいため、主にCPUにおける処理である復元処理が高速に行えることによるものです。よって、圧縮というと容量を節約の意図で使うことが多いと思いま
NoSQLデータモデリング技法
NoSQLデータモデリング技法.markdown #NoSQLデータモデリング技法 原文：NoSQL Data Modeling Techniques « Highly Scalable Blog I translated this article for study. contact matope[dot]ono[gmail] if any problem. NoSQLデータベースはスケーラビリティ、パフォーマンス、一貫性といった様々な非機能要件から比較される。NoSQLのこの側面は実践と理論の両面からよく研究されている。ある種の非機能特性はNoSQLを利用する主な動機であり、NoSQLシステムによく適用されるCAP定理がそうであるように分散システムの基本的原則だからだ。一方で、NoSQLデータモデリングはあまり研究されておらず、リレーショナルデータベースに見られるようなシステマティック
LuceneのインデックスにStoreするデータをMessagePackで圧縮してみた｜社内NEET宣言
社内NEET宣言 文学部出身なのにIT企業で研究開発をすることになった社員のブログです。 PR Profile [ルームを見る|なうを見る] ニックネーム：just do neet 性別：男性 誕生日：さだまさしがソロデビューしたあたり 出身地：神奈川県 自己紹介： NEETは豊かさの象徴だから進んでNEETになるべきです。 ブログジャンル：エンジニア/ニート メッセージを送る アメンバーになる プレゼントを贈る [Publish] Calendar <<May>> S M T W T F S 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 Theme ブログ ( 22 ) Java ( 29 ) 職場の風景 ( 26 ) インターネット ( 15 ) Unix系OS (
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
転置インデックスとTop k-query
Data-Intensive Text Processing with MapReduce ch4
