Luceneのメモリ上でのインデックス構造とその仕組み - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 弊社では毎週水曜日にElasticsearchとLuceneのコードリーディング会が開催されています。最近ではLuceneのFSTやKD-Tree、もうすぐ公開されるNSWの実装周りを読んでいました。 先日、私の発表回でLuceneのメモリ上での転置インデックスのデータ構造について発表したので、その内容を紹介します。Luceneのことが少しでも身近に感じていただければ幸いです。 Luceneとは 転置インデックスに関する事前知識 Luceneの事前知識 Luceneのメモリ上での転置インデックス実装内部 確保したメモリがあふれた場合 まとめ We're hiring !!! Luceneとは github.com Elasticsearchの内部で利用されているオープン
アシストの視点「アクセス・パスから見るRDBMSの違い」 | アシスト
商用RDBMSのデファクト・スタンダードである「Oracle Database」、オープンソースRDBMSの両雄である「PostgreSQL」、「MySQL」には、それぞれのRDBMSの個性を活かせる適用領域があります。本稿では、RDBMSの「性能要件」に深く関係する「アクセス・パス」を題材に、「Oracle Database」、「PostgreSQL」、「MySQL」の特長を整理し、適材適所で活用するヒントを探ります。 アシストでは1987年に取り扱いを開始した「Oracle Database」に加え、2009年10月より「PostgreSQL（ポストグレスキューエル）」、2011年10月にはPostgreSQLをベースとしOracle Databaseとの互換性機能を有する「Postgres Plus（ポストグレスプラス）」、Webサービスのシステムにて採用されているRDBMSとしては
GZinga: Seekable and Splittable Gzip
Generally, data compression techniques are used to conserve space and network bandwidth. Widely used compression techniques include Gzip, bzip2, lzop, and 7-Zip. According to performance benchmarks, lzop is one of the fastest compression algorithms, while bzip2 has a high compression ratio but is very slow. Gzip offers the lowest level of compression. Gzip is based on the DEFLATE algorithm, which
zindex - index your compressed text files
Scratching your own itch @mattgodbolt / @mattgodbolt My problem 5000+ read-only archived JSON log files on NFS Average 450MiB gzipped, 4GiB uncompressed Need to find entries by a unique ID zgrep $ zgrep -E '^\{"eventId":63181572,' audit.log.gz {"eventId":63181572,...} Takes 14 seconds zgrep has to uncompress every byte of the file to search it! Could index file ...but then would need to be able to
Redshift の Interleaved Sort Key について解説してみる - Qiita
はじめに Redshift における Sort Key の１つである Interleaved Srot Key について解説をします。公式ドキュメントにはさらっとしか記述がないのですが、私が確認した公開された情報のなかでは AWS Blog が一番詳しく解説されていました。本稿はこちらの Blog を理解することを目的とします。 Sort Style 大きく分けて 3 つあります。 Single-column Sort Key column 単位で設定された Key。 Compound Sort Key table 単位で設定されたもので、2つ以上の column に対してセットされた Key。いわゆる複合 Key で Primary, Secondary と Key 間に優先順位があります。 Interleaved Sort Key table 単位で設定されたもので、1つ以上の col
RDB - 実例で学ぶ、JOIN (NLJ) が遅くなる理屈と対処法 - Qiita
"Nested Loop Joinしか取り上げて無いのにタイトルが大きすぎないか" と指摘を頂いたので、タイトルを修正しました。Merge JoinとHash Joinのことはまた今度書こうと思います。 「JOINは遅い」とよく言われます。特にRDBを使い始めて間がない内にそういう言説に触れた結果「JOIN=悪」という認識で固定化されてしまっている人も多いように感じています。 たしかに、JOINを含むようなSELECT文は、含まないものに比べて重たくなる傾向があることは事実です。また、本質的に問い合わせたい内容が複雑で、対処することが難しいものも存在します。しかし、RDBの中で一体どういうことが起きているのかを知り、それに基いて対処すれば高速化できることも少なくないと考えています。 本稿では、JOINの内部動作を解説した上で、Webサービスを作っているとよく出てくるJOIN SQLを例題に
Lucene lecture at Pisa
Package: org.apache.lucene.analysis An Analyzer is a TokenStream factory. A TokenStream is an iterator over Tokens. input is a character iterator (Reader) A Token is tuple <text, type, start, length, positionIncrement> text (e.g., “pisa”). type (e.g., “word”, “sent”, “para”). start & length offsets, in characters (e.g, <5,4>) positionIncrement (normally 1) standard TokenStream implementations are
Text processing (part 2): Inverted Index
This is the second part of my text processing series. In this blog, we'll look into how text documents can be stored in a form that can be easily retrieved by a query. I'll used the popular open source Apache Lucene index for illustration. There are two main processing flow in the system ... Document indexing: Given a document, add it into the index Document retrieval: Given a query, retrieve th
Sawada Masahiko: GINインデックスの進化 - PostgreSQL9.4
Friday, December 19, 2014 GINインデックスの進化 - PostgreSQL9.4 この記事はPostgreSQL Advent Calendar 2014の12/19担当分です。 昨日の12月18日、ついにPostgreSQL9.4がリリースされました！！ 0. はじめに PostgreSQL9.4では様々な新機能が組み込まれたほか、既存機能の進化もありました。 その中でも全文検索等に使われる”GINインデックス”では、 インデックスサイズの縮小 特定ケースでの検索速度向上 の2つの大きな進化がありました。 本記事では、これらの内容について具体的にどのような改善があったかをご紹介いたします。GINインデックスって？全文検索って？ という方はこちら(pg_bigmを用いた全文検索のしくみ)をご参照ください。 1. インデックスサイズの縮小 9.4では
Amazon S3 Directory Browser – ApacheのDirectory Index風にS3を閲覧
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました Amazon S3をクラウドのストレージとして活用している人は多いです。システムから自動保存するだけでなく、普通にファイル置き場と使っていたりします。バイナリファイルを置いて、ファイル配布の場として使っているケースも多いでしょう。 そうなると欲しくなるのがファイル一覧、インデックスページではないでしょうか。そこで使ってみたいのがAmazon S3 Directory Browserです。 Amazon S3 Directory Browserの使い方 Amazon S3 Directory Browserを使うとファイル、フォルダの一覧がApacheのDirectory Indexのようにシンプルに使えるようになります。WebサーバのDirectory Indexをきれいに表示する
Django Cloud Browser — Cloud Browser 0.5.4 documentation
Django Cloud Browser¶ Info A Django application browser for cloud (S3, Cloud Files) datastores. Author Ryan Roemer (http://github.com/ryan-roemer) Build Version Cloud Browser is a simple web-based object browser for cloud-based blob datastores. Just add as an application to a Django project, add some settings, and you’ll be able to browse cloud containers and implied subdirectories, as well as vie
Directory Listing in S3 Static Website
I have set up an S3 bucket to host static files. When using the website endpoint (http://.s3-website-us-east-1.amazonaws.com/): it forces me to set an index file. When the file isn't found, it throws an error instead of listing directory contents. When using the s3 endpoint (.s3.amazonaws.com): I get an XML listing of the files, but I need an HTML listing that users can click the link to the file.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How does SQLite work? Part 2: btrees! (or: disk seeks are slow don't do them!)
GitHub - greenlion/FastBit_UDF: MySQL UDF for creating, manipulating and querying FastBit indexes
Hacking Lucene - The Index format - Hacker Labs
BurntSushi/xsv · GitHub - A fast CSV toolkit written in Rust.
深い親子関係のテーブル設計
War Story: Speeding up Block-based Table Lookup
より深く知るオプティマイザとそのチューニング
S3 bucket listing that’s easier on the eyes