転置インデックスの圧縮技法
転置インデックスは、検索エンジンの実装において、中心的な役割を果たすデータ構造である。 転置インデックスのデータ構造とアルゴリズムは、クエリ処理アルゴリズムとともに、検索エンジンの性能に直結する。とくに大規模な検索エンジンにおいては、キャッシュ効率を高めてクエリ処理を高速化するために、転置インデックスの圧縮は必要不可欠となっている。 この記事では、転置インデックス、とくにポスティングリストの圧縮について、近年の手法を簡単にまとめる。 目次 転置インデックスの基本 転置インデックスのデータ構造と特性 転置インデックスのアクセスパターン 近年のインデックス圧縮技法 Variable-Byte Family VByte Varint-GB Varint-G8IU Masked-VByte Stream-VByte Opt-VByte Simple Family Simple9 Simple16
You’ve reached computer programming nirvana. Your journey has led you down many paths, including believing that God wrote the universe in LISP, but now the truth is clear in your mind: every problem can be solved by writing one more compiler. It’s true. Even our soon-to-be artificially intelligent overlords are nothing but compilers, just as the legends foretold. That smart contract you’ve been wr
Reading the excellent article by JeanHeyd Meneide on how broken string encoding in C/C++ is made me realise that Unicode is a topic that is often overlooked by a large number of developers. In my experience, there’s a lot of confusion and wrong expectations on what Unicode is, and what best practices to follow when dealing with strings that may contain characters outside of the ASCII range. This a
August 19, 2021 Hello! Recently I’ve been thinking about why I explain things the way I do. The usual way I write is: Try to learn a topic Read a bunch of explanations that I find confusing Eventually understand the topic Write an explanation that makes sense to me, to help others So why do I find all these explanations so confusing? I decided to try and find out! I came up with a list of 13 patte
Try Mastering Emacs for free! Are you struggling with the basics? Have you mastered movement and editing yet? When you have read Mastering Emacs you will understand Emacs. It’s that time again: there’s a new major version of Emacs and, with it, a treasure trove of new features and changes. Notable features include the formal inclusion of native compilation, a technique that will greatly speed up y
Large Text Compression Benchmark Matt Mahoney Last update: Mar. 25, 2026. history This competition ranks lossless data compression programs by the compressed size (including the size of the decompression program) of the first 109 bytes of the XML text dump of the English version of Wikipedia on Mar. 3, 2006. About the test data. The goal of this benchmark is not to find the best overall compress
ドキュメントレスな社内システムをIntelliJ IDEAのプラグインを開発して調査を進めた話 - asoview! Tech Blog
はじめに こんにちは。アソビューで主にバックエンド開発に携わっている東郷です。 今回は、社内システムの機能移行プロジェクトで直面したドキュメントレスの課題と、その解決策について共有します。 この記事が同じ問題に直面している開発者の助けとなれば幸いです。 既存システムの課題と新システムへの移行準備 既存の社内システムは、過去10年以上にわたって多くのビジネスプロセスを支えてきましたが、技術の進化と組織の成長に伴い、その限界が明らかになってきました。 効率性、拡張性、およびコスト効率の向上を実現するために、新しいシステムに機能を移し替えることを検討する段階にきました。 社内システムの概要 アソビューの商品データを生成、管理するシステム システムはJava言語で開発されており、MVC（Model-View-Controller）アーキテクチャのWebフレームワークを使用 データベースとのインター
[Simon Tatham, initial version 2023-09-01, last updated 2025-03-25] [Coroutines trilogy: C preprocessor | C++20 native | general philosophy ] Introduction Why I’m so enthusiastic about coroutines The objective view: what makes them useful? Versus explicit state machines Versus conventional threads The subjective view: why do I like them so much? “Teach the student when the student is ready” They s
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The life and times of an Abstract Syntax Tree
Unicode is harder than you think · mcilloni's blog
Patterns in confusing explanations
What's New in Emacs 28.1?
Large Text Compression Benchmark
Philosophy of coroutines