検索が爆速になるデータベース設計を公開します
こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。 フォルシアにおける検索DBについて まず前提としてフォルシアで扱うデータについて軽く説明します。 扱うデータの複雑さ たとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としては ホテルの情報「〇〇ホテル」（~約2万件） プランの情報「朝食付き・ロングステイ△△プラン」（0~1500件/施設） 客室の情報（~100件/
Elasticsearch - Wikipedia
ベルリン Buzzwords 2010で発表する開発者Shay Banon Elasticsearch（エラスティックサーチ）はLucene基盤の分散処理マルチテナント対応検索エンジンである。かつてはオープンソースソフトウェア（OSS）だったが、現在はプロプライエタリソフトウェアである。[要出典] 現在はオランダ・アムステルダムに本社を置くElastic社が中心になって開発が進められている[2]。なお「Elastic Search」といったように間に空白を入れる・「search」の頭を大文字にするといった表記は誤り（ただしVer.1.0.0リリース前にはそのような表記も混在していた）[3]。 全文検索に特化しており、他のソリューションと比較しても圧倒的な全文検索スピードと利便性を誇る[4]。Elasticsearchの内部ではApache Luceneが提供する超高速全文検索をフル活用して
Home - OURNEM
The 11th conference will be the largest in its 6 years of existence. Waiting for you: 2 floors of the Palladium Conference Hall; 4 separate stages, each of which will have its own thematic area; More than 60 speakers. Organized by and for the community, the 11th conference will focus on the interests of market participants and become a hub for the exchange of knowledge and experience between exper
PostgreSQLとPGroongaで作るPHPマニュアル高速全文検索システム - Kouhei Sutou - Rabbit Slide Show
Description PHPマニュアルは日本語にも翻訳されていますが、検索機能が限定的なため、せっかくの説明を活用しきれません。基本の検索機能は関数やクラス名の検索機能しかないため「正規表現」で正規表現の使い方を検索できません。サイト内検索機能では「@」でエラー制御演算子を検索できません。 この講演ではPHPマニュアルをより活用するためのPHPマニュアル高速全文検索システムを紹介します。このシステムはPostgreSQLとPGroongaを利用して実現しています。 Page: 1 PostgreSQLとPGroongaで 作る PHPマニュアル 高速全文検索システム 須藤功平 クリアコード PHPカンファレンス2017 2017-10-08 PostgreSQLとPGroongaで 作る PHPマニュアル 高速全文検索システム Powered by Rabbit 2.2.2 Page:
Is PostgreSQL good enough?
A log of some thoughts about freelancing, about indie, about making things. On the web. It's a web log. A blog. tldr; you can do jobs, queues, real time change feeds, time series, object store, document store, full text search with PostgreSQL. How to, pros/cons, rough performance and complexity levels are all discussed. Many sources and relevant documentation is linked to. Your database is first.
文字列処理と日本語全文検索 | Let's POSTGRES
文字列型の使い分け PostgreSQL には文字列型として char, varchar, text など複数がありますが、使い分けはあるでしょうか? データ型を一覧としてまとめ、文字列型それぞれの特徴を解説していきます。 ロケール(国際化と地域化) ロケール (国際化と地域化) 設定の効果と設定方法を紹介します。Cロケール以外に設定する場合の機能面での利点と、性能面での欠点について解説します。 テキスト検索の方法とインデックス テキストの各種検索方法を比較します。検索の方法によってはインデックスを使うことができ、高速な検索ができます。それぞれのアプリケーションの条件に適したテキスト検索の方法やインデックスの張り方を選んで行きましょう。 文字列処理の比較 文字列の処理に関して、PostgreSQL の SQL関数と、プログラミング言語 (Java, JavaScript) が提供する関数を
テキスト検索の方法とインデックス — Let's Postgres
板垣 貴裕 テキスト検索にもさまざまな方法があります。大量のテキストを検索するにはインデックスを使って検索したいところですが、どんな検索にも応えられるインデックスというものは、さすがに存在しません。それぞれのアプリケーションの条件に適したテキスト検索方法やインデックスの張り方を選んで行きましょう。 今回説明するテキスト検索の方法の一覧を以下に挙げます。PostgreSQL ユーザが「全文テキスト検索」というと「単語単位の検索」を指すことが多いようです。また、「中間一致検索」が「あいまい検索」と呼ばれることもあるようです。用語が厳密な意味で使われないことも多いようなので、文脈には注意して解釈してください。 「単語単位の検索」と「中間一致検索」では、追加のモジュールを導入することで日本語全文検索が可能なインデックスを作成できます。こちらは説明の後半で紹介します。以下、本記事の内容です。 テキス
文字列処理と日本語全文検索 | Let's POSTGRES
文字列型の使い分け PostgreSQL には文字列型として char, varchar, text など複数がありますが、使い分けはあるでしょうか? データ型を一覧としてまとめ、文字列型それぞれの特徴を解説していきます。 ロケール(国際化と地域化) ロケール (国際化と地域化) 設定の効果と設定方法を紹介します。Cロケール以外に設定する場合の機能面での利点と、性能面での欠点について解説します。 テキスト検索の方法とインデックス テキストの各種検索方法を比較します。検索の方法によってはインデックスを使うことができ、高速な検索ができます。それぞれのアプリケーションの条件に適したテキスト検索の方法やインデックスの張り方を選んで行きましょう。 文字列処理の比較 文字列の処理に関して、PostgreSQL の SQL関数と、プログラミング言語 (Java, JavaScript) が提供する関数を
第6回 [実録] MySQL向け全文検索エンジン「Tritonn」から「mroonga」への移行ガイド（1） | gihyo.jp
mroongaのN-gramについては、bigramだけでなく、uni-gramやtri-gramの他、多数の派生N-gramでのトークナイザに対応しています。さらに2013年5月末リリースのmysql-mroonga-3.04にて、待望のWプラグマに対応しました。これにより、Tritonnからmroongaへ移行する際の障壁はEプラグマのみになったと言えます。 Tritonnから乗り換えるならば、mroongaの1択ですね。 Tritonnからmroongaへ移行する7つのメリット それでは早速、Tritonnからmroongaヘ移行するメリットを見てみましょう。 MySQL 5.6対応であること もはやレガシーとなったMySQL 5.0という縛りがなくなることで、MySQL 5.1以降の先進的な機能を取り入れることができます。特にMySQL 5.6ではその進化が甚だしく、次の点を始めと
![第6回 [実録] MySQL向け全文検索エンジン「Tritonn」から「mroonga」への移行ガイド（1） | gihyo.jp](https://cdn-ak-scissors.b.st-hatena.com/image/square/05b0af51bb41516773d6954ec69cb62b4b24568e/height=288;version=1;width=512/https%3A%2F%2Fgihyo.jp%2Fassets%2Fimages%2FICON%2F2013%2F1099_groonga.png)
Database Sharding
Database ShardingThe Rise of Database Sharding The concept of Database Sharding has been gaining popularity over the past several years, due to the enormous growth in transaction volume and size of business application databases. This is particularly true for many successful online service providers, Software as a Service (SaaS) companies, and social networking Web sites. Database Sharding can
シェアード・ナッシング・アーキテクチャ - Wikipedia
シェアード・ナッシング・アーキテクチャ（英語: shared nothing architecture、SN）とは、分散コンピューティングにおいて、各ノード（コンピュータ）がネットワークを除いてリソースを共有しておらず、それぞれが独立しており、自律的であり、システムにおいて単一競合箇所が無い物を指す。 概要[編集] シェアード・ナッシング・モデルは通常は、大規模な状態(state)データを中央に集中的に格納するシステムと対比されるが、これはデータベースやアプリケーションサーバなど、その他の単一競合箇所のいずれについても適用される。 例えばDBMSの場合は、Oracle Databaseはシェアード・ディスク・モデル（DISK共有モデル）であり、DB2の分散系におけるPE、EEE、DPFなどはシェアード・ナッシング・モデルである。 シェアード・ナッシング・モデルは現在では、Webのシステムに
)
Shard (database architecture) - Wikipedia
This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed. Find sources: "Shard" database architecture – news · newspapers · books · scholar · JSTOR (March 2021) (Learn how and when to remove this template message) A database shard, or simply a shard, is a horizontal partition
転置インデックス - Wikipedia
転置インデックス（てんちインデックス、Inverted index）とは、全文検索を行う対象となる文書群から単語の位置情報を格納するための索引構造をいう。転置索引、転置ファイル、逆引き索引などとも呼ばれる。 概要[編集] 情報処理テクノロジにおける転置インデックスとは、単語や数字といった内容から、それが含まれているデータベースやドキュメント群へのマッピングを保持するという、インデックス型データ構造である。ドキュメント群へのマッピングの場合、検索エンジンが実現される。転置インデックスファイルは、インデックスというよりはデータベースと呼んだほうがふさわしい場合もある。また、検索キーが単語（文字列）であり、連想配列の値が位置情報である場合、ハッシュテーブルの形態を取ることもある。 転置インデックスには大きく分けて2通りの手法がある。レコード単位転置インデックス（record level inve
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fast Full-text Search with Ecto and PostgreSQL
GitHub - rcdilorenzo/filtrex: A library for performing and validating complex filters from a client (e.g. smart filters)
iタウンページ
iタウンページ
【ホームズ】不動産アーカイブ・マンション・アパート・ビルなどの建物・物件情報データベース