PostgreSQL 8.3の全文検索機能（TSearch2）を日本語で利用する
(Last Updated On: 2018年8月13日)PostgreSQL 8.3.0から、ユーザから提供されている追加機能（contrib）として利用できた全文検索機能（TSearch2）が本体に取り込まれました。 本体に取り込まれたため、PostgreSQL 8.3.0以降ではソースから構築する場合に ./configure make make install と実行するだけで全文検索機能が利用できるようになりました。 TSearch2は単語単位で全文検索できます。しかし、日本語のように単語に区切りがない場合、単語に分解（形態素解析）してからインデックス化する必要があります。 # N-gramは使えません。 残念ながら日本語をそのまま扱える機能はPostgreSQL 8.3では実装されていません.しかし、TSearch2(textsearch)を日本語で利用するための追加機能がpg
配列型インデックス - Ludia開発日記
co-sakaです。こんにちは。 複数列インデックス - Ludia開発日記(昔の日記)の続きです。 マルチカラムインデックスはOR検索があまり高速でない。 他に方法がないのか？ これに対する解決方法を紹介します。 以下のテーブルで説明します。 =# CREATE TABLE book (title TEXT, header TEXT, body TEXT, author TEXT); =# INSERT INTO book VALUES('我輩は猫である', '日本', '我輩は猫である。名前はまだない。', '夏目漱石'); =# INSERT INTO book VALUES('日本国憲法', '日本', '日本国民は、正当に選挙された国会における代表者を通じて行動し', '伊藤博文'); =# INSERT INTO book VALUES('学問のすすめ', 'Japan', '
MySQL or PostgreSQL + Sennaのオススメ構成 - グニャラくんのグニャグニャ備忘録@はてな
Sennaの主な利用用途であると考えられる、 データベース組み込み用途。 ブラジル内部でもSennaを用いたサービスを運用していますが、 その運用ノウハウの一部をメモ。 Sennaはメモリ食い Sennaはインデックスをメモリにマップすることによって 高速な追加・更新・削除を実現しています。 よって、メモリ使用量が多くなっています。 INITIAL_N_SEGMENTSを減らすことによって、 メモリ使用量を下げることができますが、 特に追加・更新においてパフォーマンスが低下します。 また、Linuxの場合、 空きメモリはI/Oキャッシュに割り当てられます。 Sennaのメモリ使用量が多いため、 I/Oキャッシュとして用いられるメモリ容量が減り、 結果としてシステム全体のパフォーマンスが落ちる場合があります。 MySQLのkey_buffer_sizeは、 Sennaと他のインデックスを組み
LudiaでPostgreSQLに全文検索を(2) EXPLAIN - 酒日記 はてな支店
Ludia-0.8.0 では EXPLAIN が返すコストの見積もりが正しくない(常に 0.00..0.01 ?) ため、常に fulltext index が優先して使われるようだ。 普通の index (entry_pkey) が張ってある id カラムと、fulltext index (entry_ftidx) がある body カラムを持つテーブルに対して、 # EXPLAIN ANALYZE SELECT * FROM entry WHERE id=24354; QUERY PLAN ------------------------------------------------------------------------- Index Scan using entry_pkey on entry (cost=0.00..3.20 rows=1 width=730) (act
LudiaでPostgreSQLに全文検索を - 酒日記 はてな支店
NTT Data が開発した(というか、Senna の PostgreSQL バインディングを作った) Ludia を使ってみた。 # 以前、pg_senna を試したこともあり、期待大。 インストールは ドキュメント通りに問題なく完了。 環境は Athlon64 3800+ (Dual Core) 1GB RAM Fedora Core 5 PostgreSQL-8.1.4 こんなので。(MacOS X, PostgreSQL-8.1.4でもちゃんと動いたよ) 手元の、Plagger で取ってきたフィードを保存しているテーブルに INDEX を作って検索してみた。 # SELECT count(*) FROM entry; count ------- 64445 # SELECT sum(octet_length(body)) FROM entry; sum ---------- 690
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.doblog.com/weblog/myblog/74336/176
http://www.doblog.com/weblog/myblog/74336/151
http://www.doblog.com/weblog/myblog/74336/33
[ThinkIT] 第3回：Ludiaの導入準備 (1/3)
http://www.doblog.com/weblog/myblog/74336/25