Ruby on RailsでPostgreSQLとPGroongaを使って日本語全文検索を実現する方法 - 2015-11-09 - ククログ
PostgreSQLは標準機能では日本語のテキストを全文検索することはできません。PostgreSQLにPGroonga（ぴーじーるんが）という拡張機能を導入することで日本語のテキストを全文検索できるようになります。しかもPGroongaは高速です。Wikipedia日本語版のテキスト（約185万件・平均約4KB）から約2万件ヒットするような全文検索をしても0.2秒かかりません。 PostgreSQLと全文検索エンジンサーバーを組み合わせて日本語全文検索を実現することもできますが、管理するサーバーが増える・SQL以外に全文検索エンジンサーバーのことを覚える必要があるなど開発・運用時のコストが高くなります。PostgreSQLだけで完結できた方が開発時も運用時も楽になります。 この記事ではRuby on Railsで作ったアプリケーションからPGroongaを使って日本語全文検索機能を実現す
PGroonga（ぴーじーるんが） 0.2.0リリース - PostgreSQL 9.4でGroongaを使える！
PGroonga（ぴーじーるんが） 0.2.0リリース - PostgreSQL 9.4でGroongaを使える！ 今日は今年最初の肉の日ですね！ PostgreSQLからGroongaを使えるようにするPGroongaの最初のバージョン、0.2.0をリリースしました！ PGroongaは最新のPostgreSQL 9.4で使えます。PostgreSQLからGroongaを使うためのtextsearch_groongaという拡張機能もありますが、この拡張機能はPostgreSQL 9.4や新しいGroongaでは動きませんでした。 PGroongaはtextsearch_groongaをベースに、最新のPostgreSQL・Groongaで動くようにしたものです。 PostgreSQLで日本語全文検索をする方法には次の方法がありますが、それぞれいくつか問題があります。 pg_trgm Po
pg_bigmでいろんなデータを日本語検索してみよう！ - Qiita
PostgreSQLの全文検索モジュールpg_bigmの最新バージョン1.1がリリースされました。 今回は、この最新バージョンを使って、PostgreSQLに格納した様々な日本語データを高速に日本語検索してみます！ (PostgreSQL Advent Calendar 2013 5日目の記事と内容かぶって申し訳ないです。。) 検索対象データ 今回は、以下の日本語データで全文検索を試しました。 青空文庫の書籍一覧データ 住所データ 日本版Wikipediaのタイトル一覧データ pg_bigmのインストール ここからpg_bigm 1.1をダウンロードして、インストールします。 $ tar zxf pg_bigm-1.1-20131122.tar.gz $ cd pg_bigm-1.1-20131122 $ make USE_PGXS=1 PG_CONFIG=$HOME/pgsql-9.3.
PostgreSQL の全文検索機能を使って文脈を分類したりする - Qiita
PostgreSQL の全文検索機能で, 実際のテキストデータをゴニョゴニョしてみます. いわゆるやってみた系の記事です. クエリの効率とかそっちのけです. やること 口コミやアンケート形式のテキストデータに対して, 1. 出現単語の頻度を調べる 2. 文脈の傾向とその推移を調べる 学術研究用に livedoor グルメのデータが公開されているので, そちらを利用させていただきます. - livedoor グルメの DataSet を公開 使用するのは ratings.csv(評価データ) と restaurants.csv(店舗データ) です. textsearch_ja の準備 用意するもの textsearch_ja: 9.0.0 MeCab: 本体及び IPA 辞書 MeCab のインストール tar xf mecab-0.996.tar cd mecab-0.996 ./conf
similarityをつかったゆるいbi-gram検索 - 日々の記録 別館
セリヌンティウスは激怒した。俺は「センヌリティウス」じゃねー！ similarity関数を使ったゆるいbi-gram検索をしてみる pg_bigmのsimilarityサポート版が動くようになったので、そろそろ本当にやりたかった「ゆるいbi-gram検索」をやってみようと思う。 といっても、文書とbi-gramインデクスだけでは出来ないので、いくつかの他のソフトウェアの手助けと準備が必要になる。 必要なもの Mecab とりあえずMecabがあれば何とかなりそう。 APIとかを叩くのは面倒なので検索対象の文書のロード元ファイルに対してmecabのコマンドを実行し、そこから名詞のみを抽出したテキストファイルを作っておく。ロード元文書のファイルは例によって、青空文庫の「走れメロス」を使わせてもらおう。 今回の例の場合、hashire_merosu.txtをmecabにかけ、そこからmeros-
PostgreSQLでまたまた日本語全文検索を実装してみる(pg_bigm編) in VirtualBoxで作るCentOS+nginxの検証環境Ｗｅｂサーバ - 照る照る坊主の青空
PostgreSQLでまたまた日本語全文検索を実装してみる(pg_bigm編) in VirtualBoxで作るCentOS+nginxの検証環境Ｗｅｂサーバ 前回に引き続き、PostgreSQLに日本語中間一致検索でインデックスを使えるようにしていく。今回は、pg_bigm の出番である。pg_trgmとは違って日本語中間一致検索のために作られているモジュールなのでとても期待できる。ただ、2013年4月5日リリースのpg_bigm20130405はPostgreSQL9.1 で動作確認が行われており「9.2以降には対応していると思われますが、動作確認していません。」言うのが開発者の公式見解である。当環境は9.2だが私の自己責任においてインストールしてみようと思う。 pg_bigmのインストール １．pg_bigmのダウンロード まずは、pg_bigmをプロジェクトサイトのリンクからダウン
PostgreSQL 9.xにおける日本語全文検索について調べてみた - longkey1's blog
調べた経緯 データベースの内容を全文検索したいという要望は定期的にあるので、常に情報は探しているんだけど、PostgreSQLに関しては調べたことなかったので色々調べてみた。 Senna Senna 組み込み型全文検索エンジン - Senna 組み込み型全文検索エンジン これがスタンダードだった時期もあるんだろうけど、結局PostgreSQL9.x系にインストール出来なかった。 textsearch_sennaを使って動かそうとしたんだけど、そもそも公式サイトで配布されている圧縮ファイルをダウンロードしても、ちゃんとインストール出来ない。 CVSでソースコードをダウンロードして・・・という手順だと動くとMLに書かれていたので、チャレンジしてみたけど結局ダウンロード出来なかった。 ダウンロード出来たとしても、Senna本体が2010年からリリースされてないみたいだから、はっきりいって今更感が
pg_bigmとpg_trgmの併存 - 日々の記録 別館
Fujii先生からのツッコミ 昨日、pg_bigmの検証のエントリを書いた後、作者(か或いは作者に近い立場と思われる)のFujii Masaoさんから、以下のコメントをもらった。 @nuko_yokohama BTW you can easily register pg_bigm and pg_trgm to the same database at the same time by modifying sql file slightly. ふむ。そういうことならSQLファイルを修正して、pg_bigmとpg_trgmを同一データベース上にインストールできるようにしてみよう。 通常の運用では不要だとは思うけど。 なぜ併存できないのか とりあえず何で併存できないのか、実際に2つのEXTENSIONを突っ込んで挙動を見るのが一番手っ取り早い。 ということでやってみた。 [ぬこ＠横浜] psql
pg_bigmを動かしてみた - 日々の記録 別館
kasa_zipさんのツイート 今朝、いつものようにツイートをチェックしてたら、kasa_zipさんのツイートが目に留まった。 あれ、pg_bigmリリースしたんだ？ むむむ、pg_bigmとな。名前から想像するにPostgreSQL標準の全文検索モジュールpg_trgmのbi-gramバージョンってことだよな、きっと。 2月のPostgreSQL Unconferenceのときに、NTT-DATAさんがpg_trgmの使い方とその問題点を発表していたから、このモジュールはpg_trgmの問題点(1,2文字の条件を与えたときの性能問題)をbi-gramにして解決したものに違いない(飲み会のときにfujii_masaoさんも全文検索系の話題のときに4月になったら云々言ってたような気がするし・・・もう4月になったから書いてもいいよね？)。 ということで、pg_bigmのページから早速DLして動
pg_bigm
pg_bigm(ピージーバイグラム) pg_bigmは、PostgreSQL上で全文検索機能を提供するモジュールです。このモジュールを使うことで、ユーザは全文検索用のインデックスを作成でき、高速に文字列検索を行えるようになります。このモジュールは、2-gram(バイグラム)と呼ばれる方法で、文字列から全文検索用のインデックスを作成します。 ニュース 2022-10-24: PostgreSQL15用のpg_bigm-1.2-20200228のRPMファイルをリリースしました。RPMファイルはこちらからダウンロードできます。 2022-10-13: pg_bigmバージョン 1.2 が PostgreSQL 15 に対応していることを確認しました。 2021-10-07: PostgreSQL14用のpg_bigm-1.2-20200228のRPMファイルをリリースしました。RPMファイルは
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Domain error
Blogger