誰でもわかる全文検索入門
全文検索エンジンも、事前に検索対象のデータを調べてこのような索引を作っておくことで、高速な検索を実現しています。 インターネット検索の例 たとえばインターネット検索の場合、まず各サイトからデータを収集して、その中から索引に載せる単語を選んで索引を作ります。索引のデータは下の図の右側のような表になっています。各単語と、それがどのサイトのどこにあったのかを記録しておく形です。 検索の時は、この索引データを調べます。例えば利用者が「理解」という言葉で検索したら、索引の「理解」のところを調べます。そうすると「サイトAの8文字目と18文字目、サイトGの……」と出現場所がわかるので、すぐに結果を返せます。 なお、この図では索引の単語の並び方が適当ですが、実際には本と同じように「あいうえお順」などに並べておいて、すぐに単語を見つけられるようにしてあります。 索引にない単語 この仕組みの場合、索引にある単
How to implement Japanese full-text search in Elasticsearch
全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは？ Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検
KMCの春合宿で「画像検索・閲覧システムの実装と全文検索SQL」の話をした - 私が歌川です
speakerdeck.com スライド中のURLを踏んだりSQLをコピーしたりすることができるようにPDFも用意しました． (追記: SpeakerDeckのページにPDFをダウンロードできるリンクがあるのでそっちを使いましょう．クールなURIは変わらないのでこちらのURLも残しておきます．) (追記: URLのフォーマットに一貫性を持たせるためにリンクを差し替えました．クールなURIは変わらないので前のURLも有効にしています) 内容 このブログでも度々言及している，自分用の画像保存・共有BOT，ならびに画像検索システム「救い」の話をしています． BOT部分の実装をざっと見たり*1，全文検索SQLを検索窓への入力から組み立てる方法について言及したりしました． また，似たようなことをやっている人の様子や今後の課題についても言及しました． 最後に，Twitter Streaming API
Ruby on RailsでPostgreSQLとPGroongaを使って日本語全文検索を実現する方法 - 2015-11-09 - ククログ
PostgreSQLは標準機能では日本語のテキストを全文検索することはできません。PostgreSQLにPGroonga（ぴーじーるんが）という拡張機能を導入することで日本語のテキストを全文検索できるようになります。しかもPGroongaは高速です。Wikipedia日本語版のテキスト（約185万件・平均約4KB）から約2万件ヒットするような全文検索をしても0.2秒かかりません。 PostgreSQLと全文検索エンジンサーバーを組み合わせて日本語全文検索を実現することもできますが、管理するサーバーが増える・SQL以外に全文検索エンジンサーバーのことを覚える必要があるなど開発・運用時のコストが高くなります。PostgreSQLだけで完結できた方が開発時も運用時も楽になります。 この記事ではRuby on Railsで作ったアプリケーションからPGroongaを使って日本語全文検索機能を実現す
PGroonga（ぴーじーるんが） 0.2.0リリース - PostgreSQL 9.4でGroongaを使える！
PGroonga（ぴーじーるんが） 0.2.0リリース - PostgreSQL 9.4でGroongaを使える！ 今日は今年最初の肉の日ですね！ PostgreSQLからGroongaを使えるようにするPGroongaの最初のバージョン、0.2.0をリリースしました！ PGroongaは最新のPostgreSQL 9.4で使えます。PostgreSQLからGroongaを使うためのtextsearch_groongaという拡張機能もありますが、この拡張機能はPostgreSQL 9.4や新しいGroongaでは動きませんでした。 PGroongaはtextsearch_groongaをベースに、最新のPostgreSQL・Groongaで動くようにしたものです。 PostgreSQLで日本語全文検索をする方法には次の方法がありますが、それぞれいくつか問題があります。 pg_trgm Po
Groonga改良型Ngramトークナイザー - Naoya Murakami - Rabbit Slide Show
Page: 1 Groonga 改良型Ngram トークナイザー Naoya (@naoa̲y) 全⽂検索エンジンGroongaを囲む⼣べ5 2014/11/29 Groonga改良型Ngramトークナイザー Powered by Rabbit 2.1.2 Page: 2 自⼰紹介 ✓ Naoya (@naoa̲y) ✓ 数年ほど特許事務所勤務 ✓ 前は数年ほどユーザSIでインフラSE ✓ Groongaでプログラミングを学ぶ ✓ GroongaのCプラグインなら書ける Groonga改良型Ngramトークナイザー Powered by Rabbit 2.1.2 Page: 3 制作物 ✓ 特許の全⽂検索サービス を個⼈で制作 (中) ✓ 専門家以外でも有用な知財情報へ迅 速にアクセスできるように ✓ 権利の死活情報でも絞込みができ 侵害調査やフリーな技術調査が可能 ✓ 知財流通促進・フリ
国産の全文検索エンジンGroonga vs 世界的流行のElasticsearch - CreateField Blog
2014年4月21日は、第4回Elasticsearch勉強会ですね！ http://elasticsearch.doorkeeper.jp/events/8865 第4回Elasticsearch勉強会は、参加希望者が約200名の大反響なようです。 私は勉強会に参加できないので、C言語で書かれた国産の高速な全文検索エンジンGroongaと、Javaで書かれた世界的に勢いのあるElasticsearchについて性能の比較をしたいと思います。 注意事項 今回の検証では1台あたりの馬力を比較するためにサーバ1台での全文検索性能について比較しています。 私は、Groonga(Mroonga)の利用暦が約2年であるのに対し、Elasticsearchの利用暦は2日です。このため、Elasticsearchに対するチューニングの不備や公平な比較になっていない点が含まれている可能性があります。 Ela
pg_bigmでいろんなデータを日本語検索してみよう！ - Qiita
PostgreSQLの全文検索モジュールpg_bigmの最新バージョン1.1がリリースされました。 今回は、この最新バージョンを使って、PostgreSQLに格納した様々な日本語データを高速に日本語検索してみます！ (PostgreSQL Advent Calendar 2013 5日目の記事と内容かぶって申し訳ないです。。) 検索対象データ 今回は、以下の日本語データで全文検索を試しました。 青空文庫の書籍一覧データ 住所データ 日本版Wikipediaのタイトル一覧データ pg_bigmのインストール ここからpg_bigm 1.1をダウンロードして、インストールします。 $ tar zxf pg_bigm-1.1-20131122.tar.gz $ cd pg_bigm-1.1-20131122 $ make USE_PGXS=1 PG_CONFIG=$HOME/pgsql-9.3.
PostgreSQL の全文検索機能を使って文脈を分類したりする - Qiita
PostgreSQL の全文検索機能で, 実際のテキストデータをゴニョゴニョしてみます. いわゆるやってみた系の記事です. クエリの効率とかそっちのけです. やること 口コミやアンケート形式のテキストデータに対して, 1. 出現単語の頻度を調べる 2. 文脈の傾向とその推移を調べる 学術研究用に livedoor グルメのデータが公開されているので, そちらを利用させていただきます. - livedoor グルメの DataSet を公開 使用するのは ratings.csv(評価データ) と restaurants.csv(店舗データ) です. textsearch_ja の準備 用意するもの textsearch_ja: 9.0.0 MeCab: 本体及び IPA 辞書 MeCab のインストール tar xf mecab-0.996.tar cd mecab-0.996 ./conf
自社サーバ内で無償利用できる企業向け検索エンジン Microsoft Search Server Express 2010 をインストールしてみました - しあわせモノ
2013-07-08 自社サーバ内で無償利用できる企業向け検索エンジン Microsoft Search Server Express 2010 をインストールしてみました Microsoft Search Server Express Windows Server Microsoft さんの公式ページはこちら http://technet.microsoft.com/ja-jp/library/dd183108.aspx シソーラス（キーワードや類義語など）の登録もできる、Windows Server 上で動く企業向け無償検索エンジンです。有償版のうち FAST Search Server と呼ばれるものは、検索者に応じた優先付けが出来たり、機能がかなり充実しているようです。"FAST" も "Express" もつかない有償版は、無償版と違いがあまりわかりません（汗）。 今回、ほぼまっ
similarityをつかったゆるいbi-gram検索 - 日々の記録 別館
セリヌンティウスは激怒した。俺は「センヌリティウス」じゃねー！ similarity関数を使ったゆるいbi-gram検索をしてみる pg_bigmのsimilarityサポート版が動くようになったので、そろそろ本当にやりたかった「ゆるいbi-gram検索」をやってみようと思う。 といっても、文書とbi-gramインデクスだけでは出来ないので、いくつかの他のソフトウェアの手助けと準備が必要になる。 必要なもの Mecab とりあえずMecabがあれば何とかなりそう。 APIとかを叩くのは面倒なので検索対象の文書のロード元ファイルに対してmecabのコマンドを実行し、そこから名詞のみを抽出したテキストファイルを作っておく。ロード元文書のファイルは例によって、青空文庫の「走れメロス」を使わせてもらおう。 今回の例の場合、hashire_merosu.txtをmecabにかけ、そこからmeros-
PostgreSQLでまたまた日本語全文検索を実装してみる(pg_bigm編) in VirtualBoxで作るCentOS+nginxの検証環境Ｗｅｂサーバ - 照る照る坊主の青空
PostgreSQLでまたまた日本語全文検索を実装してみる(pg_bigm編) in VirtualBoxで作るCentOS+nginxの検証環境Ｗｅｂサーバ 前回に引き続き、PostgreSQLに日本語中間一致検索でインデックスを使えるようにしていく。今回は、pg_bigm の出番である。pg_trgmとは違って日本語中間一致検索のために作られているモジュールなのでとても期待できる。ただ、2013年4月5日リリースのpg_bigm20130405はPostgreSQL9.1 で動作確認が行われており「9.2以降には対応していると思われますが、動作確認していません。」言うのが開発者の公式見解である。当環境は9.2だが私の自己責任においてインストールしてみようと思う。 pg_bigmのインストール １．pg_bigmのダウンロード まずは、pg_bigmをプロジェクトサイトのリンクからダウン
PostgreSQL 9.xにおける日本語全文検索について調べてみた - longkey1's blog
調べた経緯 データベースの内容を全文検索したいという要望は定期的にあるので、常に情報は探しているんだけど、PostgreSQLに関しては調べたことなかったので色々調べてみた。 Senna Senna 組み込み型全文検索エンジン - Senna 組み込み型全文検索エンジン これがスタンダードだった時期もあるんだろうけど、結局PostgreSQL9.x系にインストール出来なかった。 textsearch_sennaを使って動かそうとしたんだけど、そもそも公式サイトで配布されている圧縮ファイルをダウンロードしても、ちゃんとインストール出来ない。 CVSでソースコードをダウンロードして・・・という手順だと動くとMLに書かれていたので、チャレンジしてみたけど結局ダウンロード出来なかった。 ダウンロード出来たとしても、Senna本体が2010年からリリースされてないみたいだから、はっきりいって今更感が
pg_bigmとpg_trgmの併存 - 日々の記録 別館
Fujii先生からのツッコミ 昨日、pg_bigmの検証のエントリを書いた後、作者(か或いは作者に近い立場と思われる)のFujii Masaoさんから、以下のコメントをもらった。 @nuko_yokohama BTW you can easily register pg_bigm and pg_trgm to the same database at the same time by modifying sql file slightly. ふむ。そういうことならSQLファイルを修正して、pg_bigmとpg_trgmを同一データベース上にインストールできるようにしてみよう。 通常の運用では不要だとは思うけど。 なぜ併存できないのか とりあえず何で併存できないのか、実際に2つのEXTENSIONを突っ込んで挙動を見るのが一番手っ取り早い。 ということでやってみた。 [ぬこ＠横浜] psql
pg_bigmを動かしてみた - 日々の記録 別館
kasa_zipさんのツイート 今朝、いつものようにツイートをチェックしてたら、kasa_zipさんのツイートが目に留まった。 あれ、pg_bigmリリースしたんだ？ むむむ、pg_bigmとな。名前から想像するにPostgreSQL標準の全文検索モジュールpg_trgmのbi-gramバージョンってことだよな、きっと。 2月のPostgreSQL Unconferenceのときに、NTT-DATAさんがpg_trgmの使い方とその問題点を発表していたから、このモジュールはpg_trgmの問題点(1,2文字の条件を与えたときの性能問題)をbi-gramにして解決したものに違いない(飲み会のときにfujii_masaoさんも全文検索系の話題のときに4月になったら云々言ってたような気がするし・・・もう4月になったから書いてもいいよね？)。 ということで、pg_bigmのページから早速DLして動
pg_bigm
pg_bigm(ピージーバイグラム) pg_bigmは、PostgreSQL上で全文検索機能を提供するモジュールです。このモジュールを使うことで、ユーザは全文検索用のインデックスを作成でき、高速に文字列検索を行えるようになります。このモジュールは、2-gram(バイグラム)と呼ばれる方法で、文字列から全文検索用のインデックスを作成します。 ニュース 2022-10-24: PostgreSQL15用のpg_bigm-1.2-20200228のRPMファイルをリリースしました。RPMファイルはこちらからダウンロードできます。 2022-10-13: pg_bigmバージョン 1.2 が PostgreSQL 15 に対応していることを確認しました。 2021-10-07: PostgreSQL14用のpg_bigm-1.2-20200228のRPMファイルをリリースしました。RPMファイルは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - RediSearch/RediSearch: A query and indexing engine for Redis, providing secondary indexing, full-text search, vector similarity search and aggregations.
CROSS 2015 全文検索群雄割拠
Domain error
pg_bigm(ピージーバイグラム)を用いた全文検索のしくみ
