全文検索エンジンgroongaをテストリリースしました。 - グニャラくんのグニャグニャ備忘録@はてな
全文検索エンジンのgroongaをテストリリースしました。 groonga 本日開催された、key-value store勉強会で発表させていただきました。 今まで、Sennaには Tritonn経由で使った場合、MySQL側のインデックスとの併用が難しく、Senna本来のパフォーマンスが発揮できなかった。 従来のインターフェースでは、トークナイザの切り替えなどの柔軟性がなかった。 といった問題がありました。 groongaは、それに対する返答です。 自分でデータベース書けばいいんじゃね？ 柔軟なAPI用意すればいいんじゃね？ ってことですね。 データベースは、key-valueストアを組み合わせたcolumnストア的な感じになっています。 詳細については、今後別エントリやドキュメントで述べます。 今後は、Sennaはバグ修正のみ行うメンテナンスモードに移行します。 実際使ってみよう 今回
JiroSearchという検索エンジンがあるようだ。 - グニャラくんのグニャグニャ備忘録@はてな
JiroSearch http://www.crm.co.jp/jirosearch/ Luceneベース。基本N-Gram。 タグ検索機能がついているらしい。 タグ検索かあ。 検索エンジンは世の中にかなりの数が出ていると思う。 そのうち多くは、転置インデックスをインデックスのデータ構造として採用している印象がある。 ひとえにそれは、 「どの単語がどの文書セットに含まれるか」を保持するという 転置インデックスというデータ構造の単純さと、 単純さのわりに逐次検索を遥かに超える検索能力のためだろう。 タグ検索を行いたい場合にも、 「どのタグがどの文書セットに含まれるか」を保持する転置インデックスを作成すれば 高速で検索を行うことができる*1。 つまり、通常の検索とタグ検索の違いは、 転置インデックスのレコード単位の違いといえるのである。 通常の検索の場合は、単語もしくはN-gram単位のレコー
MySQL or PostgreSQL + Sennaのオススメ構成 - グニャラくんのグニャグニャ備忘録@はてな
Sennaの主な利用用途であると考えられる、 データベース組み込み用途。 ブラジル内部でもSennaを用いたサービスを運用していますが、 その運用ノウハウの一部をメモ。 Sennaはメモリ食い Sennaはインデックスをメモリにマップすることによって 高速な追加・更新・削除を実現しています。 よって、メモリ使用量が多くなっています。 INITIAL_N_SEGMENTSを減らすことによって、 メモリ使用量を下げることができますが、 特に追加・更新においてパフォーマンスが低下します。 また、Linuxの場合、 空きメモリはI/Oキャッシュに割り当てられます。 Sennaのメモリ使用量が多いため、 I/Oキャッシュとして用いられるメモリ容量が減り、 結果としてシステム全体のパフォーマンスが落ちる場合があります。 MySQLのkey_buffer_sizeは、 Sennaと他のインデックスを組み
Sennaによる部分一致検索の挙動について - グニャラくんのグニャグニャ備忘録@はてな
Sennaの部分一致検索時の挙動について、 ACM SIGMOD日本支部大会で質問が出ました。 傀儡師の館 - 組み込み型全文検索エンジン Senna を使ってみる http://plaza.rakuten.co.jp/kugutsushi/diary/200611120002/ のエントリでも、部分一致検索の挙動についてツッコミが入っています。 というわけで、Sennaの部分一致検索の挙動について説明。 デフォルトでは、以下のような検索処理が行われます。 クエリを形態素解析する (A) それぞれの形態素が、指定された順番で出現する文書を検索 1件でもヒットすれば、終了 (B) クエリを形態素解析せずに1つの語として扱い、その語が出現する文書を検索 1件でもヒットすれば、終了 クエリを形態素解析する。 複数の形態素が取り出された場合… 最初の形態素と後方一致する登録語のリストを作る。リスト
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全文検索勉強会開きたい！ - グニャラくんのグニャグニャ備忘録@はてな
講演してきたりした。 - グニャラくんのグニャグニャ備忘録@はてな
ふうむ。 - グニャラくんのグニャグニャ備忘録@はてな
Tagの検索にMySQLの全文検索とSennaを使う - グニャラくんのグニャグニャ備忘録@はてな