ryshinozのブックマーク - はてなブックマーク

SennaによるN-gramインデックスで注意すべき挙動 - グニャラくんのグニャグニャ備忘録@はてな
追記:以下の文書について現在リリースされているSenna 1.0.7では、 N-gramで１文字の日本語を検索する場合は直接部分一致検索を動作させるようにしました。というわけで、以下で説明している挙動は今現在当てはまりません。１文字の単語について uchiuchiyamaさんのブログにあった、Sennaのクエリ書式に対する質問 http://d.hatena.ne.jp/uchiuchiyama/20070317/senna_query_probl em この問題ですが、おそらくN-gramでインデックスを作成している場合に起こっていると考えられます。 SennaのN-gramインデックスはbi-gram、すなわち２文字を１つのトークンとみなし、インデックスへの登録を行っています。ということは、文書の末尾を除いて、すべてのトークンは２文字となり、１文字のトークンで検索をし
ryshinoz 2012/06/03
リンク
ニコニコ大百科のアーキテクチャ - グニャラくんのグニャグニャ備忘録@はてな
Twitter mongrelP: @tasukuchan グニャラくーん、ニコ百の鯖がEeePCという話が持ち上がってますがただの監視用ですよね（しんぱいそうなめでみている） http://twitter.com/mongrelP/status/1524183917 ニコニコ大百科のアーキテクチャについてメモしておきます。本当は、このネタでRuby Kaigiに申し込もうと思ったけど、すっかり忘れていたのでエントリを起こしておきます。Rubyあんま関係なかったし。全てのリクエストを受付、セッション情報も保持するEeePC 次世代サーバプラットフォーム EeePC ニコニコ大百科宛ての全てのリクエストは、全てEeePCに送られます。実物の写真を載せておきます。 EeePCは2台稼動しており、１台はホットスタンバイです。 EeePCは、SSDとUPSを備えた次世代サーバプラットフォーム
ryshinoz 2009/04/21
eeepc
リンク
全文検索エンジンgroongaをテストリリースしました。 - グニャラくんのグニャグニャ備忘録@はてな
全文検索エンジンのgroongaをテストリリースしました。 groonga 本日開催された、key-value store勉強会で発表させていただきました。今まで、Sennaには Tritonn経由で使った場合、MySQL側のインデックスとの併用が難しく、Senna本来のパフォーマンスが発揮できなかった。従来のインターフェースでは、トークナイザの切り替えなどの柔軟性がなかった。といった問題がありました。 groongaは、それに対する返答です。自分でデータベース書けばいいんじゃね？柔軟なAPI用意すればいいんじゃね？ってことですね。データベースは、key-valueストアを組み合わせたcolumnストア的な感じになっています。詳細については、今後別エントリやドキュメントで述べます。今後は、Sennaはバグ修正のみ行うメンテナンスモードに移行します。実際使ってみよう今回
ryshinoz 2009/02/21
senna
リンク
1