ThinkIT 「徹底比較！検索エンジン」についてツッコミ - グニャラくんのグニャグニャ備忘録@はてな
Sennaの場合には、文書数を166,512より多くしようとすると、メモリ確保の失敗が原因のsen_memory_exhaustedというエラーが発生し、インデックスに文書を追加できなくなりました。 http://thinkit.jp/article/744/1/ しっかりと反応しておきます。 対象文書サイズが4000000KB(≒4GB)を超えた場合インデックスが作成できないのは、 32bit OSを使っているからだと思われます。 64bit OSを使えば問題なくインデックスが作成できると思います。 あと、LuceneのN-gramの実験をやるんだったら、 SennaのN-gramの実験もやって欲しいなぁ…と思います。 次世代Senna（名称未決定…、名前変えることにしました）では さらに転置インデックスのサイズが圧縮できるように努力してまーす。 名前が思いつかないのが困り者… こういう
Google Suggestのようなものを高速に実現するサーバsuggested - グニャラくんのグニャグニャ備忘録@はてな
Google Suggestのようなものを高速に実現するサーバsuggestedというものを書いてみた。 が、しばらく放置していた。とりあえず公開してみる。 特徴 epollやkqueueを使っていてネットワーク部分が速い Sennaを使っていてSuggest部分が速い Sennaを使って正規化している。「トン」とか「ミリバール」(組み文字)とか「Ｗｉｋｉ」(全角)とかでも検索可能 置き場 CodeResosに置いてあります。 http://svn.coderepos.org/share/lang/c/suggested/trunk 一応、2008/01/17バージョンの全ソースコードを貼っておこう。 #include <sys/types.h> #include <sys/time.h> #include <stdlib.h> #include <err.h> #include <sys
Sennaではてなキーワード自動リンクを実装する - グニャラくんのグニャグニャ備忘録@はてな
[注意]このエントリはPHPとMecabでキーワード自動リンクを実装するのパクリです。 こんにちは、末永です。 今年もどうぞよろしくお願い致します。 Webサービスを開発していると、特定のキーワードを自動でURLリンクにする処理が必要になることがあると思います。今回は、このキーワード自動リンク機能を全文検索エンジンSennaを使って実装する方法を紹介したいと思います。 1. Sennaインストール MeCabのインストールは必要ないので、こんな感じでインストールしてください。 $ ./configure --prefix=/usr --without-mecab $ make $ sudo make install 2. 辞書を作る テキストファイルに、改行区切りでキーワードを記述したファイルkeyword.txtを作成します。 ただし、文字コードはEUC限定ですぞ。 Wikipediaの
Senna 組み込み型全文検索エンジン - Senna2.0がやってくる!
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
YappoLogs: Senna 1.0.0がリリースされたよ！
Senna 1.0.0がリリースされたよ！ 遂にSennaの1.0.0が出ましたよ！ プレスリリースによると ●メジャーバージョン(1.0.0)リリースについて Senna1.0.0では転置インデックスの格納形式を改善し、更新/検索速度を損ねる ことなくサイズを最大で従来比70%程度まで圧縮することに成功しました。この ため、従来よりも大規模な文書を1台のサーバで管理することが可能となりました。 という事なので早速wktkしながらinstallしました。 色々考えるのがめんどくさかったので、動いてる環境にsennaとmysqlを順番にmake installしてmysql restartです。 早速indexを作り直してみると。。。。 -rw-rw---- 1 mysql mysql 1.0K 21:05 SEARCH_DATA.MYI -rw-rw---- 1 mysql mysql 2
全文検索エンジンSennaの設計と実装
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
