clonedのブックマーク - はてなブックマーク

ThinkIT 「徹底比較！検索エンジン」についてツッコミ - グニャラくんのグニャグニャ備忘録@はてな

Sennaの場合には、文書数を166,512より多くしようとすると、メモリ確保の失敗が原因のsen_memory_exhaustedというエラーが発生し、インデックスに文書を追加できなくなりました。 http://thinkit.jp/article/744/1/ しっかりと反応しておきます。対象文書サイズが4000000KB(≒4GB)を超えた場合インデックスが作成できないのは、 32bit OSを使っているからだと思われます。 64bit OSを使えば問題なくインデックスが作成できると思います。あと、LuceneのN-gramの実験をやるんだったら、 SennaのN-gramの実験もやって欲しいなぁ…と思います。次世代Senna（名称未決定…、名前変えることにしました）ではさらに転置インデックスのサイズが圧縮できるように努力してまーす。名前が思いつかないのが困り者… こういう

cloned 2008/12/23

search
senna

リンク

グニャラは大変なFlashを描いていきました - グニャラくんのグニャグニャ備忘録@はてな

今週末は2つの勉強会に参加・発表させていただきました！ステキな発表の場を設けていただいてありがとうございます！！両方ともActionScript/Flashについて（？）の発表です。それぞれ発表資料を公開させていただきます。 Flash + JavaScriptでmemcachedと直接通信 @ さかとくカンファレンス ActionScript3上で、Socketを用いてmemcachedとの通信を行うモジュールを書きました。さらに、そのモジュールをJavaScriptから呼べるようにしました。 get/setしかサポートしてないですし、全体的に設計とコーディングが小汚いです。ちょっと恥ずかしいけど、 CodeReposにアップしているので適当に直してもらえると嬉しいです… プログラム本体・発表資料は以下に置いております。 CodeReposのレポジトリパス発表資料(PDFで

cloned 2008/01/27

flash
event

リンク

Google Suggestのようなものを高速に実現するサーバsuggested - グニャラくんのグニャグニャ備忘録@はてな

Google Suggestのようなものを高速に実現するサーバsuggestedというものを書いてみた。が、しばらく放置していた。とりあえず公開してみる。特徴 epollやkqueueを使っていてネットワーク部分が速い Sennaを使っていてSuggest部分が速い Sennaを使って正規化している。「トン」とか「ミリバール」(組み文字)とか「Ｗｉｋｉ」(全角)とかでも検索可能置き場 CodeResosに置いてあります。 http://svn.coderepos.org/share/lang/c/suggested/trunk 一応、2008/01/17バージョンの全ソースコードを貼っておこう。 #include <sys/types.h> #include <sys/time.h> #include <stdlib.h> #include <err.h> #include <sys

cloned 2008/01/18

リンク

Sennaではてなキーワード自動リンクを実装する - グニャラくんのグニャグニャ備忘録@はてな

[注意]このエントリはPHPとMecabでキーワード自動リンクを実装するのパクリです。こんにちは、末永です。今年もどうぞよろしくお願い致します。 Webサービスを開発していると、特定のキーワードを自動でURLリンクにする処理が必要になることがあると思います。今回は、このキーワード自動リンク機能を全文検索エンジンSennaを使って実装する方法を紹介したいと思います。 1. Sennaインストール MeCabのインストールは必要ないので、こんな感じでインストールしてください。 $ ./configure --prefix=/usr --without-mecab $ make $ sudo make install 2. 辞書を作るテキストファイルに、改行区切りでキーワードを記述したファイルkeyword.txtを作成します。ただし、文字コードはEUC限定ですぞ。 Wikipediaの