ひどいことになるので。 - 青空を探す、旅の記録。
DRECOM Award on Rails 2007にエントリーしました。応募するアプリケーションはまもなく運用を開始する予定です。お楽しみに。 acts_as_searchableを使ったアプリケーションを運用中、Hyper Estraierのインデックスが破損した場合などはModel#reindex!を使ってインデックスの再生成をする必要がある。運が良ければestcmd repairで直るんだけど。この際、このメソッドは大量にリソースを消費する。 全レコードを一気にHEに登録するわけだから、CPU負荷は仕方ない。しかしそれだけじゃなくて、メモリも大量に持っていってくれる。これは、メソッド内で単にfind(:all)をしているせい。全レコードを一気にメモリ上に展開するわけだから、そりゃあ場所を取る。レコード数が多いと致命傷になりかねない*1ので、ここをちょっと弄ってやる。 acts_as
hyperestraier 大規模インデックス（400万文書）構築時のテクニック（１） « （有）サウンドボード公式ブログ メンバーによるIT関連何でも技術情報メモ
hyperestraier-1.4.0 を使って，400万弱の文書のインデックスを作成しました． estcmd inform の結果は以下のとおりです． number of documents: 3937360 number of words: 1875628 number of keywords: 0 file size: 5161281605 inode number: 8459202 インデックスへの文書の登録（estcmd gather）は，おおよそ丸1日で終わりました．元データは自作のプログラムで生成した文書ドラフト形式（.est）です． 単語の頻度データベースの作成(estcmd words)は数時間で終わりました．生成された頻度データベースのサイズは86MBになりました． この頻度データベースを用いて，各文書にキーワードデータベースを構築する作業（estcmd extkeys
オープンソースの全文検索システムの速度性能比較(PDF)
オープンソースの全文検索システムの速度性能比較 早坂 良太 林 貴宏 電気通信大学 尾内 理紀夫 1. はじめに 3. 実験 近年，日本語を扱うことができるオープンソース の全文検索システムの開発が盛んになっている．そ れらのシステムを使用することで，デスクトップ検 索などの個人用途から大規模な検索エンジンまで， 様々な要求を満たすことが可能となる．いくつかの 全文検索システムの中から自分の求めるシステムを 選択する場合，速度性能は重要な指針となりうるが， どのシステムが高速であるかは実際に動作させてみ なくては明らかではない． 本 稿 で は Namazu(*1) ， Lucene(*2) ， Senna(*3) ， Estraier(*4)，Hyper Estraier(*5)の 5 つのオープンソース の全文検索システムについてインデクシング速度・ 検索速度を比較した結果
カイハツニッキ(2005-09-26) 全文検索系
_ [ソフトウェア] 全文検索エンジン評価(Hyper Estraier / Rast / Senna) 現在(流行気味の)オープンソースの全文検索エンジンは、メジャーどころだとタイトルに挙げた Hyper Estraier Rast Senna) の3つがあります（他にもすげーのがあったら教えてください！）。テキストが集まってくる系（どんな系だ）のアプリケーションだと全文検索はかなり重要な要素を占めてくる技術要素となります、ので結構真剣に評価する必要があるわけです。とはいっても運用という面ではあまり高いサービスレベルは求められないことがおおいので、別のエンジンに入れ替える、っていうのも結構出来ちゃいそうですけどね。 さて、評価のポイントはいろいろあるんですが敢えて五月雨式に書くと 1インスタンスでどれくらい大量のテキストに耐えられるか どれくらいのスケーラビリティがあるか 更新のパフォー
YappoLogs: Rast,Hyper Estraierの性能評価クリップ
Rast,Hyper Estraierの性能評価クリップ Ceekz Logsさんと/.jのOliverさんが、性能評価をしているのでクリップするテスト。 Ceekz Logs Hyper Estraier のお試し結果 前回、調子乗って行っていた100万件のニュース記事のインデキシングですが、9時間ほど掛かりました。これは、月別に差分インデキシングを行ったからかもしれません。合計で 1.0G ほどかな。 他にもソートの速度が気になっているそうです。 Hit件数が多くなるとソートに必要な処理も増えてしまうので、ある程度諦めてしまうのか 高性能な仕組みを考えなくちゃですね。。。 それかインデックスを分割して、後ろの順位をばっさり切り捨てるとか。 Oliver の日記 全文検索エンジン：Hyper Estraier 速度低下はかなりリニアで、とても素直な挙動といえる。indexのサイズも元のデ
【レポート】新しいソフトウェアの創造を - IPA「未踏ソフトウェア創業事業」成果報告会 (2) 新発想の検索エンジンや、通信プロトコルの仕様記述言語の成果報告 | エンタープライズ | マイ�
新たな発想による2つの検索システム 次にご紹介するのは、情報の管理を容易にすることを狙いとした2つのプロジェクト。1つは全文検索型のサーチエンジン、1つはWebの閲覧履歴などをキーとした検索システムだ。どちらも今までにない発想の検索システムであり、今後の発展が期待される。 前者は、平林幹雄氏が開発した「Hyper Estraier」。基本はN-gram法による文章解析を実装した全文検索型サーチエンジンなのだが、Namazuなどの一般的な全文検索エンジンと大きく異なるのは、サーチエンジンのデータベースを管理するノード(1台のサーバ上で複数のノードが動作する)同士がP2Pによる通信を行って検索を行うという点。具体的にはクライアントからとあるノードがクエリーを受け取ると、そのノードから指定されたホップ数内に存在するノードに自動的にクエリーが転送される。この際クライアントは最寄りの単一ノードの存在
mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法 － TechTargetジャパン
日記だけで4億件のデータ ミクシィが運営するSNS「mixi」は、2007年7月末段階でユーザー数が1110万人。人が12人集まれば、1人はmixiユーザーというわけだ。ユーザーのアクティブ率（ログイン間隔が3日以内）は約62％と高く、2007年4月から6月の月間平均ページビューは117.5億に達した。日記だけでも4億件以上に上るなど、蓄積するデータ量も莫大。2004年3月のサービス開始から、わずか3年半で現在の巨大コミュニティーへと発展したのだ。 ミクシィは、「LAMP（OSのLinux、WebサーバのApache、DBMSのMySQL、開発言語のPerl、PHP、Python）」と呼ばれるWebシステム向けの標準的なオープンソースソフトウェア（以下、OSS）でシステムを自社開発し、安価なPCサーバを1000台以上連ねる超分散構成でmixiのサービスを支えている（広告配信など周辺機能では
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ｻｲﾄ内検索機能を持つﾊﾟｯｹｰｼﾞでｺｽﾄﾊﾟﾌｫｰﾏﾝｽの良いものを教えて下さい｡ その際､特徴､費用(初期･運用共､ﾗｲｾﾝｽの有無)､ｶｽﾀﾏｲｽﾞの程度､専用… - 人力検索はてな