SSD向け全文検索エンジン - 純粋関数型雑記帳
ここのところ私がメインでかかわっていた検索エンジンがリリースされました。 こちらに紹介があります。 http://d.hatena.ne.jp/kzk/20090310 デモとしてWikipediaの全言語(記事が少ない言語は省かれているかも)の全記事 約50GBからの検索を1台のPCで行うものが公開されています。 よかったら試してみてください。 http://demo.sedue.org/wikipediasearch/ 下の方でいくつか数字を出していますが、 正確に計ったわけではないので参考程度にしてもらえると。 ちょこっと宣伝 ボックスに単語を入れると検索できます。 一応、全言語で検索するデモなので、各言語での検索は 全言語の検索結果をフィルタしているだけです。 単語の列を入れると、AND検索できます。 検索速度のデモなので、結果のキャッシュなどはしていません。 すべてのクエリについ
プリファードインフラストラクチャー、 高速全文検索エンジン「Sedue 24」の新バージョンでSSDに対応 --- 大規模検索システムをPCサーバ1台で実現可能に ---
報道関係者各位 プレスリリース 2009年3月10日 株式会社プリファードインフラストラクチャー ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ プリファードインフラストラクチャー、 高速全文検索エンジン「Sedue 24」の新バージョンでSSDに対応 --- 大規模検索システムをPCサーバ1台で実現可能に --- ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 株式会社プリファードインフラストラクチャー(本社：東京都文京区本郷、代 表：西川徹)は、圧縮接尾辞配列方式を実装した世界初の商用検索エンジン 「Sedue 24」の新バーションを販売開始いたします。 新バージョンでは、ハードディスクドライブに代わる高速ストレージとして注 目されているSSD(Solid State Drive)向けに最適化されたインデックスエ
moratorium | はてな合宿
はてな合宿 ６月の週末にはてなさんの京都オフィスにお邪魔して３日間の合宿を行いました。その時にnaoya, oxy, kzkチームで作った「はてブ関連エントリー機能」が今日公開されました。 関連エントリー機能のリリースについて はてなブックマークの関連エントリー機能開発、PFI さんとの合宿 by naoya はてなブックマークの関連エントリー機能開発 by oxy はてブ関連エントリ 技術解説 by nvaca 僕は主にoxyの作ったエンジン(reflexaに使われている奴)をThriftのマルチスレッドサーバー上に載せる仕事をしました。マルチスレッド周りでエンジンに数箇所バグが有ったのでそれを取り、負荷生成ツールを作ってCPUを完全に使い切る所まで持っていくことができました。今までシングルスレッドで動かしてたんですよねー。 エンジン自体は行列を圧縮したり、上手く探索を枝狩りしてたりと、
はてなブックマークの関連エントリー機能開発、PFI さんとの合宿 - naoyaのはてなダイアリー
はてなブックマークに関連エントリーを配信する機能を追加しました。詳しくは 告知日記で。 この関連エントリーは、株式会社プリファードインフラストラクチャー (以下 PFI) の技術者のみなさんと一緒に開発しました。週末に2泊3日で京都で合宿をしてコア部分を作り、その後京都と東京に分かれてオンラインで連絡を取りながら2週間ほど作り込みをして、今日リリースです。 この合宿では何チームかに分かれて、今回の関連エントリーの機能以外の開発も行っています。その辺の成果はまた後日にリリースできるのではないかと思います。 はてなブックマークの一つの問題として、昔のエントリーがデータベースに埋もれてしまうという点がありました。その問題の解決策としての類似記事抽出、それから検索機能の強化を以前から考えていました。PFI のメンバーのみなさんは情報検索技術のスペシャリストです。アカデミックな研究の成果を製品化を通
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
