SSDを利用した検索エンジン - moratorium
本日、SSDを利用した検索エンジンをリリースしました。 全文検索エンジンSedue プリファードインフラストラクチャー、高速全文検索エンジン「Sedue 24」の新バージョンでSSDに対応 --- 大規模検索システムをPCサーバ1台で実現可能に --- 合わせて、Wikipediaの全言語2300万文書、約50GBのテキストを1台のSSDで検索するデモも公開しています。 Worlds' Wikipedia Search by ONE Solid State Drive 4月にはPFIの製品紹介もかねた無料セミナーを行う予定ですので、ぜひお越しください。 セミナー案内ページ このエンジンはライセンス提供・サービス運用・検索ASP提供などに活かして行きたいと思っています。と、ここまでが宣伝。 単純にHDDをSSDに変えるだけでは十分な性能が得られない事が分かったので、色々とSSDのデバイス特性
はてなブックマーク全文検索機能の裏側
そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu
最速cp on UNIX Systems - moratorium
ふとしたきっかけで、UNIX上における「最速cp」をやってみようと思い、いくつかの方法を実装してみた。 read -> write read -> write with posix_fadvice mmap -> mmap -> memcpy -> fsync mmap -> mmap -> memcpy -> fsync with madvise mmap -> mmap -> memcpy -> munmap mmap -> mmap -> memcpy -> munmap with madvise mmap -> write mmap -> write with madvise ソース ソース 環境 Linux ubuntu 2.6.12-10-686 #1 Sat Mar 11 16:22:51 UTC 2006 i686 GNU/Linux glibc 2.3.5-1ubuntu
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
