タグ

ブックマーク / kzk.hatenadiary.org (3)

  • 2006-07-17

    某所でmallocについての講演が有ったという事で、前々から気になっていたDoug Lea mallocを覗いてみた。色々テクニックが駆使されているのは分かるのだが、いまいち全体像が掴めなかったのでソースコード中から参照されている"Dynamic Storage Allocation: A Survey and Critical Review (1995)"を読み始めた。多少古いが、歴史的経緯も含めてかなり良くまとまっている。ptmallocというmultithread-awareなmallocもあるらしくなんだか気になる。触りだけならこの記事がまとまっている。 テスト前の現実逃避。スケジュール的には夏休みに入っているのに全く夏休みな気がしない。実質8/1ぐらいからだろうな。 こんなパッケージが有ったのか。バイトでthread-safeなQueueを書いたのに。ConcurrentLink

    2006-07-17
  • SSDを利用した検索エンジン - moratorium

    日、SSDを利用した検索エンジンをリリースしました。 全文検索エンジンSedue プリファードインフラストラクチャー、高速全文検索エンジン「Sedue 24」の新バージョンでSSDに対応 --- 大規模検索システムをPCサーバ1台で実現可能に --- 合わせて、Wikipediaの全言語2300万文書、約50GBのテキストを1台のSSDで検索するデモも公開しています。 Worlds' Wikipedia Search by ONE Solid State Drive 4月にはPFIの製品紹介もかねた無料セミナーを行う予定ですので、ぜひお越しください。 セミナー案内ページ このエンジンはライセンス提供・サービス運用・検索ASP提供などに活かして行きたいと思っています。と、ここまでが宣伝。 単純にHDDをSSDに変えるだけでは十分な性能が得られない事が分かったので、色々とSSDのデバイス特性

    SSDを利用した検索エンジン - moratorium
    mogwaing
    mogwaing 2009/03/13
    速すぎ!でも結果の件数に比例して遅くなる? http://ssd.sedue.org/wikipedia/wikipedia.fcgi?q=wikipedia&lang=all
  • はてなブックマーク全文検索機能の裏側

    そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu

    はてなブックマーク全文検索機能の裏側
  • 1