タグ

tokyocabinetに関するrin1024のブックマーク (4)

  • Tokyo Cabinet and Tokyo Tyrant Presentation | PDF | Search Engine Indexing | Array Data Structure

    Tokyo Cabinet - database library features modern implementation of DBM - key / value database e.g.) DBM, NDBM, GDBM, TDB, CDB, Berkeley DB - simple library = process embedded - Successor of QDBM C99 and POSIX compatible, using Pthread, mmap, etc. No actual limit size of a database file (to 8 exabytes) transaction - write ahead logging and shadow paging - ACID

    Tokyo Cabinet and Tokyo Tyrant Presentation | PDF | Search Engine Indexing | Array Data Structure
  • 新しいTokyo Tyrantで遊んでみて挫折した記録 - Kentaro Kuribayashi's blog

    追記: 2009-05-12 新しいTokyo Tyrantで遊んでみてなんとなく動いた記録 - antipopに続きを書きました。 mixi Engineers’ Blog » プラグインで独自ストレージを作ろうにて、 今回はTokyo Tyrant(TT)を使ってユーザ独自のストレージシステムを簡単に構築する方法について説明します。 プラグインで独自ストレージを作ろう - mixi Engineers' Blog なんて、Tokyo TyrantがCレベルでプラグインを作れるようになったとのことで、すげーっ!!1てんで、さっそく遊んでみようと思いました。 ところで、Tokyo Tyrantで、ある単位で分割した複数のデータベースを扱いたいってなことがあるんじゃないかと思うのですよね。たとえば、データ量が多いとかメンテナンス性を確保するためとかで、ユーザごとにDBを作りたいとか、ある期間

    新しいTokyo Tyrantで遊んでみて挫折した記録 - Kentaro Kuribayashi's blog
  • YappoLogs: TokyoCabinetがPerlのHASHより遅いわけがない!

    TokyoCabinetPerlのHASHより遅いわけがない! こんにちわ!金曜日担当・Shibuya内フェアリーことYappoです。 mixi Engineers’ Blog » PerlRubyで省メモリなハッシュを使おうにて 100万件のレコードを格納した場合のメモリ使用量と処理時間を測ってみましょう。Perl(5.8.8)でテストコードを動かしたところ、以下の改善が確認できました。標準のハッシュに比べて、メモリ使用量がTCのオンメモリハッシュだと約61%、TCのオンメモリツリーだと約37%になることがわかります。処理時間に関しては157%ほどになっていますが、まあ許容範囲ですよね。といった事が書かれており、その文面の上の解説で、tieしたので、tieしてるからおせーんじゃねーの?とテストコードも見ないで呟いてたらmikioさんからtie使わないでやってるよ!とつっこんでいただき

  • PerlとRubyで省メモリなハッシュを使おう - mixi engineer blog

    サボっていた早朝ジョギング@駒沢公園を再開して2週間たち、やっと抜かれる数より抜く数の方が増えてきたmikioです。今回は、PerlRubyのハッシュの代用としてTokyo Cabinetを使うことでメモリ使用量を激減させられることを説明します。 抽象データベースAPI Tokyo Cabinetには抽象データベースという機構があり、先日、そのPerlRubyのバインディングをリリースしました。それを使うと、各種言語のハッシュとほぼ同じような共通したインターフェイスで、以下のデータ構造を利用することができます。 オンメモリハッシュ:各種言語に標準のハッシュと同じく、メモリ上でkey/valueの関係を表現する。 オンメモリツリー:メモリ上の二分探索木としてkey/valueの関係を表現する。 ファイルハッシュ:いわゆるDBMとして、ファイル上でkey/valueの関係を表現する。 ファ

    PerlとRubyで省メモリなハッシュを使おう - mixi engineer blog
  • 1