タグ

ブックマーク / ukonlly.hatenablog.jp (1)

  • オンメモリ高速KVSをjavaのstatic変数で実現する - 開発めも2

    やりたいことは、メモリの高速さをフルに活かした超シンプルなKVS。 用途は、機械学習アルゴリズムのモデル用。 ・大量のKeyValue値を高速に読み書きできること。 ・モデルはシリアライズを使って、ファイルに保存/読み込みもできるようにしたい。 ・サーバを再起動したり、しばらく使わないときは、ファイルにしておく。 ・モデルを更新したい時もメモリ上のデータに対して高速に操作できる。 そういうシンプルで高速なオンメモリKVSが欲しかった。 しかし、以前にも書いたように、メモリの高速っぷりを活かしたシンプルなKVSはありそうでなかった。 Redisはネットワーク越しに使われることが前提とされているとかなんとかで、その辺りがボトルネックになって素のメモリ処理に比べると桁違いに遅かった。 Tokyo CabinetはTokyo Tyrantと違ってインターナル用途が想定されているものの、レコード数が

    オンメモリ高速KVSをjavaのstatic変数で実現する - 開発めも2
    peketamin
    peketamin 2015/06/29
  • 1