オンメモリ高速KVSをjavaのstatic変数で実現する - 開発めも２
やりたいことは、メモリの高速さをフルに活かした超シンプルなKVS。 用途は、機械学習アルゴリズムのモデル用。 ・大量のKeyValue値を高速に読み書きできること。 ・モデルはシリアライズを使って、ファイルに保存／読み込みもできるようにしたい。 ・サーバを再起動したり、しばらく使わないときは、ファイルにしておく。 ・モデルを更新したい時もメモリ上のデータに対して高速に操作できる。 そういうシンプルで高速なオンメモリKVSが欲しかった。 しかし、以前にも書いたように、メモリの高速っぷりを活かしたシンプルなKVSはありそうでなかった。 Redisはネットワーク越しに使われることが前提とされているとかなんとかで、その辺りがボトルネックになって素のメモリ処理に比べると桁違いに遅かった。 Tokyo CabinetはTokyo Tyrantと違ってインターナル用途が想定されているものの、レコード数が
軽量なTime-based ID生成器”shakeflake(仮称)”について | SmartNews開発者ブログ
大平です。今回はさだまさしネタは特に無しです。 先日、サービスのクローラーで使用しているID生成器について置き換えを行いました。非常に地味な話になりますが、本記事ではその辺の内幕の話をしたいと思います。 ID生成にまつわる苦悩 弊社ゴクロの提供しているSmartNewsは表向きはニュースアプリですが、裏側の仕組みは検索エンジンに近似しています。ユーザーの方々の興味関心や、アクセス傾向をクエリーとし、その内容に応じた話題のニュースを検索結果として返却する、という風に捉えていただくと、なんとなく私が言わんとしている事を想像していただけるかと思います。 SmartNewsはTwitterのつぶやき情報を用いたトレンド分析をベースとしており、話題になっているニュースを選定するためには、大量のTwitter上のtweet、ならびにその中に含まれているURLに対してクロールを行う必要があります。日々
GitHub - spullara/redis-protocol: Java client and server implementation of Redis
A very fast Redis client for the JVM. Description of each module: redisgen/ Scrapes the redis.io/commands page and produce various typed clients and servers, very extensible util/ Some common encoding and data structures client/ Leverages the protocol module for encoding and decoding. Supports both synchronous and asynchronous pipelined requests from the RedisClient. Supports 2.6 commands. protoco
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - graknlabs/redisq: Java library for publish/subscriber queues in Redis
How to cook lettuce @Java casual
GitHub - mp911de/lettuce: Advanced Java Redis client for thread-safe sync, async, and reactive usage. Supports Cluster, Sentinel, Pipelining, and codecs.
SharedHashMap vs Redis
GitHub - gresrun/jesque: An implementation of Resque in Java.