GitHub - yahoo/Oak: A Scalable Concurrent Key-Value Map for Big Data AnalyticsYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Introducing Badger: A fast key-value store written purely in Go - Dgraph Blog
We then loaded data one by one, first in RocksDB then in Badger, never running the loaders concurrently. This gave us the data loading times and output sizes. For random Get and Iterate, we used Go benchmark tests and ran them for 3 minutes, going down to 1 minute for 16KB values. All the code for benchmarking is available in this repo. All the commands ran and their measurements recorded are avai
Open-sourcing PalDB, a lightweight companion for storing side data
Open-sourcing PalDB, a lightweight companion for storing side data LinkedIn’s data products give our members recommendations, analytics and insights. As we continue to invent more products that leverage data for our members, we need to push the envelope in our data processing capabilities and do more with less. One issue that often comes up is what to do to improve the usability and memory efficie
イーサネット接続とキーバリューストア内蔵のディスクドライブがオープン化へ。「Kinetic Open Storage Project」をLinux Foundationが開始
イーサネット接続とキーバリューストアの機能を内蔵するディスクドライブ（あるいはSSD）のオープン化と推進を、「Kinetic Open Storage Project」としてLinux Foundationが開始しました。 基になったのはシーゲートの「Kinetic」という技術。KineticドライブはドライブごとにIPアドレスを持ちイーサネット接続が可能で、キーバリューストア機能に対してAPIでデータを操作できます。 アプリケーションはファイルシステムなどを意識することなく、Kineticドライブに対してイーサネット経由のAPIでデータの操作が可能。 Linux Foundationは同社やシーゲート、東芝、ウェスタンデジタル、シスコ、デル、ネットアップ、ファーウェイ、レッドハットなどと、オープン化のためのAPIやプロトコルの定義や推進を行います。 東芝、ウェスタンデジタルなども賛同 現
オンメモリ高速KVSをjavaのstatic変数で実現する - 開発めも２
やりたいことは、メモリの高速さをフルに活かした超シンプルなKVS。 用途は、機械学習アルゴリズムのモデル用。 ・大量のKeyValue値を高速に読み書きできること。 ・モデルはシリアライズを使って、ファイルに保存／読み込みもできるようにしたい。 ・サーバを再起動したり、しばらく使わないときは、ファイルにしておく。 ・モデルを更新したい時もメモリ上のデータに対して高速に操作できる。 そういうシンプルで高速なオンメモリKVSが欲しかった。 しかし、以前にも書いたように、メモリの高速っぷりを活かしたシンプルなKVSはありそうでなかった。 Redisはネットワーク越しに使われることが前提とされているとかなんとかで、その辺りがボトルネックになって素のメモリ処理に比べると桁違いに遅かった。 Tokyo CabinetはTokyo Tyrantと違ってインターナル用途が想定されているものの、レコード数が
ForestDB Storage Engine Available for Couchbase Server and Couchbase Lite
ForestDB is a next-generation storage engine defined by an open source project that started implementation a year ago. This embedded, key-value system is built to address the main drawbacks of typical B+-Tree index structure to push disk IO performance to the next level. The initial presentation of the new HB+-Trie structure, which is the underlying structure for ForestDB, was originally presented
Announcing Kylin: Extreme OLAP Engine for Big Data
We are very excited to announce that eBay has released to the open-source community our distributed analytics engine: Kylin (http://kylin.io). Designed to accelerate analytics on Hadoop and allow the use of SQL-compatible tools, Kylin provides a SQL interface and multi-dimensional analysis (OLAP) on Hadoop to support extremely large datasets. Kylin is currently used in production by various busine
細かすぎて伝わらないmdbm
おまけ話として、mdbmはLinear Hashingと呼ばれるハッシュアルゴリズムの影響を強く受けています。 Linear Hashingの詳細はwikipediaをご覧ください。 http://en.wikipedia.org/wiki/Linear_hashing このアルゴリズムによりmdbmは、扱うデータサイズが大きくなれば、動的にHashTableを拡大することができる非常に便利な特性を持っています。 しかし、冷静になって考えてみてみましょう。このLinear Hasingの管理用のテーブルを走査する計算コストは可能なら避けるべきです。 mdbmをはじめ、多くのKVSでは最終的なデータのサイズの予想がつくのであれば、あらかじめ大きめのサイズでデータベースファイルを作成する方が好ましいでしょう。 この辺の話に興味がありましたら、コードの「hashval_to_pagenum()」
Hamster DB – A Data Science Blog
Online data science provides the students with a flexible and affordable path towards a very lucrative data science job. According to the bureau of Labor Statistics the projected employment growth for database administrators is 11% with the current average salary for database administrators standing at $87,020. The increasing popularity of data analytics and data base administrators adds to the ev
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - vmxdev/tkvdb: Trie key-value database
GitHub - krareT/terichdb: TerichDB, an open source data store based on terark engine
GitHub - tidwall/buntdb: BuntDB is an embeddable, in-memory key/value database for Go with custom indexing and geospatial support
Engine.so | Build your knowledge base with Notion
GitHub - palantir/atlasdb: Transactional Distributed Database Layer
GitHub - boltdb/bolt: An embedded key/value database for Go.
StefanKarpinski/bam · GitHub - Bam: fast, simple TSV key-value server
http://www.toolsjournal.com/mobile-articles/item/3373-in-memory-nosql-database-aerospike-give-performance-predictability
GitHub - yahoo/mdbm: MDBM a very fast memory-mapped key/value store.
Google Code Archive - Long-term storage for Google Code Project Hosting.
zerotier/kissdb · GitHub - (Keep It) Simple Stupid Database
