GitHub - google/leveldb: LevelDB is a fast key-value storage library written at Google that provides an ordered mapping from string keys to string values.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
開発メモ: MapReduce on Kyoto Cabinet
Googleで実用化されHadoopで流行しているところの分散処理フレームワークMapReduceをKyoto Cabinetにおいても実現してみた。その解説。 ローカルなMapReduce MapReduceは多数のマシンが連携して分散処理を行うためのフレームワークなので、プロセス組み込みDBMであって分散など全く関係ない世界に生きているKCでMapReduceを実行して意味があるのだろうか。答えは、「あんまりない」である。それにもかかわらず実装したのは、何となく話題性がありそうだからってのが最大の理由なのだが、もうひとつ理由がある。 スクリプト言語で集計処理をやろうとすると、めっちゃメモリ食うしCPUパワーを使うわりに遅いからである。1000万件のソートってだけでスクリプト言語だと結構辛いからね。そこで、MapReduceフレームワークをC++で実装してmapとreduceだけをスクリ
老人とMapReduce - としの今日でき
若人: 我々は、超並列計算のフレームワークとしてMapReduceを実装し運用に成功した。 1000台のコンピュータで、1TBのデータ処理が68秒でできるんだ! これは、有史以来の快挙だ、どんなもんだい![6] 翁: あ～、水を差して悪いんだけどねえ、MapReduceなんて技術はねえ、我々データベースの専門家が40年も前から研究しておるんよ。 それに、MapReduceと同等の分散データベースのSQLエンジンも商用化されているし。 こんな事は、データベース研究分野の論文に全部発表されているよ。 君たちコンピュータサイエンティストは、人の論文を読まんからな、困ったもんだ。 それにMapReduceは、我々先達の知恵を活かしとらん! 若人: MapReduceに何か問題がありますか? 超簡単に並列アプリが開発でき、自動実行できるんですよ、こんなんシステム今までに無いし、快挙でしょ! 翁: そ
「MongoDBをプロダクション環境で使ってみて」 - Masatomo Nakano Blog
8ヶ月間、MongoDBをプロダクションで使っている人のブログ記事が面白かったので、興味深いところだけまとめてみた。 原文はこちら 。 8ヶ月間使ってデータベースの規模は、Collections (tables): 17,810Indexes: 43,175Documents (rows): 664,158,090 master/slaveのマニュアルでのフェイルオーバ環境で運用してきた。masterは72GBのRAMslaveは別のデータセンタ ディスク的にきつくなってきたので、手動でShardingをし4つのDB(Master 2つ / Slave 2つ)に分けることにした。 namespaceの限界があるので、データを3つのMongoDB( これは物理的なサーバではなくてMongoDBのデータベースの単位)に分割している。現在のnamespaceの数は、 db.system.name
SSD専用に設計された「ReThinkDB」、ロックもログも使わない新しいリレーショナルデータベースのアーキテクチャ
SSD専用に設計された「ReThinkDB」、ロックもログも使わない新しいリレーショナルデータベースのアーキテクチャ SSDがHDDに代わるストレージとして普及しようとしていることを背景に、SSDに特化したまったく新しいアーキテクチャを備えたリレーショナルデータベースを開発しようとしている企業があります。「ReThinkDB」です。 昨年7月に、PublickeyではReThinkDBの概要を記事「SSDに最適化したデータベース「RethinkDB」、ロックもログも使わずにトランザクション実現」で伝えました。 その記事の中では、ReThinkDBがロックを使わずにトランザクションを実現し、データベース利用中でもスナップショットがとれ、また異常終了しても容易に復帰できる機能を備えている、といったことを紹介しました。 4月に米サンタクララでに行われた「MySQL Conference & Ex
CassandraLimitations - Cassandra Wiki
Limitations CQL No join or subquery support, and limited support for aggregation. This is by design, to force you to denormalize into partitions that can be efficiently queried from a single replica, instead of having to gather data from across the entire cluster. Ordering is done per-partition, and is specified at table creation time. Again, this is to enforce good application design; sorting tho
プラグインで独自ストレージを作ろう - mixi engineer blog
OpenSocialとかC++0xとか世の中の流れが早すぎて、いろいろと勉強しなきゃなと焦りつつも、ついついピクミン2にはまってしまうmikioです。今回はTokyo Tyrant（TT）を使ってユーザ独自のストレージシステムを簡単に構築する方法について説明します。 プラグインとは オブジェクト指向プログラミングに慣れた人にとっては、インターフェイスと実装を分離することによってプログラムの拡張性や保守性を向上させる技法（データ抽象）は常識ですよね。その考えをさらに進めると、インターフェイスのみをプログラムに記述しておいて、具体的な実装は実行時に割り当てるという、いわゆるプラグイン（plug-in）という技法に至ります。プラグインでカスタマイズできる能力をプラガブル（pluggable）などと言ったりもします。 例えばTokyo Cabinet（TC）では、レコードの挿入、削除、参照といった
blog.katsuma.tv
greeさんで開催されたKey Value Store勉強会に行ってきました。 時間にして4時間超え、内容も国内のKey-Value Storeなソフトウェアの最前線の話ばかりで相当なボリューム。以下、メモってたのを残しておきたいと思います。（誤字、脱字、内容に誤りを含むものなどありましたらお伝えください）また、発表者の方やプロダクトについて、ざっくり調べてURL見つけられたものについてはリンク張っています。 森さん / 末永さん groonga Sennaの後継エンジン 融通が効かないのがSennaのデメリット スコア算出式のカスタマイズなど Sennaの転置索引 索引の構成部品を自由に組み合わせて使える APIもいろいろ QL DB Low Level memcached互換のkey-value store バイナリのみ対応 計測 クライアント memstorm-0.6.8 mem
DBは概念がピンと来ないので「DBを使わないでファイルシステムを使うblogツールが欲しい」という需要は根強いんだなぁ - otsune風呂
http://d.hatena.ne.jp/kanose/20051129/hlsiteManager データベースをサーバー上に持たせるか、それともローカルで持たせるかというのはどっちがいいんだろうか。 Movable Typeを使うようになってから、MySQLをよく使うようになったけどわかりにくいしなあ。かといってローカルでaccessをいじって、そこから静的HTMLを生成するツールの方が使いやすいかとというと疑問だし。 どうしてblogツールがMySQLなどのDBを使うのかと言うと、更新時の排他処理やデータ読み出し時などの泥臭い処理をDBドライバに任せられるからだと思う。 csvファイル書き出し型のファイルシステム使用のblogツールは、どうしてもそのあたりで泥臭い処理をせざるを得ない。またファイルシステム型のblogは上手く設計しないとエントリー数が増えて行くことで処理が重くなる等
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - twitter-archive/flockdb: A distributed, fault-tolerant graph database