Technical Memo: Memory Saving Associative Array by Kyoto Cabinet and MessagePack
Kyoto Cabinet features on-memory database which can be used as associative array of strings. MessagePack is a binary-based efficient object serialization library. Combination of the two provides you associative array to contain generic objects. Space Efficiency of Kyoto Cabinet Let's suppose that we should manage 1 million simple records whose key and value are 10 bytes strings. The following is a
3D映画「AVATAR」、スクリーンの裏には大規模データとの戦いがあった
3D映画として上映され話題になっている映画「AVATAR」（アバター）ですが、その制作過程では大量のデータ処理との戦いがあったことを海外の複数のメディアが報じています。 毎週のようにテラバイト級のデータが生成 AVATARは、カリフォルニアにあるLightStorm Entertainmentが制作しましたが、そこで3Dカメラの動画から生成される大量のデータは、ニュージーランドにあるWeta Digitalに転送されコンピュータグラフィックスの処理が行われたと、The Registerの記事「The Avatar storage effect」が報じています。 LightStorm Entertainmentが使用していたストレージはアイシロン・システムズのもの。アイシロンはこの件で「Lightstorm Entertainment Uses Isilon IQ to Power Prod
10 Years of Virtual Machine Performance (Semi) Demystified
There are many opinions in the air about the impact that virtualization has on performance, so I thought a short blog would be good to explain (as best I can) virtual machine performance characteristics with pointers to relevant benchmarks and technical papers. My background is that I was an early Product Manager working on VMware ESX Server (from version 1.5) and among other things ran product ma
ウノウラボ Unoh Labs: 国産MySQLストレージエンジン「Spider」の作者、斯波健徳氏に聞く
こんにちは。中村です。 MySQLにはMyISAM、InnoDB、CSVなどのいくつかストレージエンジンがありますが、皆さんはSpiderというストレージエンジンを聞いたことはありますでしょうか。Spider Storage Engineは斯波健徳さんにより作成されたDatabase Shardingを可能にするストレージエンジンでMySQL 5.1で利用可能です。 先日、某集まりで斯波さんとお会いしたときにSpiderを作っているということを教えてもらったので、早速詳しい内容を教えてもらうことにしました。 ※Spiderについての説明資料はMySQLカンファレンス 2009にて斯波さんが発表されたときのスライドがあります。スライドの直リンク（zip） Spider Storage Engine について posted by (C)フォト蔵 Spider Storage Engineとは？
blog.katsuma.tv
greeさんで開催されたKey Value Store勉強会に行ってきました。 時間にして4時間超え、内容も国内のKey-Value Storeなソフトウェアの最前線の話ばかりで相当なボリューム。以下、メモってたのを残しておきたいと思います。（誤字、脱字、内容に誤りを含むものなどありましたらお伝えください）また、発表者の方やプロダクトについて、ざっくり調べてURL見つけられたものについてはリンク張っています。 森さん / 末永さん groonga Sennaの後継エンジン 融通が効かないのがSennaのデメリット スコア算出式のカスタマイズなど Sennaの転置索引 索引の構成部品を自由に組み合わせて使える APIもいろいろ QL DB Low Level memcached互換のkey-value store バイナリのみ対応 計測 クライアント memstorm-0.6.8 mem
Delicious.com
By clicking “Accept All Cookies”, you agree to the storing of cookies on your device to enhance site navigation, analyze site usage, and assist in our marketing efforts. View our Privacy Policy for more info. When you visit websites, they may store or retrieve data in your browser. This storage is often necessary for the basic functionality of the website. The storage may be used for marketing, an
2009年はSSD躍進の年になるか？ | スラド Slashdotに聞け
ストーリー by hylom 2008年12月16日 14時02分 旧型ノートのアップグレード向けにパラレルATAモデルが欲しい、 部門より SSD搭載のPCはこの2年程でだいぶ見かけるようになったが、従来のハードディスクと比較すると依然高価である。しかしサムソンの256GBのSSDの量産開始や、インテルのSSD市場参入、またMicronの秒速1GBのSSD発表などのニュースに象徴されるよう、2009年には安価で高パフォーマンスなSSDが消費者とビジネスの両市場で本格的に普及するのではないかと予想されているそうだ（本家記事より）。 2009年はSSD躍進の年になるだろうか？/.J諸氏はどう見る？
mixi Engineers’ Blog » memcachedのストレージ層をmodularにしてみた
前回に続いてまたmemcachedの話をしたいと思います。今回は改造編です。 ハッシュデータベースサーバなどの実装でmemcachedライクなものを書くのも良いですが、以前からmemcached自体のストレージをmodularにできたら面白いかも？と思っていたので実験的にmemcachedを改造してみました（memcached-1.2.4がベース）。 とりあえず名前はmemcached modularの略でmmcmodと名づけて、mikioさんのTokyo Cabinetをストレージとして使うモジュール（厳密にいうと共有ライブラリ）を書きました。ソースコードは後日CodeReposの方に上げますがとりあえずこの記事で公開します。ちなみに新しいプロダクトを作る気はなくて、最終的にpatchを作ることが目的です。 で、話を続けると今回の改造を簡単にビジュアライズするとこんな感じです： 図のmm
DRBDベンチマーク - NO LIMIT Is. はてな支部'
DRBDのパフォーマンスを評価する機会があったのでメモしておきます。 DRBDはTCP/IPネットワーク越しにディスクのミラーリングを行うソフトウェアで、Linuxのカーネルモジュールとして実装されています。ネットワーク経由のRAID1と考えるとわかりやすいと思います。Heartbeatなどと組み合わせると擬似的な共有ディスクを持ったクラスタを構築することができます。 5年くらい前に話に聞いたときは（主にネットワークが）遅すぎて使えない印象でしたが、今日ではGigabit Ethernetが当たり前に使えるのでどのくらいのパフォーマンスが出るのか興味深いところです。 環境 以下のような環境を用いました。 サーバハードウェア 機種 IBM x3650 2台 CPU Intel Xeon 1.6GHz Memory 5GB HDD SAS HDD 146GB RAID1 ネットワーク構成 10
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Virtualization Review | Everyday Virtualization: 10 GB Ethernet: the Backend Battle
moved