Treasure DataのPlazmaDBを理解する - Qiita
こんにちは。Treasure Dataの斉藤です。出張中に時間ができたのでシアトル空港でこの記事を書いています。日本語でブログを書くのはものすごく久しぶりなのですが、Treasure Dataの列志向(columnar)圧縮ストレージであるPlazmaDBについて紹介していきたいと思います。 Treasure Dataでは2014年現在まで5兆(trillion)件を超えるレコードが取り込まれており、一秒あたりでは40万以上(!)のレコードを処理しています。 2013年のTwitterでは１秒あたり5,700 tweets処理していたとのことなので、その処理量の大きさが実感できるのではないでしょうか。この量のレコードをそのまま蓄積するのではストレージ量が膨大になってしまいますので、Treasure Dataではレコードを列分解し、MessagePack形式に変換＋圧縮処理を施すことでデータ
クラウドを加速させるSSD技術（前編）（1/2） － ＠IT
SSDの性能と特性を把握 クラウドを加速させるSSD技術（前編） 松本直人 仮想化インフラストラクチャ・オペレーターズグループ チェア さくらインターネット研究所 上級研究員 2012/1/12 サーバ仮想化が普及するにつれて管理者の頭を悩ませているのが、ストレージへのアクセス集中、負荷集中です。高速にデータ処理を行えるSSDを適材適所で活用すれば、この課題に対処できます。（編集部） SSDが必要とされる理由 昨今CPUの性能向上は目覚ましく、仮想マシンを多数搭載できるサーバの出荷も増えてきています。企業内のプライベートクラウドやデータセンター事業者らが提供するパブリッククラウドなど、多数の仮想マシンを管理するシステムも増えてきました。 そこで課題になるのがストレージへのアクセス集中です。忘れがちですが、仮想マシンも物理マシンと同じくストレージシステムを使います。 もともとストレージは物理
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
