[B! PlazmaDB] msyktのブックマーク

msykt id:msykt

PlazmaDBに関するmsyktのブックマーク (2)

201809 DB tech showcase
201809 DB tech showcase 1. Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. Keisuke Suzuki Software engineer PlazmaDB ペタバイトオーダのデータ分析基盤を支える分散ストレージのアーキテクチャとその運用 2. Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. Who am I? Keisuke Suzuki • Backend Engineer @ Treasure Data KK – Ex. Fujitsu • DB / Distributed system / Performance optimization • Twitt
msykt 2018/09/22
Metadata(PostgreSQL) + Object Storageでカラムナフォーマット、なのかな。面白そう

PlazmaDB
リンク
Treasure DataのPlazmaDBを理解する - Qiita
こんにちは。Treasure Dataの斉藤です。出張中に時間ができたのでシアトル空港でこの記事を書いています。日本語でブログを書くのはものすごく久しぶりなのですが、Treasure Dataの列志向(columnar)圧縮ストレージであるPlazmaDBについて紹介していきたいと思います。 Treasure Dataでは2014年現在まで5兆(trillion)件を超えるレコードが取り込まれており、一秒あたりでは40万以上(!)のレコードを処理しています。 2013年のTwitterでは１秒あたり5,700 tweets処理していたとのことなので、その処理量の大きさが実感できるのではないでしょうか。この量のレコードをそのまま蓄積するのではストレージ量が膨大になってしまいますので、Treasure Dataではレコードを列分解し、MessagePack形式に変換＋圧縮処理を施すことでデータ
msykt 2014/12/15
おー、面白そう。でもコード見れないの残念…

plazmadb
リンク
1