トレジャーデータUDFで効率の良いクエリを実現する - Date Function 編 - - トレジャーデータ（Treasure Data）ブログ
トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 トレジャーデータサービスは，スタンダードプランとしてバッチクエリであるHive, Pigをサポートしています。また，プレミアムプランまたはオプション追加によってアドホッククエリであるTQA（Backend: Presto）をサポートしています。 Treasure Data Hive UDF 無尽蔵の列指向データベースであるトレジャーデータのストレージですが，特に時系列データに対しては強力なパフォーマンスを発揮します。今回はその理由と，パフォーマンスを出すためのクエリの記述方法をご紹介します。 TDS バックエンドアーキテクチャ概略 トレジャーデータサービスでは，Realtime Storage と Archive Storage の二種類のストレージを利用しています。Treasure Agent (Fluentd)
Treasure DataのPlazmaDBを理解する - Qiita
こんにちは。Treasure Dataの斉藤です。出張中に時間ができたのでシアトル空港でこの記事を書いています。日本語でブログを書くのはものすごく久しぶりなのですが、Treasure Dataの列志向(columnar)圧縮ストレージであるPlazmaDBについて紹介していきたいと思います。 Treasure Dataでは2014年現在まで5兆(trillion)件を超えるレコードが取り込まれており、一秒あたりでは40万以上(!)のレコードを処理しています。 2013年のTwitterでは１秒あたり5,700 tweets処理していたとのことなので、その処理量の大きさが実感できるのではないでしょうか。この量のレコードをそのまま蓄積するのではストレージ量が膨大になってしまいますので、Treasure Dataではレコードを列分解し、MessagePack形式に変換＋圧縮処理を施すことでデータ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
