Facebook: ペタバイトのデータに対応した分散クエリエンジンをオープンソースで提供 - ワザノバ | wazanova.jp
https://www.facebook.com/notes/facebook-engineering/presto-interacting-with-petabytes-of-data-at-facebook/10151786197628920 Facebookがエンジニアブログで、ペタバイト級のデータを効率よくクエリするエンジンPrestoを紹介しています。 1) Background Facebookは世界有数の300ペタバイトのデータウェアハウスをもち、そのデータはバッチ処理、ソーシャルグラフ分析、機械学習、リアルタイムインタラクティブ分析など様々な用途に使われている。 そのデータは、いくつかの大きなHadoop/HDFSベースのクラスターにある。Hadoop/MapReduce/Hiveは、大規模で信頼性の高い計算処理、全体システムスループット最適化という特性がある。しかし、ペタ
Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると
Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
