スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez - GMOインターネットグループ グループ研究開発本部
2015.12.22 スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez １、初めに 次世代システム研究室のL.G.Wです。最近リリースした関連記事推薦システム：TAXEL byGMOに携わっております。 このシステムは多様なデータソースからの集計・解析・ETLが重要になるので、性能とビジネス要件を満たすSQLエンジンを選定するため、主要なSQLエンジンのベンチマークテストを実施しました。 “Small Start, Scale Fast” – 最初のハードウェアコストをなるべく低く抑え、ビジネスが拡大したらシステムも拡張できることが前提です。主にバッチ処理用途で、ある程度のリアルタイム性も要求されます（数分間～1時間内）。データの規模は数十GBから数TBくらいの想定です。 主要なSQLエンジンとして、スケーラビリテ
Treasure Data Update 2015 - Presto - Qiita
Treasure Dataではfluentd, 各種SDK, Data Connectorなどで収集されたデータに対して、Hive, Prestoによる分散SQLクエリが実行できます。特にPrestoはこの1年で大きく進化しましたので、ここでその内容について紹介していきたいと思います。 Prestoクエリの利用量は増え続けていて、2015年12月現在、Treasure Dataの利用統計では、 １日あたり5万クエリ (月換算で150万クエリ) １日あたり10兆 (10 trillion) レコード を処理しています。2015年の始まりの時点では、1日あたりおよそ5000クエリ、1兆レコードという数字でしたので、この１年でほぼ10倍になった計算になります。昨年末のPrestoサービスの開始にあたり、CTOの太田と相談して10倍スケールできるように準備をしていたのですが、想定していたより早くこ
Presto雑感 - wyukawa's diary
約1年間Prestoを運用していて気づいたことを書いてみようと思う。 Prestoが素晴らしいOSSプロダクトであることは間違いなくて、Hiveを使っている人はインストールして損は無いと思う。 メリットは下記の通り Hiveに比べるとオンメモリで処理するので高速でアドホッククエリに向いている 安定している。 ストレージを持たないアーキテクチャなのでアップデートが簡単 開発が活発。最近は以前に比べるとバージョンアップのスピードは落ちてきたがそれでも3週間に1回はバージョンアップしている。 バグ報告すると数日で修正されたバージョンがリリースされる。 開発がオープン。pull requestも受け付けておりコードレビューが丁寧 コードが奇麗でモダンJavaの代表だと勝手に思ってる 最近の変更を見る限りPrestoは安定性を重視しているように見え、これは僕のような管理者にとっては運用負荷が少なくな
『Amebaのログ解析基盤にCloudera ImpalaとPrestoを導入しました』
(この記事は、Hadoop Advent Calender 2013 の12日目の記事です) こんにちは、Amebaのログ解析基盤Patriotの運用をしている、鈴木(@brfrn169)と柿島大貴です。 Patriotについては以下をご覧ください。 http://ameblo.jp/principia-ca/entry-10635727790.html http://www.slideshare.net/cyberagent/cloudera-world-tokyo-2013 今回、Amebaのログ解析基盤PatriotにCloudera ImpalaとPrestoを導入しました。 Cloudera ImpalaとPrestoのインストール方法や詳細ついては、下記URLをご覧ください。 Cloudera Impala http://www.cloudera.com/content/clo
Presto+MySQLで分散SQL
This document discusses Presto, an open source distributed SQL query engine for interactive analysis of large datasets. It describes Presto's architecture including its coordinator, connectors, workers and storage plugins. Presto allows querying of multiple data sources simultaneously through its connector plugins for systems like Hive, Cassandra, PostgreSQL and others. Queries are executed in a p
PrestoとかAnsibleとかその辺の話を軽く書いてみる - wyukawa's diary
今日はPrestoとかAnsibleとかその辺の話を軽く書いてみようと思います。突っ込んだ話が出来るわけではないのであしからず。 僕のところの環境ではPrestoを使っていて、PrestoはDataNodeやNodeManagerと同居してます。主なユースケースはアドホッククエリの実行です。とあるレポートを作りたいってなったときにデータの中身をチェックするのに使います。従来だとこれがHiveだったのですが、HiveだとMapReduceになって遅いので（ローカルモードで済む場合もあるけど）、その点Prestoは早くていいです。ただこれは僕の環境がスモールデータだからっていうのもあって、圧縮済み数百GBのデータに対してselectかけるとかだとPrestoといえども遅くなると思います。あとなにげに良いのがPresto CLI経由だとカラム名が表示されるのでどのデータがどのカラムなのかすぐ分か
MPP on Hadoop, Redshift, BigQuery - Go ahead!
Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれるかもしれません． オンプレミスの商用MPPは使ったことないのでノーコメントです． MPP on HadoopでPrestoがメインなのは今一番使っているからで，Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています． もちろん実装の違いなどがあるので，その辺は適宜自分で補間してください． 前提 アプリケーションを開発していて，そのための解析基盤を一から作る． 簡単なまとめ データを貯める所が作れるのであれば，そこに直接クエリを投げられるPre
『Prestoとは何か，Prestoで何ができるか』 - トレジャーデータ（Treasure Data）ブログ
トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 Hadoop Conference Japan 2014 以前に告知したHadoop Conference Japan 2014で，弊社Software Architectの古橋が発表しました。 テーマは，Facebookが公開した新しい分散処理基盤，Presto。実はFacebookが彼らの超大規模なデータセットに対してインタラクティブに結果を返せるようにと開発されたものです。開発が始まってまだ2年も経っておりませんが，今ではトレジャーデータを初めとして多くのハッカー達がコミッターとして参加する活発的なプロジェクトに成長しています。 PrestoはHiveやImpalaと同じ「SQL Query Engine」であり，特に数百GBを超える大規模データに対してもインタラクティブなレスポンスを（コンマ0秒以下，遅くて
Hadoop Source Code Reading #15 in Japan - Presto
7. Connector A connector consists of 3 major components: Metadata > similar to Hive’s metastore > provide table schema to Presto SplitManager > similar to Hadoop’s InputFormat > partitioning, WHERE condition pushdown etc. RecordCursor > similar to Hadoop’s RecordReader 8. presto-hive connector Built-in hive connector Hive Metadata > read metadata from Hive Metastore > Presto’s Metadata is read-onl
Presto: Past, Present, and Future
Presto: Past, Present, and Future In the talk we discuss the progress since Presto was open sourced, what the Presto team is working on now, and what we will be working on over the next year. See more at https://prestosql.ioRead less
ターミナル環境を見直す(1) - zsh + prezto編 - oinume journal
GWになったので、ずーーーっとやりたいと思っていた、ターミナル環境の見直しをしてる。oh-my-zshとか使ってなかったし、tmuxも最近は使ってなくて時代からかなり乗り遅れ気味なのがずっと気になってた。ちなみに見直す前の環境はざっくり言うと以下。 作業環境はMac + iTerm zsh使ってるがoh-my-zshは使ってない tmuxは最近は使ってなかった。iTermのタブでそんなに不自由してなかったので。 vim教信者ではない dotfileはbitbucketのプライベートリポジトリで管理していて、symlink張って有効にしている(ln -s /path/to/dotfiles/.zshrc ~/.zshrc みたいな感じ) スクリーンショットはこんな感じで、右側にgitのブランチとカレントディレクトリを表示してる prezto これはoh-my-zshの軽量版らしい。oh-my
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - prestodb/presto: The official home of the Presto distributed SQL query engine for big data