2017/9/22(金) 開催 サイバーエージェントのデータ分析基盤とデータ活用およびそれらの技術についての勉強会「Data Engineering and Data Analysis Workshop #2」Read less
最新版Hadoopクラスタを運用して得られたもの
2017/9/22(金) 開催 サイバーエージェントのデータ分析基盤とデータ活用およびそれらの技術についての勉強会「Data Engineering and Data Analysis Workshop #2」Read less
Presto in Treasure Data
Presto is a fast, distributed SQL query engine that allows for ad-hoc queries against data sources like Cassandra, Hive, Kafka and others. It uses a pluggable connector architecture that allows it to connect to different data sources. Presto's query execution is distributed across worker nodes and queries are compiled to Java bytecode for efficient execution. Some limitations of Presto include its
Presto+MySQLで分散SQL
This document discusses Presto, an open source distributed SQL query engine for interactive analysis of large datasets. It describes Presto's architecture including its coordinator, connectors, workers and storage plugins. Presto allows querying of multiple data sources simultaneously through its connector plugins for systems like Hive, Cassandra, PostgreSQL and others. Queries are executed in a p
MPP on Hadoop, Redshift, BigQuery - Go ahead!
Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれるかもしれません． オンプレミスの商用MPPは使ったことないのでノーコメントです． MPP on HadoopでPrestoがメインなのは今一番使っているからで，Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています． もちろん実装の違いなどがあるので，その辺は適宜自分で補間してください． 前提 アプリケーションを開発していて，そのための解析基盤を一から作る． 簡単なまとめ データを貯める所が作れるのであれば，そこに直接クエリを投げられるPre
20140715 Presto Source Code Reading #4
20140715_prestoscr4.md 20140715 Presto SCR #4 Presto 0.73 論理実行計画の流れ https://gist.github.com/ashigeru/9518638 エントリポイント QueryResource public Response createQuery(...) presto-main/src/main/java/com/facebook/presto/server/QueryResource.java:L103 リクエストを受け取る SqlQueryManager public QueryInfo createQuery(ConnectorSession session, String query) presto-main/src/main/java/com/facebook/presto/execution/SqlQue
Presto - Hadoop Conference Japan 2014
Presto is a distributed SQL query engine that allows for interactive analysis of large datasets across various data sources. It was created at Facebook to enable interactive querying of data in HDFS and Hive, which were too slow for interactive use. Presto addresses problems with existing solutions like Hive being too slow, the need to copy data for analysis, and high costs of commercial databases
Presto: Past, Present, and Future
Presto: Past, Present, and Future In the talk we discuss the progress since Presto was open sourced, what the Presto team is working on now, and what we will be working on over the next year. See more at https://prestosql.ioRead less
Prestoソースコードリーディング#2 メモ
memo.md Presto メモ presto 0.60 [ QueryResource , TaskResource ) 環境 なんかそのまま mvn clean install eclipse:eclipse -DskipTests コマンド叩いても checkstyle で落ちたので: mvn clean install -DskipTests mvn eclipse:eclipse -Dcheckstyle.skip ちなみに、EclipseじゃなくてIDEA推奨の模様。 エントリポイント サービスエントリ。 リクエストを受け取る QueryResource から。 // presto-server/src/main/java/com/facebook/presto/server/QueryResource.java:L89 @POST @Produces(MediaType.A
presto_executor_and_coordinator.md
presto_executor_and_coordinator.md Presto source code reading #1 This document is created for Presto Source Code Reading #1. http://atnd.org/events/47149 Target: trunk code, Feb 10th, 2014 Main Topic: Coordinator and Executor ./presto-main/src/main/java/com/facebook/presto/executions http://www.slideshare.net/frsyuki/hadoop-source-code-reading-15-in-japan-presto/10 NOTE All source code noted here
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - treasure-data/prestogres: PostgreSQL protocol gateway for Presto distributed SQL query engine
【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）
Prestoソースコードリーディング