Apache Iceberg - Apache Iceberg
What is Iceberg? Iceberg is a high-performance format for huge analytic tables. Iceberg brings the reliability and simplicity of SQL tables to big data, while making it possible for engines like Spark, Trino, Flink, Presto, Hive and Impala to safely work with the same tables, at the same time. Expressive SQL Iceberg supports flexible SQL commands to merge new data, update existing rows, and perfor
Presto Conference Tokyo 2020 (Online)｜IT勉強会・イベントならTECH PLAY［テックプレイ］
概要 PrestoはSQLベースのオープンソースの分散クエリエンジンで、Uber, Twitter, LinkedIn, Netflix, Airbnbなどデータを武器に活躍するグローバル企業が利用しています。昨年は、Presto Software Foundationの創始者でもあるMartin Traverso, Dain Sundstrom, David Phillipsの3名を招いて、日本初のPrestoカンファレンスを開催に至るほど日本でのPrestoコミュニティも成長しました。今年もPrestoを日々実践で利用されている企業のトークをメインにカジュアルな話からディープな技術的な内容まで盛りだくさんでお楽しみいただけます。 Prestoを運用されている方、Prestoを利用してデータエンジニアリングをされている方、Prestoはまだ使ってないけど興味のある方など、Prestoを実
Presto Conference Tokyo 2019｜IT勉強会・イベントならTECH PLAY［テックプレイ］
概要/Description (English description follows Japanese one) PrestoはSQLベースのオープンソースの分散クエリエンジンで、Uber, Twitter, LinkedIn, Netflix, Airbnbなどデータを武器に活躍する企業が利用しています。さらにArm Treasuer Dataのサービスを通して、日本企業を含めて400を超える企業がPrestoを日々のデータ分析に活用しています。 今回、PrestoクリエーターでありPresto Software Foundationの創始者でもあるMartin Traverso, Dain Sundstrom, David Phillipsの3名を招いて、日本初のPrestoカンファレンス東京を2019年7月11日（木)に開催いたします。Prestoクリエーターらによるトークに加え、
スケーラブルな分散SQLエンジン「Presto」の開発団体「Presto Software Foundation」が発足
スケーラブルな分散SQLエンジンとして大規模データに対して高速なクエリを実現する「Presto」は、2013年にFacebookが公開したオープンソースソフトウェアです。 現在でもFacebookをはじめTwitter、Uber、Netflix、ウォルマートなどがデータ分析などに利用しているとされています。 そのPrestoの開発者たちが、Prestoの開発を促進する団体「Presto Software Foundation」の設立を発表しました。 設立を発表するブログには、Presto Software Foundationの役割を次のように説明しています。 The Presto Software Foundation is dedicated to preserving the vision of high quality, performant and dependable soft
DMMのビッグデータ基盤の裏側を大公開！CDHクラスタ移行・Presto導入・Digdag導入により得られた効果とは？ - DMM inside
DMMのビッグデータ基盤の裏側を大公開！CDHクラスタ移行・Presto導入・Digdag導入により得られた効果とは？
A Benchmark Test on Presto, Spark Sql and Hive on Tez
Presto、Spark SQLとHive on Tezの性能に関して、数万件から数十億件までのデータ上に、常用クエリパターンの実行スピードなどを検証してみた。 We conducted a benchmark test on mainstream big data sql engines including Presto, Spark SQL, Hive on Tez. We focused on the performance over medium data (from tens of GB to 1 TB) which is the major case used in most services. Read less
(レポート) BDT303: Netflix ビックデータプラットフォーム上のSpark and Prestoの運用 #reinvent | DevelopersIO
本セッションでは、Netflixを支えるデータ分析基盤である Amazon EMR の Spark と Prestoの運用について解説しています。10/14（水） AWS Black Belt Tech Webinar 2015 ~ AWS re:Invent 2015 SA 座談会 ~ では、ADSJの現役SAが記憶に残ったおすすめの２つに選ばれた珠玉のセッションのレポートです。 Netflix (ネットフリックス)（英: Netflix, Inc.、NASDAQ: NFLX）は、アメリカ合衆国のオンラインDVDレンタル及び映像ストリーミング配信事業会社で、日本でも2015年9月1日夜からストリーミングのみですが、サービスが開始されたことが話題になりました。 BDT303 Running Spark and Presto on the Netflix Big Data Platform
Presto in Treasure Data
Presto is a fast, distributed SQL query engine that allows for ad-hoc queries against data sources like Cassandra, Hive, Kafka and others. It uses a pluggable connector architecture that allows it to connect to different data sources. Presto's query execution is distributed across worker nodes and queries are compiled to Java bytecode for efficient execution. Some limitations of Presto include its
金融機関でのHive/Presto事例紹介
Hadoop/Spark Conference Japan 2016でのライトニングトークの資料 by Ryosuke Iwanaga (@riywo) Read less
2014年の象(Hadoop)四方山話
Spark, SQL on Hadoop etc. Advent Calendar 2014 1日目、およびHadoop関連（全部俺） Advent Calendar 2014の1日目です。 初日なので、昨年ブログに続いて2014年のHadoop関連の話題をまとめます。 ※このブログの内容は所属している組織には関係なく、個人的な雑感です。間違いがあればご指摘下さい。 ※なお、中立的に書いているつもりですが、多少偏りがあるかもしれません。が、特に悪意はありません :p 俺的Hadoopの話題2014: ベスト3 Apache Sparkの盛り上がりが加速 SQL on Hadoop は混沌 Hadoopは堅調に進化。徐々に消えていく！？ （次点: Hueも大幅に進化してますが、これはいずれ紹介します） 1. Apache Sparkの盛り上がりが加速 今年になってますます盛り上がっているAp
Prestoのcodegen - myui's memo
以前、Prestoのバイトコード生成部分のソースコードを読んだので、hack再開時のためにメモしておく。 コード生成にはobjectwebのASMを利用している。Parser generatorはANTLR。 ExpressionCompiler#internalCompileFilterAndProjectOperator codegenしているのはfilter句とprojection句のみ。Joinは残念ながらcodegenされていない。 SqlStageExecution#startTasks evaluate planの中身はremote taskというのがsubStages（StageExecutionPlan）があると作られる join関係のrewriteはPredicatePushDown。Volcanoのexchange抽象operatorでremoteの実行を抽象化。Lo
Presto: Free, Open-Source SQL Query Engine for any Data
Calling our Presto community speakers – we want to hear from you! Fill out out community call for papers to speak at upcoming meetups and conferences. What is Presto?Presto is an open source SQL query engine that’s fast, reliable, and efficient at scale. Use Presto to run interactive/ad hoc queries at sub-second performance for your high volume apps.
Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると
Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Presto Conference Tokyo 2019のツィートまとめ #prestosql
Apache Spark,Impala,Presto..etc NextGen DistributedComputing systemのカレンダー | Advent Calendar 2015 - Qiita
Presto gets EVEN FASTER, with a 10-15x performance boost in upcoming release!
Benchmarking Big Data SQL Platforms in the Cloud
Presto Meetup 201706｜IT勉強会・イベントならTECH PLAY［テックプレイ］
http://atnd.org/events/47149
Hadoop Source Code Reading #15 in Japan - Presto