[B! presto] joker1007のブックマーク

We’re rebranding PrestoSQL as Trino

We’re rebranding PrestoSQL as Trino. The software and the community you have come to love and depend on aren’t going anywhere, we are simply renaming. Trino is the new name for PrestoSQL, the project supported by the founders and creators of Presto® along with the major contributors – just under a shiny new name. And now you can find us here: GitHub: https://github.com/trinodb/trino. Please give i

joker1007 2021/01/05

ついに名前が変わったのか。まあ、ややこしかったしなあ……。

presto

リンク

Testing Distributed Query Engine as a Service

Naoki Takezoe from Treasure Data discussed testing their distributed query engine Presto as a service. They developed a tool called presto-query-simulator to test using production data and queries in a safe manner. The tool reduces testing time by grouping similar queries and narrowing data scans. It also helps analyze results and find probl ematic queries. Future work includes running tests more f

joker1007 2020/11/22

リンク

Presto における Service Discovery の動作原理

Presto を運用していると “No worker nodes available” というエラーに遭遇することがあります。これは coordinator が planning をする際に active な worker nodes が存在しないと起きるエラーなんですが、worker nodes に問題ではなく service discovery が上手く機能していなくて起きることがあります。 worker nodes が異常なのか service discovery が上手く機能していないのかを切り分けるには、Presto がどのように service discovery を実現しているかを理解している必要がありますが、よくわかってなかったので調べてみました。環境は Amazon Elastic MapReduce (EMR) ではじめる Presto 入門と同じく、Presto 0

joker1007 2020/01/06

presto

リンク

Presto As A Service - Treasure DataでのPresto運用事例

2. 自己紹介 Taro L. Saito @taroleo •  2002 東京大学理学部情報科学科卒 •  2007 Ph.D. –  XMLデータベース、トランザクション処理の研究 •  ~ 2014 東京大学情報生命科学専攻助教 –  ゲノムサイエンス研究 •  大規模データ処理、並列・分散コンピューティング •  2014.3月~ Treasure Data –  ソフトウェアエンジニア MPP Team Leader (Presto) 2

joker1007 2017/01/10

presto

リンク

AWS Athena雑感 - Go ahead!

Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので，知り合いが試した情報も含めて，今思っている所を書いてみる．実装 Athenaのページにあるように，実行エンジンは独自実装ではなくて，Facebookが公開しているPrestoを使っている．FacebookのみならずTreasure Data，Airbnb，Netflixなどクエリがガンガン飛ぶ環境で元気に動いている実績もあるので，拡張性，パフォーマンス，安定性で選ばれたのだろうと思われる．あとAWS的にJavaの方が相性は良さそう．パフォーマンスいくつかの記事で言及されている． Analyzing Data in S3 using Amazon Athena Amazon AthenaをBigQueryと比較してみた Amazon

joker1007 2016/12/05

managed presto、なるほど。AuroraとS3でカジュアルにjoinするようなユースケースだとめっちゃ便利そうなんだが、今BQでやってるところとはちょっと違ってくるかなあ。BQはJPリージョンが無いのがかなり辛いところではあるが。

presto
aws

リンク

Presto changes

This document summarizes recent updates to Presto, including new data types, connectors, syntax, features, functions, and configuration options. Some key additions are support for DECIMAL, VARCHAR, and new data types; connectors for Redis, Mongo DB, and other data sources; transaction support; and a variety of new SQL functions for strings, dates, aggregation, and more. Upcoming work includes prepa

joker1007 2016/07/19

presto

リンク

Presto Meetup 2016 Small Start

1. The presenter discusses their use of Presto for analytics at their company, including joining data across different data sources and using window functions on MySQL data. 2. They explain how they integrate Presto with other tools like re:dash for visualization and Embulk for ETL workflows. 3. While Presto solves many of their probl ems, they still require some ETL and have encountered issues lik

joker1007 2016/07/19

presto

リンク

金融機関でのHive/Presto事例紹介

Hadoop/Spark Conference Japan 2016でのライトニングトークの資料 by Ryosuke Iwanaga (@riywo) Read less

joker1007 2016/02/09

リンク

NetflixにおけるPresto/Spark活用事例

2017/9/7 db tech showcase Tokyo 2017(JPOUG in 15 minutes)にて発表した内容です。 SQL大量発行に伴う処理遅延は、ミッションクリティカルシステムでありがちな性能問題のひとつです。 SQLをまとめて発行したり、処理の多重度を上げることができれば高速化可能です。ですが・・・ AP設計に起因する性能問題のため、開発工程の終盤においては対処が難しいことが多々あります。そのような状況において、どのような改善手段があるのか、Oracleを例に解説します。