Amazon Elastic MapReduce (EMR) ではじめる Presto/Trino 入門
Presto/Trino 1は日本語の入門書がなく、「Presto/Trino を運用することになったけど何から勉強すれば良いかわからない＞＜」という人も多いのではないかと思います。そこで、Presto/Trino を運用する時にこの辺の内容を知っていれば、よりスムーズにキャッチアップできたかなぁと思うことをまとめてみました。 Hive connector を使いたいので、Hive と Presto の環境構築をサクッと行える Amazon Elastic MapReduce (以降 EMR) で実際に手を動かせればと思います。 以降 Presto/Trino ではなく Presto と表記しますが、Trino は元々同じソフトウェアであるため、Trino でも当てはまる内容がほとんどのはずです。 なお、Presto のバージョンは 2019-03-13 時点で最新の EMR 5.21.0
Prestoを使ってKafkaにクエリを投げる
Prestoを使えばKafkaに入っているメッセージにSQLでクエリが投げれるみたいなのでやってみました。 KafkaからHBaseやらNoSQLに入れ直すのはめんどうなのでPrestoを使ってみた感じです。 ちなみにPrestoは複数のデータソースに対して分散SQLクエリを発行するエンジンです。Kafkaは接続出来るデータソースの1つにすぎません。 環境CentOS7に全部まとめてインストールして動作を確認します。 CentOS 7Java 1.8Presto 0.180Kafka 0.11.0.0kafkaインストールまず、kafkaのインストールから。 root$ yum update -y root$ yum install java Kafkaのサポートバージョンはpresto 0.180のドキュメントを見るとKafkaは0.8.xでテストしていると書かれています。 Presto
DMMでのPrestoおよび周辺エコシステムの運用事例
Presto Meetup 201706にて、発表した弊社のPresto運用事例紹介です。 https://techplay.jp/event/621143
AWS Athenaを使ってみよう
KLab Advent Calendar 10日目の記事です。KLab分析基盤チームの高田です。 分析基盤チームでは、社内向けに各種KPIを提供している他、KG SDKのKPIレポートシステムを通じて、パートナー向けにシステムを提供しています。 今回は、先日re:Invent 2016で発表されたばかりのAWSの新サービスAthenaを試してみました。KLabの分析基盤システムでは、すでにRedshiftやEMRを使用していますが、Athenaには、これらを補うような役割(低コストで導入し、アドホックな分析や定型的なレポートの作成をサポートするといった用途)を期待しています。 Athenaとは? ひとことで言えば、Athenaとは、S3上に置いてあるデータを高速にSQLで集計・分析できるサービスです。内部はPrestoをベースとしつつ、独自の改修をくわえて使用しているようです。Athena
AWS Athena雑感 - Go ahead!
Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので，知り合いが試した情報も含めて，今思っている所を書いてみる． 実装 Athenaのページにあるように，実行エンジンは独自実装ではなくて，Facebookが公開しているPrestoを使っている．FacebookのみならずTreasure Data，Airbnb，Netflixなどクエリがガンガン飛ぶ環境で元気に動いている実績もあるので，拡張性，パフォーマンス，安定性で選ばれたのだろうと思われる．あとAWS的にJavaの方が相性は良さそう． パフォーマンス いくつかの記事で言及されている． Analyzing Data in S3 using Amazon Athena Amazon AthenaをBigQueryと比較してみた Amazon
A Benchmark Test on Presto, Spark Sql and Hive on Tez
Presto、Spark SQLとHive on Tezの性能に関して、数万件から数十億件までのデータ上に、常用クエリパターンの実行スピードなどを検証してみた。 We conducted a benchmark test on mainstream big data sql engines including Presto, Spark SQL, Hive on Tez. We focused on the performance over medium data (from tens of GB to 1 TB) which is the major case used in most services. Read less
スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez - GMOインターネットグループ グループ研究開発本部
2015.12.22 スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez １、初めに 次世代システム研究室のL.G.Wです。最近リリースした関連記事推薦システム：TAXEL byGMOに携わっております。 このシステムは多様なデータソースからの集計・解析・ETLが重要になるので、性能とビジネス要件を満たすSQLエンジンを選定するため、主要なSQLエンジンのベンチマークテストを実施しました。 “Small Start, Scale Fast” – 最初のハードウェアコストをなるべく低く抑え、ビジネスが拡大したらシステムも拡張できることが前提です。主にバッチ処理用途で、ある程度のリアルタイム性も要求されます（数分間～1時間内）。データの規模は数十GBから数TBくらいの想定です。 主要なSQLエンジンとして、スケーラビリテ
Presto on EMR AMI4.x - Qiita
EMRサンドボックス Amazon EMR Sandbox Applications いままではPrestoをEMR上にインストールする場合は、 カスタムブートストラップを利用して、Java8をインストールしたり Prestoのセットアップを行っていました 4.0からEMRサンドボックスが利用できるようになり カスタムブートストラップを利用しなくてもセットアップできるようになり さらに簡単にPrestoが触れます 現在3.x系awslabs/emr-bootstrap-actionsはそのまま利用しても動作しなそうです インストールされるjava8のバージョン起因でエラーが発生すると思います Setup 起動方法は2通りAwsConsole or AWSCLIのどちらかです Consoleは直感的ですごくよくわかるのでCLIの方だけ CLIによるクラスタ起動 AWS CLI Command
Presto雑感 - wyukawa's diary
約1年間Prestoを運用していて気づいたことを書いてみようと思う。 Prestoが素晴らしいOSSプロダクトであることは間違いなくて、Hiveを使っている人はインストールして損は無いと思う。 メリットは下記の通り Hiveに比べるとオンメモリで処理するので高速でアドホッククエリに向いている 安定している。 ストレージを持たないアーキテクチャなのでアップデートが簡単 開発が活発。最近は以前に比べるとバージョンアップのスピードは落ちてきたがそれでも3週間に1回はバージョンアップしている。 バグ報告すると数日で修正されたバージョンがリリースされる。 開発がオープン。pull requestも受け付けておりコードレビューが丁寧 コードが奇麗でモダンJavaの代表だと勝手に思ってる 最近の変更を見る限りPrestoは安定性を重視しているように見え、これは僕のような管理者にとっては運用負荷が少なくな
プランナーよりのログ解析基盤のその後 - wyukawa's diary
以前2種類のログ解析基盤 - wyukawa’s blogで書いたログ解析基盤のうち2つ目のプランナーよりのシステムが現在どうなっているかを書いてみたいと思います。 ちなみに1つ目のエンジニアよりのシステムの方も更新はあって、Fluentd+Norikra+Elasticsearch+Kibanaによるリアルタイムモニタリングを始めたり、メルカリでのNorikraの活用、 Mackerelを添えてを真似て、Norikraにクエリを登録したらGrowthForecastに自動でグラフが出来るようにしたり、Norikraでアプリログを集計してリアルタイムエラー通知 # Norikra meetupと少し似ている、Norikraにクエリを登録してログに特定のキーワードがあったらHipChatに通知するようにしたり、といったことをしています。 2つ目のプランナーよりのシステムの全体像はこんな感じで
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
12. 12 Amazon Elastic MapReduceとは？ • 1クリックでHadoopクラスタが⼿手に⼊入る – 使い終わったらまとめて捨てるのも簡単 – スポットインスタンスを使ったコストカットも • 設定済のアプリケーションがすぐ使える – Application: Hive, Hue, Impalaなど – Bootstrap Action: Presto, Sparkなど • ⾏行行うべき処理理を簡単に設定できる – ジョブが終わったらクラスタを消すところまで⾃自動化 13. 13 Task Node Task Instance Group Amazon EMRのアーキテクチャ security group security group Master Node Master Instance Group Amazon S3 Dynamo
2種類のログ解析基盤 - wyukawa's diary
僕は仕事では2種類のログ解析基盤を見ています。 1つ目はどちらかというとエンジニアよりの解析基盤でサービス側のエンジニアがShib, ShibUIを通して好きにクエリを投げることができます。ただしtableをcreateしたりdropしたりinsertしたりはできません。selectのみです。データの更新作業は別途cronのhive batchで行います。データはFluentd経由で各サービスのサーバーから収集します。こっちのシステムは古くからあって僕は引き継いだだけなので見ているとはいってもそんなにやることは無いですし、語れることも少ないです。 2つ目は約1年前に僕が一から構築したシステムでプランナーよりのシステムになってます。僕のチーム内のエンジニアだけがrawデータを触ったり更新したりすることができて、プランナーはレポートを通して加工されたデータを見る形になります。なので1つ目のシス
爆速クエリエンジン”Presto”を使いたくなる話
Prestoの導入メリットのほか、HiveQLからPrestoへの書き換えTipsを紹介しますRead less
Hadoop利用者ならきっと知ってる、Hive/Prestoクエリ関数の挙動の違い - Qiita
HiveQLではスピードに難を感じていたため、私もPrestoを使い始めました。 MySQLやHiveで使っていたクエリを置き換える時にハマったTipsをまとめていきます。 AWS AthenaでPrestoを使っている方も増えてると思うので、Presto標準関数での記述例も拡充していきます。 Prestoとは Prestoはオンメモリで動く分散SQLエンジンで、その進化は目を見張る物です。 発表された当時は色々な成約があり使うことを躊躇していましたが、2015年頃からはもう使わない理由はなくなりました。 アドホックに使えるとても高速なSQLエンジンですので、バッチ向けのHiveのように実行結果を待つ時間はほとんどありません。 Hiveですと1つ1つの実行に時間が掛かるので、クエリに慣れていない新参者には辛い物がありました。 しかしPrestoではインタラクティブに実行できますので、トライ
Presto as a Service �- Tips for operation and monitoring
- Presto as a Service in Treasure Data involves deploying Presto using blue-green deployments with no downtime and automatic error recovery of failed queries. - Monitoring Presto involves using its JSON API to view queries and query plans as well as collecting Presto metrics with Fluentd and detecting anomalies. - Benchmarking compares query performance between Presto versions by running predefine
Understanding Presto - Presto meetup @ Tokyo #1
This document summarizes a presentation about Presto, an open source distributed SQL query engine. It discusses Presto's distributed and plug-in architecture, query planning process, and cluster configuration options. For architecture, it explains that Presto uses coordinators, workers, and connectors to distribute queries across data sources. For query planning, it shows how SQL queries are conve
Presto+MySQLで分散SQL
This document discusses Presto, an open source distributed SQL query engine for interactive analysis of large datasets. It describes Presto's architecture including its coordinator, connectors, workers and storage plugins. Presto allows querying of multiple data sources simultaneously through its connector plugins for systems like Hive, Cassandra, PostgreSQL and others. Queries are executed in a p
（2014年総集編3）アドホッククエリーの登場，大規模データセットに対しても高速なレスポンスを実現 - トレジャーデータ（Treasure Data）ブログ
はじめに トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 「Treasure Query Accelerator: アドホッククエリー」の登場は「クエリーを実行したその場で結果が返ってくる」という，一見当たり前のような，しかしバッチクエリーでは困難だったことを可能にしました。これによってTreasure Data Service（トレジャーデータサービス）の活用シーンが大きく広がりました。以下のテーブルはバッチ型とアドホック型の比較をしています。ここで重要なことは，双方お互いにメリット・デメリットがあるということで，必ずしもすべてのシーンでアドホック型への置き換えができないということです。 バッチ型クエリー （Hive）アドホック型クエリー （Presto） 言語 ・HiveQL (SQL Like) ・SQL-92準拠 ケース ・大規模な中間処理データの受け渡
AWS EMRでPrestoを動かしてshibからクエリ流してみる
Spark, SQL on Hadoop etc. Advent Calendar 2014の最終日です。 書くこと AWS EMR/S3 + Hive + Presto + Hue + Shibの環境を構築し、簡単にトライアルしてみる。 Prestoについて Facebookがオープンソースで開発しているMPP(Massively Parallel Processing)クエリエンジン。 本家: Presto - Distributed SQL Query Engine for Big Data TDさんのわかりやすい解説: 『Prestoとは何か，Prestoで何ができるか』 同じ系統のクエリエンジン括りだとImpalaやApache DrillがOSSとして開発されている。MPPクエリエンジン/データベースの大まかな流れや種類、それぞれの使いドコロについてははコチラの記事が最高にまと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Presto As A Service - Treasure DataでのPresto運用事例
