ベアメタルで実現するSpark＆Trino on K8sなデータ基盤
Trino Conference Tokyo 2023 https://techplay.jp/event/907388 #trinodbRead less
Trino Conference Tokyo 2023 https://techplay.jp/event/907388 #trinodbRead less
Amazon EMR のバージョンアップ 3/3：Presto から Trino への移行 - Repro Tech Blog
前回の続きです。 EMR 5.36.1 から EMR 6.15.0 への更新 使用するアプリケーションのバージョンは以下のようになりました。OS は Amazon Linux 2 です。 アプリケーション等 EMR 5.36.1 EMR 6.15.0 Tez 0.9.2 0.10.2 Hue 4.10.0 4.11.0 Hive 2.3.9 3.1.3 Hadoop 2.10.1 3.3.6 Presto 0.267 0.2831 Trino N/A 426 Hive, Hadoop, Tez については前の記事で確認済みなので、ここからはそれ以外の要素について検討していきます。 一番問題になったのは Presto から Trino への移行です。Trino 移行に関係して発生した事柄を列挙します。 Datadog Agent の設定変更 任意の期間の指定したタイプのクエリを実行して結果の
はじめに 2023年10月5日(木)にTrino / Presto Conference Tokyo 2023 (Online)が開催されました。本記事はイベントにて発表した内容をご紹介します。 社内の監視サーバについて さくらインターネットでは現在社内の各チームでPrometheus, Elastic Stack, Lokiなどの監視基盤を個別に運用しています。この状態では運用負荷が大きいためSRE室でログ基盤を提供することにより、運用の手間を減らすことや運用レベルを底上げしてコスト削減ができるのではないかと検討しています。既存のOSSでの運用も行ってみたものの、マルチテナント提供・ライセンス体系の問題など課題があったことからTrinoとIcebergでの開発を始めました。 Icebergとは Icebergはビッグデータ・データレイクを構築するためのストレージフォーマットです。データの
分散SQLクエリエンジンTrino徹底ガイド 作者:Matt Fuller,Manfred Moser,Martin Traverso秀和システムAmazon オライリーから出ているTrino: The Definitive Guideの翻訳だそうです。以前から風の噂で翻訳しているという話を聞いてはいたのですが、ついに発売されたようなので購入してみました。どう考えてもそんなに部数出ていないと思うのですが、近所のさほど大きくない書店でも売っていたので驚きました。 近所の書店にTrino本が売ってたので義務として購入した。 pic.twitter.com/CkA3GwxMzn— Naoki Takezoe (@takezoen) March 25, 2024 もともとPresto版のThe Definitive Guideが2020年に出たものの、Facebook社との名前騒動によりPrest
TrinoとIcebergで ログ基盤の構築 / 2023-10-05 Trino Presto Meetup
https://techplay.jp/event/907388 https://www.youtube.com/watch?v=CTwk2rkatx8
「Trino Japan Community Meetup 2024」での発表資料です。
Presto/Trinoは分散クエリを高速に実行するためにストリーミング型のアーキテクチャを採用しているのですが、このためクエリ内に重複箇所があっても複数回並列に実行されてしまうという問題があります。わかりやすい例だと、CTEで定義したクエリを複数回参照した場合、参照した回数分そのクエリの処理が実行されてしまいます。複数回実行されるクエリが重く、参照回数が多い場合、このコストはかなり厳しいものになります。 調べてみたところ、Presto由来のクエリエンジンでいくつかの対策が行われていたのでまとめてみました。 openLookeng openLookengというのはHUAWEIがオープンソースで開発しているビッグデータプラットフォームのようなのですが、クエリエンジンはPrestoをベースとしているようです。こちらではCTEに専用のオペレータを導入し、複数のコンシューマのキューにデータをプッシ
Trino Japan community meetup 2024｜IT勉強会・イベントならTECH PLAY［テックプレイ］
概要 Trinoのイベントを2019年ぶりにオフラインで開催します！今年3月には日本語の書籍としては初となる『分散SQLクエリエンジンTrino徹底ガイド』が発売され、ますます人気となっているTrinoについて、実際に運用や開発を行っているエンジニアのお話を聞くことができます。 Trinoを数年間利用しているLINEヤフー社およびNTT Communications社、Trinoを最近利用し始めたSmartHR社およびWoven By Toyota社からの発表を予定しており、Trinoを最近使い始めた方から長くお使いの方まで幅広い方々が楽しめるイベントになると思います。 本イベントは完全オフラインの予定です。発表資料は公開予定ですが、ストリーミングの配信やアーカイブの公開は行いません。 懇親会は有志のメンバーでイベント後に同ビル内にあるレストランへ移動して行う予定です。会費は一人当たり50
「Trino Japan Community Meetup 2024」での発表資料です。
前半は仕事が忙しすぎてOSS活動どころではなかったのですが、後半から少し余裕ができたのでTrinoにも細かい改善やバグ修正などいくつかPRを送って取り込んでもらうことができたので記録のためにまとめてみました。 Fix error message in SqlTimestampWithTimeZone by takezoe · Pull Request #18049 · trinodb/trino · GitHub エラーメッセージを修正しただけ。 別件でタイムスタンプ周りのコードを眺めていて見つけた。 Check type of filter expression at statement analysis by takezoe · Pull Request #18460 · trinodb/trino · GitHub window関数のfilterにboolean以外の式を書いた場合に
予想はしていましたが、やはりこの頻度はまあまあきつい…。あと細かい改善やリファクタリング、バグ修正などはリリースノートに載らないのでcoreや使っているコネクタだけでもコミットログまでちゃんと見ないとダメかも。 原文はこちら: https://trino.io/docs/current/release/release-458.html General 冗長なDISTINCTを含むクエリのパフォーマンスを改善（入力がすでにAggregateされている場合に不要なDISTNCTを削除する最適化が追加された） (#23087) JDBC OpenTelemetryトレーシングをサポート (#23458) Trino 457で導入されたnon-shadeバージョン（依存ライブラリのバンドルなし）のJDBCドライバの提供を廃止（もともとOpenTelemetryがshadeされたクラスをちゃんと読め
Trinoから、Hive connectorでAmazon S3互換のオブジェクトストレージMinIOにアクセスしてみる - CLOVER🍀
これは、なにをしたくて書いたもの？ Trinoから、Amazon S3のようなオブジェクトストレージにアクセスしてみたいな、ということで。 今回はAmazon S3互換のオブジェクトストレージであるMinIOを使って、Trinoからアクセスしてみたいと思います。 MinIO | High Performance, Kubernetes Native Object Storage TrinoからAmazon S3のようなオブジェクトストレージにアクセスするには、Hive connectorを使うとよさそうです。 Hive connector — Trino 393 Documentation Hive connector Hive connectorのドキュメントは、こちら。 Hive connector — Trino 393 Documentation また、Hive connector
Trino, Starburst Galaxy & Enterprise Trino Conference Tokyo 2023 Yuya Ebihara
以前Presto/Trinoでのサブクエリ重複実行問題について書いたのですが、 takezoe.hatenablog.com その後調べたところ、最近のバージョンのPrestoDBではCTEの最適化機能が実装されているようなので少し調べてみました。 以下は公式サイトのCTE最適化機能に関するドキュメントです。 prestodb.io 以下のイシューを起点にして作業が進められているようです。 github.com CTEの出力を一時テーブルに書き出し、それをスキャンするという実装のようです。 github.com 当初は単純にすべてのCTEをマテリアライズするかどうかしか選択できなかったようですが、その後強化されてCTEにプロジェクションやフィルタをプッシュダウンできるようになったり、参照回数が閾値以上の場合にマテリアライズするといったことができるようになっています。 github.com
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TrinoとIcebergでログ基盤の構築 | さくらのナレッジ
分散SQLクエリエンジンTrino徹底ガイド - たけぞう瀕死ブログ
大規模Hive-Trino移行PJの事例紹介
Presto/Trinoのサブクエリ重複実行問題について - たけぞう瀕死ブログ
Trinoの長期運用から学んだこと
今年のTrinoへのコントリビューションをまとめてみた - たけぞう瀕死ブログ
Trino 458リリースノート日本語訳 - たけぞう瀕死ブログ
Trino, Galaxy and Starburst Enterprise
PrestoDBのCTE最適化機能とTrinoでの今後の対応について調べてみた - たけぞう瀕死ブログ