1000台規模のHadoopクラスタをHive/Tezアプリケーションにあわせてパフォーマンスチューニングした話
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者： 関山 宜孝 （Amazon Web Services Japan） 昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりどころ、トラブルシューティング方法などをご紹介します。併せて、Hadoop/Spark に関係する S3 のサービスアップデート、S3 関連の Hadoop
スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez - GMOインターネットグループ グループ研究開発本部
2015.12.22 スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez １、初めに 次世代システム研究室のL.G.Wです。最近リリースした関連記事推薦システム：TAXEL byGMOに携わっております。 このシステムは多様なデータソースからの集計・解析・ETLが重要になるので、性能とビジネス要件を満たすSQLエンジンを選定するため、主要なSQLエンジンのベンチマークテストを実施しました。 “Small Start, Scale Fast” – 最初のハードウェアコストをなるべく低く抑え、ビジネスが拡大したらシステムも拡張できることが前提です。主にバッチ処理用途で、ある程度のリアルタイム性も要求されます（数分間～1時間内）。データの規模は数十GBから数TBくらいの想定です。 主要なSQLエンジンとして、スケーラビリテ
Hadoop Source Code Reading #17でしゃべりました
Hadoop Source Code Reading #17 from Shingo Furuyama という内容でしゃべってきました。なにげに勉強会的なものに出席するのもしゃべるのも久しぶりでした。 内容についてはこちらを参照いただければと。たいへんよいまとめでそういえばこういう話をしていたなあというふりかえりに役立ちました。 中身については、特別言い残したこともなく、とりあえず現時点での僕の理解は大体スライドに入れることができました。しいて言うと、というか普通にHive/Tezまわりの話は期待されていたようなのですが、別にHiveとかそんなに好きじゃないんで、この豚野郎！ Hive/Tezについては、TwitterをちらみしたらIn Productionな広告関連のナウいベンチャーがあるようなので、そちら方面からはおいおい情報が出てくるのではないかと思います。Tez vs MapRed
Hadoopソースコードリーディング 第17回に参加してきました | DevelopersIO
Hadoopソースコードリーディング 第17回に参加してきました。今回のテーマは7月にApacheのTop-Level Project入りしたばかりのApache Tezについてでした。なお、全体的にApache Sparkと比較する形での説明が多かったので、Sparkについてご存じない方は前回のHadoopソースコードリーディング 第16回に参加してきましたをご参照下さい。 NTTデータ濱野さんの冒頭の挨拶 今日は別のイベントも多いためいつもの半分ぐらいの参加者だが、その分Deepにやれれば いつもの会場だと途中からピザとお酒だが、今回の会場は飲食禁止なので最後までシラフで Tezに関する勉強会は初回なのにいきなりタイトルがInternalsとかになってますねｗ Tez Internals （@oza_x86 さん） @oza_x86 さんからはTez Internalsということで、S
リピさんとオザさんのTezとSparkの会話
repeatedlyさんとoza_x86さんのTezとSparkに関する会話をまとめさせていただきました。
Apache Tez Source code reading
tez-reading.md Tez source code reading LICENSE This document is distributed under Apache 2 Licenses. All source code described in this document is from Apache Tez project. Links Apache Tez : Accelerating Hadoop Query Processing by Bikas Saha Hive + Tez: A Performance Deep Dive by Jitendra Pandey and Gopal. V What's is Tez? Quoting from http://tez.apache.org/: Empowering end users by: Expressive da
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Configuring Tez - Hortonworks Data Platform
Hadoop Source Code Reading #17