Bucket Map Join with Iceberg 現在HiveコミュニティはPartition-Aware Optimizationという機能の開発に取り組んでいます。これはOpen Table Formatが提供する柔軟なパーティショニングやストレージレイアウトを活用し、Apache Hiveの高度な最適化を有効化するための試みです。 この記事ではその一部であり、先日マージされた『[HIVE-28411] Bucket Map Join on Iceberg tables - ASF JIRA』について解説します。 Hiveに実装されているJOINアルゴリズム 分散Merge Join Map Join Dynamic Partitioned Hash Join Bucket Map Join JOINアルゴリズムまとめ Bucket Map Join w/ Iceberg Ta

Contributions to Apache Hive in 2024 2024年に取り組んだ分散処理OSSに対する貢献のまとめです。今年も引き続きHiveに関する活動が多く、Apache Iceberg関連のコントリビューションも増えたのが特徴かなと思います。 パフォーマンス改善 Hive: Partition Aware Optimization(Bucket Map Join) Hive: CTEをマテリアライズする際に統計情報を伝搬させる Hive: カラムレベル統計情報が不足している場合のヒューリスティクス改善 バグフィックスやエラー処理の改善 Hive: STACK UDFの挙動 Hive: STORED BYのエラーメッセージ Hive: CalciteによるUDF書き換えの挙動 Hive: CBOフォールバックの無効化 Hive: 主キーによる制約条件が存在する場合にNu

Invitation to ASF SNSでご報告した通り、2024年11月12日にApache Hiveコミッターに就任しました。 Hello world! I'm thrilled to announce that I am now an Apache Hive committer. I am more than happy to take on this role and make further contributions in the future.https://t.co/Qv5hiZHRRn— おくみん (@okumin) November 12, 2024 Apacheプロジェクトにおいて、コミッターというのはソースコードに対する変更権限を持った個人を意味します。Apache Hiveの場合、現在111名がコミッターとしてリストに記載されています。 2023年5月19日にコ

2024年10月2日にHive 4.0.1がリリースされました。 Apache Hive 4.0.1 released!!! Announcement:https://t.co/uKQDaJMmYf Release Notes:https://t.co/6mkVL9oc0Q DockerHub:https://t.co/JQfWzAZTWH Thanx to all the contributors who worked towards this release!!!#apache #hive #opensource pic.twitter.com/wyDYXKswFS— Apache Hive (@ApacheHive) October 2, 2024 変更内容について 今後のリリース 変更内容について パッチバージョンの変更なので、バグフィックスやHive 4で観測された性能劣化に対す

Shared Work Optimizer 少し間が空いてしまいましたが、引き続きHive 4に関するアップデートを紹介していきます。今回はパフォーマンス改善についてまとめてみます。 Hive 4関連記事一覧 Vectorization CBO Shared Work Optimizerの強化 統計情報 ヒストグラム 実行時統計情報の再利用 総評 Hive 4関連記事一覧再掲 Hive 4関連記事一覧 Apache Hive 4: 新しく追加されたUDFの紹介 - おくみん公式ブログ Vectorization Vectorizationは複数行をまとめて処理することでメモリレイアウト含む実行効率を改善する仕組みです。最低限よく使われる機能からvectorizationの対応がスタートし、その後継続的にサポート範囲の拡大やさらなる最適化が行われています。 ざっと見る限り、Hive 3.0.

Contributions to Apache Hive 2023年に取り組んだ分散処理OSSに対する貢献のまとめです。今年はApache Hiveのコミュニティが活性化したのでHiveやTezに対する貢献が多めです。 この記事は『Distributed computing (Apache Spark, Hadoop, Kafka, ...)のカレンダー | Advent Calendar 2023 - Qiita』24日目として執筆しました。若干遅れて申し訳ございません。 データ不整合の解消 ネストしたCTEをマテリアライズするとデータが消失する問題 LIMIT OFFSET Pushdownのバグ修正 パフォーマンス改善 Auto Reduce Parallelismの改善 Fair Routingの開発 ジェネリックなAM or TaskレベルのフックをTezに追加 UDTFの出力に

ZooKage 0.2.2をリリースしました。本バージョンを用いることで最新のHiveを手軽に試すことができます。 更新内容 いくつかのソフトウェアで新しめのバージョンを指定できるようになりました。詳しくはリリースノートをご参照ください。 主な目的はアルファ版Hive 4やmasterブランチを手元で試せるようにすることです。現在Hiveの最新安定版は3系で、これはmasterブランチとかなり乖離があります。今回の更新により最新の挙動を確認したり、OSSに提出するパッチの動作確認をする作業が楽になりました。 Hiveのmasterブランチには非常に高度な最適化やIceberg対応などの便利な機能が取り込まれており、同僚の間でもかなり話題になっています。Hive 4のリリースが待ち遠しいですね。 OSS貢献 コマンド一発で動作確認ができるように、ZooKageリポジトリには最低限の動作を確認

HistoryLoggingServiceのAPIを用いてHive on Tezのメトリクスをデータプラットフォームに保存するという、ややマニアックなテクニックを紹介します。本記事は「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2022」14日目の記事として執筆しました。 qiita.com Hive on Tezのメトリクス まずはHive on Tezにどんなメトリクスが存在するか紹介しておきます。Apache Tezはなかなか見やすいWeb UIを持っていて、様々な情報へ手軽にアクセスすることができます。例えばDAG全体の開始・終了時刻、実行時間といった情報や DAG Details Vertex・Task・Task Attemptレベルの情報、 All Vertices DAG・V

TreasureData Tech Talk 2022で発表した内容の補足です。Hive Distributed Profiling Systemの実装方法について、プレゼンテーション中に説明しきれなかった部分を解説します。なお本記事は「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2022」19日目の記事として執筆しました。 qiita.com 参考文献 HDPSを実装する上で工夫した点の補足 Query Simulator Hive on Tez + Java Flight Recorder Plazmaへのイベント格納 Hiveによるスタックトレースの集計 フレームグラフの描画 もっと頑張れるかもしれないポイント 事前に集計したテーブルを作っておく Async Profiler 終わり

先日行われたTreasure Dataのイベントにて登壇させていただきました。タイトルは『Hive Distributed Profiling System in Treasure Data』。 発表内容 要約すると、プロファイリングツールで取得したスタックトレースをビッグデータ基盤に流し込めば、ありえんスケーラブルでありえん自由な分析が可能になる、という発見を事例つきで紹介してきた感じです。 スライドはこちら。 speakerdeck.com 嬉しいことに同じようなシステムを構築してみたいという声も聞こえてきたので、説明しきれなかった部分を後日このブログで補足しようと思っています。具体的な内容はまだ未定ですが、とりあえず自分を追い込むためアドベントカレンダーに参加登録だけしておきました。 qiita.com 謝辞 短くて恐縮ですが、運営に携わってくださった方々やリハーサルにつきあってくれ

Kubernetes上にHadoopサンドボックス環境をコマンド一発で構築するツール、ZooKageをリリースしました。本記事では開発に至った経緯と基本的な使い方を紹介します。 「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020」にエントリーするつもりでいましたが、開発中に枠が埋まってしまったので過去の日付を埋める形で参加させていただきます。遅くなってすみません…… モチベーション Hadoopエコシステムは大量のコンポーネントから成り立っており、その混沌はしばしば動物園に例えられます。手軽に起動する手段が用意されているプロジェクトもありますが、それでもローカルマシンで満足な検証をするには困難を伴います。公私ともに様々なバージョンのHive/Hadoopやそれらへのパッチを検証すること

2020/2にbefore 600点台（正確な値は紛失）から始めて2020/9に目標(900点以上)を達成しました₍₍ (ง´･_･`)ว ⁾⁾ うれC ₍₍ (ง´･_･`)ว ⁾⁾ ₍₍ (ง´･_･`)ว ⁾⁾ ₍₍ (ง´･_･`)ว ⁾⁾ pic.twitter.com/pKDX2mPmW6— まっちゃら (@matsu_chara) 2020年9月28日 英語学習は最初の入門のところが割と難しいなと思ったので、やったことをまとめておきます。（なお、この記事は頑張ったから自慢したい気持ちが90%、他の人に参考になったらなという気持ちが10%で提供されています。） ちなみに英語指導経験があるとか、すごいペラペラになったとかそういう感じではないので、近くに英語に詳しい人がいる場合はそちらの人の言うことに従うのがおすすめです。（あくまで素人がやったことが書いてあるだけ） 基本的にリスニ

平成三十一年四月十四日をもって株式会社ドワンゴを退職しました。 そのご報告と、ほぼプログラミング経験のない自分をエンジニアとして採用し、様々な経験を積ませていただいたドワンゴの皆様へ感謝をお伝えしたいと思います。 思い出 私は 2013 年に新卒採用を経てドワンゴに入社しました。 今でこそ少数精鋭で優秀な方しか入れないドワンゴですが、当時はポテンシャル枠のようなものがあり、たまたま*1入社することができました。 なぜ入社できたのか今でも全く分かりませんが、内定者懇親会などで出会った同期のみんなが優秀過ぎて入社までの間泣きそうになりながら修行したことを覚えています。 入社後は主に Scala を用いた niconico アカウントシステムの開発及び Hadoop を用いたデータ分析プラットフォームの提供に携わっていました。 niconico アカウントシステム 入社してから最初の約三年間は主

見積もりについて思ってることとかをまとめてみました。 マネージメントの実戦経験というよりソフトウェア開発手法について学んだ結果のアウトプットみたいなノリでみていただければ幸いです。 社内勉強会で話したので会社のスライド使ってますが、会社が今こうというわけではなく一般的な話にとどめています。（あとstudy_lean_agileっていう名前の勉強会なんですが、このスライドはリーンもアジャイルもあまり意識していません） 前半は自分なりの考え方、後半は具体的にはこうしたらいいんじゃないかと思っていることという風に分けています。 誰のための見積もり・何のための見積もり part1 from matsu_chara Matsubayashi www.slideshare.net 誰のための見積もり・何のための見積もり part2 from matsu_chara Matsubayashi www.s

はじめに ドワンゴではniconicoの配信系サービスのバックエンドで利用するために、Frugalosという名前の分散オブジェクトストレージを開発しているのですが、この度OSSとして公開することとなりましたので、この場を借りて軽く紹介させて貰います。 FrugalosはRustで実装されており、現時点では以下のリポジトリが公開されています: raftlog_protobuf: raftlogへのProtocol Buffersサポートの追加 “Frugalos"って何？ “Frugal object storage"の略です。 “frugal"は日本語では「倹約な」や「節約する」といった意味となり、「読み書き性能を犠牲にせずに、膨大な数のBLOB（Binary Large OBject）を、容量効率良く保持する」ことを目指して開発されているオブジェクトストレージです。 提供されている機能は

One of the cornerstones of ScyllaDB is the I/O Scheduler, described in details at the moment of its inception in a two-part series that can be found here (part 1) and here (part 2). In the two years in which ScyllaDB has been powering mission-critical workloads in production the importance of the I/O Scheduler was solidified and as our users have attested themselves, it plays a key part in isolati

Cache control For both read/write and mmap, caching is the responsibility of the kernel. The majority of the system’s memory is given over to the page cache. The kernel decides which pages should be evicted when memory runs low; when pages need to be written back to disk; and controls read-ahead. The application can provide some guidance to the kernel using the madvise(2) and fadvise(2) system cal