AST情報を用いたHiveの類似クエリーの抽出

ツールとかが公開できれば格好良かったのかもしれませんがそこまで辿り着いて無いので、ブログではコンセプトだけ書きます。 ◯motivation Hive環境において、フレームワーク的な環境で多数の人がHiveQLを使用していると、どうしても同じようなクエリーが多数発行されるような状況になります。 単発のAdHocクエリーならまだ良いのですが、複数の同じようなクエリーがスケジュール実行されていると無駄ですし、データ規模が大きくなればなるほどボディーブロー的にサーバーリソースを食いつぶします。 もちろん目視で、職人的な直感で類似クエリーを抜き出して修正・統合しても良いのですが、似ているクエリーをある程度自動的に抽出する方法が無いか、模索してみました。 ◯AST(Abstract Syntax Tree) 類似クエリーを抽出しようとした際に、HiveQLをもとに解析しようとすると色々ハマります。H

[TOKOROTEN]

“Day After Neet: AST情報を用いたHiveの類似クエリーの抽出”