稼働中のFluentdにflowcounter pluginを導入してみた
稼働中のFluentdが、時間帯あたりどの程度のトラフィックを捌いているのかをモニタリングしたいな、、と思って色々探していたら、"fluent-plugin-flowcounter"というプラグインがまさにその目的のために作られたプラグインだったので、導入してみました。 以下、備忘録的に。 fluent-plugin-flowcounter Fluentd界では知らない人がいないtagomoris先生作成のプラグインです。 基本的には、streamで流れてきたデータの"count(件数)"ならびに"bytes(データサイズ)"を計測してくれるプラグインです。 詳しくはgithubのREADMEや、tagomoris先生のブログ記事を参照すると良いと思います。 https://github.com/tagomoris/fluent-plugin-flowcounter http://d.ha
AST情報を用いたHiveの類似クエリーの抽出
ツールとかが公開できれば格好良かったのかもしれませんがそこまで辿り着いて無いので、ブログではコンセプトだけ書きます。 ◯motivation Hive環境において、フレームワーク的な環境で多数の人がHiveQLを使用していると、どうしても同じようなクエリーが多数発行されるような状況になります。 単発のAdHocクエリーならまだ良いのですが、複数の同じようなクエリーがスケジュール実行されていると無駄ですし、データ規模が大きくなればなるほどボディーブロー的にサーバーリソースを食いつぶします。 もちろん目視で、職人的な直感で類似クエリーを抜き出して修正・統合しても良いのですが、似ているクエリーをある程度自動的に抽出する方法が無いか、模索してみました。 ◯AST(Abstract Syntax Tree) 類似クエリーを抽出しようとした際に、HiveQLをもとに解析しようとすると色々ハマります。H
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluent + mongodb + node.js でwebアクセスの準リアルタイム解析 | Day After Neet
