稼働中のFluentdにflowcounter pluginを導入してみた
稼働中のFluentdが、時間帯あたりどの程度のトラフィックを捌いているのかをモニタリングしたいな、、と思って色々探していたら、"fluent-plugin-flowcounter"というプラグインがまさにその目的のために作られたプラグインだったので、導入してみました。 以下、備忘録的に。 fluent-plugin-flowcounter Fluentd界では知らない人がいないtagomoris先生作成のプラグインです。 基本的には、streamで流れてきたデータの"count(件数)"ならびに"bytes(データサイズ)"を計測してくれるプラグインです。 詳しくはgithubのREADMEや、tagomoris先生のブログ記事を参照すると良いと思います。 https://github.com/tagomoris/fluent-plugin-flowcounter http://d.ha
AST情報を用いたHiveの類似クエリーの抽出
ツールとかが公開できれば格好良かったのかもしれませんがそこまで辿り着いて無いので、ブログではコンセプトだけ書きます。 ◯motivation Hive環境において、フレームワーク的な環境で多数の人がHiveQLを使用していると、どうしても同じようなクエリーが多数発行されるような状況になります。 単発のAdHocクエリーならまだ良いのですが、複数の同じようなクエリーがスケジュール実行されていると無駄ですし、データ規模が大きくなればなるほどボディーブロー的にサーバーリソースを食いつぶします。 もちろん目視で、職人的な直感で類似クエリーを抜き出して修正・統合しても良いのですが、似ているクエリーをある程度自動的に抽出する方法が無いか、模索してみました。 ◯AST(Abstract Syntax Tree) 類似クエリーを抽出しようとした際に、HiveQLをもとに解析しようとすると色々ハマります。H
Day After Neet: NHN Japan株式会社を退職いたします
「LINE株式会社（仮）に入社出来ませんでした」みたいな釣りタイトルにしても良かったのですが、転職系のエントリは真面目に書いたほうが良いかなと思って。 有給消化期間がまだ結構残っているのですが、本日3月22日が最終出社日でした。 ２年ちょっとNHN Japan（NAVER Japan時代含む）で働いてきました。入社後すぐにアプリ開発のため韓国に１ヶ月出張したり、まとめやLINEの成長に微力ながら関われたり、僭越ながら様々な場所で登壇をさせていただいたり、と、２年という月日では単純に表せられない位の濃密な時間を過ごさせて頂きました。 その中で、LINEというサービスの道程を通じて、世界で受け入れられるサービスに必要なものはどういうものなのか、、、理解できたとはとても言えませんが、比較的近い場所で目の当たりにすることが出来たのは非常に大きな経験になったと感じています。 また、優秀なエンジニアと
"Programming Hive" 輪読会 #1
掲題の会を社内で実施しました。 幸い（？！）なことに、メンバー中で僕が一番Hiveについて詳しくない、という状況で輪読会が実施できたので、「皆に教える」というより、「自分の拙い部分を指摘してもらい、僕が勉強する」という、僕としては理想的な会になりました。 使用した資料は以下です。 "Programming Hive" Reading #1 from moai kids 資料としてはかなり説明不足な点が多いので、会の中で教えてもらった事も含めて補足します。 ◯P8 Bucketing Table "CLUSTERD BY" に指定したカラムがBucket数分一様に分散されるのであれば動作するが、たとえば特定のBucketにデータが偏るような状況では上手く動作しないケースがある。 Bucketing Tableの作成時には、基本的にはBucket数分Reducerが動作します。 たとえばBuc
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
