hadoop hdfsでファイル数を監視するスクリプトを作ったのでメモ - better done than better said

hadoop hdfsでファイル数が増えすぎるのを防ぐために他スクリプトで圧縮や期間を見て削除するなど対策をしています。 しかしそれでも特定のサービスディレクトリにファイル数が急増してしまう問題があったため個別に閾値を見直せるために雑なスクリプトを作ったのでメモ。 閾値を超えている場合はslackに通知を行います。 #!/usr/bin/env bash # 基本の閾値 avg=10000 # slackに通知 url="https://hooks.slack.com/services/xxxxxxxxx/xxxxxxxxx/xxxxxxxxxxxxxxxxxxxxxxx" # 個別に閾値を設定したい場合は配列に入れておく data=( '/services/a/z 50000' '/services/a/x 100000' '/services/b/z 100000' '/service