fluentd 復習（1）〜 fluentd-plugin-datacounter と fluent-plugin-map や fluent-plugin-dd を使った可視化の例〜 | iret.media
ども、 cloudpack の かっぱ (@inokara) です。 はじめに 蓋を開けると… fluentd を全然使いこなせていないでちょっとずつ復習を兼ねて使ったことないプラグインを使ってみる。今回は fluent-plugin-datacounter を使ってみる。 ゴール 今回は fluent-plugin-datacounter を利用して各ホストから送信されるレコードに含まれるキーの値を集計して Datadog で可視化するまで。 図で表すと上のような流れにしたい。 fluent-plugin-datacounter とその他、今回登場するプラグイン 参考 サーバ／インフラエンジニア養成読本 ログ収集〜可視化編 fluent-plugin-datacounter tagomoris/fluent-plugin-datacounter · GitHub レコードから正規表現パタ
非常に安易なnginx reverse proxyの作り方 | iret.media
こんにちは、cloudpack の 齋藤(saitara) です。 今回はCentOSを前提としていますが、多くのUN*X系システムにおいて同様の方法で実現できるはずです。 環境の準備 tmpfsを準備する /etc/fstab に以下のエントリーを追加し、OSで使用できるうちの20%のメモリを tmpfs として確保します。ディスクへの読み書きを減らし、速度向上・環境によるストレージ利用制限を回避を実現します。 tmpfs /var/cache/nginx tmpfs defaults,noatime,mode=1777,size=20% 0 0 nginxの準備 導入方法の確認 nginx公式ページにて導入方法を確認します。 Installing nginx 今回はCentOSですので、更にLinux系のページヘ進みます。 nginx: Linux packages リポジトリの追加
Python 製負荷テストツール Locust を Docker コンテナで試す | cloudpack.media
ども、cloudpack の かっぱ (@inokara) です。 はじめに 負荷試験ツールで個人的に好きなのは Siege ですが、負荷試験ツールの代名詞 JMeter の影に隠れてイマイチ存在感が薄いようです。やっぱり JMeter 一択なのかなと思っていた矢先に Locust という Python 製の負荷試験ツールがあることを以下のような記事で知りました。 Python製負荷試験ツールLocustで、分散負荷試験環境を準備する Docker + Google Container Engine でドカドカ負荷テスト 自分も百番煎じ位ですが boot2docker を使ってドカドカ Docker で Locust を試してみたいと思います。尚、オフィシャルサイトやドキュメントは下記の通りです。 locust.io Locust Documentation ちなみに Locust とはワ
nagiosで監視を有効にしつつアラート通知を無効にする方法 | iret.media
こんにちは、cloudpack の 三浦剛慈 です。 やること nagiosでサーバ監視設定をして状況をWEB-UIから確認はしたいが、メール等によるアラート通知はさせないようにする設定手順について記載します。 ちなみに、configファイルを書き換えることなく、WEB-UIから設定可能です。 初期の監視設定作業時で、通知メールがバンバン飛ばないようにしたい時などに役立つかと思います。 前提条件 nagiosのcgi.cfgで”use_authentication=1″に設定されていること。 (設定を変更した場合はapacheをリスタートして反映させる必要があります) 手順 以上です。 元記事はこちらです。 「nagiosで監視を有効にしつつアラート通知を無効にする方法」
Munin徹底入門 〜ねぇMunin、ソース頂戴♪〜 | iret.media
こんにちは、cloudpackの津村です。 冗談はさておき、久々に Munin を調べたのですが、みんなプラグインを書いて満足してるようなので、体力勝負で割りとガチで解説してみます。 Muninとはいえ人の子なので、運用面などについてもソースコードから紐解いてみました。 ちゃんとMuninの動作しってる人、どれだけ居るんだろ？ 事前準備 ここでは、CentOS6のAMIにepelリポジトリをインストールし、そこからmuninをインストールします。 まず、CentOS6系のAMIを適宜用意します。 この際、謝罪(SELinux)、武装解除(iptables, ip6tables)、及び更新(yum update)を済ませておいてください。 EPELリポジトリをインストールします。CentOS6系の場合、el6のrpmをインストールします。 EPEL – FedoraProject 尚、以下の
Jenkins/GitLab でデプロイツールを作る | iret.media
こんにちは、cloudpack の 田村です。 【お題】下記条件を満たしたデプロイツールを作成せよ インスタンスの増減に対応 ロールバックが可能 既存のデプロイツール(rsync)と融合 複数システムで使用 「SVN+Capistrano」のデプロイツールは実績があるものの下記課題があるため作り直す。 バージョン管理でconflictすると面倒くさい デプロイ実行履歴がログからしか分からない デプロイしたコンテンツの差分がコマンドからしか分からない 世間的にお手製のツールは信頼性が低い バージョン管理でconflictすると面倒くさい問題 →コマンド実行するサーバを絞る デプロイ実行履歴がログからしか分からない問題 →Jenkinsで見やすく デプロイしたコンテンツの差分がコマンドからしか分からない問題 →GitLabで見やすく 世間的にお手製のツールは信頼性が低い問題 →オープンソースを
Elasticsearch の search api を sense で復習するメモ（1） | iret.media
ども、cloudpack の かっぱ（@inokara）です。 はじめに 前回の記事で @johtani さんに default_operator についてコメント頂いて、default_operator は全く意識しておらず自分のニワカっぷりに辛くなったので default_operator を含め search api と simple_query_string にフォーカスして改めて復習することにしました。（筆者の体力の都合上、全てを本ポストに記載するのは辛いのでシリーズ化してちょっとずつ書いていきます…） 今回は生で curl を叩くのではなくて Marvel に同梱されている sense を使って叩いてみたいと思います（案の定 Sensu と間違えました） 参考 search apis simple_query_string Elasticsearch Marvelの紹介と第一印
dstat の結果を fluentd を利用して growthforecast に飛ばすチートシート
どうも、三丁目の可視化野郎ことかっぱ (@inokara)です。ちょっと急ぎでインスタンスのリソース可視化環境を作る必要になりましたとさ…。 はじめに CloudWatch を補助する意味合いもあり dstat での結果を fluentd と growthforecast を利用して可視化したいと思います。本記事作成にあたり以下を参考にさせて頂きました。 dstatをfluentd + GrowthForecastで可視化する dstat + fluentd + Graphite + Grafana でサーバモニタリングする 登場人物 dstat fluentd(td-agent) Growthforecast それぞれの登場人物についての説明は割愛させて頂きます。Amazon Linux の場合には dstat はインストールが必要ですのでご注意下さい。 sudo yum install
rsyslog で作成されるファイルパーミッションを指定する | iret.media
どうも、インフラエンジニヤ見習いやり直し中のかっぱ（@inokara）です。 デフォルトだと… Amazon Linux の場合では（CentOS も同じかと思います）rsyslog が作成するファイルの権限は 600 で作成されます。この場合にはログを確認する際には root の権限が必要になります。基本的には問題無いかと思いますが、他のアプリケーション連携を考慮した場合にはログのパーミッションを一時的に変更するなので対処が必要になります。 ファイルパーミッションを指定するには… ということで、rsyslog でもファイル作成時のパーミッションを以下のパラメータで指定することが出来るようです。 ただ、設定上では上記で指定可能ですが、/etc/init.d/rsyslog で umask 077 という指定が冒頭に設定されており、この設定で上書きされてしまい上記の設定が有効にならないようで
fluent-plugin-forest を使ってログを効率よく出し分けたのでメモ | iret.media
どうも、手短野郎かっぱ（@inokara）です。今回も手短に。 効率よく = 設定ファイルを最小限に 下図のように複数の VirtualHost のアクセスログファイルを読み込んで S3 のバケットに読み込むファイル毎にフォルダを作ってログを放り込むようなことをしたいと思った時に… うっかりとして各ログファイル毎に match ディレクティブを書いてしまいそうになった時、fluent-plugin-forest に出会い、td-agent.conf の設定は下記のように設定することで冗長な td-agent.conf にならずにすみました。 <source> type tail path /var/log/httpd/access_xxxxx.log pos_file /var/log/td-agent/access_xxxxx.log.pos tag apache.xxxxx forma
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
