fluentd 復習（2）〜 fluentd-plugin-secure-forward を利用したセキュアなログデータ転送〜 | iret.media
ども、 cloudpack の かっぱ (@inokara) です。 はじめに fluentd 復習シリーズ第二弾。fluentd-plugin-secure-forward をざっくりと試してみたい。 参考 tagomoris/fluent-plugin-secure-forward · GitHub Fluentd message forwarding with authentication and encryption fluent-plugin-secure-forwardを試してみた – MakeitSmart! fluent-plugin-secure-forward について 機能 fluent-plugin-secure-forward は以下のような機能を提供する。 SSL によるセキュアなデータ転送（自己証明書利用可能） 共有鍵を利用した認証によるデータ転送 ユーザー名
fluentd 復習（1）〜 fluentd-plugin-datacounter と fluent-plugin-map や fluent-plugin-dd を使った可視化の例〜 | iret.media
ども、 cloudpack の かっぱ (@inokara) です。 はじめに 蓋を開けると… fluentd を全然使いこなせていないでちょっとずつ復習を兼ねて使ったことないプラグインを使ってみる。今回は fluent-plugin-datacounter を使ってみる。 ゴール 今回は fluent-plugin-datacounter を利用して各ホストから送信されるレコードに含まれるキーの値を集計して Datadog で可視化するまで。 図で表すと上のような流れにしたい。 fluent-plugin-datacounter とその他、今回登場するプラグイン 参考 サーバ／インフラエンジニア養成読本 ログ収集〜可視化編 fluent-plugin-datacounter tagomoris/fluent-plugin-datacounter · GitHub レコードから正規表現パタ
fluent-plugin-file-alternative の symlink_path メモ | iret.media
ども、 cloudpack の かっぱ (@inokara) です。 はじめに fluent-plugin-file-alternative で日付毎にログを吐きたいけど監視ツールからそのログを監視したいと思った時に監視ツールの設定ファイルを日付毎に用意、書き換えるのは現実的ではないと思ったので fluent-plugin-file-alternative で何とか対応出来ないかなと思っていたら symlink_path というオプションがあったので使ってみたメモ。 参考 tagomoris/fluent-plugin-file-alternative プラグインのインストール /usr/lib64/fluent/ruby/bin/gem install fluent-plugin-file-alternative --no-ri --no-rdoc -V td-agent.conf 以下
Check! はじめての fluentd を Amazon Linux で動かしてみる (ログを PHP から送る) | iret.media
こんにちは、cloudpack の @dz_ こと大平かづみです。 Prologue – はじめに Fluentd について勉強をはじめました！ インフラ学校1年生の私ですが、ドキュメントを参考にPHPプログラムからログを送るところまで実践できました！ 自身の備忘録がてら綴ります。尚、今回は Amazon Linux (t2.micro) で作業しました。 Fluentd のための前準備 まずは 前準備 として、以下を事前に行っておくことが推奨されているようです。 NTP (Network Time Protocol) の設定 ログのタイムスタンプに影響するため、しっかり設定するのが推奨されています。 (私は今回はタイムスタンプは特に重要でなかったので、設定していません。) ファイルディスクリプタの最大値の調整 ulimit -n 65535 であればOKだそうです。 これより数値が低い場
ELB からのヘルスチェックアクセスで出力されるアクセスログを fluentd で良しなに振り分けるメモ | iret.media
ども、cloudpack の かっぱ (@inokara) です。 はじめに Elastic Load Balancing(以下、ELB) に限らず Proxy サーバーからアプリケーション・サーバーへのヘルスチェックが access.log に溜まるのは嫌なだなーと思ったので Fluentd で何とかならないかなって思っていたら簡単に何とかなったけどメモ。 Apache や Nginx であれば、それぞれの設定でログに記録させない方法があるけど、Web サーバーを簡単に再起動出来ないけどログをちゃんと収集したい等のニーズ（があるか分からない）がある場合に役立つかな。 fluent-plugin-rewrite を使う 個人的に fluent-plugin-rewrite を利用するのがサクッと動いて嬉しかった。 ということで… アクセスログを眺めていたら ELB のユーザーエージェントは
Hosted Graphite を使って 5 分で始める俺の可視化（2）~ fluentd からメトリクスを送る ~ | iret.media
ども、cloudpack の かっぱ (@inokara) です。 はじめに Hosted Graphite に fluentd からメトリクスを送ってみたいと思いますので fluentd プラグインを作ってメトリクスを送ってみたい。 参考 Docs » Getting Started With Hosted Graphite Docs » Language Guide fluent-plugin-graphite Hosted Graphite にメトリクスを送る為には… 基本的には… API Key が必要になる 従来の Graphite と同様に TCP や UDP を利用する Hosted Graphite ではない普通の Graphite は Render API ってのはある 実際に送る… TCP で送る場合には… echo "YOUR-API-KEY.conc_users 1
DynamoDB Local を Docker コンテナで動かすメモ（2） | iret.media
ども、cloudpack の かっぱ (@inokara) です。 はじめに 前回、前々回からの続きです。 室内の温度を計測して fluentd を経由してログに出力していましたが、これを DynamoDB Local に突っ込んでみるメモです。 参考 [AWSマイスターシリーズ] Amazon DynamoDB Amazon DynamoDB（初心者向け 超速マスター編）JAWSUG大阪 Dynamic ダイ○マ～ 以下のようなイメージです… fluentd プラグイン fluentd から DynamoDB にデータを送る場合には以下のような Output プラグインがありますが… fluent-plugin-dynamodb fluent-plugin-dynamodb-alt fluent-plugin-dynamodb は DynamoDB Local には対応していない（SDK
RaspberryPi – WebIOPi でブラウザから LED チカチカ | iret.media
ども、cloudpack の かっぱ (@inokara) です。 引き続き… 冬休みの自由研究です。 試したレベルですいません…あと、LED の点灯と消灯写真は過去記事の使い回しですがちゃんと点灯、消灯は確認しておりますのでご了承ください。 参考 webiopi/CONFIGURATION webiopi/RESTAPI コチョナナバ: Raspberry PiのGPIOをブラウザからいじれるWebIOPiを試してみた ブラウザから LED をチカチカ出来る WebIOPi を試してみました。 WebIOPi 試してみましたレベルでは語れないくらい多くの機能があるようです。 Tutorial_Basis Web サーバーは Python で実装されていてブラウザからのコントロールは JavaScript で REST API を叩いているようです。→ということは、いろんなプログラムから操
fluentd-ui を改めて使ってみる
ども、Fluentd Advent Calendar 2014 21 日目担当、初心者枠の cloudpack の かっぱ (@inokara) です。 はじめに Fluentd をブラウザで操作出来る fluentd-ui を以前に少しだけ触ったことがありましたが、しばらく間を開けている間にバージョンアップが行われているようですので、以前に書いた記事を見ながら改めて触ってみたいと思います。私自身、それほど Fluentd や td-agent をそれほど使い込んでいるわけではありませんので、そのレベルのユーザーが触ってみたレベルの内容になってしまっていることをお詫び申し上げます。 fluentd-ui とは（参考） GitHub にて公開されております。 fluent/fluentd-ui ざっくり、以下のような機能を提供しています。 fluentd / td-agent の導入 Web
ラズパイで mod_mruby と fluent-logger-mruby を組み合わせてアプリケーションログの取得を試してみる | iret.media
ども、最近ちょっと体調不良の cloudpack の かっぱ (@inokara) です。 はじめに ラズパイ触ってあげたいのでネタを探しているというわけではありませんが、ラズパイで mod_mruby を動かしつつアプリケーションログとして fluent-logger-mruby を介してロギングしてみました。 追記（2014/11/30) @matsumotory さんから助言をいただきまして /etc/apache2/mods-enabled/mruby.conf にソースコードをベタ書きしていたのを以下のように修正しました。 mrubyHandlerMiddle /etc/apache2/hooks/test.rb cache mrubyHandlerMiddle にスクリプトのパス、そして cache を付加することで Apache を再起動する際にスクリプトがコンパイルされてキ
朝の 3 分ハッキング（4）fluentd の monitor_agent から値を取得する munin のプラグインをこさえた | iret.media
ども、cloudpack のかっぱ (@inokara) です。 はじめに Munin を超久しぶりに触る機会があってプラグインが簡単に作れそうなので見よう見まねで作ってみました。 参考 Fluentdの監視 moaikids/munin-fluentd muninプラグインを作成 muninでRDSのグラフ作成 Munin / protocol-config とりあえず出来た スクショ ソースコード munin-fluentd_monitor_agent とりあえずな状態で以下のような問題点がありますので引続き修正していきます。 README も書きます。 問題点 retry_count と buffer_queue_length はカウント、buffer_total_queued_size はバイト上記をそれぞれ別のグラフに出し分けるようにする… 環境変数（/etc/munin/plu
Muninにtd-agent/fluentdのプラグインを入れる(CentOS6.5) | iret.media
こんにちは、cloudpack の 佐藤 裕行 です。 Fluentdを可視化したい！ 手っ取り早く可視化したかったため、実装。 以下の値をグラフ化することができます。 fluentd_process プロセス数の取得 fluentd_resource メモリ量の取得 fluentd_monitor_agent 各種metricsの取得 Muninクライアントの導入 サーバ側は実装済みとする。 sudo yum install perl-XML-SAX-0.96-7.el6.noarch sudo yum --disablerepo=rpmforge-extras --enablerepo=epel install munin-node 依存関係でエラーがでたので、Perlのインストールとdisablerepoは環境によってどうぞ。 設定 td-agentの設定ファイルにmonitor_a
Play2 から fluent-logger を使うメモ | iret.media
ども、cloudpack の かっぱ (@inokara) です。 はじめに Play2 Framework アプリケーションから fluentd にアプリケーションログを送る為に fluent-logger を利用してみたいと思います。 準備 環境 Ubuntu 13.10 Java 1.7.0_55 Play 2.2.5 fluent-logger 0.3.1 テスト用のアプリケーション作成 play new testapp Java アプリケーションで作成します。 fluent-logger の導入 testapp の build.sbt を以下のように修正します。 --- build.sbt.original 2014-11-03 00:03:09.898355946 +0900 +++ build.sbt 2014-11-03 00:03:14.046356066 +0900 @
Raspberry Pi で fluent-plugin-kinesis を使ったメモ | iret.media
ども、cloudpack の かっぱ (@inokara) です。 はじめに Raspberry Pi に fluentd をインストールした勢いで fluent-plugin-kinesis をインストールして触ってみました。 準備 fluent-plugin-kinesis のインストール ドキュメントに従ってインストール。 sudo gem install bundler --no-ri --no-rdoc -V git clone https://github.com/awslabs/aws-fluent-plugin-kinesis.git cd aws-fluent-plugin-kinesis/ sudo bundle install sudo rake build sudo fluent-gem install pkg/fluent-plugin-kinesis --no-
Raspberry Pi をセットアップして fluentd をインストールするまでメモ | iret.media
ども、cloudpack の 工作とか苦手なかっぱ (@inokara) です。 はじめに 仕事用と称して Raspberry Pi を購入したのでメモです。 最終的にはセンサーデバイスから収集されるデータを fluentd を介して収集、分析するような基盤（大袈裟）を検証したいと考えていますが、とりあえず遊んでみました。 開封の儀 Raspberry Pi model B+ Buffalo WLI-UC-GNM（無線 LAN アダプタ） Transcend microSD (32GB) 最初にやったこと MicroSD に OS イメージを焼く 今回は手元にあった Ubuntu マシンを利用しました。こちらから Raspbian をダウンロードしてして展開、img ファイルを dd で焼くという流れです。 sudo dd if=2014-09-09-wheezy-raspbian.img
fluentd をサーバー監視ツールとして利用するメモ | iret.media
それぞれのプラグイン設定 うんちくより実践 とりあえず、以下にチェック、通知とメトリクスの可視化の設定について記載します。 チェック fluent-plugin-df と flunet-plugin-config_expander を利用します。 <source> type config_expander <config> type df option -k interval 3 tag_prefix df.__HOSTNAME__ target_mounts / replace_slash true #tag dstat rm_percent true hostname true </config> </source> flunet-plugin-config_expander でタグにホスト名を付加しています。 通知とメトリクスの可視化 flunet-plugin-notifier と
fluentd を使って loggly にログを送るテスト | iret.media
cloudpack のかっぱこと 川原 洋平（@inokara）です。 やり方 簡単です。 fluent-plugin-loggly をインストール sudo /usr/lib64/fluent/ruby/bin/gem install fluent-plugin-loggly --no-ri --no-rdoc -V HTTP のエンドポイントを確認 Source Setup をクリックして fluent-plugin-loggly の設定 以下のように設定します。 type loggly loggly_url https://logs-01.loggly.com/inputs/xxxxxxx-xxxx-xxx-xxx-xxxxxxxx/tag/http/ loggly_url に上記で取得した HTTP のエンドポイントを設定して fluentd を再起動します。 fluent-cat
sensu-server のログを fluentd を使って Elasticsearch で可視化したり Slack に通知したりする | iret.media
どうも、cloudpackのかっぱ（@inokara）です。 はじめに 最近、sensu 周りでやったことを書きます。 sensu-server で管理するクライアントの数が増えてくると純粋な sensu-server のログは目 grep では追いつかないくらいの量に増えてしまいます。このログを Elasticsearch に放り込んでみたりエラーレベルなログは Slack に通知する仕組みを fluentd を利用して作りました。 以下のようなイメージ。 尚、今回は監視対象で発生する warning や critical なログをどうこうするというお話ではなく、あくまでも sensu-server の動作ログのお話となります。ただ、同じような仕組みで可視化や通知を行うことは可能かと考えています。 実装にあたりましては以下の書籍を参考にさせて頂きました。 サーバ/インフラエンジニア養成読
fluent-plugin-ec2-metadata の使い方 | iret.media
どうも、かっぱ（@inokara）です。 はじめに EC2 につけたタグ情報を fluentd でレコードやタグで利用できないかなって思っていたら同僚に教えてもらったので使い方のメモです。 fluent-plugin-ec2-metadata とは？ fluentd のレコードやタグにに EC2 のメタデータを含めることが出来る fluentd のプラグインです。 fluent-plugin-ec2-metadata インストール Amazon Linux にインストールしました。 /usr/lib64/fluent/ruby/bin/gem install fluent-plugin-ec2-metadata --no-ri --no-rdoc -V 設定 fluent-plugin-dstat で収集したメトリクスデータのタグにインスタンスのタグを含める場合に以下のように設定を行いまし
siege の標準出力に出力されるレスポンスタイムを fluentd を経由して Graphite で可視化する | iret.media
どうも、ベンチマークおじさん、可視化おじさんの かっぱ(@inokara) です。 siege の標準出力には何が出力される？ 内容的には以下のようなものが出力されています。 リクエストバージョン ステータスコード レスポンスタイム（秒） レスポンス容量（バイト） リクエストメソッド リクエストパス 今回、出力されるレスポンスタイムを Graphite で可視化してみたいと思います。 可視化への道のり 標準出力を CSV 形式に 特に難しいことはありません .siegerc に以下を記載しておけば標準出力が CSV 形式になります。 csv = true 上記の設定を行った後に siege を実行すると以下のように標準出力に CSV 形式で出力されます。 HTTP/1.1,200, 0.43, 2906,/index.html,0,2014-09-03 09:05:07 ただし… この標準
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
