米麹の検証日記 Splunk その1
第一回目は、Splunk について書いてみたいと思います。 1. Splunk とは？ 最近国内でも代理店が増えて、国内での事例も出てきているようですが、まだ名前を聞いたことのない方も多いと思いますので、まずは簡単なご紹介から。 Splunk は、システム上のあらゆるテキストデータをインデックス化して、高速な検索とグラフィカルなレポーティング機能を提供するツールです。イメージとしては Google や Microsoft などのデスクトップ検索のサーバ版といった感じでしょうか。 一般に統合ログ管理の分野に位置付けられる Splunk ですが、ミドルウェアやネットワーク機器のコンフィグを読み込めばコンフィグ管理ツールに、システムの性能情報を読み込めば性能管理ツールになったりもする、非常に用途の広いツールであると言えます。 また、JP1 や HP Software などの統合監視ツールに含まれ
splunkってなんじゃ？（splunk stormでfluentd）
前回の記事でsplunk enterpriseを利用しましたが、今回はsplunk stormを使用してみます。 enterpriseはインストール型でしたが、stormはサービス型です。 stormでは無料枠ではデータストレージが1GBまでとなっています。 また今回はsplunkのfluentプラグインがあるので、ログをfluentでstormに投げてみたいと思います。 splunk stormに登録して、プロジェクトを作ります。 次に、fluentdの設定です。 splunkのAPIに対してログを送信するBufferedOutputプラグインを作成している方がいたので、それを使ってみます。 fluent-plugin-splunkapi https://github.com/k24d/fluent-plugin-splunkapi # /usr/lib64/fluent/ruby/bi
Apacheログ + fluentd + Splunk Stormやってみる – OpenGroove
一部巷で人気のビジュアライゼーションツール Splunkを使ってみた。Splunkはインストール版とクラウドサービス版があり、今回はクラウド版のSplunk Stormを試してみた。StormはTwitterが開発したストリームエンジン。旬なもの同士で結構ときめく組み合わせですw さらにこのサービス自体、今時普通だがAmazon EC2のマシンとS3ストレージが利用されているとのことで、いかにもクラウド全開モード。ネタとしていつものようにApacheのログをfluentd経由で送る。 参考 splunkってなんじゃ？（splunk stormでfluentd） 以下も良記事（English） Splunk Storm – Machine Data Processing in the Cloud 実行環境 例によってhttpd + td-agentが動作しているAWS t1.microマシン
fluentd で集めたログを Splunk で可視化する - 技術ノート
ウェブアプリケーションのログ収集には fluentd を使うとして、集めたログを検索したりグラフ化するには、別途システムを組む必要がある。 最近だと、オープンソースの Kibana というのが流行っているようで、公式ページにも紹介がある。 Free Alternative to Splunk Using Fluentd | Fluentd ここで比較対象とされている "Splunk" だけど、これを fluentd と組み合わせて使っている人は多くないようなので、軽く紹介しておきたい。 Splunkとは？ 商用のログ収集＆検索エンジンとしてはメジャーな製品で、 独自のクエリ言語でログを検索、加工、集計、グラフ化する あらかじめダッシュボードを作っておいてPDFでレポートを送る 検索条件を設定しておいてアラートを飛ばす といったことが出来るようになっている。 詳しくは公式のビデオでも。 Sp
FluentdからSplunkにバランシングしながらデータ投入する方法 - Qiita
すでにFluentdでログ転送しつつ、ラムダアーキテクチャ的にSplunkでリアルタイム分析したいなーとおもったのですが、Splunk自体にはロードバランシングする機能がなく、負荷が高い場合には自分でバランシングする方法を採らないとならなかったのでプルリク送ってマージしてもらったのでメモ。 fluent-plugin-splunkapi Splunkへのインサートはfluent-plugin-splunkapiを使います。 以下はGithubのリポジトリから引用して変更。 <match **> type splunkapi protocol rest server <host1>:<port1>,<host2>:<port2>[,<host3>:<port3>] verify false auth admin:changeme # Convert fluent tags to Splunk
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
