タグ

fluentdに関するikeikeikeikeのブックマーク (7)

  • 株式会社リコーを退職しました - 月曜日までに考えておきます

    2003年に新卒で入社し、10年以上お世話になった株式会社リコーを退職することになりました。 正式な退職日はまだ先なのですが、最終出社は2/7(金)でした。 無名エンジニアの個人レベル日記で、知り合い向けへのお知らせなので興味が無い人はスルー推奨です。内容が無いよー。 やってたこと リコーというとコピー機&プリンタのイメージが強いと思いますが、実はそれ以外のことも結構やっています。自分が直近でやっていたのは、「リコー ユニファイドコミュニケーションシステム」( http://www.ricoh.co.jp/ucs/ )というビデオ会議のシステムに関わっていました。こちらのAPIやWeb画面の設計開発、CIに携わっていました。 GitHubを使ってpull reqベースで進めるとか、Jenkinsのpipelineを組んでテスト〜デプロイの流れの構築とか、最近流行りの開発手法が経験できたのは

    株式会社リコーを退職しました - 月曜日までに考えておきます
    ikeikeikeike
    ikeikeikeike 2014/02/10
    俺はCounter-StrikeでPythonistaと出会って今の会社に就職したのでそう珍しいことではないかもしれない
  • fluentd で集めたログを Splunk で可視化する - 技術ノート

    ウェブアプリケーションのログ収集には fluentd を使うとして、集めたログを検索したりグラフ化するには、別途システムを組む必要がある。 最近だと、オープンソースの Kibana というのが流行っているようで、公式ページにも紹介がある。 Free Alternative to Splunk Using Fluentd | Fluentd ここで比較対象とされている "Splunk" だけど、これを fluentd と組み合わせて使っている人は多くないようなので、軽く紹介しておきたい。 Splunkとは? 商用のログ収集&検索エンジンとしてはメジャーな製品で、 独自のクエリ言語でログを検索、加工、集計、グラフ化する あらかじめダッシュボードを作っておいてPDFでレポートを送る 検索条件を設定しておいてアラートを飛ばす といったことが出来るようになっている。 詳しくは公式のビデオでも。 Sp

    fluentd で集めたログを Splunk で可視化する - 技術ノート
  • FluentdとRiakの話 - After Coding

    Fluentdは、Ruby製のログコレクタだ。コードは公開されている。 様々なログを構造化して一元管理することができ、収集と解析へのハードルを大きく下げてくれる。 インストールもプラグイン開発も簡単。日語の資料も多い。 その資料も様々あるが、プラグインを見るならこれが最良だと思う。必要な情報がよくまとまっており、必読といえる。 Big Data入門に見せかけたFluentd入門 from Keisuke Takahashi データの確実な転送を実現するバッファ機能については、池田大輔さんのブログが詳しい。さて、Fluentdはデータを収集してくれるが、保存はしてくれない。 永続化にはデータベースが必要だ。 そこで、Riak。 Basho社がスポンサードするErlang製分散型KVS。これもOSSだが、契約によって商用サービスが受けられる。 これがまたエッジ立ちまくってて

  • Fluentdの仕組み -バッファ機能でログ収集漏れを防ぐ- - Tech-Sketch

    OSSのログ収集管理ツールFluentdを用いてログを統合管理している場合の懸念点として、ログの収集漏れが考えられます。 Fluentdでは、バッファ機能を活用することでログを収集漏れすることなく確実に収集することができます。 このバッファ機能のメカニズムを理解すべく動作検証した結果を紹介します。対象とするFluentdのバージョンは0.10.30です。 Fluentdとは Ruby実装のOSSのログ収集管理ツールです。 Fluentdは、Input、Buffer、Outputの3つのコンポーネントで実現されています。 様々な場所からログを収集、JSON形式に変換し(Input)、蓄積(Buffer)、様々な出力先にデータ出力(Output)します。 例として、あるサーバ(server01)のApacheのアクセスログを別のサーバ(server02)内にファイルとして出力する場合

  • fluen.pyを試してみる — そこはかとなく書くよん。 ドキュメント

    % sudo apt-get install libevent-dev # geventに必要 % pip instlal msgpack-python # 普通にpip installで入る0.13.7はだめ % pip install http://gevent.googlecode.com/files/gevent-1.0b2.tar.gz % git clone git://github.com/KLab/fluenpy.git % cd fluenpy % python setup.py install

  • fluent-plugin-zabbix リリース - 酒日記 はてな支店

    fluentd の出力プラグイン、fluent-plugin-zabbix をリリースしました。 Github fujiwara/fluent-plugin-zabbix https://github.com/fujiwara/fluent-plugin-zabbix fluent-plugin-zabbix | RubyGems.org https://rubygems.org/gems/fluent-plugin-zabbix] 監視とメトリクス収集に Zabbix を使っているので、fluentd で収集した値を zabbix に送って扱いたかったのです。 挙動としては zabbix_sender でホスト側から送信するのと同様です。主に datacounter や flowcounter で集計した値を送るのを想定していますが、送信頻度に気をつければなんでも送れると思います。 作成

    fluent-plugin-zabbix リリース - 酒日記 はてな支店
  • fluentdを試してみた - wyukawa's diary

    クレジットカード現金化詐欺【業界人が教える口コミ情報】 僕は行ってないんですがTwitter、Ustream、スライド、ブログなどを見る限りだいぶ盛り上がったようですねー。僕自身が仕事で使う予定は今のところ無いんですがログ解析関連の仕事をしていることもあるので素振りしてみようと思います。 環境はVirtualBox上のCenOS 5.7(x86_64)を使いました。 fluentdはRuby 1.9上で動くんですがCentOS 5.7に入っているのはRuby 1.8.5です。Ruby 1.9のインストールから始めるとはまりそうなのでyumでインストールできるtd-agentを使います。td-agentはfluentdの安定版パッケージという位置付けのようです。 試したのは下記3つです。 fluent-catでログを送る Apacheのアクセスログを収集 ApacheのアクセスログをMong

    fluentdを試してみた - wyukawa's diary
  • 1