FluentdをWindowsで動かそうとして挫折しなかった記録。その1
FluentdをWindowsで動かそうとして挫折しなかった記録。その1 WindowsでFluentdを動かそうとして調べていった記録のメモです。 きちんとまとめていないので起こった順に書いています。 同じような事を試みて挫折した人が居たので、この意思を勝手に引き継いで3秒以上頑張ってみました。 概要としては、fluentdのRuby実装、Python実装(fluenpy)、fluent-agent-liteのPerl実装とF#実装を確認した事と、Windowsでのファイル処理の排他制御について分かったことをまとめています。Windowsのファイルについては別の記事でまとめる事にして、この記事では簡単に触れる程度にします。 まずOriginalのFluentd。Ruby実装なのでWindowsのRubyかJRubyで動くかなとも思っていたのですが、Cool.ioというライブラリに依存して
クイックスタートガイド | Fluentd
さあ、 Fluentd を使ってみましょう！ Fluentd は125種類以上のシステムで瞬時に ‘Log Everything’ アーキテクチャを提供する完全に自由で完全にオープンソースのログ収集システムです。Fluentdはログを(コンピュータにとって可読性の高いフォーマットとして人気の)JSONとして扱います。また、C言語とRubyによる薄いラッパーで書かれており柔軟性があります。 Fluentdの性能は実際に立証されています。もっとも大規模なユーザーは 5000台以上のサーバー から一日あたり5TB以上、ピークタイムには秒間50,000メッセージにものぼるログを収集しています。 Table of Contents Step1: Fluentdをインストールする Step2: 使いこなす Step3: さらに知る Step1: Fluentdをインストールする ご使用の環境に合わせて
fluentdを使ってS3へログを送る - サーバーワークスエンジニアブログ
テクニカルグループの宮澤です。 今回は、fluentdとS3を使ってS3にログをアーカイブする手順を紹介します。 fluentdとは、ログを収集し格納するためのログ収集基盤ソフトウェアです。 fluentdに読み込まれたログはJSON形式に変換され、指定の場所にアウトプットされます。 ※fluentdの安定稼働版はtd-agentとなります。 fluentdのインストール リポジトリの追加 __| __|_ ) _| ( / Amazon Linux AMI ___|___|___| https://aws.amazon.com/amazon-linux-ami/2013.03-release-notes/ $ sudo vi /etc/yum.repos.d/td.repo --- [treasuredata] name=TreasureData baseurl=http://packa
Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析）
前回の記事では splunk enterpriseを使ってみました。 今回もログ解析プラットホームである、Kibanaを使ってみます。 Kibanaは検索などにElasticsearchを利用します。 またKibanaはデータの収集にLogstashの利用を推奨しています。 それぞれ以下のようなプロダクトです。 Logstash ログデータを収集し、解析して保存します。 この組み合わせで使用する場合、保存先はelasticsearchになります。 Elasticsearch リアルタイムデータの全文検索や統計などをRestfulインターフェースで提供します。 Kibana データの情報を描画し、検索したりドリルダウンで情報をたどれるGUIアプリケーションです。 この３つを組み合わせて使用すると便利なログ解析プラットホームが作れますよというのがKibanaの売りです。 データの収集や解析を行
fluentdのプラグインを書く練習をする為にsecureログをparseしてZabbixで値が取得できるようにしてみた(設定編) · さよならインターネット
fluentdのプラグインを書く練習をする為にsecureログをparseしてZabbixで値が取得できるようにしてみた(設定編) January 20, 2013 https://github.com/kenjiskywalker/fluent-plugin-securelog-parser ,j;;;;;j,. ---一､ ｀ ―--‐､_ l;;;;;; ｛;;;;;;ゝ T辷iﾌ i f'辷jァ !i;;;;; 全く触ったことがなくてもpluginを書いたらfluentdがわかる ヾ;;;ﾊ ﾉ .::!lﾘ;;rﾞ `Z;i 〈.,_..,. ﾉ;;;;;;;;> そんなふうに考えていた時期が ,;ぇﾊ、 ､_,.ｰ-､_',. ,ｆﾞ: Y;;f. 俺にもありました ~''戈ヽ ｀二´ r'´:::. `! 最初Postfixのmaillogつくってやろうかなんて 思っていたり
MOGOKのログシステム - Fluentdによるログ収集 - | もごろぐ
はじめまして。MOGOK 開発メンバの崎山と申します。 このブログでは、MOGOK システム内部で利用してる技術を中心に書いていく予定です。 初回となる今回は、MOGOK のログシステムについてのご紹介になります。 MOGOK で提供しているログの詳細については、 杉本の記事「MOGOKのログについて」 に記述されておりますので、ぜひこちらもご覧ください。 ログの収集 MOGOK では現在、アクセスログ、アプリケーションログ、ビルドログの3種類のログを提供しております。 それぞれのログは別々のサーバに出力されていますが、ログがそれぞれのサーバに分散して蓄積されているとログの管理が複雑になるためログシステムでログを集約し、一元管理しています。 この図は mogok.jp のサイトで紹介しております「MOGOK のアーキテクチャ」の図に、 ログシステムを追記したものです。 図のように、
Fluentd in Co-Work
Big Data Day LA 2016/ Big Data Track - Fluentd and Embulk: Collect More Data,...Data Con LA
Fluentd＋WebHDFS＆DataNode半死で起きた問題 | 外道父の匠
Fluentd CollectorからHDFSに書き込むのに fluent-plugin-webhdfs を利用していますが、 DataNodeが１台変死した際に色々おかしくなったので書き留めておきます。 原因特定と解決方法の確立はできていません！あしからず。 直接の原因はSLAVEサーバ（DataNode）が中途半端に落ちたこと １台のSLAVEサーバに異常が発生したことが直接の原因であり、状態としては SLAVEサーバがKernel Panic!! ホストへのPingは通る 各種デーモンへのTCP接続は確立できる 各種デーモンは一切お返事をしてくれない 試したのがDataNodeでないのが心苦しいですが、復旧前に確認できたのはSSH接続で、 ssh -p22 host は無応答で、telnet host 22 はリクエスト待ち状態になる半死状態でした。 この状態が、Fluentdまたは
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ログ解析をあきらめない、あるいはSumoLogicの紹介