Hadoopとscribedの組合せ・2011年夏 - たごもりすメモ
Hadoopクラスタを組み直す機会がやってくるのでこの際だからHadoopのバージョンを上げるべくあれこれテスト中。で、それにあわせて scribed のビルドもやったのでせっかくだから記録を残しておく。 なお以前(2011年当初)の状況については以下のエントリを参照のこと。 scribedのセットアップ手順ひと通り(hdfs書き込み有効版) - tagomorisのメモ置き場 Hadoop(libhdfs)各バージョンとscribeの微妙な関係 - tagomorisのメモ置き場 手順などについては上記エントリを起こしたときのものから変わってないので再掲はしない。そちらを参照のこと。 各ソフトウェアのバージョンについて 以前調べたときは CDH3b3 使えねえ！ということになっていたが、既に CDH3u1 が出ているのでそちらで試してみた、ら、使えた！ やっほう！ 現状のソフトウェア・ラ
障害に強いscribeサーバ構成と設定 - たごもりすメモ
scribeによるログ配送についていくらか試したりしつつ実戦投入しているのでその話。 今のところピーク時で20Mbps程度の流量で、100Mbpsを超えてくるようになると流量制限をシビアに考えたり中継サーバを複数台構成にしたり考えることになるのかなーと思っているが、現状はまだそこまでやってない。世の中には考えている人がぜったいいるはずなので話を聞いてみたいなあ。なんか「動かしてみた」レベルの話しかぐぐっても見付からない。悲しい。 サーバ構成 各サーバからログを(ほぼ)リアルタイムにscribedに流すのはいいとして、1台立ててるだけだと障害があったら全て終了してしまう。これはまずいので、複数台構成にする。 scribedはdeliverとcentralの両方で起動する。(設定はもちろん異なる。後述。) 通常は各サーバはすべて deliver サーバに接続してログを送る。deliverサーバ
簡単にscribedにログを転送するためのエージェント scribeline を作った - たごもりすメモ
まあ実際のコード自体はずいぶん前に書き上がっててGitHubにあったんだけど。 tagomoris/scribe_line · GitHub 何で作ったの scribedはログ収集サーバとしてはグッドなんだけど、なぜかエージェント側、ログを送出する側のコード例が極めて貧弱で、たとえば俺はいますぐApacheのログをscribedに送り付けたいんだ！ というときにどうしたらいいのかがよくわからない。というか簡単な方法が世の中に転がっていないように見える。 ので、しょうがないから作った。 ついでにデフォルト設定ファイルを読むようにしたりとか、各ログファイルの転送を一発で開始/終了できるようにしたりとか、接続先の scribed が死んだらセカンダリサーバに接続をフェイルオーバできるようにしたりとか、してある。前に 障害に強いscribeサーバ構成と設定 - tagomorisのメモ置き場 で書
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
