I have a map-reduce java program in which I try to only compress the mapper output but not the reducer output. I thought that this would be possible by setting the following properties in the Configuration instance as listed below. However, when I run my job, the generated output by the reducer still is compressed since the file generated is: part-r-00000.gz. Has anyone successfully just compresse
表題のアプリを実装しないといけなくなったのですが、どんぴしゃな情報が無くて1日苦労しました。 急にKafkaを使わないといけなくなったが、Kafkaのことをよく知らない 急にScalaを使わないといけなくなったが、Scalaのことをよく知らない という人の参考になるかもしれないので、ここにまとめておきます。 Kafkaのインストール とりあえず現時点で最新の0.8.2.1を入れます。諸事情により、使うScalaのバージョンは2.10系です。 # cp kafka_2.10-0.8.2.1.tgz /usr/local/ # tar zxf kafka_2.10-0.8.2.1.tgz # ln -s /usr/local/kafka_2.10-0.8.2.1 /usr/local/kafka # useradd kafka # passwd kafka # chown -R kafka:k
こんなエントリを目にしたので、なんか書こうかなと思った。 fluentdのformat(正規表現)の作り方について試行錯誤中 #fluentd - Glide Note - グライドノート Fluentd の in_tail や拙作 fluent-plugin-parser ではログのparse用の正規表現を指定することになるが、確かにこれを設定してログを流して試して直して、というのはいささか効率が悪い。ので、簡単に試す方法を書いてみる。 なお irb を使う手順。ruby 1.9系がインストールされていればたぶん入っているけれど td-agent だとちょっとどうだっけ。適当にがんばっていただきたい。 とりあえず以下のようなログをparseしたいとする。 Jul 16 00:45:47 BJA login[58879]: USER_PROCESS: 58879 ttys002irbを起動
Macでfluentdを動かしてみようと思って動かしてみました。 dummerというダミーログを作ってくれるツールを利用しています。 github.com 動かしてみた流れ fluentd + dummer ( dummy log generator ) のインストール dummer ( 出力するログのフォーマット )設定 fluentdのformat設定を無意味に頑張る 実行1 fluentdにデフォルト(?)であるltsv設定をしてみる 所感 1. fluentd + dummerのインストール $gem install fluentd $gem install dummer でおk と思ってたら後で実行した時になんか言われた。 $dummer -c dummer.conf Could not find gem 'pry (>= 0) ruby' in any of the gem s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く