Fluentd＋WebHDFSの書き込み問題 | 外道父の匠
以前に晒したFluentdからWebHDFSに対してログを流し込むフローの部分を、 少しキツ目の環境にブっこんで運用したら色々問題点がでてきたので記しておきます。 どちらかというとFluentdというよりはHDFSよりの話になります。 HDFSファイルのCREATEエラー 複数のFluentd CollectorからHDFSの１ファイルへ共通して書き込むというスタイルをとってみました。こんな感じに１分毎のHDFSファイルとして。 Collector-01 ─┐ Collector-02 ─┤ Collector-03 ─┼─> HDFS %Y%m%d-%H%M.log Collector-04 ─┤ ...
WebHDFSの検証 - そごうソフトウェア研究所
ファイルの作成 ファイルのアクセスは２回に分けて行う必要があります。 作成するファイルの中身はこんな感じです。 $ cat sample.txt 1 aaa 2 bbb 3 ccc まず、１回目。 PUTメソッドを利用します 操作名はop=create。 上書きするoverwrite=true。 ユーザーはここではhadoopを起動させているユーザーを指定しました。user.name=rsogo $ curl -i -X PUT "http://localhost:50070/webhdfs/v1/hoge?op=create&overwrite=true&user.name=rsogo" HTTP/1.1 307 TEMPORARY_REDIRECT Cache-Control: no-cache Expires: Tue, 20 Sep 2016 09:59:29 GMT Date:
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
