Fluentdの所感 その１ | 外道父の匠
Agent ログの量やFluentd＆CPUの性能を考えると、負荷的には１サーバ１Agentで十分足りるので、ステータス検知などの監視だけしっかりしておけばOKと考えます。なので例えばWEBサーバに普通に１Agent入れてそれが数百・数千台になることを想定します。 Collector 複数台用意し、Agentからroundrobinで送信することで均一化します。Collectorダウン時や復旧時は、ログのロスト無しにすみやかにroundrobinから外れたり復活することを確認済みです。台数が増えすぎた時の懸念点は、HDFSに対する１ファイルへのAPPEND数が増えることですが、ここまでの試験を見る限りはおそらくかなりの数まで大丈夫ですし、仮にHDFSへの書き込みが問題になる場合はAgent -> Collectorの選択条件や、書き込みファイルパスで工夫すれば大丈夫です。 とはいえ、APP
Hadoop HDFSコマンド実行メモ（0.20.1）
# 全体のhelpを見る $ bin/hadoop dfs -help # コマンド単体のヘルプを見る $ bin/hadoop dfs -help ls -ls <path>: List the contents that match the specified file pattern. If path is not specified, the contents of /user/<currentUser> will be listed. Directory entries are of the form dirName (full path) <dir> and file entries are of the form fileName(full path) <r n> size where n is the number of replicas specified for the
Hadoop Troubleshooting
Following are some pitfalls and bugs that we have run into while running Hadoop. If you have a problem that isn't here please let the TA know so that we can help you out and share the solution with the rest of the class. Back to checklist General Advice If you are having problems, check the logs in the logs directory to see if there are any Hadoop errors or Java Exceptions. Logs are named by machi
MRUnitでHadoop MapReduceの試験を - Taste of Tech Topics
こんにちは。 落合です。 MRUnit を使った、 Hadoop MapReduce のテスト方法をご紹介します。 MRUnitとは MRUnitは、Hadoop MapReduce のテストのためのライブラリです。 これを使うと、Hadoop MapReduce の JUnitテストを行うことができます。 Context を自分で作る必要もないため、 Mapper や Reducer の in と out の確認が簡単にできます。 開発環境を作る 本ブログ執筆時点で最新の、Cloudera のディストリビューション CDH3u1 を使いました。 以下のサイトでTarball（hadoop-0.20.2-cdh3u1.tar.gz）をダウンロードし解凍します。 https://ccp.cloudera.com/display/SUPPORT/Downloads 解凍したら、libの下と、h
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Insert csv file to Hadoop Hive table