EMRのログをS3/Localから追う - Qiita
概要 諸事情でYARNやSparkのWebUIがすぐに見れない、でもEMRのStepがなんか失敗しているのでログを見たい！というときにS3から見る方法。 というかEMRのログで作られる各中身の確認 前提 emr-4.7 Spark 1.6 Hadoop 2.7 ログ出力先にS3の任意のフォルダを指定。 ログディレクトリの構成 cluster EMR clusterはそれぞれIDを持ちます。（例： j-2540JQ2HFN027 ） containers 各Hadoopアプリケーションにおいて、分散環境上に複数のコンテナが立てられます。 各アプリケーションはIDを持ちます。（例： application_10000032000_0001 ） 各コンテナはIDを持ちます。applicationのIDにコンテナ用の通し番号が付いた文字列になります。（例： container_1000003200
Dockerコンテナのロギング機能を使ってみる | さくらのナレッジ
Dockerではコンテナ内で実行されたプロセスの出力をログとして記録しておく機能が用意されている。このログ出力機構では、さまざまなログ記録システムにログを転送することが可能であり、複数の異なるホストで稼動しているコンテナのログを1つのマシンに集約する、といったこともできる。今回はこのログ機能について紹介する。 DockerのLogging Driver機構 Dockerコンテナでは、コンテナ作成後にコンテナ内のファイルシステムに書き込まれたデータはコンテナの削除時に一緒に破棄されてしまう。そのため、各種ログやエラーメッセージ出力などの保存しておきたい情報はコンテナ外に出力して保存しておく必要がある。Dockerではこれを支援する機能の1つとして、ログを外部のログ記録ソフトウェアに転送する機構が用意されている。これを利用することで、多数のコンテナが稼動するような環境や、複数のマシンを組み合わ
gitの ".." と "..." の意味がコマンドで異なるらしいので図解した - Qiita
$ git log master..test --> git log ^master test C $ git log master...test --> git log master test ^B D C $ git log test..master --> git log ^test master D $ git log test...master --> git log test master ^B D C $ git diff master..test --> git diff master test -D +C B A $ git diff master...test --> git diff B test +C B A $ git diff test..master --> git diff test master -C +D B A $ git diff test...ma
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dockerのlogging driver: それぞれの特徴と使いどころ(json-file, syslog, journald, fluentd) - Qiita
CodeDeploy EC2/オンプレミスデプロイのログデータを表示する - AWS CodeDeploy
Logs
ログを活用したサービス開発
クックパッドのログをいい感じにしているアーキテクチャ / Logging architecture at Cookpad
SSSSLIDE
