fluentdからElasticsearchに書き込んだ際の運用メモ - wyukawa's diary
fluentdからfluent-plugin-elasticsearchを使ってElasticsearchに書き込む部分でたびたびfluentdが詰まって苦労してたけど最近は落ち着いてきたのでその辺を備忘録としてメモっています。 最初はfluentdからElasticsearchに1プロセスで直接書き込んでいたけどなにかのイベント等でトラフィックがはねるとバッファ溢れがおきてました。なおこのときElasticsearch自体は特に問題は起きていません。 num_threads増やしたりbuffer_chunk_limit, buffer_queue_limit, flush_intervalあたりを調整したりというのをやっていたけど（実際にやったのは僕じゃないけど）、それでも厳しいのでプロセス分離してfluentd A -> fluentd B1,B2 -> Elasticsearchとい
エラーモニタリングサービス Rollbar と GitHub Issue を利用したエラー対応フロー - クラウドワークス エンジニアブログ
*1 開発の所(@ctokoro_me)です。 インド音楽の演奏が趣味の一つなのですが、興味のある人が全然いない（そもそもインド音楽自体がほぼ知られてない）のが隠れた悩みです。 さて、みなさんが運用中のアプリケーションでは、エラーモニタリングはどのように行っているでしょうか？ ログを tail / grep している感じですか？？ それとも、エラーが起きたらメールが飛んで来るようになっているのでしょうか？ どちらにしても、ユーザーが増えてくると管理が大変になってきてしまいますよね 😵 「一行のログの向こうには、一人のユーザがいる」 *2 という格言(!)もある通り、エラーが起きたということはそのユーザーがサービスを正常に使えていないということです。 しっかりと対応していきたいですね。 エラーモニタリングサービス クラウドワークスではエラーモニタリングサービスとして Rollbar を採用
【新機能】Python Serverless Microframework for AWS(プレビュー版)が登場！ | DevelopersIO
【新機能】Python Serverless Microframework for AWS(プレビュー版)が登場！ こんにちは、せーのです。今日は昨今でのクラウド構築での主流となりつつある「サーバレスアーキテクチャ」を更に効率的に構築できる便利ツールをご紹介します。ちょっとワクワクしますよ。 できるだけ速く、できるだけ直感的に AWSにてサーバレスアーキテクチャを実現するのに一番シンプルな方法は「Lambda + API Gateway」です。要件をREST APIの形に落とし込み、API Gatewayにデプロイ、URLを叩かれたらLambdaが連動して処理を開始する、というものです。Lambdaが自動的にスケールしてくれるので沢山のアクセスがきた時もうまいこと捌いてくれ、EC2無しでシステムの構築が可能となる、というものです。 しかし実際に組んだことがある方はわかるかと思いますが簡単な
go言語におけるロギングについて | さにあらず
僕は Java 方面に慣れていますのでslf4j(Logback)やlog4j2の様なロギングライブラリがあると扱い易いなぁ…と思う次第です。 まとめ#例によって結論から書くと XML で設定する事に耐えられる ならseelogがオススメ。 CLI で指定出来る程度の設定が出来れば良いなら、公式リリースなglogがオススメ。 標準のlogパッケージについて#まず、僕の開発環境は Windows7 ですので、log/syslog を直接使うようなコードは避けたいのです。 加えて、コードをあまり変更せずに出力先や出力内容を変更したいのですけども、その為の標準的な方法は機能としてライブラリ内に組込まれていません。 テスティングフレームワークの時も同様に感じましたけども、go 言語のコアライブラリは本当に一番下の足回りがあるのみです。 例えば、設定可能な項目はこれだけです。抜粋すると、 時間や日付
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
良いデバッグログはプロジェクトの資産である
