Amazon ECSを安定運用するためにやっていること コンテナインスタンス、ログ、モニタリングにおける工夫 | ログミーBusiness
2018年11月28日、クックパッド株式会社が主催するイベント「Cookpad Tech Kitchen」が開催されました。第20回となる今回のテーマは「クックパッドのマイクロサービスプラットフォーム現状」。クックパッドが開発を行っているマイクロサービスプラットフォームの今と、その仕組みについて解説します。プレゼンテーション「Amazon ECS の安定運用のために」に登壇したのは、鈴木康平氏。クックパッドにおけるAmazon ECSの運用事例と工夫していることについて解説します。講演資料はこちら Amazon ECSの安定運用鈴木康平氏：「Amazon ECSの安定運用」というタイトルで発表したいと思います。今回のアウトラインとしては、「ECSをどう使うか」みたいな話ではなくて、そのECSを運用していく上でこんなことやっていますよということを話していければなと思います。 内容としては、コ
fluentd-plugin-elasticsearchでのログ時刻の扱い - ほわいとぼーど
これまでの自分のElasticsearch関連の記事では"request_time"という 独自に定義したラベルを用いて登録を行っていました。 一方、fluentdは"time"というラベルを用いるとログの時刻をfluentd内で扱うイベントタイムとみなします。 "time"とした場合と、それ以外でfluentd-plugin-elasticsearchの動作に 違いが見られたのでメモしておきます。 ところで"request_time"としたのには理由があったのですが、 その理由は本筋ではないので最後に書くことにします。 ①ログ時刻を通常のラベルを用いて登録する場合 この場合はラベル名を"time"以外にしてパースします。 つまりこれまでの場合は"request_time"としていました。 この時点では他の項目と同じJSON(MessagePack)の一項目なので文字列です。 そしてそのラ
Siege でお手軽 Web 負荷テスト | iret.media
平和より自由より正しさより♪（Beyond The Time/TM Network より）… JMeter より ab より httperf より…のかっぱ (@inokara)です。 はじめに JMeter よりもお手軽な Web 負荷テストツールを模索していて Siege があったのを思い出しました。 docker + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み fluentd + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み fluentd + Elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み（2） これらを書いた時にはあまり Siege のことには触れて
nginx kibana elasticsearch fluentd 連携 - Qiita
概要 nginx のログを fluend で収集し、 elasticsearch にデータを格納。 kibana で可視化を行います。 目的 アクセス、ユーザーの属性等のログを可視化し、 サービス改善の新たな企画、施策に繋げる。 各種ツール説明 nginx -> websever apache的な kibana -> データ可視化ツール。グラフ化 elasticsearch -> 全文検索エンジン。Apache Luceneを元に作成されている。同じく Lucene が元になっているものとして solr がある。 fluentd -> ログ収集ツール。様々な input 元、 output 先を設定できる plugin が豊富。Rubyで記述されており、plugin の作成も容易 全体の流れ nginx -> fluentd -> elasticsearch -> kibana 今回は、す
(｡･ω･)ﾉﾞ fluentd elasticsearch 過去ログを一括でいれる | (σ・∀・)σ ぴんちゃん
ま、こういう話になりますよね 正直、こういう仕事が一番嫌ですね 何があるかわからないからねぇ nginx のアクセスログを Json に変更して、 一括で elasticsearch にバルクインサートする 結果、25万件のアクセスログを 3分で Json に変更して、 10分でバルクインサートできた トータルで 15分ぐらいかかる Json のバルクインサートについて http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/docs-bulk.html パラメーターについて http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/modules-http.html 以下、やったこと
『fluentd + Elasticsearch + kibanaでCassandraモニタリング』
はじめまして。インフラ＆コアテク本部の鳥垣と申します。普段はAmeba Smart Phone PlatformやAmebaの基幹系サービス全般のインフラを見る仕事をしております。 昨今fluentd + Elasticsearch + kibanaを使ったリアルタイムモニタリングが流行っていますが、これを使ってCassandraのステータスをモニタリングするシステムを作ってみましたので、そのお話をさせていただければと思います。 構築のきっかけこちらのサイトにてdstatのモニタリングをkibanaでやっている記事を拝見し、Cassandraのステータスも同じようにリアルタイムグラフの描画ができないかと考えました。 以前にWebSocketで監視もリアルタイムにという記事でもあるとおりリアルタイムモニタの仕組みはありましたが、kibanaの検証も兼ねてリアルタイムのグラフ描画にチャレンジし
Fluentd+Elasticsearch+Kibana+Norikra+Zabbixを使ってOpenStackのログ解析してみた | 技術畑 | 情報畑でつかまえて
2.2. システム処理イメージ ログを解析する仕組みとして、こんなフローを考えてみました。 (1) OpenStackが出力するログを、ログ中継サーバーへ集約する。 (2) 集約したログをElasticsearchとNorikraへ送信する。 (3) Norikraへ送られたログを、SQLストリーミング解析にかける。 (4) 解析の結果は問題の有無に関わらずElasticsearchへ格納し、異常が検出された場合はZabbixへ通知する。 (5) 通常のサーバー監視はZabbixが行う。 (6) (2)、(4)でElasticsearchへ送られたデータはKibanaを使用して可視化する。 図 1 システム処理イメージ 3. ログを収集してグラフ化してみる。 まずは、OpenStackの各コンポーネントが出力するログ量の推移と、API実行数の推移のグラフ化してみました。ログメッセージの内容
embulkでelasticsearchへ過去のログを入れ込む - notebook
embulk使ってみる fluentd + elasticsearch + kibanaをやってみたいなと思い既存のログからデータ突っ込めないかなと思い探してみたらちょうどよさそうだったので試してみました。 fluentdのバッチ版と言われているようです 手順もほとんど下記見ながらやればできます embulk インストール curl -o ~/bin/embulk -L "http://dl.embulk.org/embulk-latest.jar" chmod +x ~/bin/embulk サンプルデータを入れる ひな型生成 example サブコマンドでサンプルデータができます # サンプルのひな型生成 bin/embulk example ./sample # sample/example.ymlの中身を読み込んで自動的に設定ファイルを作成してくれる bin/embulk gues
fluentd × Elasticsearch × kibanaによるアクセスログ解析 - Qiita
概要 fluentdでログ転送＆収集を行い、 Elasticsearchでデータを保存し、 kibanaでデータの可視化を行う。 サーバー構成 APIサーバー（複数台） 【nginx】→【fluentd】→ログ収集サーバーへ転送 ログ集約サーバー（兼 解析サーバー） APIサーバーから転送→【fluentd】→【Elasticsearch】⇔【kibana】 サーバー設定 APIサーバー nginx nginxはインストール済みとする。 nginxのアクセスログをltsvフォーマットにする log_format ltsv 'time:$time_iso8601\t' 'remote_addr:$remote_addr\t' 'request:$request\t' 'request_method:$request_method\t' 'request_length:$request_len
fluentdの簡単な使い方、設定方法一覧
fluentdはログの転送・集約を簡単に行うためのツール fluentd ログの転送・集約を行うためのツール。複数台のサーバーを運用している時にそれぞれのサーバーにたまるログを、簡単な記述で特定の場所に集約できる。 今までは同じことをどうやって実現していたの？ バッチでコピーしたり、似たようなことをやるScribeというツールを使っていた。この方法だと、設定が複雑になりがちだし、バッチだとリアルタイムに処理することができなかった。 fluentdの利点は？ 設定が簡単、かつリアルタイムに処理できること。fluentdを使うとバッチではなくリアルタイムなストリーミング処理ができる。 fluentとfluentdのどっちの読み方が正しいの？ 一応、fluentdが正しいっぽいです。 fluentdのインストール方法 簡単なのは、GemやRPMを使ったインストール。yumでのインストールも自分で
fluentdでnginxのログをElasticsearchとBigQueryに保存するお話 - ハウテレビジョン技術ブログ
こんにちは。夏休みに長野に行って居酒屋で馬刺しをたらふく食べていたら 地元のおっさん人生の大先輩の絡み酒に付き合わされた祖山です。 4月に入社して以降、サーバサイドのWeb開発やスクラムの導入、サイト内検索の改善など様々な業務に 取り組んでいますが、最近の大きな案件としては、アクセスログ解析基盤の整備がありました。 nginxのアクセスログを分析しやすい環境を作るため、ElasticsearchとBigQueryにログを蓄積し始めたのですが、 その際に一番のキモとなるのは、みんな大好きfluentdです。 今回は、我々ハウテレビジョンがどのようにアクセスログを収集、保存しているのかについて、fluentdの設定を中心にご紹介します。 アクセスログ収集の目的 現在の我々のサービス環境を考慮すると、アクセスログの収集には下記2つの目的が存在します。 アクセス情報をもとにユーザーの行動を解析 閲
Treasure Agent(td-agent)の1と2の今後 - Qiita
Treasure Dataが提供しているFluentdの配布パッケージであるtd-agentの今後について書く．この記事は http://docs.fluentd.org/articles/td-agent-v1-vs-v2 http://docs.treasure-data.com/articles/td-agent2 とかMLでのアナウンスを日本語でまとめたような感じの記事です． 現在は1と2の二つのバージョンが並行してリリースされているので，まずそれぞれの違いについて書きます． td-agent 1 今までのメインバージョンであり，現在はold stable．同梱ライブラリの大きなバージョンアップはありません．最新版の1.1.21では以下のものが同梱されています Ruby 1.9.3 jemallocやmsgpackなど，コアライブラリ群 Fluentdとよく使われるプラグイン群 サ
「Fluentdをきっかけにビジネスが回る仕掛けがとっても気持ちイイです。」 | インタビュー | Think IT（シンクイット）
Linuxディストリビューション「Zorin OS 18.1」リリース ─ LTS版の改良と互換性強化 4月17日 1:28
Fluentdとはどのようなソフトウェアなのか - たごもりすメモ
Fluentd というソフトウェアがある。日本国内ではそこそこ話題になってきたが、何ができるのか、何に使うと嬉しいのか、何に使えるのか、という点について詳細をよく知らないという人もおそらくまだ多いことでしょう。 なので、簡単にまとめる。 http://fluentd.org/ なお以下の個別項目ごとに書いていくが、その手前にまとめを置いておくので忙しい人はそれだけ読むとよい。インストールや設定については導入部分については日本語の記事はもう多くあるので、触れない。 概要 できること ログの収集 センサデータ等の収集 汎用データ処理プロセッサとして 頻出ユースケース ログの収集 データの集約 簡単なリアルタイム集計 ソフトウェアとしての特徴 コア プラグイン 安定性 性能 開発体制 コミュニティ ぶっちゃけどうなの？ まとめ 現時点で、複数の場所に分散したデータや常に増え続けるデータの安全な転
FalconとFluentdを用いたEvent Webhookロガーの作り方 - SendGridブログ
この記事は Falcon, Fluentd, and Event Webhook の抄訳です。 FalconというWEBフレームワークをご存じですか？使いやすさとHTTP APIのみにフォーカスしたシンプルさが魅力のPythonのWEBフレームワークです。 今回は、このFalconとログ収集ツールであるFluentdを使い、SendGridからのEvent Webhookをロギングする方法を紹介したいと思います。 環境構築 まずは、Fluentdをインストールしましょう。FluentdのQuickStartにはいくつかの方法が記載されていますが、ここではruby gemを使います。 $ gem install fluentd --no-ri --no-rdoc 次にフォルダを作成し、その下にvirtualenvを用いてPython実行環境を作成します。 $ mkdir falcon_sam
第2回 ストリーミング処理とバッチ処理によるデータ収集 ~ Fluentd編 ~ | gihyo.jp
上記のパラメータを元に生成されたログは下記のようになります。 変更後のアクセスログ time:2015-07-26 08:58:20 +0000 domain:52.69.91.201 host:153.232.253.97 server:172.31.6.70 ident:- user:- method:GET path:/index.html protocol:HTTP/1.1 status:200 size:3256 referer:- agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_4) AppleWebKit/600.7.12 (KHTML, like Gecko) Version/8.0.7 Safari/600.7.12 response_time:795 cookie:- set_cookie:Apache=2a4375
fluentd と Azure & PowerBI を連携させた簡単リアルタイム分析&ダッシュボード構築 - Qiita
はじめに 最近リアルタイムストリーム処理が注目されて、いろんなプロダクトやサービスが出て盛り上がっているので、そんな中でも可視化まで一気に手に入って簡単に使えるAzure & PowerBIを使うための手順をまとめておこうと思います 注: 2015/08/21現在の情報なので、今後変わっていく可能性があります 注: 2015/08/21現在、設定するリージョンとしては西日本もしくはUSをオススメします 何ができるの？ こんな感じのイケてるリアルタイムダッシュボードが、コードを書くことなく作れます このダッシュボードでは5秒に1度自動更新がかかるようになっています(更新はストリーム処理の頻度によります) 全体構成 このスライドの19ページ目にある図(下記)がEnd to Endの構成イメージで、この記事ではData Collection を fluentd で行い Event Hubs/St
norikra を試す（1） - ようへいの日々精進XP
はじめに Fluentd Casual Talks #3 で norikra の作者である @tagomoris さんのお話を伺ってからずっと試したいと思っていてやっと試せたのでアウトプット。 参考 Norikra 0.1を使ってみた Norikraで遊んでみた fluent-plugin-norikra #fluentdcasual Norikra in action http://esper.codehaus.org/ 5.1. EPL Introduction 5.2. EPL Syntax norikra とは 自分の認識、でも百聞は一見に如かず ちゃんと理解出来ていないけど...以下のような認識でいる。 ログ等のストリームデータを SQL ライクなツールを使って検索出来るツール 例えば、fluentd で処理しているログに対して SQL に似た感じの検索クエリを投げて結果を処理出
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ