【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
7. 7 × 全体のアーキテクチャ S3 Bucket ・ ・ ・ ・ ・ ・ ECS Cluster input s3 input s3 /log_a /log_z Log A Elasticsearch Cluster Log Z logstash container logstash container Elasticsearch01 Elasticsearch02 Elasticsearch03 Kibana01 Kibana02 HTTPS @Tokyo output elasticsearch output elasticsearch 8. 8 × 全体のアーキテクチャ S3 Bucket ・ ・ ・ ・ ・ ・ ECS Cluster input s3 input s3 /log_a /log_z Log A Elasticsearch Cluster Log Z logst
2種類のログ解析基盤 - wyukawa's diary
僕は仕事では2種類のログ解析基盤を見ています。 1つ目はどちらかというとエンジニアよりの解析基盤でサービス側のエンジニアがShib, ShibUIを通して好きにクエリを投げることができます。ただしtableをcreateしたりdropしたりinsertしたりはできません。selectのみです。データの更新作業は別途cronのhive batchで行います。データはFluentd経由で各サービスのサーバーから収集します。こっちのシステムは古くからあって僕は引き継いだだけなので見ているとはいってもそんなにやることは無いですし、語れることも少ないです。 2つ目は約1年前に僕が一から構築したシステムでプランナーよりのシステムになってます。僕のチーム内のエンジニアだけがrawデータを触ったり更新したりすることができて、プランナーはレポートを通して加工されたデータを見る形になります。なので1つ目のシス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
