Amazon Elasticsearch ServiceをつかったRDSのスロークエリの集計と監視 - クックパッド開発者ブログ
こんにちは、SREの菅原です。 クックパッドの多くのシステムは AWS 上で稼動しており、そのWebサービスの多くはデータベースにAmazon RDSを使っています。 WebサービスがDBを使う場合、ボトルネックになりやすいDBのパフォーマンスを落とさないためにスロークエリの監視はとても重要です。そこで、Amazon Elasticsearch Serviceを使ったスロークエリの集計・監視システムを構築したので、それについて紹介したいと思います。 ※今のところMySQLエンジンのみを対象としています システム構成 システムの構成は以下のようになります。 また、社内のシステムと完全に同じ訳ではありませんが、同様の構成のSAMプロジェクト（Elasticsearch Serviceに保存するまでの部分）をGitHubで公開しています。 https://github.com/winebarre
Amazon Elasticsearch ServiceによるECSアプリケーションのログ解析基盤の構築 - BASEプロダクトチームブログ
こんにちは、BASE BANK 株式会社 Dev Division でエンジニアとしてインターンをしている前川です。 今回、Amazon Elasticsearch Service(以下、Amazon ES)による、ECS/Fargate で稼働するアプリケーションのログデータの解析基盤を新規で構築することになったので、構築するにあたって調査した内容や関連する内容、実際におこなった構築方法についていくつか紹介します。 今回の構築の簡単な全体構成図は次のようになります。 今回は、 ECS/Fargate のログを S3 にルーティングする Amazon ES にログをルーティングする VPC アクセスの Amazon ES を構築し、Kibana を外部からアクセスできるようにする の３つの手順にわけて、構築方法や関連する内容について紹介していきたいと思います。 なお、この記事で取り扱ってい
elastalertでアプリの異常を自動検知して通知したい - Qiita
私のチームでは週２回、当番制でサービスのログをチェックして問題がないか確認しています こんな感じで当番の人に通知して当番をまわしています サービスのエラーログはelasticsearchとkibanaで可視化しているので、確認自体はさほど大変ではないのですが、問題が起きていない場合がほとんどで作業コストの方が大きく感じてしまいます... そのせいか、最近はみんなの妹への反応が薄いような気もします... #エラーログの確認を自動化して異常があれば通知する そんな話をしていたら誰かに「elastalert」というツールを教えてもらいました elastalertは、Elasticsearchのインデックスをモニタリングして設定した条件とマッチした時にalertを通知するためのツールのようです 本家ドキュメント: https://elastalert.readthedocs.org/en/late
データベースとしてのElasticsearch - Qiita
はじめに Elasticsearchはスケーラビリティに優れた全文検索エンジンですが、Relational Database(以下RDB)が持つ汎用性や機能の豊富さも追求しているように思います。この記事ではRDBの基本機能がどこまでElasticsearchで実現できるかをまとめました。データベースの知識だけで、全文検索を知らなかった私がElasticsearchを勉強し始めた頃に意外に感じた事を中心に両者の違いを比較しています。APIについては言語ごとの違いは言及せず、REST APIについてのみ述べています。特にバージョンの記述がない場合はElasticsearch 5.1を前提にしています。RDBは近年ポピュラーなOracle, SQLServer, DB2, Sybase, PostgreSQL, MySQLなどが準拠しているSQL92標準を前提としています。 基本的な違い RDB
Curator4でElasticsearch5の古いインデックスを削除する
ログ可視化ツールの 3 点セット、Fluentd + Elasticsearch5 + Kibana5 を試すメモ 4 回目。前回は Kibana から Elasticsearch のデータを参照するところと、Kibana の SSL 化をやりました。 ログを Kibana から可視化することができましたが、このままだと Elasticsearch にログが貯まる一方なので、一定期間を過ぎたログを自動的に削除するようにします。 Elasticsearch のインデックスの削除は Elastic Stack 公式の Curator というツールを使います。 目次 Curator4 をインストール 30 日経過したログを削除するように設定 Curator4 をインストール インストール方法は Curator Reference » Installation » YUM repository を
Kibana用途でElasticsearchを使う時の高負荷対策TIPS - Qiita
これは Elasticsearch Advent Calendar 2015 8日目の記事です。 ログの可視化ツールとしてKibanaを使っている中で、Elasticsearch運用として色々と得られた知見を書きたいと思います。 Elasticsearchは、ライトな環境だったら特にチューニングなく安定してますがある程度ドキュメント数が積まれてくると、色々苦労があるなという印象です。 ここに書かれているのは、事情がありシングル構成で頑張った話なので、クラスタ組んでスケールするとこんな悩みはないのかもです。 でも、ログは運用系に入るのでそんなにコストかけれるとこはないのではという個人的な所感。 #####ラインナップとしては、下記のような感じです。 Kibana経由で重たいクエリが投げられると負荷高すぎて泣いた話 高負荷対策として、fielddata_cacheをディスクに逃がす方法 flu
kibana4 nginxのアクセスログをレスポンスタイム別でグラフ化する - Qiita
最終形 nginxパフォーマンスグラフ こんな感じのグラフを作成する事がゴール。 nginxのアクセスログを集計して、request_timeの範囲毎に色分けしてグラフ化したい。 遅いレスポンスが全体のどのくらいを占めているか 特定の時間だけ遅いなどが起きていないか 長期的にレスポンスの悪化が起きていないか deploy直後でレスポンスが悪くなっていないか 障害時のユーザー影響の直感的な理解 とか、色々と確認する時に見える化しておく事は重要。 手順 Visualizeでグラフを作成 グラフタイプを選択 今回は、Vertical bar chartで作成する。 新しいクエリを作成するので、次の画面では、From a new searchを選択する。 X軸を設定 Select buckets typeのX-Axisを選択して、AggregationにDate Histogramを指定する。 A
Elasticsearchでintegerになっていて欲しいところがstringになっていた時の対処法 - Qiita
問題 Elasticsearch, Fluentd, Kibanaの構成を作り、apacheやapplicationのログを送るシステムまでは完成させたのだけれど、kibana上でdashboardを作っていた時に、apacheのresponse timeや、データサイズのfieldが上手くソートできない問題に遭遇。 stringで見てるっぽいなーってとこまではわかっている状態。 調査 とりあえず、mappingのrequestを投げるためにindexの名前とかを知りたい。 $ curl -XGET http://localhost:9200/_cat/indices?v health status index pri rep docs.count docs.deleted store.size pri.store.size yellow open tarr-1970.01.01 5 1
NginxのアクセスログをKibanaで可視化 - Carpe Diem
概要 Nginxのアクセスログを用いて可視化の流れをまとめます。 mappingは手動で設定します。 環境 Ubuntu 14.04 fluentd 0.12.19 fluent-plugin-elasticsearch 1.3.0 Nginx 1.4.6 Elasticsearch 2.1.1 Kibana 4.3.1 構成 IP 名前 役割 192.168.33.100 web Webサーバ。ログは転送 192.168.33.101 kibana Kibana。転送されたログをKibanaへ この構成のためにVagrantfileを以下のように編集します。 config.vm.define :web do |web| web.vm.network :private_network, ip: "192.168.33.100" web.vm.provider "virtualbox" do
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearch CheatSheet - Qiita