サイボウズのログ基盤 2018年版 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。アプリケーション基盤チームの @ueokande です。 今日は、サイボウズの新しくなったログ基盤についてお話しします。 サイボウズのログ基盤の進化 リプレイス前のログ基盤 サイボウズのログ基盤はサービスの成長に合わせて、常に進化し続けてます。 そんななか2017年の夏に大きなリプレイス作業がありました。 サイボウズのサービスを支えるログ基盤 from Shin'ya Ueoka 以前のログ基盤は、ログを収集するホストがあり、各ホストからログを収集してました。 しかしログの転送システムが単一障害点であったり、スケーラビリティに欠けるのでサービスの成長に追いつかず、性能的にも限界に達してました。 また以前のログ基盤では、ログの解析がしにくく、ログはあるけどビジネスに役立てにくい状況でした。 そのため今後のサービスの成長や、より安定したログ基盤を運用できるように、ゼロから刷新するこ
Rustで簡単ElasticsearchClient - 田舎のエンジニアブログ
皆さんこんばんは。私にとって一日の境界は午前9時なので、まだ19日目のはずです。 はい。すみません。遅くなりましたが、これはRust Adventcalendarの19日目です。 Rustは完全に趣味でやっている初心者なのですが、せっかく触っているなら 仕事でも使いたくなりますよね。 私はElasticsearchを仕事でよく触るので、今回はRustのElasticsearchClientを 紹介していきます。 今回使うライブラリは elastic-rs です。 まずはクライアントオブジェクトを作ります。この辺は大体同じですね。 let client = SyncClientBuilder::new().build()?; 検索をしたいときには、elasticsearchのqueryをそのまま使えます。 let res = client .search::<Value>() .index(
Migrating from RethinkDB to Postgres — An Experience Report
TL;DR: we switched from RethinkDB and ElasticSearch to Postgres, leaning heavily on Haskell in order to fill in some of the gaps quickly. The project was a success, and we’re very happy with the switch. Haskell has been invaluable for refactoring safely and confidently. MotivationAt Lumi, our backend stack has historically used RethinkDB for the primary database and ElasticSearch for indexing and
時系列DBって結局どれがいいんだっけ #TSDB - weblog of key_amb
※4/6 その後調べた情報などを記事末尾に追記 前提となるニーズ サーバの負荷情報とか、アクセス状況のような KPI を取得・保存し、可視化(参照してグラフ化)したい。 リアルタイム性が要求される。5分以上前のデータしか見れませんみたいなのはお呼びでない。 古いデータはそんなに精度は気にしないけど、ロングスパンで俯瞰して見れたら便利。 最近はビッグデータ環境の時系列データ解析もビジネスではけっこうニーズがありそうだけど、そっちはもう少し要求が多そう。 ここでは考えないことにする。 選択肢になりそうなもの 古きよき RRDtool Elasticsearch + Kibana Graphite + Grafana InfluxDB + Grafana 等 Zabbix 他に、現実的には SaaS に任せるという手段もあるだろうけど、そう言うと話が終わってしまいそうなので、ここでは考えないこと
AWSがElasticsearchサービスを発表
Amazon Web ServicesがElasticsearchサービスをリリース。数分でElasticsearchのためのクラスター環境を構築でき、可視化環境や「CloudWatch Logs」との連携機能も持つ。 米Amazon Web Services（AWS）は2015年10月1日（現地時間）、「Amazon Elasticsearch Service（Amazon ES）」をリリースした。「AWS Management Console」などを利用してElasticsearchクラスター（ESクラスター）を数分で構築できる。東京リージョンを含む九つのリージョンで利用可能になっている。 Elasticsearchは、リアルタイムで分散検索やデータ解析ができるドキュメント指向の検索エンジン。Apache 2.0ライセンスのオープンソースソフトウエアとして提供されている。構造化データ／
ログ集計／時系列DB／可視化ツールの調査結果 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 近年、自分の中で集計／可視化は Fluentd(datacounter)+Growthforecast で定番化していました。 しかしプロダクトで新たに集計／可視化の要件が出てきたことと、 最近可視化ツール周りで 「Kibanaってなんじゃ？」「Graphiteってなんじゃ？」「InfluxDBってなんじゃ？」 など、このツール達は一体何なんだろう…？というのが前々から気になっていました。 今回良い機会なので ◯◯は何をするものなのか？ というのを一つ一つ調べてみました。 いわゆる「触ってみた系」の記事なので だいぶ浅い感じです。 大分
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How Discord Indexes Billions Of Messages?
Kibanaで簡単! サクサク ビジュアライズしよう！ - Qiita
Elastic Cloud ― マネージドのElasticsearchと検索 | Elastic
GitHub - bitemyapp/bloodhound: Haskell Elasticsearch client and query DSL