GCP Cloud Monitoring の Aggregation を理解する - QG Tech Blog
はじめに平素は大変お世話になっております。 クイックガードのパー子です。 皆様は Cloud Monitoring の Aggregation を活用されていますでしょうか？ (昔は Stackdriver Monitoring という名称だったと記憶しているのですが、今は Stackdriver というワードは外されて いますね) 弊社でも GCP を扱う案件は多く、システムの健康状態の把握のために Cloud Monitoring を多用しています。 状況分析や問題の特定のためには適切な Aggregation が欠かせないのですが、Aligner, Reducer, Alignment period など登場人物が多く、なかなか概念を理解しづらいところがあります。 そこで今回は、Aggregation とは何なのか、どんな要素で構成されていて、どんなことができるのかを整理してみました
KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 | メルカリエンジニアリング
メルカリのバックエンドを支える SRE(Site Reliability Engineering) チームに最近加わりました @syu_cream です。 本記事では KPI に関わる数値を計算してレポートを生成する集計システムの刷新に取り組んでいる話を紹介します。 現在は刷新の途中であり、集計項目ベースでいうと 1/3 ほどの実装が済み、現行システムと刷新後のシステムの一部を並行稼動させている状態です。 背景 メルカリではアプリケーションのログファイルやデータベースから、 DAU(Daily Active Users) などの KPI に関する様々な数値を集計するためのシステムを稼働させています。 この集計システムは毎日 Slack やメールにて KPI のサマリーレポートを送信し、全社員が数値を閲覧し、日々プロダクトの傾向を意識することを可能にしています。 集計システムの動作イメージは
Akka Cluster Shardingで即時集計系をつくる | Scala Tech Blog
こんにちは、CA ProFit-X の松村です。 私たちのプロダクトでは広告配信のシステムにAkkaを使っていて、アプリケーションはAWS/Docker環境に配備して運用しています。今回はAkkaのCluster Shardingという拡張を使って、主にAWS環境を想定した簡単なリアルタイム集計システム(即時集計系)をつくってみたのでその内容をご紹介します。 下ではAkka Cluster Shardingについて簡単に説明した後、試作した即時集計系の実装・永続化と配備について説明します。その後、ワークロードとノード数を増減させた実験とその結果について説明します。 Akka Cluster Sharding について Akka ClusterはGossip Protocolとφ Accrual Failure Detectorという手法に基づいた非中央集権的なノード群構築を行うAkka拡張
Elasticsearch Top Hits Aggregationの活用とデモ
脱単なる一覧表示！俯瞰できる検索結果を利用者へ提供することで、効率のよい情報収集と今まで知らなかった情報を気づかせる。 もしかしたら、クエリー関連の記事を書くのははじめてかも。基本は飛ばして、いきなりAggregationです。そのうち基本も書きます。 Aggregationと言うとファセット検索で使用したり、集計したりどちらかと言うと分析関連で使われることが多そうな気がしますが、今回はいわゆるブログや企業サイト等で利用されているサイト内検索をAggregationを使ってもっと便利にしたいと思います。それと query DSLの説明も。 と言うわけでいきなりデモです。 Demo Top hits aggregation . デモアプリのあまりの殺風景さに戸惑わないでください。。例えば「日本語で全文検索」などElasticsearchに関連する質問を入力すると検索結果が表示されます。このデ
Elasticsearch Aggregation, Parents & Children を活用してつくるツアー検索
突然ですが、ウェブサイトから旅行の申し込みをする人がどのくらいいるか知っていますか？ 国内旅行では2012年、約２５％の旅行者が旅行予約サイトを利用して申し込んでいるとのことです。(日本旅行業協会サイトより: http://www.jata-net.or.jp/data/stats/2014/03.html) 年間国内宿泊旅行者数が、約4億5000万人泊 (日本旅行業協会サイトより : http://www.jata-net.or.jp/data/stats/2014/01.html) ということなので、仮に1回の旅行で5人グループが2泊するとした場合、4,500万回の国内旅行が催行され、その内の25%、1,125万回がウェブサイトから申し込みされていることになります。情報収集でサイトに訪れる利用者を含めるとさらに大変な来訪者になります。今後は25%という割合も増加するだろうし、ツアーサイ
Aggregation Module - Phase 1 - Functional Design · Issue #3300 · elastic/elasticsearch
_NOTE: at this point we're focusing more on the functional design aspect rather than performance. Once we get this nailed down, we'll see how far we can push and optimize._ Background The new aggregations module is due to elasticsearch 1.0 release, and aims to serve as the next generation replacement for the functionality we currently refer to as "faceting". Facets, currently provide a great way t
Elasticsearchの"Aggregations"を使って SQLの"Group by"を置き換える - Qiita
はじめに Elasticsearchのv1.0.0 が無事リリースされ、Aggregations APIの利用が可能になりました。 Elasticsearchはこれまで、検索結果を集約して解析する仕組みとしてFacets APIを提供していましたが、実質SQLのGroup byでのcountに相当する機能しかなかったため、maxやavgといった複雑な条件で集約を行いたい場合、クエリを分けて集約したり解析したりするしかありませんでした。 v1.0.0でAggregations APIが提供されたことで、maxやavgはもちろん、日付でヒストグラムを取得するといった複雑な集約も楽に行えるようになり、SQL型検索エンジンからの置き換えも行いやすくなってきたのではないかと思います。 内容 Aggregationsで何ができるのか、SQLのGroup byとの置き換えを例に検証してみましたので、その
An Introduction to Elasticsearch Aggregations
Elasticsearch v1.0.0 stable is closer than ever, and it will easily be the most exciting release to date. Issues and bugs are being tackled every day, and the features are thickening. One of the most exciting features of v1.0.0 is the much-anticipated Aggregations Module. Released on January 15th, v1.0.0.RC1 includes aggregations, so we're going to take a look at what makes aggs so valuable. Inst
Solr Facet Functions
April 17, 2015 in analytics / facets / grouping / solr tagged count distinct / facet analytics / facet by function / facet statistics / Faceted Search / histogram facet / hyperloglog solr / JSON facets / realtime analytics / solr analytics / solr facet / solr facet example / solr facets / solr hll / solr statistics by yonik (updated on September 2, 2017) Traditional faceted search (also called g
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - viant/bqwt: BigQuery Windowed Tables
Robust, Scalable, Real-Time Event Time Series Aggregation at Twitter
How WePay uses stream analytics for real-time fraud detection using GCP and Apache Kafka | Google Cloud Blog
Metric Aggregation
Cloudera Manager Metrics
Data dictionary - AWS Data Exports
GitHub - ankane/groupdate.sql: The simplest way to group temporal data
Elasticsearch date histogram aggregation - filling in the empty buckets | Sean McGary
Hierarchical Aggregation for Information Visualization: Overview, Techniques and Design Guidelines Niklas Elmqvist, Member, IEEE, and Jean-Daniel Fekete, Member, IEEE Abstract—We present a model for building, visualizing, and interacting with multiscal
Out of this world aggregations
GitHub - SibaTokyo/demo-top-hits-aggregation: Elasticsearch Top hits aggregation demo.
