時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ

サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇

[y_uuki]

書いた

[mobcov]

"Kafkaほどレイテンシが低いわけではない"っていうのはpublishされるまのでレイテンシのことをさしてるのかな? Dynamoのキャパシティは自前でautoscaleさせてるのかな。(そういう記事も以前書いてあったような)

[matsumoto_r]

複数の問題を整理した上で解決方針を論理的に示し、必要な実装を数あるサービスから選択しているという意味でアーキテクチャと言える。ブログの体裁も論文の体裁になっていて論文にもできそう

[tagomoris]

文章の説明だとRedisはDynamoDBへのwrite operation削減を狙っているように見えるけどアーキテクチャ図だとread operation削減のためのものになっているような?

[ae06710]

スケーラビリティ・金銭的なコスト・運用負荷についてすごい考えられていて、観点だけでもめっちゃ勉強になる。

[tomomii]

時系列データベースとは何なのか、何を実現させるためのものなのか？がこれまでよりクリアになりましたうれしい

[moznion]

既存技術と持てる（システムを維持できる）スキルでTSDBを構築していて参考になる

[razokulover]

カードゲームのデッキ構築っぽくて楽しそう

[l-_-ll]

"DynamoDBのディスク容量課金は感覚的には安く感じましたが、1分解像度のデータを年単位で保持しようとすると、そこそこのコストがかかります。 S3のコストはスタンダードストレージでもDynamoDBの1/10程度に収まる"

[akatakun]

メモリ上のキューにデータが非同期に書き込まれるため、サーバダウンによりキューの中身をロストする，新規にメトリックが投稿されたときに、未来の領域をファイル作成時に確保するので、ディスク使用効率が低い

[kent-where-the-light-is]

“Mackerelの場合、古い高解像度データはほとんど参照されないという参照局所性があるので、参照回数が小さいデータの表示は多少遅くてもよいという性質があります。 そこで、この性質を利用し、ホットデータをDynamoDB、

[bleu-bleut]

時系列DBをAWS上で。

[tinsep19]

アーキテクチャの話になっているとおもう

[tmatsuu]

ElastiCacheの代わりにSQSでも良かったのではと思ったが、SQSだとflushするまで読み込めないのがネックなんだな。なるほどー

[kakku22]

アーキ強い．最強の Mackerel を目指して欲しい．そして使いたい（ユーザー目線）

[eigo_s]

おもしろい

[progrhyme]

"Diamond"は砕けない。いや、砕いたのか。とにかく、圧巻だ。

[toritori0318]

素晴らしい

[braitom]

Mackerelで開発中のDiamondという時系列データベースについて。Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせており、その設計と実装方法について書かれている。

[Nyoho]

へぇMackerelのためにデータベース開発しとるんじゃ。すごいな

[takaesu]

DiamonDB の 複数のデータストアを組み合わせたもの理想っぽい

[deeeet]

実装がちゃんとあるのが良い．具体的な数字としてどうなるか気になりますな〜

[hiroyadoraemon]

“Mackerelを支える時系列データベース技術 - ゆううきブログ”

[sylvan_l]

時系列データベースという概念をクラウドの技で再構築する

[nakag0711]

AWSどっぷりやねえ

[decobisu]

すごい

[HHR]

OpenTSDB、Graphite、InfluxDB、Prometheus、HBase、Cassandra、Riak、Elasticsearch

[yubessy]

めっちゃつよい

[nilab]

時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ

[hihi01]

Mackerelは、はてなのサービーサービスだと、調べてみてから思い出した。

[kitadon]

あとで読む

[yumu19]

知見共有すばらしい。

[tanaka51]

後で読む

[oooooo4150]

"少なくともいえるのは、アーキテクチャには汎用性があり、実装するソフトウェアだけでなく他のソフトウェアにも通用するなにかがあるということ"

[yayugu]

これは良さそう