GCP関連のモニタリングを俺なりに検討してみる。 - Qiita
僕は、ものぐさなのかもしれない。 「監視システムが落ちていて、警報がでなかったら?」「何種類の異なるシステムを運用するのか?」と考えると、自前で監視ステムを運用する気になれない。 ということで、僕のお得意のDatadogを使って、どこまでGCPが監視できるのか探ってみることにす。 Datadogは、GCP パートナーエコシステムのメンバーだった。 [2014/11/04のプレスリリース] "Datadog joins Google Cloud Platform Partner Ecosystem to Monitor Infrastructure and Applications at Scale"によると、GAEのIntegration(monotiringを簡単に始める仕組み)を発表し、パートナーエコシステムに加わったらしい。 僕の記憶を紐解くと、GCPは、5月にStackdriver
データフロー制御フレームワークLuigiを使ってビッグデータ解析をする - Qiita
Luigiとは LuigiはPythonで書かれたデータフロー制御フレームワークです。 ストリーミング音楽配信大手のSpotifyが開発しています。ソニーと提携したことでも話題になりましたね。 Luigi公式レポジトリ 本家のプレゼン資料がわかりやすいです。 一般的にビッグデータ解析では、統計・機械学習を行う前に、クレンジングやフィルタ処理をいくつも重ねる必要があります。その依存関係は複雑で、しかもデータの差し替えや失敗・中断時のやり直しなんてやりだすと、苦行の他のなにものでもありません。そんな時にLuigiは使えます。 名前のLuigiの由来は、データフローを配水管に例え、「世界で2番目に有名な緑色の服を身にまとった配管工」だとか…。赤じゃなくて緑なのは、Spotifyのコーポレートカラーと同じだからでしょうか(笑)。 Pythonではありますが、Pythonによる処理だけでなく、Had
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
