PyCon JP 2020 での発表スライドです。 GitHub: https://github.com/taishi-i/toiro/tree/master/PyConJP2020
こんにちは、SRE部MA基盤チームの谷口(case-k)です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討 アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理 イベントログ収集基盤 個人情報の取り扱い ビルド・デプロイ戦略 監視 データ
監視・通知の仕組みの全体像また、弊社では Terraform を用いて IaC ( Infrastructure as Code ) を実現して、各AWSアカウント環境の状態をコードで一元管理していますが、 Datadog の監視項目も Provider が用意されているため、Terraform で管理をすることが可能です。現状はすべての Datadog の監視項目がコード化されているわけではないですが、こちらは随時対応を行っていきたいと思っています。 外形監視外形監視は、WebサイトやAPIエンドポイントが正常に動作していることを、定期的に特定のURLに対して問い合わせをして、期待されたステータスコードや要素を返すことを監視することを目的とします。 弊社では Datadog の Synthetic Monitoring という機能を利用して監視を行っていますが、この機能の特徴としては W
注:この記事は、有識者個人の意見です。日本医師会または日本医師会COVID-19有識者会議の見解ではないことに留意ください。 台湾はその政府の初動の速さと水際対策の成功により、現在のところ感染の制御に最も成功している国の一つである。特に、水際でどのように感染流入を防いだかについては、日本も学ぶことが多いと考えられる。 筆者は日本育ちの台湾人である。最初は、ただただ心配で情報収集を始めていたが、中国語の理解できる筆者が発信することに意味があると考え、個人ブログという形で台湾のCOVID-19情報を公開してきた。 台湾の初動の速さには、2003年のSARSの時の教訓が生かされている。実は、SARSの時は、台湾で346人の感染者と73人の死者が発生し、反省も多かった。その後、法整備、指揮系統の統一化が進んでいた。 2020年7月8日時点での台湾のCOVID-19患者数は、累計449人(内、死亡7
「アジャイルな見積りと計画作り」の著者マイク・コーンさんがブログで、「ストーリー」と「エピック」の使い分けについて説明していましたので、だいたい訳して載せておきます。 ちょうど最近、ストーリーとエピックについてご質問をいただいたので、これを参考にしていただけるとうれしいです。 ストーリー、エピック、テーマ ( STORIES, EPICS AND THEMES by Mike Cohn) http://blog.mountaingoatsoftware.com/stories-epics-and-themes 最近、「ユーザーストーリー」「エピック」「テーマ」の違いがわからないというメールを受けることがだんだん多くなってきている。今回はこれらの用語を説明する事を通じて、基本的な(でもとても役立つ)領域に立ち返り、確認していく。 まず、この用語にはあまり深い意味はない。この用語には、プログラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く