TimeFuzeアーキテクチャ構想 - 処理とデータとタイマーを一体化したデータパイプライン - ゆううきブログ
この記事は第1回ウェブシステムアーキテクチャ(WSA)研究会の予稿です。 cronのようなタイムスケジューラーにより、定期的に実行されるバッチ処理の課題を解決するアーキテクチャを最近考えている。 この記事では、単一のタイムスケジューラによるcronベースの手法に代えて、データに対してタイマーと処理を仕込むことでスケールさせやすい構造にできないか、という提案を試みる。 はじめに Webサービスにおいて、リクエストに対してHTMLのレスポンスを返却する以外のワークロードの多様化が進んでいる。 最近であれば、機械学習による時間周期による大規模なデータ処理が求められることも多い。 その他、月次の課金バッチ処理や、ランキングの定期更新など、一定の時間間隔で任意の処理を実行したいケースは多い。 このような定期的なデータ処理パターンは、SRE本[Bet17]の25.1節「パイプラインのデザインパターンの
第1回WSA研究会 開催概要 - Web System Architecture 研究会 (WSA研)
いわゆるWebでも、情報ネットワークでもなく、Webを中心とした様々な技術要素および要素のつながりを含む系全体のアーキテクチャを議論をします。 websystemarchitecture.hatenablog.jp 日時と場所 日時: 2017年12月23日12:00~19:30 場所: はてな京都オフィス8F 発表形式 発表時間15分,質疑応答15分を予定しております. 発表形式はスライド,もしくはホワイトボードを用意いたしますのでホワイトボードを利用した発表でもかまいません. ブログをプロジェクターに移しつつ,ホワイトボードで適宜図を書きながら発表など. 事前に予稿としてブログ記事の共有をお願いします。発表者は,2017年12月20日23:59(JST)までに個人ブログ,Gistなどに詳細を記載し共有をお願い致します. はてなブログの下書き共有や、GistおよびQiita、Google
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
