Dataflowが解決するストリーミング処理の課題と基盤構築で考慮すること - case-kの備忘録
Dataflowが解決するストリーミング処理の課題と基盤を作る上で考慮すべき点をいくつか資料を参考に備忘録もかねて整理してみました。 ストリーミング処理の概要 ストリーミング処理とは バッチ処理との違い ストリーミング処理の課題 データ量と変動性 遅延データの扱い 異なるプログラミングモデル Dataflowでどのように解決すのか オートスケール 遅延データの制御 プログラミングモデルの統一 遅延データの制御 (機能詳細) ウィンドウとは 固定ウィンドウ スライディングウィンドウ セッションウィンドウ ウォーターマークとは トリガーとは アキュミュレーションとは 破棄モード 累積モード 累積 ＆ 後退モード Dataflowでストリーミング処理の基盤作成で考慮すること 何を計算するか？(ETL) イベント時間のどこを対象にするか？(ウィンドウ) 処理時間のどの時点を対象にするか？(ウォータ
Hadoopとリレーショナルデータベースは「何」が違うのか
書籍の中から有用な技術情報をピックアップして紹介する本シリーズ。今回は、秀和システム発行の書籍『Hadoopファーストガイド（2012年9月20日発行）』からの抜粋です。 ご注意：本稿は、著者及び出版社の許可を得て、そのまま転載したものです。このため用字用語の統一ルールなどは＠ITのそれとは一致しません。あらかじめご了承ください。 はじめに 近年、データサイズは増加傾向にあり、Webサイトを運営しているエンジニアやプログラマーにとって大規模データというのは身近なものになりつつあります。あなたの運営しているWebサイトではいかがでしょうか。たとえ今はリレーショナルデータベースで十分だとしても、今後も同じやり方で大丈夫だという保証はどこにもありません。 データサイズが増えてくると最初に問題となるのはバッチ処理です。データサイズが小さいうちは問題にならなくても、データサイズが増加してくると処理時
【トレンド分析】最近のアイコンのデザインが似通ってきている問題 デザイン会社 ビートラックス: ブログ
最近のスタートアップにおけるロゴトレンドでは、そのスタイルに多くの類似性があることがわかった。その中でも、特にスマホ向けのアプリの影響でアイコンの存在がそのブランドを強く印象づける役割を果たしている。 【トレンド分析】最近のロゴデザインが似通ってきている問題 – 第2弾 多くのアイコンがどんどんカラフルに限られたスペースに複数のアイコンが並ぶスマホのホーム画面で存在感を出すためなのか、最近のアイコンはどんどんカラフルになってきている。これは、画面の解像度が上がってきている恩恵でもあるが、どんどん没個性にもつながっている。 カラフルアイコンの代表的なのがインスタグラム。インスタは2016年にそれまでのカメラ風のアイコンから、思い切ってカラフルなグラデーションを取り入れたアイコンにリデザインを行った。 Googleサービスの見分けをつけるのが難易度高めカラフルなカラースキームの代表といえばGo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Workflows | Google Cloud
Completely Private GKE Clusters with No Internet Connectivity