「F1 Query: Declarative Querying at Scale」 - Google内部のクエリ実行プラットフォームF1の動き - 発明のための再発明
はじめに 以前Dynamoの論文を読んだので、ついでにGoogleのF1についての論文読んだ。 Dynamoは古かったが、こちらは2018年発表と新しい。 以下のリンクから手に入る。 https://ai.google/research/pubs/pub47224 F1はSpannerと一緒の文脈に居ることが多くSpannerをいじるためのものだと考えていたが、GoogleSpreadSheetなど複数ソースをまたいで動作するらしい。 論文の内容は全体を通して興味深い内容だった。 この論文では、 どのようにソースをまたいだ動きを実現したか OLTP・OLAP・ETLという、別特性の動きをどのように一体化したか を書いている。 以下、特に興味を引いた１章から４章の内容である。 F1の目的 F1は、社内で必要な機能である以下の３種全てを提供することを目的としている。 少ないレコードを対象とした
「F1 Query: Declarative Querying at Scale」を読んだ
こんにちは。移行直後でEditorと悪戦苦闘している今日この頃です。 元のメモをMarkdownで書いてしまったので、階層が限られるのが微妙に厳しい・・・ ともあれ、「F1 Query: Declarative Querying at Scale」を読んだので概要をまとめます。 読み違えている個所などもありそうですが、一旦のまとめということで。アーキテクチャを読むのが目的のため、論文の後半はまとめていません。 F1の焦点ワークロードを単一のクエリエンジン上で扱うこと断片化したデータセットへの対応実行環境は「データセンター」小規模から大規模へ両対応UDFs、UFAs、TVFs等による拡張性担保ワークロードを単一のクエリエンジン上で扱うこと以下のワークロードに対応することを目的とする。 小数データにアクセスするOLTPクエリ大量データに対するOLAPクエリ大量データの変換に用いるETLパイプラ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
