BigQueryで有り金全部溶かさないように、テーブルの日付ごとのパーティション(partition)機能について調べてみた - 唯物是真 @Scaled_Wurm
BigQueryではクエリのたびに対象のテーブルをフルスキャンします スキャンしたテーブルのサイズによって料金が請求されるので、コストの削減のために日付などの単位でテーブルを分割するのがベストプラクティスとして知られています qiita.com テーブルを日付ごとに分割する利点 クエリのときのテーブルのサイズが小さくなるので、費用が下がる テーブルを最後に更新してから90日以上たつとストレージ代が安くなる テーブルが分かれているので、特定の日のデータだけ入れ直すのが簡単 expireを設定すれば一定期間で自動的に古い方から消えていくようにできる 以前このブログでも紹介しましたが、最近テーブルを日付ごとにパーティションする機能がサポートされました sucrose.hatenablog.com パーティション機能の挙動を知りたかったのでいろいろ調べてまとめてみました 以下に書いてあるmkやlo
fluent-plugin-bigquery v0.3.x で遭遇したエラーについて - ymyzk’s blog
fluent-plugin-bigquery を v0.2.x から v0.3.x にアップデートしたところ, insert errors insert_errors="[#<Google::Apis::BigqueryV2::InsertAllTableDataResponse::InsertError のようなエラーが出て, BigQuery に insert 出来なくなってしまったエラーについてのまとめです. 問題 fluent-plugin-bigquery を v0.3.x にアップデートしたところ, fluentd が次のようなエラーを発生するようになりました. 2016-11-12 17:19:45 +0000 [warn]: insert errors insert_errors="[#<Google::Apis::BigqueryV2::InsertAllTableDat
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
