タグ

関連タグで絞り込む (0)

  • 関連タグはありません

タグの絞り込みを解除

パフォーマンスとBigqueryに関するkashisanのブックマーク (1)

  • Firestoreの性能チューニング - Qiita

    はじめに DataflowFirestoreに大量データを投入する機会があって、性能チューニング周りで苦労したのでまとめておく。 大人の事情でサンプルコードは出せないので、概念だけ。 TL;DR とにかくエラーレスポンスを発生させないことが大事 https://firebase.google.com/docs/firestore/best-practices?hl=ja を真面目に全部やる やりたかったこと 約1億件のデータを、なるべく短時間でfirestoreにインポートしたい インポートは、dataflowを使って並列処理で行う 基戦略 エラーが起きたらリトライ 並列処理だと、クオータに引っかかったり、サーバ側がたまたま過負荷だったりして、リクエストが正しくてもエラー応答をらうことがまれによくある。そのため、リトライの機構が必須。(負荷起因のエラーなら、同じリクエストを投げ続けれ

    Firestoreの性能チューニング - Qiita
  • 1