はじめに DataflowでFirestoreに大量データを投入する機会があって、性能チューニング周りで苦労したのでまとめておく。 大人の事情でサンプルコードは出せないので、概念だけ。 TL;DR とにかくエラーレスポンスを発生させないことが大事 https://firebase.google.com/docs/firestore/best-practices?hl=ja を真面目に全部やる やりたかったこと 約1億件のデータを、なるべく短時間でfirestoreにインポートしたい インポートは、dataflowを使って並列処理で行う 基本戦略 エラーが起きたらリトライ 並列処理だと、クオータに引っかかったり、サーバ側がたまたま過負荷だったりして、リクエストが正しくてもエラー応答を食らうことがまれによくある。そのため、リトライの機構が必須。(負荷起因のエラーなら、同じリクエストを投げ続けれ
![Firestoreの性能チューニング - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d81c01f3672717fa09cfb5a6d7cf629a6ad6fd42/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9RmlyZXN0b3JlJUUzJTgxJUFFJUU2JTgwJUE3JUU4JTgzJUJEJUUzJTgzJTgxJUUzJTgzJUE1JUUzJTgzJUJDJUUzJTgzJThCJUUzJTgzJUIzJUUzJTgyJUIwJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1iYzIxYmIxMWE5NzdjODQ2MzNkYWQ0ZWQ4YzhlNjFmMQ%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBzeWFnaSZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OWU5MWRmMDNlMWQyMWE4ZDg2YzlmN2EyNWZjY2NhMzM%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3D6bd57e0ae2dfc9ff2dcd10b4e15cfe5f)