
エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
BigQueryStorageAPIで高速にデータを取得する
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
BigQueryStorageAPIで高速にデータを取得する
要約 BigQueryAPIからBigQueryStorageAPIに置き換えることで高速にデータ取得ができた 具体的には、約5.... 要約 BigQueryAPIからBigQueryStorageAPIに置き換えることで高速にデータ取得ができた 具体的には、約5.7億レコードのテーブルに対して BigQueryAPI: 2時間20分 BigQueryStorageAPI: 3分 背景 VertexAIのカスタムジョブ上でBigQueryAPI(Pythonライブラリ)を用いて、億単位のレコードを取得していた BigQueryAPIでのデータ取得がボトルネックとしてあり、カスタムジョブ全体の実行に時間がかかってしまっていた 高速化できないか調査したところ、大量のデータ取得に関しては、BigQueryStorageAPI一択とのこと BigQueryStorageAPI 概要 The BigQuery Storage Read API provides fast access to BigQuery-managed stor