エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【BigQuery】pandasにBQデータの一部を高速で読み込み - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【BigQuery】pandasにBQデータの一部を高速で読み込み - Qiita
背景 BigQueryデータをpythonコードで使う方法はいくつかあるが、中でも最近登場したBigQuery Storage A... 背景 BigQueryデータをpythonコードで使う方法はいくつかあるが、中でも最近登場したBigQuery Storage APIは読み込み速度の点で非常に優れているらしい。 公式ページ:https://cloud.google.com/bigquery/docs/bigquery-storage-python-pandas?hl=ja まだ新しめのAPIで、ちょっと変則的なことをしようとするとなかなかサンプルコードがなかったので残しておく。実行速度などの検証は他記事に任せることとする。 やりたいこと BigQueryのデータをPythonで直接読み込みPandasに格納する。今回は件数が多いデータを処理したかったので条件をつけて一部データのみ取り出す。 前準備 まずは使用するライブラリをpipインストール。 conda createなどで新たに別の仮想環境を用意するのがおすすめ。(私