こんにちは。機械学習・データ部の @irotoris です。 どこからかダウンロードしてきた Excel ファイルのデータを BigQuery に入れてほしいという話があり、Python と pandas で Excel を読み込んでシュッと BigQuery にロードしたときの作業備忘録です。 TL;DR Google Colaboratory に Google ドライブをシュッとマウントできて便利 pandas の ExcelFile() で Excel ファイルがシュッと読めて便利 備忘録 まずは人に聞いたりファイルをいくつか眺めてデータの仕様を把握します。どうやら以下のようなファイルのようです。 ファイル数は200以上、合計 5GiB 程度 Excel 内のシート数は 3つ Excel のシート名は「データの内容を表す文字列_ランダム文字列のサフィックス」※ 例: シート1: tr
![Google ドライブにある Excel ファイルをシュッと BigQuery にロードしたときの備忘録 - LayerX エンジニアブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/f10b0b0b6e944caf722dabd91c5f3516c1e6929f/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Firotoris%2F20240520%2F20240520151300.png)