[pandas] 大量のCSVファイルを高速に読み込む方法 - Qiita

はじめに 本稿はpandasユーザーに向けて、複数のCSVファイルからデータを読み込んで1つのDataFrameを作る高速な方法を書きました。 最初にfor文で1ファイルづつ読み込む一般的な方法を確認した後に、高速な方法を紹介しています。 環境 Google Colaboratory （無償版CPU） pandas ver 1.5.3 対象CSVファイルの仕様 1つのCSVファイルに50,000レコード x 3列のデータが入ってます。 3列は「日付」「数値」「文字列」の型に対応したデータが入っています。 date列: 「YYYY-MM-DD」の書式でファイル名と同じ日付の文字列が入ってます。 A列: 0～9のランダムな数値が入っています。 B列: A-Zのランダムな3文字の文字列が入ってます。 「csv_folder」フォルダの直下に「2020」「2021」のように「年」のフォルダがあり、