1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita

はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量（最小値、最大値、平均、分散、四分位数）などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検

[Ez-style]

業務で作業するならBQに突っ込めでFAとして、CSVの基本統計量を計算するだけなら grep と awk という手段が（老人会脳 ／ 身も蓋もないことをいえば、アタリをみたいだけならランダムサンプリングすればよくね。

[nakag0711]

RDB使わない場合はDask+Parquetと

[Fluss_kawa]

逐次読み込みで基本統計量計算するアルゴリズムなかったっけ？

[kiririmode]

メモリに載らない量のデータの基本統計量の算出

[Windymelt]

parquet形式だ。いいよね。pyarrowはdaskってやつから呼び出す感じなんだろうか。 / 自分だったらPython使わずに直接Sparkとかで処理しちゃうだろうな

[cartman0]

逐次読み込みなかったっけ？

[hiromi_ayase]

ファイルI/Oはストリーム処理が基本だし何が難しいんだろう・・・？と思ったらpandas限定の問題だった

[megadrive]

kaggle

[prjpn]

エンジニアリング力が試される環境

[coolworld]

趣味として楽しむのならいいけど、業務ならRDBにつっこむな。

[havanap]

Rでよしなにやってくれなかったっけ

[strawberryhunter]

サーバーなら2GBでも珍しくない。1回読むだけなら1行ずつ読む、だけど要件次第。ストレージに余裕がないとSQLiteやParquetへの変換もできないし。

[kotaponx]

使い慣れたsqlite3使うことが多いけど、やっぱシングルスレッドはきついんよね……

[circled]

多分この手の処理をする人の給料の1日分でメモリ64GB程度は余裕で買えそうだから、普通にPCにメモリ足せば良いのでは？しかも仕事なら、この手の処理は何度もやって来ますでしょう？

[ya--mada]

sqliteだとﾂﾗｲのかな？

[kisiritooru]

パソコンでやっているのに、おぼろげながら浮かんできたんです。人力と言う言葉が。

[knok]

daskかなと思ったらdaskだった

[ytn]

地獄の中に楽しみを見つけるが如き

[perl-o-pal]

swapon…

[y-kawaz]

あとで読む

[nna774]

“カラムナフォーマット”