Python Dask入門 小さなマシンで大きなデータを扱う最初の一歩

上の表に示したように、Pandas は小～中規模データの分析に向いています。 データをすべて一度にメモリ上に読み込むため（メモリ利用の仕組み）、呼び出しと同時に計算が始まる「即時評価」の性質を持ちます。 そのため、操作後すぐに結果を確認でき、シンプルな API で手軽にデータ操作を進められるのが大きな利点です。 一方、Dask データフレーム は大量データや複雑な計算を扱う場面で威力を発揮します。 データを小さなチャンクに分割し断片的にメモリへ読み込むことで、限られた RAM 上でも処理が可能です。 また、遅延タスクグラフを構築し、compute() を呼び出すタイミングで一括実行するため、中間生成物の無駄を省きつつ高速に処理できます。 さらに、実行環境に応じてスレッド・プロセス・分散クラスタを自由に選択できるため、開発段階から本番環境まで同じコードでスケールさせやすい柔軟性が特徴です。

[misshiki]

“「大量 CSV を集計する」という 典型的に重くなる処理 を通して、Dask がどのように恩恵をもたらすかを見てみます。”