Python Dask で 並列 DataFrame 処理 - StatsFragments

はじめに 先日のエントリで少し記載した Dask について、その使い方を書く。Dask を使うと、NumPy や pandas の API を利用して並列計算/分散処理を行うことができる。また、Dask は Out-Of-Core (データ量が多くメモリに乗らない場合) の処理も考慮した実装になっている。 sinhrks.hatenablog.com 上にも書いたが、Daskは NumPy や pandas を置き換えるものではない。数値計算のためのバックエンドとして NumPy や pandas を利用するため、むしろこれらのパッケージが必須である。 Dask は NumPy や pandas の API を完全にはサポートしていないため、並列 / Out-Of-Core 処理が必要な場面では Dask を、他では NumPy / pandas を使うのがよいと思う。pandasとDas

[mainyaa]

Dask知らなかった。メモリに乗らない状況で便利そう

[takuti]

#pyconjp #PyConJP_C

[boxheadroom]

並列演算、ライブラリの知識勉強しても憶えられないので、適当に標準Pythonで文法だけ規定してバックエンドを適宜指定できるようにしてくれると嬉しい

[kaisk]

sudo apt-get install graphviz; pip install graphviz

[tamakoron]

Python Dask で 並列 DataFrame 処理