pandasで処理しきれないデータを扱う際には、pandasライクにout-of-core処理がかけるDaskがよく利用されます。今回の記事はそんなDaskをサーバ1台の環境やローカルのマシンで動かす際にメモリ使用制限をかけたい、という方向けのお話です。 めちゃくちゃニッチな話かもしれませんね。。。需要ないかも。 (少し拡張すれば分散環境にも適用できるので、そちらに興味のある方にも響くことを期待してます。) 概要 メモリに使用制限をかけるにはDaskの分散処理モード?(distributed)のLocalClusterを利用します。LocalClusterはローカルのマシンに擬似的な分散処理環境を作ります。擬似的な分散処理環境のため、schedulerとworkerが必要になります。この時、実際に処理をさばくworkerのメモリ使用量に上限を設定することで、目的のメモリ使用量に制限をかける
![Daskで使用メモリ容量に制限をかける - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/de2f9a0833313bd9903f04823638fadbb013ffaf/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9RGFzayVFMyU4MSVBNyVFNCVCRCVCRiVFNyU5NCVBOCVFMyU4MyVBMSVFMyU4MyVBMiVFMyU4MyVBQSVFNSVBRSVCOSVFOSU4NyU4RiVFMyU4MSVBQiVFNSU4OCVCNiVFOSU5OSU5MCVFMyU4MiU5MiVFMyU4MSU4QiVFMyU4MSU5MSVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9YjU2ZDNkZjIxMWE2OWZkMmU4ZWEyMTZjOTg1ZWMwM2Y%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBvYWthcmVhaW9oJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0zYTFkMjZmOGM3YzhjN2U1MDg3MmI5OTQ4MGNmN2EwNw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D006cb8e9288a6f3de59c5bcabf4542ff)