多分この手の処理をする人の給料の1日分でメモリ64GB程度は余裕で買えそうだから、普通にPCにメモリ足せば良いのでは？しかも仕事なら、この手の処理は何度もやって来ますでしょう？

circled のブックマーク 2023/06/06 08:47

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4729161316163010340/comment/circled" data-user-id="circled" data-entry-url="https://b.hatena.ne.jp/entry/s/qiita.com/fujine/items/830b3d30d3e4d4b36005" data-original-href="https://qiita.com/fujine/items/830b3d30d3e4d4b36005" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fqiita.com%2Ffujine%2Fitems%2F830b3d30d3e4d4b36005" data-user-icon="/users/circled/profile.png">1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita</a><br><p style="clear: left">多分この手の処理をする人の給料の1日分でメモリ64GB程度は余裕で買えそうだから、普通にPCにメモリ足せば良いのでは？しかも仕事なら、この手の処理は何度もやって来ますでしょう？</p><a class="datetime" href="https://b.hatena.ne.jp/circled/20230606#bookmark-4729161316163010340"><span class="datetime-body">2023/06/06 08:47</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita

qiita.com/fujine2022/12/07

はじめにこの記事は，Kaggle Advent Calendar 2022第6日目の記事になります。本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニックについて解説します。 Kag...

328 人がブックマーク・21 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita

はてなブックマーク

公式Twitter

はてなのサービス