エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Pythonデータサイエンスで6GBのCSVファイルを処理する方法は何ですか?に対する杉山 駿 (Shun Sugiyama)さんの回答 - Quora
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Pythonデータサイエンスで6GBのCSVファイルを処理する方法は何ですか?に対する杉山 駿 (Shun Sugiyama)さんの回答 - Quora
回答 (2件中の1件目) 6GBのCSVであれば、データベースに入れてしまえばメモリーが不足することはありま... 回答 (2件中の1件目) 6GBのCSVであれば、データベースに入れてしまえばメモリーが不足することはありませんが、分析に要する手間が増えてしまいます。できるだけ、PandasやNumpy等を使って全てのデータをメモリーに載せて分析する方が作業効率があがります。 それで、作業手順からいえば、Pandasを使えば、csvから必要な列や行のみを読み込めるので、まずそれを使ってデータのサイズを削減します。 それでも、メモリーが不足するのであれば、メモリーを買って増設します。また、必要なメモリー量によってはクラウドを使用します。例えば、Google cloud で n1-ultramem-4...