エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【Pythonお悩み解決】データセットがメモリにのらないときの対処法Beginaid
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【Pythonお悩み解決】データセットがメモリにのらないときの対処法Beginaid
対処法 少しトリッキーですが,datasetに渡すのは「予めバッチサイズに分割されたデータが格納されたpat... 対処法 少しトリッキーですが,datasetに渡すのは「予めバッチサイズに分割されたデータが格納されたpath名のリスト」とします。こちらの記事(【超初心者向け】ド素人がPyTorchで自作データセットを作るまで。)でも説明しているように,普通pytorchデフォルトのdatasetを使っている場合はdatasetクラスのインスタンスを生成するために全データそのものを渡します。しかし,使用するデータが莫大な場合には,データセットを一旦全部読み込んでしまうため,メモリが大量消費されます。 この現象を回避するためには,毎回のイテレーションごとにデータセットを読み込む必要があります。そこで,pytorchにdatasetとして認識させるのは,データセットのpath名が格納されたリストだということにします。そうすれば,pytorchのdatasetとdataloaderが「どのバッチを選ぶのか」と