【PyTorch】メモリに乗り切らない大規模データのためのHDF5操作 - Qiitaよくわからなかったので忘れないように... HDF5はなに？ HDF = Hierarchical Data Format 階層構造によってデータを管理できるファイルフォーマット たくさんのいろんな種類のデータをひとつのファイルで管理できて便利 データ格納時に圧縮できるオプションもあるので直接ディレクトリでデータを扱うより小さくなることも またPythonでもNumPyやPandasみたいに扱える HDF開発団体からビュワーアプリも公開されていて扱いやすい なによりメモリに乗り切らないほどの大量のデータも超高速に読み込むことができます HDF5とPyTorch？ ディレクトリとそのデータとして扱えるので機械学習用のデータを管理するのにとっても都合がいいだけでなく、HDF5形式で扱うとデータが大規模過ぎてメモリにのらないよ～、データの読み書きに時間がかかりすぎてキレそうだよ～といったときにも
