webdatasetの使い方上級編1：multiprocessingでshard作成 - Qiita

これはwebdatasetの使い方の続編です． webdatasetは複数のshardと呼ばれるtarファイルにデータを固めて読み込むライブラリです．shardの作り方は上の記事に書いたとおりですが，大量のデータをshardに固める場合に並列処理をしたくなります． ということで，この記事ではshardをmultiprocessingで作成する方法を紹介します．概要は以下の通り． 画像がカテゴリ名のサブフォルダ以下に保存されているとします． 複数のworkerをmultiprocessingで作成し，shardを作成します． 画像の読み込み処理などは別々のworkerで行いますが，shardの書き込みは単一のwriterインスタンスで扱います． こうするとshard管理が一箇所で行えます．（ファイル名インクリメントなど） まあ別々のファイル名にしても問題ないので，別々のworkerで別々のw