![](https://cdn-ak-scissors.b.st-hatena.com/image/square/9ce1a2aa3cc9d1806e1920626c168b7bb7246c9e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9d2ViZGF0YXNldCVFMyU4MSVBRSVFNCVCRCVCRiVFMyU4MSU4NCVFNiU5NiVCOSVFNCVCOCU4QSVFNyVCNCU5QSVFNyVCNyVBODIlRUYlQkMlOUFzaGFyZCVFOCVBQSVBRCVFMyU4MSVCRiVFOCVCRSVCQyVFMyU4MSVCRiVFMyU4MiU5MkRhdGFQYXJhbGxlbCUyMCUyOERQJTI5JUUzJTgxJUE3JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz03YTY1Yzk4M2QzZDY3NGU5YjY2MzgyYzQxMzhkMTFhMw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwdHR0YW1ha2kmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTY2M2JhOWRjMmJlOGIzOThmYzEzZTJmMmEwMGRhZGZm%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D0ce8103bfef62d07b55d8c413a36f2a9)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
webdatasetの使い方上級編2:shard読み込みをDataParallel (DP)で - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
webdatasetの使い方上級編2:shard読み込みをDataParallel (DP)で - Qiita
これはwebdatasetの使い方の続編です. この記事では,data parallel (DP)の学習ループでwebdatasetを使... これはwebdatasetの使い方の続編です. この記事では,data parallel (DP)の学習ループでwebdatasetを使う方法を説明します. distributed data parallel (DDP)の方法は別記事で説明しています.この記事でDPの説明を見ててから,DDPの記事を見てください. shardの作成 以下の記事で,multiprocessingを用いて並列ワーカーでshardを作成します.これを使います. これで作成されるshardの中のデータサンプルは以下のものです. 'jpg': jpgファイル(__key__.jpg) 'json': jsonファイル(__key__.json) 'write worker id': このサンプルをshardに書き込んだワーカー番号(今回は使いません.デバッグ用) 'count': このshard中のサンプルの番号(0