気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
qiita.com/derui@githubエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント3件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
AWS Batchで速く/安くやるデータセットの前処理 - Qiita
OpenStreamアドベントカレンダーの一日目です。 結構前からやっている趣味DeepLearningですが、最近（実... OpenStreamアドベントカレンダーの一日目です。 結構前からやっている趣味DeepLearningですが、最近（実際は結構前から）次のような問題に当たり始めました。 データセットが大きくなってきてHDDが厳しい データセットが大きくなってきて前処理がやばい 小さいデータセット＋Augmentationでなんとかなるものはいいんですが、現在最大のデータセットは 画像33万枚、220GB弱 あります。 んで、これを前処理したり何だりしていると、最終的に学習で利用するデータを作成するだけで、HDDが500GBくらい利用されてしまう状態です。 容量も当然厳しいんですが、一番厳しいのは処理時間です。現状の前処理を行うと、大体 12時間くらい かかります。趣味でやるので基本的に自分のPCでやっていると、HDDが悲鳴を上げる上に、実行している間はレイテンシが悪すぎて他の作業もできないって状態になっ
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
qiita.com/derui@github
qiita.com/derui@github
qiita.com/derui@github
qiita.com/derui@github
magazine.cainz.com
blog.kushii.net
anond.hatelabo.jp
note.com/kazakura
anond.hatelabo.jp
qiita.com/ho_na
gfx.hatenablog.com
memo.sugyan.com
gigazine.net
note.com/yukukotani
ai-data-base.com
automaton-media.com
sportiva.shueisha.co.jp
blogos.com
ameblo.jp/arai-elina
2018/08/15 リンク