TensorFlowで使えるデータセット機能が強かった話 - Qiita

TFで使えるデータセット機能 TFではtf.data.Datasetと言う非常に強力なデータセット機能があります。 具体的に何ができるのかというと、データの塊を入れるとパイプラインを構築してデータを吐き出すジェネレータを作成する機能が使えます。 データパイプラインを使用する強み tf.data.Datasetデータパイプラインを用いると以下のことができます。 Batchごとにデータを排出 データをShuffleしながら排出 データを指定回数Repeatしながら排出 チェインメソッドにより複雑に変形可能 データを途中で変換掛けながら排出 GPU演算中にCPUでデータセットを用意 特に、データ変換機能は、DataAugmentationが応用でき、Generatorとして非常に強力です。 さらにいえば、keras.preprocessing.image.ImageDataGeneratorで結