google colabでの学習について - Qiita

概要 google colabはびっくりする位便利ですが、google driveから直接データを読み込むと異様に遅いという問題が存在します。(私の場合画像データ) というわけで、.p ファイルやら .h5 ファイルやらを使って読み込みを高速化(普通にデバイスから読むのと同じくらいの速度にする)をしようと思います。 *各バイナリファイルがどのようなものかは特に説明しないので、知りたい方は他のページを参照してください。 全体の流れ 人によってやり方は変わると思いますが、私の場合 1. データのパスをまとめた .txtファイルをtraining,validation,test用にそれぞれ作成する 2. 1.で作成した.txtファイルを .pファイルに入れる(たぶんここはそんなに早くならない) 3. 先ほど作成した.pファイルを用いて名前とデータ(今回は.png)を対応させた.h5ファイルを作成

[misshiki]

Google ColabのTIPS。“google driveから直接データを読み込むと異様に遅いという問題が存在します。(私の場合画像データ) というわけで、.p ファイルやら .h5 ファイルやらを使って読み込みを高速化”する方法を紹介。