はじめに 何を使うか 方法1 方法2 両者の違い(私感) やることの概要 データの説明 モデルの構築(飛ばしてOK) HDDからバッチを読み出す 訓練 結果 まとめ 追記 はじめに こんにちは。何が起きたかから言うと、DeepLearningしようとしたらデータが270GB近くあってメモリに乗らなかった。そこで、練習がてら、batchごとにHDDからデータを読み出して、batch学習するコードを書いた。 kerasやpythonをある程度知っている前提で書き進めていく。 何を使うか 公式ドキュメントで検索すると"メモリに載らない大きさのデータを扱うには?" FAQ - Keras Documentation とある。これによると方法は2つあるらしい。 方法1 model.train_on_batch(x, y)を使う。 このブログではこちらを試した。 方法2 model.fit_gener
![メモリに乗り切れないデータをkerasで学習する - 学習する天然ニューラルネット](https://cdn-ak-scissors.b.st-hatena.com/image/square/a4970079bf58b8115237635fc28b0bdff98dfce8/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fa%2Faotamasaki%2F20180827%2F20180827122957.png)