Revisiting Unreasonable Effectiveness of Data in Deep Learning Era

The success of deep learning in vision can be attributed to: (a) models with high capacity; (b) increased computational power; and (c) availability of large-scale labeled data. Since 2012, there have been significant advances in representation capabilities of the models and computational capabilities of GPUs. But the size of the biggest dataset has surprisingly remained constant. What will happen

[elu_18]

これまで画像の最大の訓練データは百万枚のImagenetのままであった。訓練データを3億枚に増やし50GPUで2ヶ月かけ学習した結果，精度はデータ数の対数に比例して向上し続け、学習済みモデルは各タスクで有効と分かった http

[stealthinu]

学習精度がデータセットの対数に比例して上がっていくことを示した論文。ネットワークサイズや構成だけじゃなくデータセットのサイズも非常に重要だということ。