Prioritized Training on Points that are Learnable, Worth Learning, and Not Yet Learnt Abst. Webスケールデータでの学習は数ヶ月かかることもある。しかし、ほとんどの計算と時間は、既に学習済みの冗長でノイズの多いポイントや、学習不可能なポイントに浪費されている。学習を高速化するために、研究ではRHOLOSS(Reducible Holdout Loss Selection)を導入している。これは、モデルの汎化損失を最も低減する学習用のポイントを大まかに選択する、シンプルだが原理的なテクニックである。 その結果、RHO-LOSSは既存のデータ選択手法の弱点を緩和していた。最適化の文献にある手法は、一般的に「難しい」(例えば、損失の大きい)点を選択するが、そのような点はしばしばノイズが多い(学習可能ではな