かまろ/Camaro @mlaass1 ディープラーニングのモデリングの経験則を語る会をやってみたい。理論的な背景は不要(あってもいい)で、こういうときはこうする、こういうデータにはこうすると上手くいく、初手はいつもこれ、などのヒューリスティックを無責任に語る会。 かまろ/Camaro @mlaass1 画像だとデータの特徴と合わせてこの辺り話してみたい。 ・image sizeとmodelの大きさ ・batch sizeの決め方とBatch norm ・fp16使うか ・デバイス(GPU/TPU)の違い ・間違いないaugmentation ・間違いないscheduling ・frameworkの違い(tf/pytorch) ・lossの選び方 ・optimizerの違い ・headの設計方法 かまろ/Camaro @mlaass1 ちなみに私は ・基本的に大きいほうがいい、特に画像が複