G. Hintonの"Dark knowledge"のスライドが非常に興味深いので,数式多めにメモ. 通常,多クラス識別での交差エントロピー(cross entropy) は と定義されます.ここで, (は規格化項)ではtrue label(正解クラスなら,他は0)です. 一度 を最小化する訓練(hard target model)をして,出力 が得られたとします. この を使い,の代わりに ()をラベルに見立て, をsoft target modelでの交差エントロピーとします. 適当な温度 (大きめ)と混ぜパラメータ (小さめ,1/(1+T2)程度)を使って交差エントロピーを と定義したモデルがdistilled modelです(多分). コメント頂けるとありがたいです. [12/10追記]:NIPS workshopのペーパーを見て、混ぜパラメータを変更しました。次元を持っている量と
The problem of data augmentation in feature space is considered. A new architecture, denoted the FeATure TransfEr Network (FATTEN), is proposed for the modeling of feature trajectories induced by variations of object pose. This architecture exploits a parametrization of the pose manifold in terms of pose and appearance. This leads to a deep encoder/decoder network architecture, where the encoder f
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く