Bi-Tempered Logistic Loss for Training Neural Nets with Noisy DataPhilosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more
Dark Knowledge - memorandum
G. Hintonの"Dark knowledge"のスライドが非常に興味深いので，数式多めにメモ． 通常，多クラス識別での交差エントロピー(cross entropy) は と定義されます．ここで， (は規格化項)ではtrue label(正解クラスなら，他は0)です． 一度 を最小化する訓練(hard target model)をして，出力 が得られたとします． この を使い，の代わりに ()をラベルに見立て， をsoft target modelでの交差エントロピーとします． 適当な温度 (大きめ)と混ぜパラメータ (小さめ，1/(1+T2)程度)を使って交差エントロピーを と定義したモデルがdistilled modelです(多分)． コメント頂けるとありがたいです． [12/10追記]：NIPS workshopのペーパーを見て、混ぜパラメータを変更しました。次元を持っている量と
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://campar.in.tum.de/pub/milletari2016Vnet/milletari2016Vnet.pdf
[DL Hacks]Semantic Instance Segmentation with a Discriminative Loss Function![[DL Hacks]Semantic Instance Segmentation with a Discriminative Loss Function](https://cdn-ak-scissors.b.st-hatena.com/image/square/f1b2cb197f3ac76ad9aa4eab0c848838c74a3d71/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Ftaniai20180528-180528084124-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
http://arxiv.org/pdf/1804.08087
