3分で分かるDeep Learningの “Dark Knowledge" - conta's diary最近Deep Learning界隈で話題のDark Knowledgeについて。 Deep Learningの教祖、Hinton先生がとあるところで”Dark Knowledge”というタイトルで発表されていました。 最初タイトルを見た時に、やばい、黒魔術的な何かか？！中二病的な何かか！と思いました笑 “Don’t be evil”なんてなかったんや。。。 というわけではなく、翻訳するとおそらく”隠れた知識”や”影の知識”になるのではないかと思います。(多分狙ってると思いますが) 面白そうだったので3分で理解できる範囲でざっとまとめてみます。 コンセプト Deep Learningでクラス分類の学習をする際、一般的にアウトプットとしてSoftmax関数が利用されます。 学習器のアウトプットおける、Softmaxの最大値が指し示すものが推定されたクラスになります。 このSoftmax関数によ
