ニューラルネットワークの出力層設計に関する指針 - Qiita

#概要 近年，DeepLearningに代表されるニューラルネットワーク関連技術の発展が目覚ましい．今まで，過学習により十分な精度が出なかったニューラルネットワークがHintonらのDropLearningやAutoEncoderなどの手法で，汎化能力を損なわぬまま，高い制度の学習能力を獲得することができるようになった．また，近年のGPGPUの発展やTensorflow等のライブラリの整備により，大規模なニューラルネットワークの学習も比較的容易にできるようになった． その一方で，ニューラルネットワークの学習手法には多くの関心が払われる中，それらのニューラルネットワーク自体の階層構造や，パーセプトロンの個数に関する議論というものは，あまり行われていない．近年ではLSTMやCNN等応用したニューラルネットワークの存在も見られるが，実際にそれらの精度を高めるための設計指針については，職人芸を要す