神经网络中误差反向传播(back propagation)算法的工作原理 - csucat - 博客园

注意：版权所有，转载需注明出处。 神经网络，从大学时候就知道，后面上课的时候老师也讲过，但是感觉从来没有真正掌握，总是似是而非，比较模糊，好像懂，其实并不懂。 在开始推导之前，需要先做一些准备工作，推导中所使用的神经网络如上图所示。一个神经网络由多个层(layer)构成，每一层有若干个节点(node)，最左边是输入层，中间的层被称为隐含层，最右边是输出层；上一层节点与下一层节点之间，都有边相连，代表上一层某个节点为下一层某个节点贡献的权值。 接下来对推导中使用的符号做一个详细的说明，使推导的过程清晰易懂。我们用代表网络的层数，用代表第层的节点的个数；用/表示第层经过激活函数前/后的节点向量(/代表经过激活函数前/后某个节点的值),根据以上的表示，等于网络的输入,等于网络的输出,也就是上图中的；用表示第层与第层之间的权值形成的矩阵，代表层的节点与层的节点之间的权重(注意这种表示方式),用代表