首页资讯床长人工智能教程——战斗计划

床长人工智能教程——战斗计划

来源：爱乐趣网时间：2020年07月01日 10:53

原标题：床长人工智能教程——战斗计划

声明：本人只是分享一些床长的免费杂文而已，并非床长人工智能网校的收费文章。

后向传播基于四个基础等式。这些等式使我们能够计算误差δl和代价函数的梯度。我将在下面阐述这四个等式。警告，你不能期望同时接受这四个等式。如果想同时理解清楚，可能会让你失望而归。实际上，后向传播等式如此之难，以致于需要你不断地深入这些等式，耗费大量的思考时间和耐心。好消息是通过不断的反复理解，你的时间和耐心将会需要得越来越少。因此本节讨论只是一个开始，帮助你不断理解这些等式。

这些是章节中不断深入这些等式的预览：我将给出这些等式简要的证明，浙江帮助解释为什么他们是正确的；用算法伪代码重申这些不等式，并看到这些伪代码用Python代码怎样被实施的；在最后一节，我们将给出后向传播等式的学术性描述，并且解释其是如何被某些人发现了的。按照这种方式，我们将不断的回顾这四个基础等式，这样就能更舒服的不断深入理解它们，也会感觉更加美丽和自然。

输出层的误差等式δL：δL的每一个组件即δLj=∂C∂aLjσ′(zLj).

这是一个非常自然的等式。右边的第一项∂C/∂aLj测量代价函数对第jth输出神经元的激活变化有多快。例如，C不太依赖于输出神经元j，那么δLj就会非常小，这正是我们所期望的。右边第二部分σ′(zLj)测量激活函数σ对zLj变化有多快。

声明意在(BP1) 中的每一个部分都是容易计算的。特别的，我们在计算网络行为时会得到zLj的值，而只需要增加一点点计算就能得到σ′(zLj)的值。而∂C/∂aLj的精确格式显然与具体的代价函数有关。但是，只要给出了代价函数，计算∂C/∂aLj就小菜一碟了。例如，如果使用二次型代价函数C=12∑j(yj−aj)2，那么∂C/∂aLj=(aj−yj)，这显然也是非常容易计算的。

等式(BP1) 是δL的组件形式。它是一个很好的表达式，但是还不是后向传播所需要的矩阵形式。然而很容易将其重写为矩阵形式δL=∇aC⊙σ′(zL).

这里，∇aC被定义为向量，它的每一个组件都是偏导数∂C/∂aLj。你可以将∇aC做为是C对激活输出的变化率。很容易看出等式(BP1a) 和(BP1) 是相等的，正因为如此，我们使用(BP1) 来表示两种等式。举个例子，当使用二次型代价函数，我们有∇aC=(aL−y)，因此(BP1) 的矩阵形式就变为δL=(aL−y)⊙σ′(zL).

能看出表达式中每一个部分都是向量形式，因此很容易使用像Numpy这类矩阵库来进行计算。

误差δl用下一层的误差表示，δl+1：特别的δl=((wl+1)Tδl+1)⊙σ′(zl),

其中(wl+1)T是(l+1)th层权重矩阵wl+1的转置。这个表达式有一些复杂，但是其中每一个部分都有很好的内部展现。假如我们知道第l+1th层的误差δl+1。那么我们乘以权重矩阵的转置(wl+1)T，我们就能递归的向后获得网络中所有误差，这就给我们了一种测量lth层误差的方式，然后我们运用Hadamard乘积⊙σ′(zl)。这就将通过l层的激活函数获取到后面的所有误差，即l层加权输入的误差δl。

责任编辑：