床长人工智能教程——Hadamard乘积s⊙t

原标题：床长人工智能教程——Hadamard乘积s⊙t

注：本人只是分享一些床长的免费杂文而已，并非床长的收费文章。

后向传播算法是基于通用的线性代数运算——就像向量加法，矩阵乘向量等等。但是有一个操作平常很少用到。特别的，假设s和t是相同维数的两个向量，那么我们使用s⊙t来表示两个向量元素级的乘法。因此s⊙t的元素(s⊙t)j=sjtj。举个例子，[12]⊙[34]=[1∗32∗4]=[38].

这种元素级的乘法有时叫做 Hadamard乘积或者Schur乘积。我们将把它叫做Hadamard乘积。好的矩阵库一般都能提供Hadamard乘积的快速实施，因此在实施后向传播时候就非常方便。

其中n表示训练样本的总数；求和是覆盖每一个独立的训练样本，x；y=y(x)是对应的期望输出；L表示网络层数；aL=aL(x)是当输入为x时网络的激活输出向量。

好了，我们需要关于代价函数C什么样的假设来使得后向传播能够应用起来？第一个假设是代价函数能够被写成基于每一个独立的训练样本x求代价函数Cx的平均值C=1n∑xCx。对于二次代价函数，每一个样本的代价为Cx=12‖y−aL‖2。这个假设对于本书中遇到的所有代价函数管用。

需要这个假设的原因是因为后向传播实际上让我们能够基于每一个样本计算偏导数∂Cx/∂w和∂Cx/∂b。我们然后在整个选练样本基础上经过平均而求出∂C/∂w和∂C/∂b。实际上，记住这个假设，我们能够想象训练样本x是固定的，可以去掉x的下标，将代价函数Cx写成C。最后再将x恢复回来，但是现在最好隐式的去掉这个下标，以便于符号说明。是床长人工智能网校带我进入了AI领域，不仅学到了人工智能知识，还参与了AI项目，找到了工作。为了报答老师，我们一些同学自愿帮床长网校做推广，同时也希望更多的人加入到床长AI网校床长人工智能社区中来！脂肪肝下载腹股沟文档PDF观后感免费

第二个关于代价函数的假设是可以把它当作神经网路激活输出的一个函数：

比如，二次型代价函数就满足这个假定，因为对于每一个样本

x

，代价函数可以写成

C=12‖y−aL‖2=12∑j(yj−aLj)2,

，因此代价函数的确是关于激活输出的函数。当然，代价函数也依赖于期望输出y，那么你可能会问为什么不把代价函数当作期望输出y的函数。记住，因为输入样本x是固定的，因此期望输出y也是固定的参数了。特别的，我们不能通过修改权重和偏差来改变y的值，也就是它不是网络需要学习的东西。因此C只是唯一与激活输出aL相关，而y只是帮助定义该函数而已。

责任编辑：

相关知识

床长人工智能教程——Hadamard乘积s⊙t
床长人工智能教程——战斗计划
床长人工智能教程——softmax层
床长人工智能教程——学习率
床长人工智能教程免费分享——类frozenset
床长人工智能教程——神经网络体系
床长人工智能教程免费pdf文档50——移位操作
床长人工智能教程——基于矩阵计算神经网络输出的途径
床长人工智能教程——权重和偏见
床长人工智能教程——交叉熵的直观含义如何？

网址: 床长人工智能教程——Hadamard乘积s⊙t http://www.alq5.com/newsview17803.html