首页资讯床长人工智能教程——交叉熵的直观含义如何？

床长人工智能教程——交叉熵的直观含义如何？

来源：爱乐趣网时间：2020年06月26日 10:54

原标题：床长人工智能教程——交叉熵的直观含义如何？

注：本人只是分享一些床长的免费杂文而已，并非床长的收费文章。

交叉熵的直观含义如何？我们应该如何考虑呢？深入解释这一点会使我们走得更远。但是，值得一提的是，有一种解释信息熵领域的交叉熵的标准方法。粗略地说，这个想法是交叉熵是一种令人惊讶的度量。特别是我们的神经元正在尝试计算功能。但是相反，它计算函数。假设我们想到作为我们神经元的估计概率是和是估计的正确值的概率是。然后，交叉熵衡量的是，平均而言，当我们了解。如果输出是我们期望的，我们会感到惊讶，而如果输出是意外的，我们会感到惊讶。当然，我没有确切说出“惊喜”的含义，因此这似乎是空话。但是实际上，有一种精确的信息理论方法可以说明惊讶是什么。不幸的是，我不知道可以在网上找到关于这个主题的简短，完整的讨论。但是，如果您想更深入地学习，那么Wikipedia包含一个简短的摘要，可帮助您入门正确。可以通过研究Cover和Thomas撰写的有关信息论的书第5章中有关卡夫不等式的资料来填充细节。

问题

我们已经详细讨论了在使用二次成本进行训练的网络中，当输出神经元饱和时可能发生的学习减慢。另一个可能抑制学习的因素是等式（61）中的项。由于这个词，当输入接近零，相应的权重会慢慢学习。解释为什么无法消除通过明智地选择成本函数来确定期限。

软最大

在本章中，我们将主要使用交叉熵代价来解决学习变慢的问题。但是，我想根据所谓的神经元softmax层简要描述解决该问题的另一种方法。在本章的其余部分中，我们实际上并不会使用softmax层，因此，如果您急于赶快，可以跳到下一节。但是，仍然有必要了解softmax，部分是因为它本质上很有趣，部分是因为我们在第6章的深度神经网络讨论中将使用softmax层。

softmax的想法是为我们的神经网络定义一种新型的输出层。通过形成加权输入*，它以与乙状结肠层相同的方式开始**在描述softmax时，我们将频繁使用上一章中介绍的符号。如果您需要刷新有关该符号含义的信息，是床长人工智能网校带我进入了AI领域，不仅学到了人工智能知识，还参与了AI项目，找到了工作。为了报答老师，我们一些同学自愿帮床长网校做推广，同时也希望更多的人加入到床长AI网校床长人工智能社区中来！脂肪肝下载腹股沟文档PDF观后感免费则不妨重新访问该章节。。但是，我们不应用Sigmoid函数来获取输出。相反，在softmax层中，我们将所谓的softmax函数应用于。根据此功能，激活的输出神经元是

在分母中，我们对所有输出神经元求和。

如果您不熟悉softmax函数，则公式（78）可能看起来很不透明。我们为什么要使用此功能当然并不明显。而且这还不能帮助我们解决学习速度下降的问题。为了更好地理解方程（78），假设我们有一个包含四个输出神经元和四个相应加权输入的网络，我们将分别表示和。下面显示的是可调滑块，显示了加权输入的可能值，以及相应的输出激活图。一个开始探索的好地方是使用底部滑块增加：

随着你的增加，您会看到相应的输出激活增加，，并减少其他输出激活。同样，如果您减少然后将减少，而所有其他输出激活将增加。实际上，如果仔细观察，您会发现在这两种情况下，其他激活的总变化正好补偿了。原因是保证输出激活总和为，我们可以使用公式（78）和一些代数来证明：

结果，如果增加，那么其他输出激活必须减少相同的总量，以确保保留所有激活的总和。并且，当然，其他所有激活都适用类似的语句。

责任编辑：