大家好, 欢迎回到深度学习课程｡
今天我们讨论的是Revolut, 它是一个经过校正的线性单元,
这是卷积步骤之上的一个附加步骤｡
所以这不是一个单独的大步骤｡
这是一小步｡
基本上是第一步B｡
这是怎么回事？
好了, 我们有了输入图像｡
我们已经讨论过卷积层｡
最重要的是, 我们将应用wait for it, 这是我们最喜欢的整流器功能｡
您已经熟悉了上一节关于人工神经网络的整流器函数｡
在我们的SO中, 有时候作者或老师会把卷积和整流器分开, 作为两个独立的步骤, 我们只考虑它们,
是第二次进化的一个重要步骤, 而不是整流器｡
我们之所以使用整流器, 是因为我们想增加图像或网络中的非线性度,
在我们的卷积神经网络中｡
整流器作为滤波器或通路, 具有破坏线性的功能｡
我们之所以要提高网络的非线性度, 是因为图像本身是高度非线性的, 特别是当你要识别彼此相邻的不同物体,
或者只是在背景上识别之类的东西时｡
就像图像会有很多非线性元素和像素之间的过渡一样, 相邻像素通常也会是非线性的｡
这是因为有边界, 有不同的颜色, 它是不同的, 有不同的元素在您的图像｡
但同时,
当我们应用卷积等数学运算并运行特征检测来创建特征图时, 我们可能会创建一些线性的东西, 因此我们需要打破线性｡
让我们看一个例子｡
这是一张图片, 一张原始图片｡
现在, 当我们把一个特征检测器应用到这张图像上, 我们得到了这样的结果｡
所以你可以看到黑色是阴性的｡
白色为正值｡
当你把一个特征检测器应用到一个正常的图像上, 它不仅有0和1, 而且有很多不同的值,
你应用, 就像我们之前看到的,
如果未来的检测器本身可以有负值, 有时你会得到负值, 这里是它们的黑色的是负值, 白色的是正值｡
一个修正的线性单位函数的作用是, 它去掉了所有的黑色, 任何小于零的东西, 它都变成了零｡
所以从这个变成了这个｡
好吧, 我知道了
所以很难看出四个变量在线性分解方面到底有什么好处｡
我会解释的｡
我试着在这张图上展示一个例子｡
但说到底, 这是一个非常数学化的概念｡
我们必须深入到大量的数学中去, 才能真正解释到底发生了什么｡
但让我们让我们试试让我们看看｡
举个例子, 让我们看看这座建筑, 对吧？
所以这是一栋独立的建筑｡
然后你可以看到这个阴影, 这个黑色的部分, 这个阴影在这里｡
你可以看到它是白色的, 是光的反射, 然后是灰色, 然后变暗,
然后再变暗｡
对不对？
所以当我们把它取出来的时候, 我们把黑色的部分取出来｡
从线性的角度来考虑, 对吧？
所以看起来当你从白色变成灰色的时候, 下一步就会是黑色, 对吗？
下一个步骤将是黑色｡
它是从亮到暗的线性过程｡
因此, 这就像是一个线性的情况｡
当你去掉黑色, 你打破了线性｡
让我们试试另一个｡
让我们看看这里｡
同时, 它仍然是同一栋楼, 对吗？
这不像你你不像你不像你把两栋楼融合在一起｡
但那是次要的｡
重点是打破线性｡
让我们来看看这里｡
一样的东西｡
所以你看到白色, 灰色, 黑色, 灰色, 白色｡
当你分手的时候, 你就没有了, 对吗？
你没有那种渐进, 渐进, 你只是有一个突然的变化,
这有助于引入非线性到你的图像｡
所以这是一个非常粗略的解释, 很像是在手指上的解释而不是技术上的解释｡
但希望它能帮助你更好地理解我们在这里讨论的内容｡
在这里, 你可以看到, 白色灰色是一个更好的例子｡
甚至你看到了光明, 黑暗, 黑暗, 黑暗, 黑暗, 黑暗, 黑暗｡
所以这部分看起来是线性的｡
然后你就这样分开｡
嗯, 再来一次｡
所以这是一个非常粗略的解释｡
它不是绝对完美的, 但至少它让你对正在发生的事情有了一些想法｡
但如果你想了解更多, 这里有篇好论文, 一如既往｡
总会有报纸的｡
这是来自加州大学的Keiko写的, 叫做“用数学模型理解卷积神经网络”｡
基本上, 它们是问题的答案, 你只需要看第一个｡
问题是为什么不呢？
非线性激活函数在所有中间层的滤波器输出处是必要的｡
这就解释得更详细了, 从直觉和数学两个方面.
这是一篇很有趣的论文, 你可以从中得到更多关于这个主题的信息｡
如果你真的想在这里挖掘和探索一些很酷的东西, 那么这里有另一篇你可能会感兴趣的论文｡
它被称为深入研究整流器, 在图像和网络分类方面超过了人类11级的表现｡
这里的作者和其他来自微软研究院的人, 他们提出了一种不同类型的校正线性单位函数｡
他们提出了参数校正线性函数（如右图所示）, 并认为该函数可以在不牺牲性能的情况下提供更好的结果｡
如果你想更深入地了解这个话题, 请阅读这本有趣的书, 今天就到这里｡
真实的的新层非常简单, 非常直接, 只需应用整流器函数｡
我期待着下次见到你｡
在此之前, 请尽情享受深度学习｡