WEBVTT

00:00.150 --> 00:02.580
大家好, 欢迎回到深度学习课程｡ 

00:02.610 --> 00:03.040
好吧, 我会的

00:03.060 --> 00:05.050
今天我们要讨论的是激活功能｡ 

00:05.070 --> 00:06.600
让我们直接进入它｡ 

00:06.780 --> 00:08.130
这就是我们刚才讲到的地方｡ 

00:08.130 --> 00:11.820
之前, 我们讨论了一个神经元的结构｡ 

00:11.820 --> 00:13.200
所以它在中间｡ 

00:13.200 --> 00:19.500
我们知道, 它有一些输入, 输入的值, 它有一些权重, 然后它把权重相加,

00:19.800 --> 00:23.640
计算这些输入的权重, 然后应用激活函数｡

00:23.640 --> 00:28.440
在第三步, 它将信号传递给下一个神经元｡ 

00:28.440 --> 00:29.700
这就是我们今天要讨论的｡ 

00:29.700 --> 00:32.790
我们讨论的是要传递的值｡ 

00:32.790 --> 00:35.610
我们现在讨论的是激活函数｡ 

00:36.210 --> 00:39.180
那么, 激活功能有哪些选项？

00:39.180 --> 00:43.290
我们将介绍四种不同类型的激活函数, 您可以从中进行选择｡ 

00:43.320 --> 00:47.190
当然, 还有更多不同类型的激活函数, 但这些是你们将听到的主要类型,

00:47.190 --> 00:50.040
我们将在本课程中使用这些函数｡

00:50.130 --> 00:53.010
这是阈值函数｡ 

00:53.010 --> 00:53.990
看起来是这样的

00:54.000 --> 00:58.710
所以在x轴上你有输入的加权和｡ 

00:58.710 --> 01:03.690
在y轴上, 只有从0到1的值｡ 

01:03.690 --> 01:12.330
基本上, 阈值函数是一个非常简单的函数, 如果值小于零,

01:12.750 --> 01:16.620
那么阈值函数传递零｡

01:16.650 --> 01:22.860
如果该值大于零或等于零, 则threshold函数传递1｡ 

01:22.860 --> 01:30.090
所以它基本上是一种, 是, 否类型的函数, 非常, 非常直接, 非常像是一种刚性类型的函数,

01:30.090 --> 01:33.420
要么是, 要么不是｡

01:33.420 --> 01:34.500
别无选择｡ 

01:34.800 --> 01:35.430
所以你去那里｡ 

01:35.460 --> 01:36.090
就是这样的

01:36.090 --> 01:37.230
非常简单的功能｡ 

01:37.230 --> 01:39.930
让我们来看看更复杂的东西｡ 

01:39.930 --> 01:45.930
现在, S形函数, 非常有趣的公式｡ 

01:45.930 --> 01:52.380
你会看到刚才有1除以1 + E的负X次幂, 而在这个例子中,

01:52.380 --> 01:58.200
当然, x是加权和的总和｡

01:58.380 --> 02:02.520
这就是乙状结肠的样子

02:02.520 --> 02:09.220
如果你还记得的话, 这是一个用在逻辑回归中的函数, 在机器学习课程中｡

02:09.240 --> 02:14.820
所以这个函数的优点是它是平滑的, 不像阈值函数｡ 

02:14.820 --> 02:21.630
这一个没有这些扭结在它的曲线, 因此它只是很好的和顺利的, 渐进的进展｡ 

02:21.630 --> 02:26.280
所以任何低于零的东西都等于零以上的下降｡ 

02:26.280 --> 02:29.850
它看起来近似于1｡ 

02:29.850 --> 02:38.850
这个S形函数在最后一层, 在输出层非常有用, 特别是当你试图预测概率的时候｡

02:38.850 --> 02:40.620
我们将在本课程中看到这一点｡ 

02:40.950 --> 02:43.050
还有整流器功能｡ 

02:43.050 --> 02:50.850
整流函数是人工神经网络中最常用的函数之一, 尽管它有一个扭结｡

02:50.850 --> 02:53.790
所以它一直到零｡ 

02:53.790 --> 02:55.020
它是零｡ 

02:55.020 --> 03:01.560
然后从那里开始, 随着输入值的增加, 它也逐渐前进｡ 

03:01.560 --> 03:03.300
我们将在整个课程中看到这一点｡ 

03:03.300 --> 03:07.830
我们会在其他直觉教程中看到,

03:07.830 --> 03:13.320
我们也会在课程的实践部分看到, 如何使用这个函数, 我会在接下来的几张幻灯片中对此进行更多的评论｡

03:13.320 --> 03:18.630
因此, 请记住, 整流器函数是人工神经网络中最常用的函数之一｡ 

03:18.750 --> 03:22.680
最后, 我们还有一个函数, 您可能会听说｡ 

03:22.680 --> 03:24.990
它是双曲正切函数｡ 

03:25.020 --> 03:32.340
它和S形函数非常相似, 但是这里双曲正切函数小于零, 所以值从0到1或者近似到1,

03:32.340 --> 03:39.450
另一边从0到-1｡

03:39.450 --> 03:42.090
这在某些应用中是有用的｡ 

03:42.090 --> 03:45.690
因此, 我们不打算对每一个函数都进行深入讨论｡ 

03:45.690 --> 03:51.270
我只是想让你了解他们, 这样你就知道他们长什么样, 叫什么｡ 

03:51.600 --> 04:00.870
如果你想得到一些额外的阅读, 然后看看这篇文章由Xavier Claret你写的所谓的深空整流器神经网络,

04:01.770 --> 04:05.520
2011年的论文｡

04:05.520 --> 04:16.140
在那里, 你会发现为什么整流器功能是如此有价值的功能, 为什么它被如此广泛地使用｡

04:16.140 --> 04:20.580
但不管怎样, 现在, 你真的不需要知道所有这些事情｡ 

04:20.580 --> 04:22.350
现在, 我们只是开始应用它们｡ 

04:22.350 --> 04:24.090
我们只是开始越来越多地使用它们｡ 

04:24.090 --> 04:31.230
所以当你对事物的实际方面感到满意时, 你可以去参考这篇论文, 这样你就能更快地吸收这些知识,

04:31.230 --> 04:37.080
而且它会更有意义｡

04:37.320 --> 04:41.610
但请记住, 当你准备好了, 当你觉得你准备好了,

04:41.610 --> 04:44.820
你就可以去参考这篇论文, 从中获得一些有价值的知识｡

04:45.360 --> 04:55.170
简单回顾一下, 我们有阈值激活函数, 它看起来像这样, 乙状结肠激活函数看起来像这样｡

04:55.500 --> 04:59.880
我们有整流函数和双曲正切函数｡ 

05:00.320 --> 05:04.940
现在, 为了完成本教程, 让我们快速做几个练习｡ 

05:04.940 --> 05:09.050
所以我们做两个快速的练习来帮助你理解这些知识｡ 

05:09.050 --> 05:14.480
第一个例子是一个只有一个神经元的神经网络｡ 

05:14.480 --> 05:15.890
然后是输出层｡ 

05:15.890 --> 05:21.860
问题是, 假设你的因变量是二进制的, 所以它要么是0, 要么是1,

05:21.890 --> 05:23.600
你会用哪个阈值函数？

05:23.600 --> 05:31.400
在我们讨论过的函数中, 我们有阈值函数, S形函数, 整流函数,

05:31.400 --> 05:37.760
我们有双曲正切函数, 它们的函数形式｡

05:37.760 --> 05:43.070
对于二进制变量, 您可以使用哪些变量？

05:44.300 --> 05:49.250
答案是, 我们有两种选择.

05:49.250 --> 05:55.010
第一个是阈值激活函数, 因为我们知道它在0和1之间, 在一定的值下它给你0,

05:55.010 --> 05:58.640
否则它给你1｡

05:58.640 --> 06:00.020
所以它只能给予你两个值｡ 

06:00.020 --> 06:09.950
它完全符合, 完全符合这个要求, 所以你可以说Y等于加权和的阈值函数,

06:09.950 --> 06:13.700
就这样.

06:13.700 --> 06:19.520
在第二种情况下, 你可以使用S形激活函数, 它实际上也在0和1之间,

06:19.520 --> 06:21.620
这正是我们所需要的｡

06:21.620 --> 06:25.550
但同时你要的只是零一, 对不对？

06:25.550 --> 06:37.370
所以这不是我们需要的, 但在这种情况下, 你可以用它来表示y是或不是的概率.

06:37.370 --> 06:40.010
所以我们希望y等于01｡ 

06:40.010 --> 06:49.100
但是我们会说, S形函数, S形激活函数告诉我们, 它是否告诉我们,

06:49.100 --> 06:51.770
Y等于1的概率｡

06:51.770 --> 06:59.960
因此, 基本上你越接近顶部, 就越有可能这确实是一个或一个是, 而不是一个否｡

07:00.620 --> 07:04.610
是的, 这和逻辑回归方法非常相似｡ 

07:04.700 --> 07:07.430
这只是两个例子｡ 

07:07.580 --> 07:09.170
如果你有一个二进制变量｡ 

07:09.860 --> 07:12.740
现在让我们看看另一个实际应用｡ 

07:12.740 --> 07:17.150
让我们来看看如果我们有一个这样的神经网络, 这一切会如何发展｡ 

07:17.150 --> 07:20.360
在第一个输入层, 我们有一些输入｡ 

07:20.930 --> 07:26.000
它们被发送到我们的第一个隐藏层, 然后应用一个激活函数｡ 

07:26.000 --> 07:32.450
通常, 你们在这里应用的以及在整个课程中看到的是, 我们将应用整流器激活函数｡

07:32.660 --> 07:34.430
所以看起来就像这样｡ 

07:34.430 --> 07:40.940
我们应用整流器激活函数, 然后从那里信号将被传递到输出层,

07:40.940 --> 07:48.950
在那里将应用S形激活函数, 这将是我们的最终输出, 例如, 可以预测概率｡

07:48.950 --> 07:54.110
这种组合非常常见, 在隐藏层中应用整流函数,

07:54.290 --> 07:58.580
然后在输出层中应用S形函数｡

07:58.580 --> 07:59.720
好了, 我们走吧｡ 

07:59.750 --> 08:01.340
希望您喜欢今天的教程｡ 

08:01.340 --> 08:06.440
现在, 您已经非常熟悉四种不同类型的激活函数,

08:06.440 --> 08:09.350
并将在本课程中获得一些实际操作经验｡

08:09.350 --> 08:16.280
我们将在所有地方使用它们, 因此您将非常亲密地了解它们, 并且您应该对它们感到非常舒适｡

08:16.280 --> 08:23.420
但现在, 您需要掌握这些知识, 以便继续学习并了解本课程后面的内容｡

08:23.690 --> 08:26.840
说到这, 我期待着下次见到你｡ 

08:26.840 --> 08:28.700
在此之前, 请尽情享受深度学习｡