WEBVTT

00:01.720 --> 00:04.360
大家好, 欢迎今天继续学习深度学习课程｡ 

00:04.360 --> 00:06.850
最后我们用反向传播来结束｡ 

00:07.150 --> 00:07.480
好吧, 我会的

00:07.480 --> 00:11.950
所以我们已经知道了关于神经网络中发生了什么的几乎所有我们需要知道的事情｡ 

00:11.950 --> 00:18.250
我们知道, 有一个过程称为正向传播, 在这个过程中, 信息被输入到输入层, 然后向前传播,

00:18.250 --> 00:23.560
以获得y hats, 即输出值｡

00:23.560 --> 00:31.780
然后我们将这些值与训练集中的实际值进行比较, 然后计算误差｡

00:31.780 --> 00:41.350
然后, 误差通过网络以相反的方向反向传播, 这使得我们可以通过调整权重来训练网络｡

00:41.350 --> 00:49.570
这里要记住的一个关键点是,

00:49.570 --> 01:02.290
反向传播是一种由非常有趣和复杂的数学驱动的高级算法, 它允许我们同时调整所有权重, 所有权重都是同时调整的｡

01:02.290 --> 01:08.890
所以如果我们手动计算, 或者我们使用不同的算法,

01:08.890 --> 01:14.080
那么即使我们计算了误差,

01:14.080 --> 01:20.860
然后我们试图了解每个权重对误差的影响, 我们也必须以某种方式将每个权重独立或单独地调整为｡

01:21.900 --> 01:28.770
反向传播的巨大优势,

01:28.770 --> 01:35.910
也是需要记住的一点, 就是在反向传播的过程中, 仅仅是因为算法的构造方式｡

01:36.720 --> 01:47.070
您可以同时调整所有权重, 因此您基本上知道神经网络中的每个权重造成了哪部分误差｡

01:47.100 --> 02:00.600
这就是反向传播的关键和基本原理, 这也是它在20世纪80年代迅速兴起的原因｡

02:00.600 --> 02:02.540
这是一个重大的突破｡ 

02:02.550 --> 02:08.370
如果你想了解更多关于这方面的知识,

02:08.370 --> 02:14.700
以及数学到底是如何在后台工作的, 那么我们已经提到过的一篇好文章就是神经网络,

02:14.700 --> 02:23.520
而深度学习实际上是迈克尔·尼尔森的一本书, 你会发现数学是写出来的, 它会帮助你理解这是如何可能的｡

02:23.520 --> 02:29.970
但现在, 就我们的目的而言, 如果从直觉的角度来看,

02:29.970 --> 02:33.210
重要的是要记住这就是反向传播的作用｡

02:33.210 --> 02:36.120
它同时调整所有权重｡ 

02:36.690 --> 02:45.170
现在, 我们将用一步一步的演练来总结一下, 在训练神经网络时会发生什么｡

02:45.180 --> 02:45.570
好吧, 我会的

02:45.570 --> 02:50.790
第一步, 我们随机初始化权重, 使其接近于零, 但不是零｡ 

02:50.790 --> 02:56.550
在直觉教程中,

02:56.550 --> 03:02.550
我们并没有真正关注权重的初始化, 但权重必须从某个地方开始, 并且它们是用接近零的随机值初始化的｡

03:02.550 --> 03:08.100
从那里通过四个传播过程, 反向传播, 这些权重被调整,

03:09.000 --> 03:13.320
直到误差最小化, 直到成本函数最小化｡

03:13.710 --> 03:17.560
然后, 第二步输入数据集的第一个观测值｡ 

03:17.560 --> 03:21.390
因此, 第一行进入输入层, 每个要素是一个输入节点｡ 

03:21.390 --> 03:24.930
因此, 基本上取列并将其放入输入节点｡ 

03:25.620 --> 03:32.760
第三步对于从左到右的传播, 神经元以这样的方式被激活, 即每个神经元激活的影响由权重限制｡

03:32.760 --> 03:39.780
因此, 权重基本上决定了每个神经元激活的重要性, 然后传播激活,

03:39.780 --> 03:43.740
直到获得预测结果y在这种情况下｡

03:43.740 --> 03:46.590
所以基本上是从左向右传播｡ 

03:46.590 --> 03:49.890
你一路走到最后, 你得到你的帽子｡ 

03:50.040 --> 03:55.950
然后将预测结果与实际结果进行比较, 测量生成的误差, 然后从右向左进行反向传播,

03:55.950 --> 03:58.560
误差将反向传播｡

03:58.560 --> 04:02.040
根据权重对误差的影响程度来更新权重｡ 

04:02.040 --> 04:08.280
同样, 你可以计算出, 因为通过扰动算法反向传播的结构,

04:08.280 --> 04:12.570
学习率决定了我们更新权重的程度｡

04:12.570 --> 04:17.160
学习率是你可以在你的神经网络中控制的参数｡ 

04:17.640 --> 04:22.830
第六步重复第1步至第5步, 并在每次观察后更新权重｡ 

04:23.190 --> 04:24.810
这被称为强化学习｡ 

04:24.810 --> 04:33.840
在我们的情况下, 这是随机梯度下降或重复步骤1至5, 但更新权重后, 只有一批观察｡

04:33.840 --> 04:40.710
所以批处理学习, 它要么是完全梯度下降, 要么是批处理梯度下降, 要么是小批处理梯度下降｡

04:40.710 --> 04:45.930
第七步, 当整个训练集经过一个历元的人工神经网络后,

04:45.930 --> 04:48.930
重做更多的历元｡

04:48.930 --> 04:54.810
所以基本上你只要不断地这样做, 这样做, 这样做,

04:54.810 --> 05:02.460
让你的神经网络训练得越来越好, 越来越好, 不断地自我调整, 当你最小化成本函数时｡

05:02.460 --> 05:03.870
好了, 我们走吧｡ 

05:04.320 --> 05:09.720
这些是你需要采取的步骤来建立你的人工神经网络和训练它｡ 

05:09.720 --> 05:13.530
这些是你们将一起采取的步骤｡ 

05:13.530 --> 05:19.370
你已经在实践教程中学到了东西, 祝你好运, 我期待着下次见到你｡

05:19.380 --> 05:21.450
在此之前, 请尽情享受深度学习｡