大家好, 欢迎回到人工智能课程｡
今天我们要讲的是马尔可夫决策过程｡
让我们看看今天都有什么｡
上次我们讲到了地图的概念｡
因为我们已经根据贝尔蒙特方程计算了这些值, 所以我们可以为我们的代理人推导出这个迷宫的地图｡
基本上, 这意味着变革推动者从哪里开始, 所以让我们假设它从那里开始｡
它确切地知道为了到达终点线该采取哪些步骤｡
所以它只是上升｡
上右右｡
完成了｡
所以这里的问题是, 它真的那么简单吗？
强化学习真的那么无聊吗？
只要你有了地图, 就可以了.
你要做的就是完成任务｡
你只要跟着地图走就行了｡
事实上, 事情并没有那么简单｡
这是一件好事, 因为它让这门课对我们来说更有趣, 我们可以解决更复杂的问题｡
这就是马尔可夫过程的作用｡
但首先, 我们要谈两件事｡
我们将讨论确定性搜索和非确定性搜索｡
那么, 让我们来谈谈确定性搜索的概念｡
这是我们在迷宫的特工｡
而确定性搜索意味着如果代理决定向上, 那么它向上的概率是100%｡
这就是将要发生的事情｡
别无选择｡
一旦, 一旦它说向上或点击向上箭头, 它就会向上｡
别无选择｡
另一方面, 非确定性搜索是当我们的代理说它想去的时候｡
它们实际上是两个选项｡
例如, 可能有三个选项, 我们将看一个有三个选项的示例,
但它不一定局限于三个｡
它可以是四个或它可以是不同的取决于取决于问题
随机性可能不同, 但在我们的例子中,
有三个选项, 有80%的概率他会往上走, 但有10%的概率他想往上走, 他会往左走, 因为环境就是这样.
这就是他生活的世界｡
还有10%的机会他会向右走｡
在这种情况下, 他会掉进火坑｡
所以这就是一切的运作方式｡
这是一个非确定性搜索的例子, 一个随机过程｡
这一点的意义在于, 建立一个更现实的模型, 来描述在现实世界中,
在现实世界中可能发生的事情｡
因为很少有这样的情况, 当你做一件事, 它发生的方式完全一样｡
即使你从游戏的角度来考虑, 假设你有一个经纪人在玩吃豆人｡
嗯, 也不总是｡
如果他站在正方形里, 他往上走,
每次都得到同样的结果, 他确实会往上走, 但有可能在一种情况下他不会被鬼吃掉, 而在另一种情况下他会被鬼吃掉.
正如你所看到的, 它有一些随机性, 因为它取决于鬼魂是如何移动的, 它们并不总是以相同的方式移动｡
它们并不总是从相同的位置开始｡
所以这是非常合乎逻辑的｡
随机性是很公平的｡
有些东西是不受主体控制的,
那就是这只是一种表达方式, 以便我们学习如何处理它, 如何影响贝尔曼方程, 如何影响整个强化学习过程.
但与此同时, 随机性当然不限于如果你往上走, 有10%的机会你会往右走,
也有10%的机会你会往左走｡
或者如果你往下走, 有10%的机会你向左或向右走｡
或者如果你向右走, 有10%的机会向上或向下｡
这并不局限于你最终会去哪里｡
有时候你可能会有问题｡
这就是说, 有时候概率可能不同.
有时候, 随机性可能会归结为其他东西｡
它可能会像吃豆人的例子一样被简化, 鬼魂吃你或不吃你｡
或者可以归结为不同的东西｡
比如说, 如果一个特工在玩厄运游戏, 那么在某种情况下, 在另一种游戏中,
会有一个怪物向他开枪.
就像有一个概率它会被击中, 而它不会被击中, 等等｡
所以有些东西是不受代理人控制的, 有些东西是它无法预测的｡
这就是我们在非确定性搜索中所建模的｡
这就是我们直接讨论两个新概念的地方, 马尔可夫过程和/或马尔可夫过程和标记马尔可夫决策过程｡
让我们看一下这些内容, 大家知道我不喜欢在幻灯片上写定义和大量文字, 但在这种情况下,
我们有必要仔细阅读这些内容｡
让我们来看看｡
随机过程具有性质的标志｡
如果过程的未来状态的条件概率分布同时取决于过去和现在的状态,
则它只取决于现在的状态, 而不取决于它之前的事件序列｡
此属性的过程称为标记过程｡
非常复杂的定义, 它有点像甚至一点点不矛盾, 但它感觉像它矛盾自己｡
所以这里它说条件既取决于我的过去, 又只取决于我的现在状态,
但同时它又只取决于我的现在状态｡
所以别太纠结于此｡
我将简单地把它分解一下｡
所以财产的标志就是你未来的状态｡
所以不只是你的选择, 而是整个事情, 你的选择和环境｡
它只会喜欢你在那个环境中采取的行动的结果只会取决于你现在所处的位置｡
这将不取决于你是如何到达那里的｡
就是这样｡
这是一个产权市场, 一个具有产权的过程叫做市场过程.
举个例子, 如果你的经纪人在这里, 如果他去了, 如果他决定去, 他可能会去｡
在我们的例子中, 在我们的非确定性搜索例子中, 他实际上可能会左右移动｡
好吧, 我会的
这是因为我们的环境中有随机理论｡
在我们的环境中有随机性｡
所以这三种情况中的任何一种都可能发生｡
但这里的关键是, 这是一个过程的标志, 因为我们不关心他是如何来到这里的｡
他可能是从上面来的, 最后到了这里, 他也可能是从左边来的｡
他可能是从下面来的, 最后到了这里｡
他可能在这里转了10万次才来到这里｡
之前发生了什么并不重要｡
唯一重要的是他现在在哪个州｡
所以向左, 向右, 向上的概率, 如果他现在处于这种状态, 它们总是一样的.
所以这基本上就是说在我们来到这里之前发生了什么并不重要｡
这就是你现在的状态｡
别忘了, 这种状态不仅仅意味着他站在哪里｡
状态是指环境中主体整体的状态｡
那么是右边的怪物还是左边的怪物？
或者是鬼魂从底部的顶部传来？
不管你现在处于什么状态, 你是怎么到那里的都不重要｡
不管你是怎么变成那个样子的｡
现在, 未来会发生什么, 只取决于你现在所处的状态, 加上你届时将采取的行动,
当然, 再加上覆盖在上面的随机性｡
这是过程的标志, 也是决策过程的标志, 或者MDP, 或者马尔可夫决策过程,
提供了一个数学框架, 用于在结果部分随机, 部分受决策者控制的情况下,
对决策进行建模｡
所以重要的是要理解马尔可夫决策过程过程和马尔可夫过程是完全不同的概念, 对于马尔可夫过程来说,
它们有点像一个数学框架｡
但同时, 我认为理解马尔可夫过程是很重要的,
因为我认为它仍然有助于理解决策过程的一个标志｡
决策过程的一个标志就是, 这正是我们一直在讨论的, 到目前为止, 代理人生活在这个环境中,
在这个环境中, 它有控制权｡
比如, 记住, 以前它完全控制着正在发生的事情, 但是现在它的控制力有点小｡
它可以决定上升, 但它实际上知道｡
好吧, 如果我往上走, 有80%的机会我会往上走｡
左边有10%的机会, 右边也有10%｡
因此, 并非所有事情都完全在它的控制之下｡
在这种环境中存在一些随机性｡
这正是决策过程的标志｡
马尔可夫决策过程是一个框架, 代理将使用该框架来理解在这种环境中应该做什么｡
所以我们有一个随机的环境, 现在代理人必须做出选择,
例如, 应该向上还是向下, 向左还是向右, 必须做出决定｡
它不知道该怎么办｡
为了做出这个决定, 我们将应用一个框架, 我们将使用马尔可夫决策过程, 以便做出这个决定,
将发生什么, 将走向哪里｡
所以基本上, 这个环境提出了这个问题, 它被称为决策过程的标志｡
因此, 这是代理使用的框架｡
同时, 环境是指Agent运行在一个马尔可夫决策过程环境中｡
所以基本上我们有两个概念｡
马尔可夫过程是这个环境的设计方式, 它是从你现在所在的地方发生的, 而不依赖于过去｡
同时, 我们也得到了决策过程的标记,
这是代理人用来解决这个环境的框架｡
好消息是决策过程的标志或者我们所说的框架实际上只是对我们的贝尔曼方程的一个补充,
就是贝尔曼方程, 只是更复杂一点｡
让我们来看看｡
这是我们的贝尔曼方程｡
到目前为止, 这是所有可能操作的最大值｡
因此, 处于一种状态的价值是你能从这种状态中采取的所有可能行动的最大值｡
最大值是从你在那个状态下采取行动将获得的奖励中取出来的, 加上一个折扣因子乘以下一个状态的价值,
也就是质数｡
这就是我们目前所得到的结果, 因为在整个过程中, 我们有一些随机性｡
这部分会改变, 因为我们不知道哪一个状态会结束, 我们也不知道质数是什么｡
如果我们上升, 它会上升吗？还是我们会被留下？
我们会是对的吗？
所以我们实际上必须把它和下一个状态的期望值放在一起｡
所以我们要把它换掉｡
所以有三种可能的状态｡
所以我们要用一个值来代替它｡
这个状态有一个质数, 这个状态有一个质数, 二个质数,
这个状态有一个三质数的V.
所以现在我们要把我们实际打算进入的状态乘以80%,
因为这是我们进入那个状态的概率, 加上进入这个状态的概率10%加上每个进入状态的账单｡
所以这只是我们的期望值｡
所以如果从统计学来看, 如果我们取进入状态的期望值, 我们就会进入｡
就像平均值是我们得到的平均值, 然后我们把它换到这里｡
然后我们得到这个方程｡
现在它跳得非常快, 只是因为这个方程更大｡
但如果你仔细看, 你会发现这是完全一样的｡
这里有Mac, 这里有好的Mac, 然后是S和A的R, SE的R, 这里是Gamma,
这里是Gamma｡
最后是V｡
所以你知道这是一个确定性搜索｡
你知道你会进入哪个州｡
现在你不知道你会进入哪个州｡
所以不是取V, 而是取你将要进入的状态或未来状态的期望值, 或者简单地说,
你只是取你将要进入的状态的平均值
所以如果是一个在一个在一个喜欢的是33%的机会, 它会是这样的, 加上这个加上这个除以3基本上｡
但在这种情况下, 它并不完全像平均数｡
这是一个加权平均值, 因为你的概率在这里｡
这里你得到了当你处于这个状态时的概率, 你把进入状态的这个动作作为质数乘以s质数的值,
然后把所有你可能进入的质数相加｡
所以我们这里有三个｡
一, 二, 三, 一, 二, 三
把它们加起来乘以概率｡
把它们加起来｡
我也是
一, 二, 三, 一, 二, 三
把它们乘以概率, 然后把它们加起来｡
这就是你的新贝尔蒙特方程｡
恭喜你啊
这就是我们接下来要研究的, 也是马尔可夫决策过程中使用的框架｡
这就是解决这个问题的框架, 代理用来解决整个随机的, 非确定性的搜索问题,
其中有他们无法控制的随机事件正在发生｡
所以它要复杂得多｡
但正如你所看到的, 因为我们已经慢慢积累到现在我们已经知道了, 我们阅读这个, 我们读这个,
我们知道这个, 我们知道这个｡
所以我们所做的就是把这部分介绍到这里, 因为在你的行为或行为的后果中涉及到概率｡
而在确定论上, 它们是基于一定的概率｡
所以我们开始了｡
这就是市场决策过程的运作方式和背后的基本方程｡
再一次, 它是更接近真实的世界的问题, 现实世界的场景, 甚至游戏场景的东西,
因为不是每件事都是直截了当的｡
有一些随机性的所有参与, 并不总是会采取行动, 在一定的状态｡
会永远不会｡
好吧, 并不总是会导致同样的结果｡
这就是我们接下来要讨论的问题, 这会让事情变得更有趣｡
希望大家对此感到兴奋, 并期待着看到接下来会发生什么｡
与此同时, 我找到了一份很酷的论文, 这次可以让你看看｡
这是一篇非常实用的论文, 所以这篇读起来真的很有趣｡
这本书叫做〈马尔可夫决策过程的应用综述〉, 是白色特在1993年写的.
这里有一个链接, 它会给你展示马尔可夫决策过程实际上在哪里被用来模拟真实的生活中的场景｡
我想我对此感到非常兴奋｡
我对一些例子印象深刻｡
比如说人口收割｡
假设你有一些鱼, 鱼的数量是多少, 你需要决定今年我们能钓到多少鱼,
还有什么？
这就是你现在的状态｡
这就是你要采取的行动｡
今年我们能拍多少张照片, 这样可能会有什么结果？
明年我们会有多少条鱼？
后年我们会有多少条鱼, 后年会有多少条, 等等？
这是不确定的, 因为它不像如果你去掉90%的人口, 第二年,
你会回到100%｡
这并不是不确定的｡
有些随机因素是我们无法控制的｡
因此我们必须了解将会发生什么｡
我们必须模拟将要发生的事情｡
这就是马尔可夫决策过程被使用的地方｡
农业, 有一个类似的例子, 比如收割庄稼｡
我们收获了多少庄稼？
多少钱？
我们没有收获多少？
另一个, 我看金融和投资就像一家保险公司需要决定多少资金, 它将投资于任何｡
我想, 给定一天或一年或一段时间｡
而且有一定的因素是不受其控制的｡
比如说, 市场的走势, 它不知道会发生什么｡
因此, 它需要以某种方式实际建模, 并使用市场决策过程｡
在这里你可以看到很多很多的例子, 这是我认为每个例子的数量｡
即使是体育运动, 两个例子, 运动和流行病和汽车保险索赔, 检查和维护和修理等等｡
所以很有意思｡
看看这个｡
只是为了给予你们理解, 嘿, 这不只是虚构的东西, 假设的, 矩阵类型的东西｡
这实际上是一个真实的的场景｡
这样会给予你更好的理解｡
这就是我们在这门课的宣传视频中谈到的, 或者说是对这门课的描述,
我们将激励你们, 激励你们的直觉, 给予你们知道如何在真实的生活中使用人工智能｡
这是你的机会｡
看看这篇论文就明白了, 好的, 我们接下来要讨论马尔可夫决策过程｡
真的很酷
他们在现实生活中是什么样子的？
这可能会引发一些想法, 让你在未来如何应用人工智能, 让世界变得更美好｡
我们会非常高兴的｡
如果你能用你在这门课上学到的东西, 用AI让世界变得更美好, 那将是超级快乐的｡
那该有多棒啊
因此, 我希望您喜欢今天的教程｡
我期待着下次见到你｡
在那之前, 好好享受我｡