大家好, 欢迎回来
在上一节课中, 我们开始构建我们的环境｡
我们这里有一个11乘11的网格, 我们希望邮递员迭代通过它来解决我们的挑战｡
我们现在要开始考虑一旦我们有了网格｡
我们还需要为我们的代理提供操作, 我将快速删除这些操作｡
我们不需要这些细胞｡
我只是想让它在一些空间｡
只是方便查看而已｡
给予我1/2, 让我删除这些, 我们可以留下这个在这里｡
是这样｡
我留下了一段文字, 我们要把我们的行动设定为一个直立的向下和向左｡
对于Python, 这非常简单｡
我们可以构建列表并设置操作｡
我们的行动将是平等的｡
两个像我们一样, 上右, 下左｡
所以让我们把它设置在右下和左｡
我们需要给予我们的我们的代理人一些能力, 请原谅, 机动与这些行动通过迷宫｡
除此之外, 我们还必须开始设置奖励｡
现在,
这是开始变得有点棘手的地方, 因为我们必须设置不同的环境状态, 不同的状态,
我们希望能够分配这些-100和负1, 这些步长或这些状态值给网格中的每个方块｡
因此, 我们看到, 要帮助我们的代理了解我们城市中的每个州或位置, 我们需要有一个奖励值｡
我们的探员就是这样学习的｡
因此, 代理可以从任何白色方块开始, 但它的目标始终是相同的｡
我想在Q Learning原生奖励中最大化其总奖励｡
我们知道它们被称为惩罚｡
这些用于除目标之外的所有状态｡
这就是我们要建立的最优策略, 它鼓励眼睛通过最小化惩罚来识别到达目标的最短路径｡
好吧, 我会的
此外, 为了最大化累积奖励,
人工智能代理将需要找到项目包装区, 我们的绿色广场, 记住, 和邮递员可以旅行的城市的其他位置之间的最短路径｡
白色广场的特工们要学会避免撞上任何城市的边界｡
这些是黑色的方块, 就像我们看到的-100｡
我们要远离他们｡
他们有更多的惩罚｡
因此, 为了实现这一点, 我们有了网格, 也就是上面用行创建的环境,
但我们还想为它分配这些值｡
因此, 为了做到这一点, 让我们试着考虑一下如何才能确定我们可以使用NumPy,
并且我们还可以开始将环境行和环境列的NumPy设置为Native 100｡
因此, 我们有环境行和环境列｡
我们称这个奖励等于num pi full, 我们传入环境行, 环境列,
然后设置值, 我们可以从-100开始｡
除此之外, 我们还希望将奖励窗口设置为｡
使用索引0和5｡
等于100｡
这很快就会说得通了｡
我们来看看绿色广场｡
我们有0号和5号｡
我们将绿色方块设置为100, 取这些或这个位置来设置值｡
现在, 我将粘贴下一段代码, 以便我们可以浏览它｡
所以你不必看着我写每一步, 因为它有点重复｡
现在我们有白色空白｡
让我们为我们的奖励积分设置注释｡
在这段代码中, 我们使用了一个字典, 并在字典中设置了每个值｡
所以我们有我们的过道｡
我们把它看作是每一行, 我们可以用切片来设置, 用索引1到9｡
我们想通过for循环迭代来设置这些值｡
这样做时, 您会看到, 如果我们查看1到10, 1, 7和9,
通过使用这些, 我们实际上可以在1到10的范围内设置行索引, 这是我们在环境中正在处理的｡
我们可以设置列索引｡
在我们的过道里, 我们的行索引跟我们的字典, 我们的奖励行索引和列索引, 我们可以把它设为负一｡
因此, 如果我们查看每个特定的, 如果我们在这里取一个范围,
例如, 在我们的范围内, 通道9代表I, 我们在整个环境或环境中的每个状态中都有负1集｡
八个, 我们有三个和七个｡
如果我们向上滚动, 我们可以看到3和7,
我们设置为负1, 因为它们都是负的, 100设置为负100,
通过这个迭代, 我们可以设置这些奖励, 或者将通道中定义的每个状态设置为负1｡
这使它变得非常容易｡
我们可以迭代并设置这些值, 而不必编写更多的逻辑或更详细的函数或语句｡
我强烈建议你花一分钟的时间来探索实验, 如果你想改变环境后｡
在我们运行此解决方案后, 这是帮助学习和强化这些策略的一个很好的方法｡
但这已经开始成形了, 我们可以做的一件很酷的事情是, 我们可以把它可视化｡
那么我们来做四个排的奖励吧｡
打印行, 我们打印一下, 我们可以看到我可能需要重新运行这些单元格｡
我很抱歉｡
我没有通过这里连接到笔记本电脑｡
给予它一半｡
它将抛出一个错误｡
我得回去重新检查细胞｡
让我快速地运行一下｡
我想导入NumPy｡
我其实可以｡
哦, 对不起｡
让我先过一遍, 然后我们就下来.
我们希望运行我们的环境｡
我们要运行我们的操作｡
其他的都是短信, 所以我们不需要｡
但我喜欢把它写进去, 这样你们就可以参考了｡
我们想要我们的奖励积分, 我们最终想看到这一点｡
我们可以看到可视化, 实际的数字表示, 在numpy我们的环境｡
真的很酷｡
我们已经设置好了环境｡
了不起的工作｡
希望你们觉得这个有用｡
现在我们要结束了因为下节课我们要开始训练这个模型.
这是为了设定我们的代理人的行动, 设定我们的环境, 设定我们的奖励和惩罚｡
这将帮助智能体在Q学习中建立最优策略｡
总的来说, 我们已经构建了这个可视化表示或图像, 如果我们打印出行, 就可以在这里看到它｡
太神奇了｡
好吧, 我会的
我就不多说了｡
让我们在下一节课结束｡
让我们开始训练模型｡
我们下节课再见｡