Salut et bienvenue.
Dans le dernier cours, nous avons fini ou finalisé la définition proprement dite de notre environnement,
la représentation de nos valeurs, nos punitions en récompenses, et nos actions dans l'environnement.
Dans cette conférence, ce que je veux faire est de présenter la formation, l'idée derrière la façon de former le
modèle et de vous aider à démarrer.
Et puis, dans la conférence suivante, fournissez la solution et plus d'une ventilation pour les étapes impliquées.
Nous devons donc former le modèle à ce qui serait requis de la formation.
Il s'agit d'une approche que nous pouvons utiliser pour les étapes suivantes de formation du modèle.
Nous voulons choisir un état aléatoire non terminal, qui serait le carré blanc de notre agent, et c'est ainsi
que nous voulons commencer dans notre épisode d'entraînement.
Nous voulons alors bien sûr choisir une action pour l'état actuel.
Nous devons avoir notre agent capable de se déplacer dans l'environnement.
Ainsi, les actions pour nous et notre agent dans ce défi seront choisies en utilisant le grec Epsilon.
Cet algorithme choisira généralement l'action la plus prometteuse pour l'agent, mais choisira parfois une
option moins prometteuse.
Afin d'encourager l'agent à explorer l'environnement, nous voulons vraiment trouver la politique optimale.
Ensuite, nous voulons effectuer l'action choisie et passer à l'état suivant.
Passez à l'emplacement suivant.
Et pourquoi je dis cela, c'est que je veux que vous réfléchissiez à la façon dont vous pouvez décomposer cela
en fonctions pour résoudre ce problème.
Ensuite, nous devons recevoir une récompense pour passer à un nouvel état, puis calculer la différence temporelle.
Nous devons mettre à jour la valeur Q pour la paire d'état et d'action précédente, et si la nouvelle devise est un état
terminal, nous passerions alors à un.
Sinon, nous passerions à l'étape numéro deux.
Donc, tout le processus, nous allons viser à courir pendant mille épisodes pour nous entraîner.
Cela va nous donner suffisamment d'opportunités ou à notre agent suffisamment d'opportunités pour calculer le chemin le plus court entre
la zone d'emballage de l'article et d'autres emplacements dans notre ville d'exemple.
Génial.
Alors s'il vous plaît, réfléchissez à la façon dont vous abordez cela et je veux vous aider à vous donner une idée pour essayer de résoudre ce problème.
Nous examinerons donc dans notre solution, nous allons utiliser les fonctions suivantes.
Je peux en fait commenter cela puisque c'est un code, donc mes excuses.
Nous ne voulons pas de signe dollar.
Nous voulons les commenter et je vais vous aider à démarrer sur le premier.
Dans l'ensemble, ces fonctions définiront nos étapes de formation du modèle et vous aideront à
démarrer.
Voyons comment nous aborderions l'état terminal en créant une fonction dans python pour cela.
Tout d'abord, nous voudrions bien sûr définir notre fonction telle quelle.
Etat terminal.
Et ce sont les noms des fonctions que vous verrez pour vous donner une idée qui pourrait vous aider à
le décomposer.
Ce que nous voulons faire, c'est prendre l'index de ligne actuel et l'index de colonne actuel.
Cela va aider à nous donner la position de notre agent, et nous pouvons ajouter ici pour nos récompenses un vrai ou un
faux.
Nous en avons donc besoin.
Alors fixons nos si nos récompenses.
De notre courant.
Indice de ligne.
Et actuel.
Index de colonne égal à moins un s'ils sont dans cet état.
Nous renverrions faux ou autrement ou bien.
Nous reviendrions.
Vrai.
Assez simple.
Et c'est ainsi que nous allons avoir notre idée de notre état terminal après avoir s'il existe dans l'état
terminal, nous voulons alors obtenir l'emplacement de départ.
À titre indicatif, vous pouvez jeter un œil à l'utilisation de l'index de ligne actuel dans l'index de colonne actuel
et définir numpy avec un random.
Nous voulons initialiser cela de manière aléatoire aux colonnes d'environnement des lignes d'environnement.
Mais dans la prochaine conférence, vous verrez une ventilation.
Vous verrez le reste des fonctions avec quelques notes pour vous donner une idée.
J'espère vraiment que vous saisirez l'occasion d'expérimenter cela, car c'est juste une excellente façon d'apprendre, de
vous donner une idée et c'est pour vous aider à démarrer.
Alors ne vous inquiétez pas, vous aurez la solution dans la prochaine leçon.
Et puis nous allons conclure en attribuant un excellent facteur de remise à l'apprentissage de ce genre de choses pour
la formation, l'exécution de la formation et la visualisation des résultats.
Génial.
Arrêtons-nous ici encore.
Essayez de résoudre ce problème.
Mais sinon, si vous voulez simplement avancer, passez au cours suivant et vous aurez la solution
pour la formation à la définition de ces fonctions.
Très bien, je vous verrai les gars dans la prochaine conférence.