Bonjour et bienvenue au cours sur un I, dans la partie précédente, nous avons parlé de l’apprentissage en
profondeur de l’intuition Killary que nous avons commencée ici.
Et en fait, nous sommes arrivés à cette partie et nous avons parlé d'apprentissage et nous
allons maintenant passer à la partie intérimaire.
Il y a donc deux parties distinctes dont nous devons nous souvenir.
C'est donc la partie apprentissage, mais maintenant il a fait tout cela.
C'est beau.
Maintenant, il doit en fait prendre des mesures, il doit décider ce qu'il va faire, il va faire les actions
un deux, trois ou quatre.
Et alors, comment fait-il cela?
Eh bien, comme il le fait, on lui donne maintenant les mêmes valeurs, de sorte que les valeurs ne changent pas une fois que nous avons ces
valeurs de comparaison avec Calcott les deux dernières années, nous avons mis à jour les poids mais
les valeurs ne changent pas. changer dans tout ce processus.
Pour avoir les valeurs du cube ici.
Ils sont réparés.
Nous savons ce qu'ils sont.
Tout cela arrive cependant.
Les réseaux sont mis à jour et utilisent les mêmes valeurs que nous.
Ce que nous allons faire, c'est les analyser via une fonction soft max.
Et encore doux Max comme décrit.
Je pense une annexe 2 et nous allons parler un peu plus sur soft max.
Nous parlerons plus loin de cette politique de sélection des actions plus loin dans le reste de cette section.
Donc, juste dans quelques tutoriels.
Mais pour l'instant, nous allons simplement dire que nous passons à travers une fonction douce suivante.
En gros, cela permet d’aider à choisir la meilleure action possible.
Et il y a une petite mise en garde à cela.
Ce n'est pas seulement le meilleur possible.
Nous en parlerons dans le tutoriel sur les règles de sélection d'actions.
Mais pour l'instant disons simplement qu'il sélectionne la meilleure action à partir d'ici il dit OK, donc Q1 vous connaissez la probabilité.
Fondamentalement, nous savons que les valeurs q ont prédit la valeur Q afin qu’il puisse les examiner et dire OK, donc la valeur
Q la plus élevée de ces valeurs, comme nous l’avions fait dans l’algorithme d’apprentissage Q simple.
Je vais juste regarder tout ça pour dire les valeurs les plus élevées, celle-là, je vais choisir l'action que nous
allons entreprendre.
Et c'est à peu près tout.
C’est ainsi qu’il choisit l’action à entreprendre, puis tout ce processus se répète.
Pour la prochaine étape, l'agent se retrouve dans notre cas et dans la prochaine case du labyrinthe.
Mais d'une manière générale dans l'état suivant.
Alors on y va.
C'est ainsi que nous introduisons un problème d'apprentissage par renforcement dans un réseau de neurones par le biais d'un vecteur décrivant l'état dans lequel
nous nous trouvons.
Et une fois que nous y correspondons.
Le processus comporte deux parties. La première partie est l'apprentissage.
Souvenez-vous donc de la partie où nous comparons chacune des valeurs de cube à la cible, puis
nous propagons la perte sur le réseau pour mettre à jour les pondérations, de sorte que notre réseau apprend au
fil de ce labyrinthe ou de cet environnement.
Et aussi la deuxième partie est bien sûr que nous devons agir, nous devons sélectionner une action et c’est là
que nous transmettons les valeurs via une fonction soft max et / ou une politique de sélection d’action dont
nous parlerons plus loin.
Et ensuite, nous sélectionnons simplement l'action que nous voulons entreprendre et nous l'exécutons, puis tout le
processus recommence.
Et alors peut-être que l'agent obtient alors peut-être que l'agent ne met pas le jeu en pause.
En tout cas, le jeu se termine.
Et une fois de plus, tout le processus se répète et l’agent répète l’ensemble du jeu, puis s’arrête. C’est donc un autre
airpark chaque fois que l’agent que vous connaissez se termine à chaque fois avec une faveur au-delà des fées
qui est la fin d’un aéroport.
Et puis il recommence, puis il recommence, puis il recommence.
Etc.
Donc, cela se produit et ce processus se produit à chaque fois que l'agent
se trouve dans un nouvel état, de sorte que l'état est codé
ici;
Il est donc dans un état qui passe par ses dates de processus et ainsi de suite et se produit à chaque fois.
Et si l'apprentissage se produit et le jeu d'acteur se passe aussi bien.
Il s’agit donc d’un apprentissage en profondeur dans l’intuition qui sous-tend un apprentissage en profondeur.
Nous avons beaucoup plus à couvrir et bien sûr pratique et entre-temps, si vous souhaitez obtenir des informations supplémentaires
sur la poursuite de l’apprentissage.
Nous avons une lecture recommandée, nous avons donc déjà parlé de la série d'articles de blog d'Arthur Giuliani.
Si vous regardez l'apprentissage informel simple de la partie 4 de la séquence de Lifton, vous trouverez la partie qui correspond à ce
dont nous avons discuté aujourd'hui.
Notez qu'il parle ici de convolutions que nous ne couvrons pas de révolutions dans cette section, nous en parlerons
dans la prochaine section du cours.
Donc, la différence ici est que vous sautez un peu la partie des conclusions pour le moment et que nous
en reparlerons dans la prochaine partie du cours, mais la différence réside dans les évolutions.
Vous ressemblez à regarder l'agent regarder l'image et donc il doit traiter une image une complication supplémentaire pour
le moment où nous sommes en train de construire progressivement cela.
Pour l'instant, nous encodons notre environnement à travers vous regardez ici, nous encodons notre environnement
ou peut-être regardons celui-ci probablement en codant notre environnement en tant que ou pour indiquer que l'agent est dans un vecteur.
Donc, dans notre cas, était un vecteur très simple de valeurs.
Parfois, même dans ce cas-là, les gens peuvent parfois ou comme vous le verrez dans ce billet de blog.
Parfois, les gens préfèrent la seule version chaude et codée de cet état.
Donc, fondamentalement, chaque boîte du labyrinthe a un.
Donc, vous avez comme un vecteur de pour un cas nul serait 12 valeurs trois par quatre.
Donc, ce n'est pas comme 1 ou 0 selon les éléments et les cases dans lesquelles vous vous trouvez.
Dans l'environnement.
Ainsi, quelle que soit la manière dont vous décidez de coder votre environnement et son état, c’est ainsi que le codage
est fondamentalement un vecteur.
La clé ici est que ce n'est pas une convolution Donc ce n'est pas comme une image et il n'y a pas de volte de
convolution Donc cette partie viendra plus tard.
Pour nous, cela commence ici et cela simplifie simplement le processus pour nous permettre de mieux comprendre progressivement.
Et bien sûr, n'oubliez pas que ce message est grossier et a tendance à couler et que nous utilisons pi torche
dans nos tutoriels.
J'espère que cela vous plaira.
Une introduction rapide dans un livre profondément convolutionnel, pas encore profond.
Et sur cette note, j'ai hâte de vous revoir.
Et jusque-là, profitez de l'intelligence artificielle.