Bonjour et bienvenue dans ce tutoriel.
Nous avons maintenant notre IA, elle est prête à être entraînée.
Et la première étape de la formation consiste à définir notre rejeu d’expérience.
Donc, nous y arrivons lentement.
La formation et les bonnes nouvelles sont que nous avons une version implémentée de la relecture d’expérience.
En outre, il est adapté à la trace d'éligibilité, ce qui, je le rappelle, est une technique qui au lieu
d'apprendre les q valeurs, chaque transition l'apprend toutes les 10 transitions.
Donc, fondamentalement, c'est exactement comme avant.
Mais au lieu d’avoir une cible unique avec un mot unique pour chaque étape, nous aurons une cible cumulative de
dix étapes et une récompense cumulative de 10 étapes et nous apprendrons à chaque fois les 10 étapes.
Nous apprenons donc sur les transitions en 10 étapes au lieu d'une comme auparavant.
Et avec cela, je vais faire des merveilles et cela fera des merveilles pour le processus de formation.
Vous savez que la formation prendra beaucoup moins de temps.
Merci à cette technique, mais nous devons spécifier une répétition inexpérience que nous apprenons toutes les 10 étapes.
C'est pourquoi cette relecture d'expérience n'est pas une implémentation classique de la relecture d'expérience.
Comme faire un pour la voiture autonome.
Il s’agit d’une mise en œuvre de la relecture d’expérience prenant
en compte cet apprentissage en 10 étapes. Vous trouverez donc dans ce
fichier de relecture d’expérience deux classes.
C'est la première classe et nous avons besoin de cette classe, car nous devons inclure ces 10 étapes dans la
classe de mémoire de replay qui est l'implémentation de la classe pour l'expérience vécue et c'est ainsi que nous nous assurons
que la mémoire prend également en compte le fait que nous sommes. apprendre sur 10 étapes.
C’est pourquoi vous trouverez deux classes dans cette implémentation de la relecture d’expérience, mais c’est
uniquement pour tenir compte du fait que nous apprenons en 10 étapes et que nous devons en tenir compte également en mémoire.
Alors en parlant de notre mémoire, créons-le.
Nous allons appeler notre mémoire mémoire et la mémoire sera un objet de la distribution de la mémoire de relecture et la classe de mémoire
de relecture est une classe de cette répétition d'expérience en ce moment.
Et donc je prends d'abord cette conduite de replay d'expérience ressentie et c'est là que je prends la classe de mémoire de
replay.
Parfait.
Et vous voyez maintenant que nous devons définir deux arguments, le premier et des étapes correspondant exactement au nombre
d’étapes sur lesquelles nous allons apprendre les valeurs de clé.
Donc, vous connaissez le nombre d'étapes sur lesquelles nous accumulons la cible et que nous voulons.
Nous allons avoir un objectif cumulatif et la récompense cumulée, puis le deuxième argument est la capacité
correspondant à la taille de la mémoire.
Donc, par exemple ici, nous pouvons voir des dizaines de milliers.
Donc, si la capacité est égale à 10 000, cela signifie que nous aurons une taille
de 10 000, ce qui signifie que nous aurons une mémoire des 10 000 étapes effectuées par l'œil.
Mais encore une fois, nous n'allons pas apprendre chaque transition.
Nous allons apprendre toutes les dix étapes le long de ces 10000 dernières étapes de la mémoire et c'est
exactement cette nouvelle fonctionnalité que nous introduisons ici par rapport à avant.
Auparavant, nous n'avions que cette astuce de mémoire de répétition et nous avons ici cette astuce de mémoire de répétition plus cette astuce. J'ai
appris toutes les dix étapes et nous allons apprendre toutes les dix étapes. Nous allons le
faire dans la mémoire composée des éléments suivants: 10000 dernières étapes.
Et ceci est une répétition combinée à des traits d'inéligibilité avec 10 étapes qui vont considérablement améliorer les
performances de l'entraînement.
Terminons donc avec ces deux arguments.
Le premier est et étapes et ce sera égal à.
Mais pour le moment, disons, et les étapes spécifieront quelle étape est juste après que ce sera réellement une abjection de
l’autre classe de ce fichier de relecture d’expérience, qui est la classe de progression de fin d’étape
et qui permet de progresser en dix étapes.
Et rappelez-vous qu'au cours des 10 étapes, nous allons résonner les mots sur les 10 étapes pour obtenir les récompenses
cumulatives sur 10 étapes.
Et c'est exactement le test d'éligibilité.
Nous devons donc créer cette étape ici et la créer avec la deuxième classe que nous avons dans
ce fichier de relecture d’expérience qui est une progression.
Alors maintenant, nous allons créer des pas et ceci sera un objet de la classe de pas
à pas que nous reprenons de notre expérience.
Nous y voilà.
Donc, c'est la classe anti-progrès et nous devons maintenant présenter trois arguments, comme vous pouvez le voir,
nous devons définir l'environnement qui est l'environnement ici que nous avons importé.
Ensuite, le deuxième argument est notre IA et il s’agira bien entendu de l’IA que nous
avons construite ici au Royaume-Uni. S. et le dernier argument est une étape dans laquelle nous précisons que nous
voulons que vous sachiez que 10 étapes soient apprises toutes les 10 étapes, c'est-à-dire toutes les 10 transitions.
Alors aidons avec ces arguments.
Le premier est l'environnement et c'est malheureux.
Ensuite, le second est notre IA AI et que nous avons compté par intérim.
C'est celui-là.
Il ne s’agit donc que du nom de l’argument de la classe de progression par étapes et de ce ai ai.
Voici notre ai ai.
Celui que nous avons construit et puis le dernier argument est et pile et qui est égal à 10.
D'accord.
Donc, pour le moment, nous prenons simplement en compte dans la mémoire qu'il existe un apprentissage sur 10 étapes
et que cet apprentissage sur 10 étapes est appelé trace d'éligibilité.
Donc, nous travaillons vraiment sur les choses avancées ici.
Mais souvenez-vous que c'est parce que nous essayons d'être Dume, ce n'est pas comme préparer un morceau de gâteau.
Nous avons donc besoin de ces techniques avancées pour que cela fonctionne.
Alors maintenant, nous sommes presque prêts.
Avant de passer à la prochaine étape qui consistera en réalité à mettre en place des
plateaux LGBT, la seule chose que nous devons inclure est bien sûr la capacité et, disons, 10000 hommes, nous aurons une
taille de 10000, ce qui signifie que la mémoire contiendra le dernier 10000 pas effectués par l'IA et cela
nous permettra d'en générer plusieurs.
Si je me souviens était une fonction simple.
Vous savez que la mémoire contient 10000 transitions, mais pour former l'œil, nous allons échantillonner autant
de lots de dix transitions que jamais auparavant, et nous allons échantillonner ces
mini-lots de 10 transitions en mémoire composés des 10 000 étapes. .
D'accord, je suppose que nous sommes prêts à passer à l'étape suivante, qui concerne la mise en œuvre du suivi
de l'éligibilité.
Donc, nous allons avoir une aventure ici.
Ce ne sera pas une simple implémentation.
Alors faites une bonne pause et quand vous serez prêt, nous pourrons nous attaquer à cela.
Et alors profitez-en.