Es-tu prêt?
Faisons cela, commençons par installer toutes les dépendances système pour Vista, cliquons sur ce bouton
de lecture et maintenant il installera toutes les dépendances, comme vous pouvez le voir, comme Pelo ou ZIPPI et aussi
quelques autres dépendances qui seront nécessaires pour exécutez-le avec succès.
Mais tout le reste, comme PLI vers les modules de gym, est déjà installé.
Alors c'est vraiment génial.
C'est vraiment la beauté d'un bon kulam, et c'est grâce à quoi aucun de vous n'aura de problème à exécuter
le code et à visualiser le résultat final.
D'accord.
Cela va donc prendre en fait une ou deux minutes.
Donc je vais juste avancer rapidement ici et maintenant.
A très bientôt pour la suite de l'exécution du code.
Très bien, nous semblons être à la fin de l'installation des dépendances système, comme vous
pouvez le voir, il les télécharge, les installe tout en les collectant avec toutes les bonnes exigences.
Et en quelques secondes, cela devrait être fait.
Droite.
Et voyons, trois, deux.
On y va.
Tout installé avec succès.
Ne vous inquiétez pas de ces erreurs ici.
Ils n'auront aucun impact sur l'exécution du code, mais tout est installé avec succès comme nous le souhaitons.
D'accord.
Alors maintenant, prochaine étape, très importante.
Regardez cette note importante.
Il dit qu'après avoir installé tous les Benz, essentiellement après avoir exécuté cette première cellule ici, vous
devez redémarrer votre runtime.
Sinon, vous obtiendrez des erreurs d'exécution ici.
Alors faisons-le rapidement.
C'est très simple.
Il vous suffit de cliquer sur runtime ici, puis de redémarrer le runtime, puis.
Oui.
D'accord.
Cela restaurera votre runtime et maintenant vous pouvez simplement exécuter toutes ces cellules en cliquant simplement sur le bouton de
lecture.
Alors faisons cela, en commençant par ce premier prétraitement d'image de fichier.
D'accord.
Commençons par importer les bibliothèques, puis prétraitez les images avec la classe d'image de pré-traitement.
Et maintenant, nous sommes déjà passés à l'implémentation de la relecture d'expérience, c'est-à-dire celle-ci.
D'accord.
Alors faisons ça.
Nous importons d'abord les bibliothèques, puis nous définissons une étape de l'environnement.
Ensuite, nous fabriquons le A. JE. progression sur plusieurs étapes et étapes avec la classe de progression de l'étape de
fin exactement la même que celle que nous avons dans le dossier.
Et puis nous implémentons l'expérience que nous jouons en créant cette classe de mémoire de relecture.
D'accord.
Tout bon.
Et maintenant, nous passons à la troisième faute.
Celui-ci A. JE. supposons que j'avais postulé et que nous importons d'abord les bibliothèques ensuite.
D'accord.
Cela prend donc un peu de temps ici car nous importons tous les modules de la torche, puis nous importons les
paquets pour les ouvrir et le faire avec le gym et la sagesse, Jim.
Et l'emballage est tout bon.
Et puis nous passons à la première partie ici, le bâtiment II, où nous allons fabriquer le
cerveau, puis le corps et ensuite tout assembler.
Alors commençons par faire fonctionner le cerveau avec la classe CNN, puis faisons le corps avec la classe softmax
body et ensuite faisons l'IA avec une classe.
D'accord.
Alors tout va bien.
Et maintenant, nous sommes prêts à passer à la deuxième partie.
Allons-nous former l'IA avec, bien sûr, un Q Learning convolutif profond.
D'accord.
Donc exécutif, comme ce que nous avons ici.
Nous obtenons d'abord l'environnement doom avec nos nouveaux modules avec doom.
Ne t'inquiète pas pour ça.
Ce n'est pas une erreur.
Ensuite, nous allons construire le A. JE. en intégrant les différents objets pour ramener CNN, les corps de
Max body et l'ensemble A. JE. contenant le cerveau et le corps.
D'accord.
Ai-je exécuté cela?
Oui.
Ensuite, nous mettons en place l'expérience.
Nous jouons avec Insteps et la mémoire comme mémoire de relecture objective, puis nous implémentons la trace
d'éligibilité.
D'accord.
Pour améliorer les performances.
Ensuite, nous faisons la moyenne mobile sur cent pas avec la classe M a.
Et enfin, mes amis, êtes-vous prêts?
Eh bien, il est maintenant temps pour la partie très excitante où nous allons former le A. JE. plus de vingt dollars.
D'accord.
Vous verrez donc que ce sera déjà un peu long.
Vous savez, cela prendra comme, euh, peut-être une ou deux heures parce que j'augmente les dimensions, n'hésitez pas
à réduire les émissions à quatre-vingts par quatre-vingts si vous trouvez cela trop long.
Mais croyez-moi, vous aurez de bien meilleures vidéos avec ces dimensions.
OK, alors êtes-vous prêt?
Faisons cela en trois contre une.
D'accord.
Cela exécutera donc le code de la formation et dans quelques secondes nous devrions pouvoir voir la
première époque, qui aura, bien sûr, une récompense négative.
Mais vous verrez que, vous savez, au fil des époques, la récompense augmentera petit à petit
jusqu'à atteindre des récompenses positives et ensuite jusqu'à atteindre des centaines de récompenses.
Eh bien, visons cela, en fait.
Espérons qu'avec vingt-huit dollars, nous aurons une récompense finale à une centaine, vous savez, comme 100,
200 ou 300, car avec ces récompenses, je les ai expérimentées en fait.
Oui.
Tout d'abord, une récompense négative moins quatre-vingt dix huit.
Donc, je disais qu'avec des récompenses aux alentours de 100, 200, 300, nous obtiendrons déjà d'excellents résultats.
Vous savez, nous verrons les AA réussir à tuer des monstres ou à les éviter ou, vous savez,
à se diriger vers la veste.
OK, c'est donc le premier livre, un moins quatre-vingt dix huit.
Et puis vous savez, nous verrons au livre numéro deux avec peut-être déjà une meilleure récompense.
Mais, vous savez, au début, bien sûr, l'EIE n'est pas formée.
C'est explorer l'environnement.
Droite.
Vous vous souvenez de ce compromis entre l'apprentissage par renforcement, l'exploration contre l'exploitation?
Eh bien, au début, l'idée est purement exploratoire, puis elle va s'entraîner, puis elle va
devenir de plus en plus petite, et c'est à ce moment-là qu'elle va atteindre une grande récompense.
C'est donc très bien d'avoir des récompenses négatives au début.
Peut-être que nous l'obtiendrons.
Au cours des trois premières époques, mais ensuite vous verrez qu'après un numéro quatre, cinq ou six,
eh bien, nous commencerons à atteindre peut-être des récompenses positives, puis, espérons-le, des récompenses à environ 100, 200 ou 300.
OK, donc ça va prendre un peu de temps, comme je l'ai dit.
Nous n'allons donc pas rester ici pendant deux heures, sinon je vais manquer de choses à dire.
Donc ce que je vais faire, c'est que je vais mettre une musique amusante ou cool maintenant et nous y voilà, époque numéro deux,
moins 62.
Il y a donc déjà une amélioration.
C'est bon.
Mais vous verrez qu'il y aura des améliorations encore meilleures.
Plus nous progressons dans les époques.
OK, alors qu'est-ce que je disais?
Oui, je vais mettre de la musique cool maintenant et jouer l'entraînement en mode accéléré.
Et bien sûr, je vous verrai à la fin de la formation pour voir les résultats finaux.
D'accord.
Alors on y va.
Trois contre un.
Très bien, et nous voici à la fin de la formation, félicitations, vous avez formé un modèle d'apprentissage profond et convolutif
sur une application très stimulante, qui consiste à jouer le jeu de la catastrophe.
Alors que dire?
Eh bien, comme nous l'espérions, nous avons atteint une récompense moyenne à plus de 100.
Ensuite, ce qu'il est important de dire, c'est bien sûr qu'avec plus d'époques, vous obtiendrez des récompenses plus élevées.
Donc, si vous êtes prêt, par exemple, à entraîner ce modèle pour plus, il ressemble à 100 époques
ou même plus afin d'atteindre des récompenses plus d'environ 300, 400, 500 ou même 1000.
Eh bien, n'hésitez pas à le faire.
Par exemple, vous pouvez laisser cela fonctionner pendant la nuit pendant que vous dormez.
Et quand vous vous réveillez le matin, vous obtenez de meilleurs résultats.
Notez que vous pouvez également utiliser dans le GPU d'exécution, à droite.
Si vous modifiez le type d'exécution, ce que je ne devrais pas faire, sinon cela redémarrera le notebook.
Mais dans l'accélérateur matériel ici, vous pouvez choisir GPU ou même Tipu, mais ce n'est que si vous
voulez, vous savez, optimiser les performances et faire un entraînement super dur.
Mais ici, je viens d'utiliser un truc classique parce que je veux juste vous montrer comment exécuter tout cela.
Et nous y voilà.
Nous allons maintenant exécuter le reste du classeur avec ce code supplémentaire uniquement spécifique à ce code, ce cahier
où, bien sûr, nous allons visualiser AA en action.
D'accord.
Alors faisons ça.
Importons d'abord les bibliothèques.
Droite.
Tout bon.
Ensuite, nous allons imprimer la forme d'entrée et un certain nombre d'actions possibles.
D'accord.
Donc, ici, nous allons en effet comprendre que nous avons sept actions possibles, vous savez, dans l'environnement du corridor
de catastrophe.
Donc, ce sont avancer, reculer, aller à gauche, aller à droite, tirer et peut-être vous protéger ou quoi que
ce soit.
Je ne sais pas quelle est la dernière action, mais quelque chose comme ça, alors ce sont les dimensions
de la trame d'entrée.
Cela correspond à la hauteur du cadre.
Il a une hauteur de 240 pixels.
Cela correspond à la largeur du cadre, non?
Il est de trois cent vingt grands.
Et cela correspond, vous savez, au fait que nous travaillons avec des images colorées et les trois correspondent
ici aux trois éléments de nos canaux.
Très bien, alors exécutons la cellule suivante affichant une image de l'environnement juste pour voir à quoi il
ressemble.
Et en effet, rappelez-vous, c'est utile pour voir l'environnement avec lequel vous travaillez.
Droite.
Nous voyons donc ici que nous sommes à Dume Corridor.
Mais si vous voulez expérimenter d'autres environnements ici, en fait, vous savez, rappelez-vous, ils sont
également dans la page principale ici.
Ici.
Oui.
Vous avez toutes les listes d'environnements que je recommande d'expérimenter.
Donc, vous savez, si vous voulez en voir un autre, eh bien, vous savez, je peux vous
montrer en fait allons chercher celui-ci et ensuite je reviendrai dans ce couloir de zoom.
Droite.
Donc, si je remplace cela par celui-ci.
Bien sûr, et j'exécute bien cela, nous aurons trois actions cette fois, bien sûr, c'est plus simple,
et si nous l'exécutons bien, nous verrons cet environnement, à droite.
C'est donc juste un moyen de voir rapidement avec quoi vous travaillez et d'avoir un aperçu de ce que
l'ACA fera dans l'environnement.
D'accord.
Revenons donc au coin.
Exécutons ceci maintenant au cas où nous en aurions besoin pour les prochaines ventes.
Très bien, parfait malheur, Cawdor.
Maintenant, passons aux ventes finales.
C'est une fonction d'assistance qui sera utilisée pour les visualisations.
Alors exécutons la vente et maintenant, exécutons l'idée sur un épisode.
Et ici, vous serez en mesure de comprendre le code parce que, vous savez, fondamentalement, c'est le
processus de, vous savez, diffuser l'air et un épisode complet où à chaque étape il est dans un état spécifique, il
va jouer en action dans l'état.
Ensuite, il obtiendra la récompense et atteindra la date suivante.
Droite.
C'est donc le processus classique de MGP, non.
Processus de décision du marché.
Et nous y voilà.
C'est fait pour un épisode.
Et enfin, nous allons avoir la vidéo du jeu de notre A. JE. , qui a été formé pour vingt
dollars, a pu atteindre plus de 100 récompenses, ce qui nous donnera de très bons résultats, mais peut-être pas
les meilleurs.
Mais c'est OK.
Vous expérimenterez cela par vous-même.
Et maintenant, j'aimerais que vous cliquiez dessus pour le bouton ici, car je veux vous montrer comment la
vidéo est peuplée.
Ce sont donc des dossiers contenant, vous savez, des éléments comme les frames, vous savez, les frames
des résultats ou des fichiers jasen.
Mais vraiment, ce qui sera intéressé, c'est la vidéo finale.
Et pour l'obtenir, il suffit de cliquer sur le bouton de lecture ici et vous verrez qu'il sera rempli dans
le dossier principal ici.
Ne le manquez pas.
Et ça va.
Vous savez, il semble que la cellule a déjà été exécutée, ce qui est le cas.
Mais vous verrez que dans quelques secondes, nous verrons un avatar, qui est un fichier vidéo rempli ici.
Il apparaîtra dans environ dix secondes.
Je peux même faire un compte à rebours si tu veux.
Alors faisons ça.
Et dix, neuf, huit, sept, six, cinq, quatre, trois, deux, un, allez.
Et maintenant, il devrait vraiment apparaître dans quelques secondes.
Ouais, on y va.
D'accord.
Donc, le gameplay de l'agent, cette idée, c'est votre vidéo.
Alors téléchargeons-le et il sera téléchargé sur votre ordinateur, que je trouverai ici.
Droite.
C'est le gameplay de l'agent vidéo qu'Evia s'assure de l'ouvrir avec un lecteur vidéo doté de codecs comme
VLSI.
Droite.
Cela ne fonctionnera pas avec le lecteur Quick Time si vous êtes sur un Mac, mais cela fonctionnera certainement avec VLCC.
Alors jetons un coup d'oeil.
Et voici la vidéo.
D'accord.
Alors laissez-moi juste appuyer sur pause ici.
D'accord.
Alors voici la vidéo.
Et comme vous pouvez le voir, il s'agit donc des 256 par 256 dimensions du cadre.
Donc, comme vous pouvez le voir, ce n'est pas très grand.
Droite.
C'est pourquoi j'ai vraiment voulu travailler avec ces dimensions au lieu de 80 par 80.
Alors maintenant, regardons la vidéo.
Voici donc le A. JE. jouer à Doom sur un épisode, et il doit éviter que les monstres ne soient tués.
Il doit aller de l'avant pour atteindre les meilleurs.
Voyons donc comment cela fonctionne trois contre un.
D'accord, donc d'abord il se ferme, il avance, OK, puis il a été tué par les monstres, mais c'est
quand même assez bon.
Vous savez, il a compris qu'il fallait avancer vers l'Ouest car la plus haute récompense est
bonne en atteignant le gilet.
Et, bien sûr, vous savez, si vous voulez vraiment voir la vidéo de votre air atteignant le gilet
et gagnant à ce jeu, en gros, vous devrez entraîner votre œil pour plus d'époques et peut-être même faire un autre type d'amélioration,
comme régler votre cerveau de l'A. JE. ou faire quelques réglages de paramètres, comme régler
le taux d'apprentissage.
Eh bien, vous avez de nombreuses options si l'un d'entre vous obtient une vidéo incroyable ou, vous savez, la vidéo de A. JE. ayant atteint une récompense
de plus de 1000, par exemple.
Eh bien, n'hésitez pas à le partager dans les questions-réponses.
Je suis sûr que d'autres étudiants seront très heureux de l'obtenir.
D'accord.
J'espère donc que vous avez aimé mettre en œuvre le modèle d'apprentissage convolutif profond.
Nous allons maintenant passer à la partie suivante, qui consistera à implémenter le modèle H3C
et un modèle encore meilleur et plus puissant qui sera implémenté pour jouer au jeu de l'évasion.
Je vous verrai donc dans la prochaine partie.
Et en attendant, profitez de A. JE..