Bonjour et bienvenue au cours sur l'intelligence artificielle.
Aujourd'hui, nous parlons de la première partie de A-3 voir la partie critique d'acteur.
Nous avons donc ici un avantage synchrone.
Algorithme de critique d'acteur.
Et nous allons parler de cet Akrotiri souligné.
C'est par là que nous allons commencer.
Vous pouvez techniquement commencer n'importe où, mais commencer par un critique est beaucoup
plus logique, car ainsi, nous aurons une explication très consécutive de la compréhension intuitive de ce qui se passe nous facilitera
la tâche.
Mais si nous commençons encore à nous surprendre à la fin de cette aberration.
Jusqu'ici, jusqu'à présent, dans ce cours, nous avons mis au point un apprentissage conditionnel approfondi de Kule qui est illustrateur. Nous avons
donc l'ordinateur qui voit les pixels, de sorte que l'image réelle et les pixels ne sont pas qu'un vecteur.
Donc, ce n'est pas tricher, mais de voir exactement ce qu'un humain voit, il voit les
monstres, la santé, il voit les paramètres au bas de l'écran, il voit la carte ou le pistolet, c'est exactement la même chose qu'un
humain verrait en jouant à cette carte. Jeu.
Ensuite, cette image est transmise dans un repaire de convolution, puis dans un réseau de neurones puis,
à la sortie, nous avons des actions qui nous rappellent que nous avons ces valeurs de cube, puis nous
appliquons une politique de sélection des actions. pour eux.
Ainsi, par exemple, nous appliquons un Max doux et nous découvrons quelle action nous voulons entreprendre.
Et donc, il y a une exploration et une exploitation en cours.
Il y a une combinaison des deux.
C’est ainsi que fonctionne l’apprentissage cool par convolution profonde.
Mais voyons maintenant ce que nous allons en faire.
Donc, dans un souci de simplicité, pour que ce soit plus facile pour nous, c'est parce que
nous allons ajuster cette image et la déplacer.
Nous allons remplacer les cercles par des carrés par ces ou ces boîtes rectangulaires.
Et nous allons également nous débarrasser de ces lignes et, entre elles, les changer en flèches pour que cela ne
change pas l'essence.
Ceci est juste la représentation sur ce tableau.
C’est toujours même que cette représentation est encore profonde. L’apprentissage de Kule par convolution va être plus
facile pour nous de le modifier et de montrer ce qu’il en est.
Donc, c'est comme ça que nous allons représenter les choses d'ici.
Et qu'est-ce que ou cette partie spécifique commence donc.
Rappelez-vous que nous commençons comme étape par étape, nous commençons avec la partie critique active.
Nous allons donc voir comment nous allons passer de l’apprentissage crucial de Kule à A-3. Nous allons vous présenter étape par étape et première
étape la présentation de cet acteur critique PARTOVI afin que nous puissions en discuter.
Donc, la première chose qui se passe est ce dernier bit.
La sortie est en fait, nous allons simplement la redessiner de la sorte, c'est donc exactement la
même sortie, les mêmes valeurs q correspondent exactement à la même action.
Donc, s’il a eu huit actions possibles, il en reste huit, ce qui les placera au sommet, de
sorte qu’ils prennent moins de place et que rien n’a été modifié jusqu’à présent.
Ceci et ceci sont exactement les mêmes.
Mais maintenant, c’est là que la partie critique active entre en jeu.
Nous allons avoir une deuxième sortie.
Nous allons avoir le premier comme un ensemble de sorties et ici nous aurons une sortie individuelle
distincte donc techniquement nous allons utiliser notre réseau de neurones.
Donc une fois par heure.
Ou bien l’image et tout ce qui est comme les valeurs passent par le réseau de gauche à droite ici.
Ils ne crachent pas seulement un ensemble de valeurs, ils crachent en fait deux ensembles.
Et donc le sommet a dit que nous savions vraiment ce que c'était, que ce sont des actions possibles, mais
ici, nous allons avoir une valeur supplémentaire, alors regardons cela.
Quelle est cette valeur.
Alors voila c'est le top.
Nous avons donc un peu réduit la taille de cette illustration.
Les meilleurs résultats sont les valeurs de cube telles que décrites précédemment pour les actions.
Donc, ils sont la même chose.
Tout est pareil.
Mais alors maintenant cette partie inférieure et la partie supérieure s'appelle réellement le X ou nous
allons lui donner un nom qui est l'acteur parce que c'est la partie où l'agent choisit ce qu'il veut faire pour qu'il
agisse comme si c'était comme si ça se produira sur scène et cela aura plus de sens une fois que nous aurons
le deuxième nom à l'écran.
Et puis la deuxième sortie est juste comme une valeur et c'est V of S donc c'est la valeur de l'état.
Donc, si q de S, le QA est la valeur q d'une action donnée et, comme vous pouvez le constater, c'est la raison pour laquelle il y a action une
action deux actions trois peuvent atteindre l'action six ou des actions de signification supérieure dans cet
état.
Donc, dans un état donné, quelle est la valeur q de passer d’une action à une action, etc.
Ensuite, ici, nous prédisons également que nous utilisons également le réseau de neurones pour prédire quelle est
la valeur de l’étape dans laquelle nous nous trouvons et cette partie s’appelle le critique.
Et c’est donc l’intuitif pour le genre d’intuitif même pas complètement intuitif qui est comme le début de l’intuition derrière
un acteur prédisent qu’il ya maintenant deux sorties du réseau de neurones et non une seule.
P avant que nous ayons juste eu celui-là à outbred que nous appelons maintenant l'action.
Mais maintenant nous avons deux sorties Akshara et critique.
Et il y a une dynamique entre eux que nous explorerons plus en profondeur.
Mais pour le moment, il est important de comprendre que nous ne prédisons pas uniquement les valeurs des actions que l'agent peut effectuer
à partir de l'état actuel, mais également la valeur d'être dans ce type d'état en utilisant le
réseau de la même année.
Voilà donc le cœur de la première étape de la critique active.
Et nous allons maintenant avoir besoin de parler d'un synchrone que nous ferons dans le prochain
tutoriel afin de comprendre exactement ce qui se passe entre le devoir et la chose finale d'aujourd'hui: toutes ces valeurs clés, comme nous
le savons, s'appellent également Pulse. .
Ainsi, dans certains ouvrages de blogs et dans certaines discussions que vous pourriez trouver dans la critique active,
vous trouverez peut-être que l'auteur parle des valeurs de Cue du côté de l'acteur dans d'autres écrits, blogs et discussions,
vous trouverez l'agrah de l'auteur. Parler de la politique ainsi et habituellement est utiliser l'utilisateur comme une
lettre grecque P pour représenter la politique ou simplement dire la politique de l'état.
Donc, dans l’ensemble, il s’agit de la politique d’état car c’est parce que, si nous nous
souvenons de nous, que si vous mettez toutes les actions ensemble, vous pouvez décider des actions à prendre.
Donc, ce sera comme les probabilités de prendre chaque mesure, c'est donc la politique.
Alors ne soyez pas éjecté si vous voyez l'un ou l'autre.
Ils signifient fondamentalement la même chose.
Donc, d’un côté, vous avez la politique ou les valeurs q, de l’autre, vous avez la
valeur réelle de l’état et on le prévoit pour cette année.
C'est donc le début de la critique active qui continuera dans le prochain tutoriel lorsque nous
parlerons d'un synchrone et que nous cherchons à le voir.
Jusque là profitez du.