Bonjour et bienvenue au cours sur l'intelligence artificielle.
Aujourd'hui, nous parlons de la différence temporelle.
Maintenant, il est très important d'essayer car la différence temporelle est le cœur et l'âme de l'algorithme
d'apprentissage Q.
C’est ainsi que tout ce que nous avons appris jusqu’à présent entre en jeu dans un apprentissage clé.
Alors jetons un coup d'oeil.
Rappelez-vous le moment où nous avons parlé de recherche déterministe par rapport à la recherche non déterministe.
Et rappelez-vous comment nous avons dit dans ce cas que lorsque l'agent veut monter, il monte et quand.
Dans ce cas, il veut monter, il a 10% de chance d'aller en bas à gauche et de
chance et d'aller à droite et 80% de chance d'aller à droite.
Allez tout droit jusqu'à.
Bien que ces chiffres soient bien sûr arbitraires et puissent être différents.
Et tout ce concept est qu'il pourrait s'agir de problèmes différents, de sorte qu'il n'a pas à se préoccuper de
la manière dont il agit, mais qu'il y a quelque chose d'aléatoire qui échappe au contrôle
de l'agent qui se produit dans cet environnement.
Et quel en a été l’effet, comme vous vous en souvenez, c’est que dans l’exemple déterministe, il était très facile de calculer les valeurs
de la Wii sans que cela soit nécessairement toujours très facile.
Mais dans notre cas, nous pouvions simplement les calculer en utilisant l’équation de Belman et nous avions les valeurs
exactes.
Et puis, comme vous vous en souvenez, j'ai très soigneusement mentionné que ces valeurs pour l'exemple de recherche
non déterministe me venaient à l'esprit.
Ils ne sont pas Kalka, nous savons.
La dernière fois que j'ai dit, nous ne devions pas simplement les calculer, car c'est très complexe.
Mais l'ordinateur peut le faire et nous nous sommes contentés de ces valeurs qui ne sont que des valeurs que j'ai inventées.
Mais ils ont fait le travail.
Ils nous ont aidés à comprendre le concept.
Eh bien, nous allons y revenir un peu et comprendre ce qui se passe exactement ici.
Pourquoi est-il si difficile de calculer ces valeurs dans l'exemple non déterministe ou, d'une manière générale, dans les problèmes
rencontrés dans ces environnements et dans lesquels l'agent les traverse
Pourquoi est-ce.
Pourquoi est-ce si difficile de calculer ces valeurs?
Eh bien, quand vous y réfléchissez, parce que quand l'agent se déplace pour
aller par exemple d'ici à droite, il ne le fait pas nécessairement toujours parfois pour
tenter de gagner, au lieu d'aller tout droit, alors appelons ces nord-est sud-ouest sorte d'aller vers l'ouest.
L'agent peut parfois aller vers le sud et, par exemple, partir d'ici pour aller au nord.
Il peut parfois aller à l'est.
Désolé.
Donc ici, au lieu d'aller à l'est, il peut parfois aller au sud et il va en quelque sorte au nord.
Il peut parfois aller vers l'est ou l'ouest et ici, au lieu d'aller vers le nord, il peut parfois aller vers l'ouest ou
l'est ou l'ouest, etc.
Donc et donc Donc, pour calculer cette valeur, vous devez savoir quelle est cette valeur, mais l’intéressant est
que pour calculer cette valeur, vous devez savoir quelle est cette valeur.
Donc, il y a beaucoup de récursion qui se passe ici et par conséquent, vous ne pouvez pas simplement décider de définir quelles sont
ces valeurs.
Et en plus de cela cette récursion n'est pas déterministe.
C’est parfois que cela se produit de cette façon, c’est parfois assez difficile de marcher à droite au lieu
de se lever et aller à gauche parfois.
Quand il veut monter.
Il va monter.
Donc, il est sujet au hasard et peut-être que bien souvent, un agent suivra ce chemin et il montera et vous penserez
qu'à partir de là, vous montez toujours et que la valeur de l'État
le fera. sera bon et tout à coup il tombera dans la fosse et cette valeur baissera.
Et donc, vous pouvez donc voir qu’il ya un certain aléa stochastique dans tout ce calcul sur ces valeurs, car elles
sont toutes liées entre elles.
De plus, vous avez ce caractère aléatoire dans cet environnement inhérent, car il y a une marque
de processus de décision.
C’est donc là que tout se passe et que nous allons introduire le concept
de différence temporelle qui permettra à l’agent de calculer ces valeurs.
Et ici, nous avons eu affaire à des valeurs.
Et depuis lors, nous sommes déjà passés aux valeurs Q et c’est ce sur quoi nous allons travailler.
Nous allons examiner d’énormes valeurs.
Donc, si je me souviens bien, c'est notre équation de Belman pour les valeurs q.
Ainsi, la valeur AQ ou la valeur de réaliser une sorte d’action A dans l’état s est égale à la récompense que vous
obtenez après avoir effectué ces actions immédiatement après avoir effectué une action et obtenez-vous le maximum que vous obtenez le
gamma de la somme de tous les possibles .
Ainsi, vous obtenez en quelque sorte la valeur attendue de l'état dans lequel vous vous retrouverez.
Donc, comme vous vous en souvenez, il existait une formule pour l’équation de Beldon et, pour simplifier, dites simplement
que nous allons la réécrire de la même manière et de la manière dont nous parlions de l’équation du
chasseur avant de connaître le séquestre.
Alors rappelez-vous que c'était notre équation de Belman au sens d'un exemple de recherche déterministe, car ici vous n'avez pas cette
valeur attendue, vous n'avez pas la même chose pour toutes les probabilités.
Vous avez juste cela comme s'il était déterminé que vous allez finir dans quel état vous allez finir et
ensuite vous dites à Max dans cet état-là.
Et la raison pour laquelle nous sommes en train de la réécrire est tout simplement parce qu’il est tout simplement plus facile de l’écrire et qu’il
sera plus facile de tomber avec la formule.
Nous allons donc simplement nous rappeler que nous avons remplacé cette partie de cette barre.
Et vous trouverez également cette notation dans de nombreux ouvrages, ce qui vous permettra de suivre plus
facilement les autres sources si vous les étudiez.
Mais rappelez-vous que ce que nous voulons dire en réalité, c’est que cette approche probabiliste, au lieu de cette notation, est simplement plus facile
pour nous d’opérer cela et de comprendre ce qui se passe.
J'aime bien regarder les équations pour ne pas qu'elles soient trop encombrées, mais une fois encore, rappelez-vous
que ce que nous voulons dire en réalité est cette approche probabiliste.
Nous savons donc que Tom Silis regarde ce qui se passe.
Donc, voici notre état vide du labyrinthe où nous n'avons aucune valeur q, voyons ou quand nous pouvons le faire, mais
gardons-le vide pour l'instant regardons l'un des états ou l'une des cellules.
Celui-ci spécifiquement.
Et nous avons ici des réponses pour l'action de monter.
Nous avons une valeur q que nous calculons.
Donc, ce n’est pas que nous n’avons aucune valeur q, mais nous l’avons.
Mais nous n'illustrons rien.
Nous ne faisons que garder un blanc pour des raisons de simplicité.
Mais nous avons l'âge qui marche depuis un certain temps et supposons d'une manière hypothétique qu'il calcule
cette valeur de cube de montée ou de Norf à partir de cet état à partir de cette cellule spécifique et des valeurs.
Q S et A et maintenant ce que nous avons.
Donc, il est actuellement avec son point de flèches bleues et l'agent est assis dans cette cellule.
Et maintenant, il doit choisir où il va aller.
Et il connaît la valeur de cette action qui va vers le nord et c’est q Senay et je le dis ici avant. La raison
en est que c’est avant de prendre. En fait, il n’a pas encore
pris de mesures, il est toujours dans la cellule et avant de prendre l'action, la valeur ici est q et SNH et maintenant, il prend
l'action.
Alors disons qu'il décide est le meilleur.
Il passe à l'action et il monte dans la cellule.
Eh bien, maintenant, ce qui se passe vient maintenant après. Après qu’il ait pris des mesures, nous pouvons mesurer la valeur de
cette valeur. Calculons simplement cette valeur comme la récompense de cette action plus le gamma fois le maximum
de ce nouvel état dans lequel il vient tout juste de se placer. premier.
Et si le maximum dans toutes les actions possibles et l'aspirine.
Et donc ce que nous avons ici est la valeur antérieure de cette action.
Et ensuite nous avons calculé cette métrique par la suite.
Mais comme vous vous en souviendrez au cours des quatre mois précédents, si nous revenons très rapidement de la formule précédente où nous venons de calculer la
valeur, c’est ainsi que Q / s. une. a est calculé.
Donc, cette partie d’Arite vient d’être calculée séparément mais après que nous ayons pris des mesures.
Donc, comme avant, nous connaissions un Q de S et une valeur, quelque chose que nous avons calculé à travers nos itérations
Preuss est quelque chose.
Donc, une valeur qui est stockée dans notre mémoire.
Donc, tout comme un nombre que nous connaissons et maintenant, après l'action, nous savons quelle récompense il
a réellement eue, quelle récompense a l'agent.
Et nous pouvons calculer cette nouvelle valeur.
Nous avons donc en quelque sorte recalculé cette valeur, mais maintenant, avec de nouvelles informations, les nouvelles informations sont la récompense
que nous avons eu.
Et en plus de ce qui est resté, nous nous sommes retrouvés dans et quel est le maximum dans cet état
ce que peut être cette nouvelle valeur pour ces données spécifiques.
Alors, quelle est la valeur de cet être dans cet état?
Donc, fondamentalement, le curé Vanessa-Mae, mais avec de nouvelles informations et maintenant, la différence temporelle est définie comme un tiddy
de a et s de ces deux de la différence entre ces deux.
Donc, voici le premier élément est votre valeur hors-Terra.
Donc, le genre de Q de Esson un peu calculé par la suite.
Et le précédent quvenzhané A que vous aviez stocké dans votre mémoire.
Et donc la question est-ils sont-ils différents?
Donc, idéalement, ils devraient être les mêmes.
Idéalement, cela devrait être identique à ceci simplement parce que c'est la formule pour calculer cela.
Mais le problème, c’est que ce n’est pas quelque chose que nous, Kalka, c’est quelque chose que nous avons tiré de preuves empiriques de
quelque chose que nous avons simplement parcouru le labyrinthe et calculé.
C'est donc quelque chose que nous avons trouvé jusqu'à présent.
Ce n'est pas lié à l'itération actuelle.
C'est quelque chose que nous avons imaginé il y a très longtemps, mais dans l'une de nos précédentes itérations,
passant par le labyrinthe.
Considérant que ceci est quelque chose que nous avons calculé tout à l'heure et il
n'y a aucune garantie qu'ils seront identiques ou en raison du caractère aléatoire qui existe dans le labyrinthe, car cela aurait pu être calculé et
voir certains événements aléatoires CRN ont été déclenchés et cela peuvent être appelés à différents événements aléatoires se produisant
ont été déclenchés.
Et alors maintenant nous écrivons nos héros simplement le déplacer là-haut.
Alors, comment utilisons-nous cela.
La question est OK alors nous avons cette différence temporelle.
Comment utilisons-nous cela.
Et pourquoi appelle-t-on cela la différence temporelle.
Eh bien, la raison s'appelle la différence temporelle, c'est parce que vous calculez essentiellement la même chose
que vous calculez QS et A donc la valeur Q de cette action.
Votre Calcott ici et vous le calculez ici.
Mais la différence est le temps.
Ceci est le Q de S et ils étaient auparavant c’est le Q de S et A.
Maintenant, votre nouveau remède est inné et la question est de savoir s'il y a eu une différence.
Y a-t-il eu un décalage entre eux dans le temps?
Et comment pouvons-nous utiliser cela à notre avantage s’il ya effectivement eu un décalage dans le temps.
Eh bien, une chose que nous pourrions faire, c’est que nous pourrions dire OK et vous connaissez notre QS. une. un pas.
Cette nouvelle valeur ne correspond pas à l'ancienne, nous allons donc nous en débarrasser ou oublier
l'ancienne et nous utiliserons simplement cette valeur.
Mais ce ne serait pas intelligent.
Et la raison en est que dans nos environnements, des événements aléatoires peuvent parfois se produire.
Et si notre ancien QSA de s. une. a était quelque chose qui se produit régulièrement dans 80% des cas.
Et puis, comme ce qui a été représenté par ce qui se passe 80% du temps.
Et puis ce nouveau vient de ce qui est arrivé en raison du hasard.
Dans ce cas, nous allons jeter celui qui est responsable de la majeure partie de la situation et nous allons
le remplacer par quelque chose qui n'arrive que 10 ou 20% du temps.
Ce ne serait pas la meilleure approche et c'est pourquoi c'est exactement pourquoi nous ne voulons pas changer complètement
les valeurs d'Opu.
Nous voulons utiliser comme changer pas à pas, petit à petit.
Et c’est pourquoi nous allons utiliser cette différence temporelle d’une manière spécifique et nous allons dire: Voici
une formule qui va nous aider à choisir SNH.
Et nous allons le mettre à jour de telle manière.
Nous allons prendre l'ancienne valeur de guérison Senay et nous allons ajouter les cinq fois la
différence temporelle.
Donc, Alpha va apprendre tout droit.
C'est un nouveau paramètre que nous introduisons.
C'est la rapidité d'apprentissage de l'algorithme.
Donc, fondamentalement, nous prenons cette différence et peu importe ce que nous ajoutons à notre précédent serpent
KJo.
Maintenant, cette formule n’a probablement aucun sens ou le simple fait de regarder n’a pas de sens parce que vous avez
Covisint ici et nous donnez un A ici.
C'est la même chose, donc nous devrions probablement nous nier, mais nous avons dû réécrire cela d'une manière un
peu différente.
Donc, je vais vous montrer à nouveau que j'ajoute simplement du temps à ces formules.
Donc voici q t moins une les années précédentes.
Q T moins 1 les années précédentes.
Q T Le Nouveau cela devrait être un cercle ici dans le cercle ici aussi mais peu importe et ici obtenir une différence
temporelle alpha.
Ensuite, vous la différence temporelle actuelle.
Donc, vous pouvez voir ce que nous faisons, nous disons.
OK prenons notre courant.
Q sera égal à tous les Q précédents, quelle que soit la différence temporelle constatée, nous avons trouvé Times Alpha.
Cette formule représente le cœur et l’âme de l’algorithme d’apprentissage du cube.
Voici comment le cube est ou met à jour.
Et c’est bien que nous ayons déjà appris quelles valeurs q sont ce qu'est le gamma et ce que sont toutes
ces choses.
Et maintenant, tout ce que nous devons voir, c'est que vous avez une valeur Q antérieure.
Et puis, ce qui peut arriver, c’est que lorsque vous réagissez lorsque vous agissez réellement lorsque l’agent agit,
vous saurez qu’il obtiendra une récompense et qu’il se retrouvera dans un état critique.
Et donc sur cette base, il peut calculer Aha.
OK alors quelle est ce qui aurait ce qui aurait dû être la valeur Q de ce mouvement que j'ai fait.
Et maintenant, c'est cette partie de l'équation.
Soustraire l'ancienne valeur Q vous donne une différence temporelle et vous devez maintenant prendre une différence d'échantillon de temps Alpher et
c'est comme ça que vous vous réglez.
Q Vous avez c'est ce que vous voulez dire.
Je pense juste que vous passez et maintenant juste pour finir ceci.
C’est un peu comme si c’était suffisant pour comprendre ce qui se passait mais juste pour clarifier
les choses encore plus ou peut-être confondre les choses encore plus.
Que devons-nous faire pour prendre cette différence temporelle ou cette simple différence ou ici un moyen de la brancher
dans ce format.
Nous allons donc prendre toute cette partie et la brancher dans cette formule pour aboutir à une énorme équation.
Alors on y va.
Voilà notre équation.
C'est donc l'équation complète avec la différence temporelle écrite complètement.
Et la raison pour laquelle je l'ai écrit aussi tout d'abord, vous le trouverez probablement dans
d'autres publications si vous l'étudiez.
Et la deuxième chose est que cela rend certaines choses un peu plus complexes a des formules plus longues mais rend aussi
certaines choses un peu plus claires.
Ainsi, par exemple, vous pouvez voir ici le rôle joué par Alpha.
Vous pouvez le voir mieux parce que regardez cela.
Ici.
Q T moins un et c'est parti.
Q T moins un avec un signe négatif.
Donc, si vous connectez Alpha égal à 1 si vous mettez un 1 ici, cela annulera ceci.
Donc, ils vont se détruire et tout ce qui vous reste est cette partie.
Et ce que cela signifie, c’est exactement la situation dans laquelle nous nous sommes dit d’accord pour que vous ayez une nouvelle
valeur qu’elle aurait dû être.
Mettons à jour notre valeur Q avec la nouvelle valeur et oublions ce que nous avions précédemment.
Et comme nous en avons discuté, ce n’est pas la meilleure approche car il ya des événements aléatoires et nous souhaitons mettre à jour
les choses étape par étape.
Et d’autre part, si vous dites Alpher égal à zéro, c’est que vous oubliez complètement toute cette partie
et que vous êtes mignon: la nouvelle ou la version actuelle sera toujours égale à la
précédente, vous êtes ne va rien apprendre.
Et cela signifie que peu importe ce qui se passe dans le labyrinthe, cela n'a pas d'importance, car vous avez décidé de valoriser votre valeur pour
Kuchi il y a longtemps et vous allez simplement la garder.
C’est la raison pour laquelle Alfas ne devrait pas être égal à 0 ou être placé entre les deux.
Et cela va vous permettre d'apprendre lentement, pas à pas, de vous permettre, à vous ou à l'agent, de passer
à travers le labyrinthe, ce qui entraînera une différence temporelle.
Et lentement mais sûrement, cette valeur sera mise à jour et mise à jour par ibed
et ce qui se passera finalement, c’est qu’à un moment donné, l’algorithme converge.
Et cela signifie que cette différence temporelle commencera à se rapprocher de plus en plus de
zéro et finira par bien devenir très proche de zéro ou même de 0 0 0 0 et que cela
signifie que chaque fois que votre nouvelle valeur en terme ou votre valeur calculée.
Ce que ça aurait dû être.
Donc, pas celui-ci, mais ce qui devrait être suffisant en théorie pour faire le pas sera juste égal à votre
valeur Q2 précédente.
Et puis, une valeur nulle et qui signifie que lorsque votre différence de température est
égale à zéro, votre algorithme a convergé et qu'il n'est pas vraiment nécessaire de continuer à mettre à jour ce qui se passe.
Il effectue cette recherche pour continuer à mettre à jour vos valeurs de cube.
La mise en garde ici est que la seule fois probablement l'un des seuls moments où vous voudriez toujours continuer à
exécuter tout ce que vous savez, mettez à jour les valeurs des files d'attente si l'environnement est en constante évolution.
Si ce n’est pas simplement ce n’est pas le cas, il présente quelques aléas par rapport aux événements Kostic.
Mais l'environnement lui-même est en train de se modifier, tout comme le morphing change avec le temps.
Vous devez donc continuellement apprendre, car il vous est impossible de tout apprendre et de
définir la stratégie optimale, car les stratégies optimales évoluent également en permanence avec l'environnement.
Dans ce cas, vous devrez continuer CALKIN et la différence temporelle et calculer les valeurs Q.
Mais à part ça, c'est un peu comme une complication supplémentaire.
Cela mis à jour, Q est la formule principale de l’algorithme d’apprentissage Q. C’est un peu la version
agrandie de cet algorithme. À présent, tout devrait être cohérent et comprendre pourquoi nous
avons l’équation de Belman et non seulement ce qu'il représente, mais aussi la manière dont
l'agent procède pour mettre à jour ses valeurs et trouver exactement ce qui se passe dans cet environnement afin qu'il puisse
élaborer la politique optimale.
Donc, je connais pas mal de choses à assimiler, mais j'espère que vous avez apprécié ce tutoriel et
que vous êtes capable de supprimer les concepts sous-jacents et l'intuition qui sous-tendent vos valeurs. Quelle est donc la
notion de différence temporelle et pourquoi il est important de nous aider à former lentement notre agents et les amener à comprendre leurs
environnements dans lesquels ils opèrent.
Et si vous souhaitez en savoir un peu plus sur les différences temporelles, un
article très populaire apprend à prédire par les méthodes des différences temporelles de Richard Sutton en 1984.
Nous avons déjà eu une référence de Richard Sutton également, mais il s’agit
d’un autre ouvrage qui contient un livre. Par conséquent, si vous connaissez bien son style d’écriture et son style de communication, consultez également
son livre.
C'est un peu comme une version plus étendue de toutes ces choses.
Je n'ai pas lu le livre mais c'est ce que j'imagine en même temps.
Cela va ajouter au papier et vous pouvez en apprendre un peu plus ou probablement beaucoup plus sur
les différences temporelles là-bas.
Et j'espère que vous avez aussi apprécié.
On se voit la prochaine fois.
Jusque-là, profitez de l'IA.