Hallo und herzlich willkommen zum Kurs über künstliche Intelligenz.
Heute reden wir über den zeitlichen Unterschied.
Jetzt ist es sehr wichtig für den Versuch, weil der zeitliche Unterschied das Herz und die Seele des
Q-Lernalgorithmus ist.
So kommt alles, was wir bisher gelernt haben, im Key Learning zusammen.
Schauen wir uns das mal an.
Erinnern wir uns an die Zeit, als wir über deterministische und nichtdeterministische Suche sprachen.
Und denken Sie daran, wie wir in diesem Fall gesagt haben, wenn der Agent gehen will, geht er und wann.
In diesem Fall will er nach oben gehen, es besteht eine Chance von 10 Prozent, dass er die linke und die
linke Zeit verliert und nach rechts geht, und eine 80-prozentige Chance wird nach rechts gehen.
Geh direkt rauf.
Diese Zahlen sind zwar beliebig und können unterschiedlich sein.
Und dieses ganze Konzept ist, dass es unterschiedliche und unterschiedliche Probleme geben kann, also muss es nicht darum
gehen, in welche Richtung er sich bewegt, nur dass etwas Zufälliges passiert, was außerhalb der
Kontrolle des Agenten in dieser Umgebung liegt.
Der Effekt, den Sie in Erinnerung hatten, war, dass es im deterministischen Beispiel sehr einfach war, die Wii-Werte zu
berechnen, während dies nicht unbedingt immer sehr einfach war.
In unserem Fall könnten wir sie jedoch einfach mit der Belman-Gleichung berechnen, und wir hatten die genauen
Werte.
Und dann, als Sie sich erinnern, erwähnte ich sehr genau, dass diese Werte für das
nichtdeterministische Suchbeispiel aus meinem Kopf sind.
Sie sind nicht Kalka, die wir kennen.
Letztes Mal habe ich gesagt, dass wir sie nicht berechnen müssen, weil es sehr komplex ist.
Aber der Computer kann das und wir sind einfach mit diesen Werten zusammengekommen, die nur Werte sind, die ich erfunden habe.
Aber sie haben die Arbeit erledigt.
Sie haben uns geholfen, das Konzept zu verstehen.
Nun, jetzt kommen wir ein wenig darauf zurück und verstehen, was genau hier los ist.
Warum ist es so viel schwieriger, diese Werte im nichtdeterministischen Beispiel oder allgemein in diesen Problemen in
diesen Umgebungen zu berechnen, und der Agent sie durchläuft.
Warum ist es.
Warum kann es so schwer sein, diese Werte zu berechnen?
Nun, wenn Sie darüber nachdenken, denn wenn sich der Agent beispielsweise von
hier nach rechts bewegt, bewegt er sich nicht notwendigerweise auf diese Weise, manchmal
als Chance, dass er gewinnen wird, anstatt direkt zu gehen Art nach Westen zu gehen.
Der Agent könnte manchmal in den Süden gehen und beispielsweise von hier aus nach Norden.
Er könnte manchmal nach Osten gehen.
So leid.
Anstatt also nach Osten zu gehen, geht er manchmal in den Süden und in den Norden.
Er kann manchmal nach Osten oder Westen gehen, und statt nach Norden geht er manchmal nach Westen oder Osten oder Westen
und so weiter.
So und deshalb Um diesen Wert zu berechnen, müssten Sie wissen, was dieser Wert ist. Interessanterweise
müssen Sie jedoch wissen, um welchen Wert es sich handelt.
Es gibt also viel Rekursion hier und Sie können sich also nicht einfach entscheiden, was diese Werte
sind.
Und diese Rekursion ist darüber hinaus nicht deterministisch.
Manchmal passiert es auf diese Weise. Manchmal ist es ein bisschen bergauf, manchmal nach rechts zu gehen, anstatt
aufzustehen und manchmal nach links zu gehen.
Wenn er gehen will.
Er wird hinaufgehen.
Es ist also dem Zufall unterworfen, und oft wird der Agent diesen Weg oft gehen, und er wird aufwärts gehen und Sie werden
denken, dass Sie von hier aus immer aufsteigen und der Wert des Staates davon
ausgehen wird wird gut sein und dann fällt er plötzlich in die Grube und dieser Wert sinkt.
Daher können Sie sehen, wie die gesamte Berechnung dieser Werte stochastisch ist, weil sie
alle miteinander verbunden sind.
Darüber hinaus haben Sie diese Zufälligkeit in der Umgebung, da es einen
entscheidenden Entscheidungsprozess gibt.
Hier kommt das alles zusammen, und hier werden wir das Konzept der zeitlichen
Differenz einführen, das dem Agenten die Berechnung dieser Werte ermöglicht.
Und hier haben wir uns mit den Werten beschäftigt.
Und seitdem haben wir uns bereits mit Q-Werten befasst, also werden wir daran arbeiten.
Wir werden riesige Werte betrachten.
Wie ich mich erinnere, ist dies unsere Belman-Gleichung für q-Werte.
Also ist der AQ-Wert oder der Wert einer Art Aktion A im Zustand s gleich der Belohnung, die Sie erhalten, nachdem
Sie diese Aktion unmittelbar nach einer Aktion ausgeführt haben. Außerdem erhalten Sie das Maximum, aus dem Sie das
Gamma der Summe aller möglichen Werte erhalten .
Sie erhalten also den erwarteten Wert des Zustands, in dem Sie landen werden.
Wie Sie sich erinnern, gab es eine Formel für die Beldon-Gleichung, und nun sagen wir der Einfachheit halber, dass wir
sie auf die alte Weise und auf eine Art und Weise umschreiben, mit der wir über die Bellmen-Gleichung gesprochen haben,
bevor wir über den Sequester wussten.
Denken Sie also daran, dass dies unsere Belman-Gleichung im Sinne eines deterministischen Suchbeispiels war, denn hier haben Sie
nicht den erwarteten Wert, und Sie haben nicht alle Wahrscheinlichkeiten.
Du hast einfach das, als ob es bestimmt ist, dass du am Ende landest, in welchem Zustand du landest, und
dann sagst du Max in diesem einen Zustand.
Und der Grund, warum wir es umschreiben, ist einfach der einzige Grund, weil es einfacher ist, es zu schreiben, und es wird
einfacher sein, mit der Formel zu fallen.
Wir werden uns also daran erinnern, dass wir diesen Teil dieser Bar ersetzt haben.
Außerdem finden Sie diese Notation in einer Menge Literatur, so dass es für Sie einfacher ist, zusammen mit
anderen Quellen zu folgen, wenn Sie diese studieren.
Denken Sie jedoch daran, dass dieser Wahrscheinlichkeitsansatz hier gemeint ist. Diese Notation ist für uns nur einfacher
zu bedienen und zu verstehen, was los ist.
Ich schaue mir die Gleichungen so an, dass sie nicht zu unübersichtlich sind, aber erinnere mich
noch einmal daran, dass in Wirklichkeit dieser probabilistische Ansatz gemeint ist.
Und so wissen wir eigentlich, dass Tom Silis sich anschaut, was los ist.
Also, hier ist unser leerer Zustand des Labyrinths. Wir haben keine q-Werte. Lassen Sie uns sehen oder wann wir können, aber lassen Sie
uns den Bereich leer. Lassen Sie uns einen der Zustände oder eine Zelle betrachten.
Dieses speziell.
Und hier haben wir Antworten für die Aktion des Aufstiegs.
Wir haben einen q-Wert, den wir berechnen.
Es ist also nicht so, dass wir keine q-Werte haben, aber wir haben es.
Aber wir illustrieren nichts.
Der Einfachheit halber behalten wir nur ein Leerzeichen.
Aber wir haben das Alter schon einige Zeit herumgelaufen und sagen wir hypothetisch, dass
er irgendwie diesen Würfelwert berechnet oder Norf aus diesem Zustand aus dieser spezifischen Zelle und den Werten errechnet hat.
Q S und A und so jetzt, was wir haben.
So ist er momentan mit seinen blauen Pfeilen drauf und der Agent sitzt in dieser Zelle.
Und jetzt muss er eine Wahl treffen, wohin er gehen wird.
Und er weiß, wie wertvoll diese Aktion in Richtung Norden ist, und das ist q Senay, und ich sage das schon mal,
und der Grund dafür ist, dass derjenige, der vor dem Ergreifen
von Taten ist Bevor er die Aktion ausgeführt hat, lautet der Wert hier q und SNH, und jetzt nimmt er die Aktion tatsächlich
vor.
Nehmen wir also an, er ist der Beste.
Er macht die Aktion und geht zur Zelle.
Nun, was jetzt passiert, ist jetzt da. Nachdem wir Maßnahmen ergriffen haben, können wir messen, was dieser Wert ist. Berechnen
Sie diesen Wert einfach den Wert der Belohnung für das Ergreifen dieser Aktion plus das Gamma-mal
das Maximum dieses neuen Zustands, in den er gerade gekommen ist Prim.
Und so das Maximum über alle möglichen Aktionen und Aspirin.
Was wir hier haben, ist also der Wert, den diese Aktion vor sich hatte.
Und dann haben wir diese Metrik anschließend berechnet.
Aber wie Sie sich aus den vorangegangenen vier Monaten erinnern können, wenn wir sehr schnell von der vorherigen Formel zurückgreifen, bei der wir gerade berechnet haben,
ist der Wert tatsächlich der von Q. ein. a wird berechnet.
Also dieser Arite-Teil wird nur separat berechnet, nachdem wir etwas unternommen haben.
Da wir also vorher noch einmal ein Q eines S und einen Wert kannten, etwas, das wir durch unsere Iterationen berechnet
haben, ist Preuss etwas.
Ein Wert, der in unserem Gedächtnis gespeichert ist.
So wie bei einer Nummer, die wir kennen, und jetzt, nachdem die Aktion ausgeführt wird, wissen wir, welche Belohnung er
tatsächlich bekam, welche Belohnung der Agent tatsächlich bekam.
Und wir können diesen neuen Wert berechnen.
Wir berechnen diesen Wert also im Grunde neu, aber jetzt mit neuen Informationen ist die neue Information die Belohnung,
die wir bekommen haben.
Und was noch übrig geblieben ist, ist das, was der neue Wert
für diese spezifischen Daten ist.
Was ist der Wert dieses Wesens in diesem Zustand?
Also im Grunde die Heilung Vanessa-Mae, aber angesichts neuer Informationen und nun wird der zeitliche Unterschied
als Tiddy von a und s von diesen beiden Unterschieden definiert.
Das erste Element ist also Ihr Off-Terra-Wert.
Also die Art wie Q von Esson ein wenig später berechnet.
Und das vorherige quvenzhané A, das Sie in Ihrem Gedächtnis gespeichert hatten.
Und die Frage ist, ob sie anders sind.
Im Idealfall sollten sie also gleich sein.
Im Idealfall sollte dies genauso sein, nur weil dies die Formel für die Berechnung ist.
Aber die Sache ist, dass dies nicht etwas ist, das wir Kalka haben, dies ist etwas, das wir aus empirischen Beweisen haben, etwas,
das wir haben, wenn wir das Labyrinth oft durchlaufen und berechnen.
Das ist etwas, was uns bisher einfällt.
Es hängt nicht mit der aktuellen Iteration zusammen.
Es ist etwas, das wir vor langer Zeit hatten, aber in einer unserer vorherigen Iterationen, die durch
das Labyrinth gingen.
Dies ist etwas, was wir gerade berechnet haben, und es gibt
keine Garantie dafür, dass sie gleich sind oder wegen der Zufälligkeit, die im Labyrinth existiert, weil dies hätte berechnet
werden können und einige CRN-Zufallsereignisse ausgelöst wurden Es können verschiedene zufällige Ereignisse ausgelöst werden, die
ausgelöst wurden.
Und jetzt schreiben wir unsere Helden auf und verschieben sie einfach nach oben.
Wie verwenden wir das?
Die Frage ist in Ordnung, also haben wir diesen zeitlichen Unterschied.
Wie benutzen wir das?
Und warum heißt es die zeitliche Differenz.
Nun, der Grund wird als zeitliche Differenz bezeichnet, weil Sie im Grunde dasselbe berechnen
wie Q von S und A, also den Q-Wert dieser Aktion.
Ihr Calcott hier und Sie berechnen es hier.
Aber der Unterschied ist die Zeit.
Dies ist das Q von S und sie sind zuvor das Q von S und A.
Nun ist Ihre neue Heilung angeboren und die Frage ist, ob es einen Unterschied gab.
Gab es zeitlich eine Verschiebung zwischen ihnen?
Und wie können wir dies zu unserem Vorteil nutzen, wenn tatsächlich eine Verschiebung der Zeit eingetreten ist.
Nun, eine Sache, die wir tun könnten, ist, wir könnten sagen: OK, Sie kennen unsere Fragen. ein. a tut nicht
Dieser neue Wert ist nicht gleich alt, also werden wir den alten loswerden oder den alten vergessen und wir werden
nur verwenden, dass dies ein neuer Wert ist.
Das wäre aber nicht schlau.
Der Grund dafür ist, dass in unserer Umgebung gelegentlich zufällige Ereignisse auftreten können.
Und was ist, wenn unser alter QSA von s. ein. a war etwas, das ständig in 80% der Fälle vorkommt.
Und dann wurde das Gleiche durch 80 Prozent der Zeit dargestellt.
Und dann dieses neue, was zufällig passiert ist.
In diesem Fall werden wir denjenigen wegwerfen, der für den Großteil der Situation verantwortlich ist, und wir werden ihn
durch etwas ersetzen, das nur 10 oder 20 Prozent der Zeit passiert.
Das wäre nicht der beste Ansatz und deshalb wollen wir die Opu-Werte nicht
komplett ändern.
Wir möchten sie wie Schritt für Schritt ein wenig nach und nach ändern.
Aus diesem Grund werden wir diesen zeitlichen Unterschied auf eine bestimmte Art und Weise nutzen, also sagen wir
hier ist eine Formel, die wir uns für SNH nehmen.
Und wir werden es so aktualisieren.
Wir werden den alten Wert der Heilung nehmen, Senay, und wir werden alle fünfmal den zeitlichen
Unterschied hinzufügen.
Also wird Alpha alles richtig lernen.
Das ist ein neuer Parameter, den wir vorstellen.
So schnell lernen Algorithmen.
Im Grunde nehmen wir diesen Unterschied und wir fügen ihn unserer vorherigen KJo-Schlange
hinzu.
Nun, diese Formel macht wahrscheinlich keinen Sinn oder einfach nur durch das Schauen macht sie keinen Sinn, weil Sie hier Covisint
bekommen haben und uns hier ein A geben.
Es ist das Gleiche, also sollten wir uns wahrscheinlich gegenseitig negieren, aber wir mussten das anders
umschreiben.
Also werde ich es Ihnen noch einmal zeigen, also füge ich diesen Formeln nur Zeit hinzu.
Hier ist also q t minus eins der vorangegangenen Jahre.
Q T minus 1 der Vorjahre.
Q T The New Dies sollte auch hier ein Kreis sein, aber egal und hier einen zeitlichen
Alpha-Unterschied.
Dann haben Sie den aktuellen zeitlichen Unterschied.
Sie können also sehen, was wir tun.
OK, lass uns unseren Strom nehmen.
Q ist gleich dem vorherigen Q plus dem zeitlichen Unterschied, den wir bei Times Alpha gefunden haben.
Diese Formel ist hier das Herz und die Seele des Würfellernalgorithmus.
So ist der Cube oder das Update.
Und es ist gut, dass wir bereits gelernt haben, was q ist, was Gamma ist und was das
alles ist.
Jetzt müssen wir nur noch sehen, dass Sie einen vorherigen Q-Wert haben. Ja, das ist gut.
Was dann passieren kann, ist, dass Sie, wenn Sie etwas unternehmen, wenn Sie tatsächlich die Aktion ergreifen, wenn der
Agent handelt, Sie wissen, dass er eine Belohnung erhält und er in einem Zustand landet.
Und damit kann er Aha berechnen.
OK, was hätte dann den Q-Wert dieser Bewegung, die ich gemacht habe?
Und das ist jetzt dieser Teil der Gleichung.
Wenn Sie den alten Q-Wert abziehen, erhalten Sie eine zeitliche Differenz. Jetzt müssen
Sie einen Alpher-Zeitdifferenzunterschied durchführen.
Q Verstehst du das?
Ich glaube, Sie gehen vorbei und jetzt, um das zu beenden.
Dies ist in gewisser Weise ausreichend, um zu verstehen, was los ist, aber um die Dinge
noch mehr zu klären oder vielleicht sogar noch mehr zu verwirren.
Was müssen wir tun, um diesen zeitlichen Unterschied oder diesen einfachen Unterschied oder hier eine Möglichkeit zu finden, ihn in
dieses Format einzufügen.
Also nehmen wir den ganzen Teil und fügen ihn in diese Formel ein. Am Ende steht eine riesige Gleichung.
Auf geht's.
Da ist unsere Gleichung.
Dies ist also die vollständige Gleichung mit der vollständig ausgeschriebenen zeitlichen Differenz.
Und den Grund, aus dem ich es auch geschrieben habe, wird das wahrscheinlich in anderer Literatur
finden, wenn Sie es studieren.
Und das zweite ist, dass es einige Dinge etwas komplexer macht, Formeln länger hat, aber
auch etwas klarer macht.
So sehen Sie zum Beispiel hier, welche Rolle Alpha spielt.
Sie können es besser sehen, weil Sie dies betrachten.
Hier.
Q T minus eins und los geht's.
Q T minus eins mit negativem Vorzeichen.
Wenn Sie also Alpha gleich 1 einstecken, wenn Sie hier eine 1 einfügen, wird dies dies negieren.
Sie werden sich also gegenseitig zerstören und alles, was Sie noch haben, ist dieser Teil.
Und was das bedeutet, ist genau die Situation, in der wir alles in Ordnung gesagt haben, damit Sie einen neuen Wert haben,
der es hätte sein sollen.
Aktualisieren wir unseren Q-Wert mit dem neuen Wert und vergessen Sie, was wir zuvor hatten.
Und wie wir besprochen haben, ist dies nicht der beste Ansatz, weil es hier zufällige Ereignisse gibt und wir die Dinge Schritt
für Schritt aktualisieren möchten.
Und wenn Sie sagen, Alpher ist gleich Null, was passiert, ist, dass Sie diesen ganzen Teil komplett vergessen
und Sie sind süß, der neue oder der aktuelle Teil wird immer gleich dem vorherigen
sein, also sind Sie werde nichts lernen.
Und das bedeutet, dass das, was im Labyrinth passiert, keine Rolle spielt, weil Sie sich vor langer Zeit für Ihren Kuchi-Wert
entschieden haben und Sie es einfach behalten werden.
Deshalb sollte Alfas nicht 0 sein oder sollte es irgendwo dazwischen sein.
Und es wird Ihnen erlauben, langsam zu lernen, Schritt für Schritt wird es Ihnen erlauben, als Ihr oder der Agent,
während es durch das Labyrinth geht, den zeitlichen Unterschied zu bekommen.
Und langsam, aber sicher, wird dieser Wert aktualisiert und aktualisiert, und was
schließlich passieren wird, ist, dass der Algorithmus irgendwann hoffentlich konvergiert.
Und das bedeutet, dass dieser zeitliche Unterschied immer näher an Null wird und
letztendlich ganz nahe bei Null oder sogar 0 0 0 0 sein wird. Dies bedeutet, dass Sie
jedes Mal Ihren neuen Wert oder Ihren neuen Wert bestimmen berechneter Wert.
Was es hätte sein sollen
Also nicht dieses, aber was es hypothetisch genug sein sollte, um den Schritt zu tun, wird gleich Ihrem
vorherigen Q2-Wert sein.
Und dann ist eins Null und das bedeutet, wenn Ihre Temperaturdifferenz gleich
Null ist, bedeutet dies, dass Ihr Algorithmus konvergiert hat und es nicht wirklich notwendig ist, das Update fortzusetzen.
Diese Suche führt die Aktualisierung der Cube-Werte fort.
Der Nachteil dabei ist, dass der einzige Zeitpunkt wahrscheinlich einer der einzigen Zeitpunkte ist, zu denen Sie
dieses gesamte Verfahren fortsetzen möchten. Sie können die Warteschlangenwerte aktualisieren, wenn sich die Umgebung ständig ändert.
Wenn nicht nur es nicht dort ist, hat es nur ein paar Random zu Kostic-Ereignissen.
Aber die Umgebung selbst verändert sich, während sich das Morphing mit der Zeit verändert.
Sie müssen also ständig lernen, da Sie nicht alles lernen und optimale Richtlinien entwickeln
können, da sich die optimalen Richtlinien auch mit der Umgebung ständig ändern.
In diesem Fall müssen Sie CALKIN und die zeitliche Differenz fortsetzen und die Q-Werte berechnen.
Aber ansonsten ist das eine Art zusätzliche Komplikation.
Abgesehen davon ist dies die Aktualisierung der Q-Werte. Dies ist also die Hauptformel des Q-Lernalgorithmus, und
dies ähnelt der erweiterten Version. Nun sollte alles zusammenkommen und sinnvoll sein, warum
wir die Belman-Gleichung haben und nicht Es handelt sich dabei lediglich um das, was
es bedeutet, wie der Agent seine Werte aktualisiert und genau herausfindet, was in dieser Umgebung passiert, damit er die
optimale Richtlinie finden kann.
Ich weiß ziemlich viel zu verstehen, aber hoffentlich hat Ihnen dieses Tutorial
gefallen und hoffentlich konnten Sie die zugrundeliegenden Konzepte und Intuitionen hinter Ihren Werten
wegnehmen und was der Begriff zeitliche Differenz ist Agenten, damit sie ihre Umgebung verstehen, in
der sie arbeiten.
Und wenn Sie ein wenig mehr über zeitliche Unterschiede lernen möchten, dann
lernt ein sehr beliebter Aufsatz durch die Methoden der zeitlichen Unterschiede von Richard Sutton (1980).
Wir hatten bereits eine Referenz von Richard Sutton, aber dies ist wie eine
andere und hat tatsächlich ein Buch. Wenn Sie sich also mit seinem Schreibstil und seinem Kommunikationsstil auskennen, sollten Sie auch sein
Buch lesen.
Es ist eine Art erweiterte Version all dieser Dinge.
Ich habe das Buch nicht gelesen, aber das stelle ich mir zur gleichen Zeit vor.
Dies wird der Zeitung hinzugefügt, und Sie können etwas mehr über die zeitlichen
Unterschiede erfahren.
Und ich hoffe, es hat dir auch gefallen.
Wir sehen uns beim nächsten Mal.
Bis dahin genießen Sie die KI.