Hallo und willkommen zurück zu dem Kurs. Ich habe im vorherigen Teil über die tiefe lernende
Killary-Intuition gesprochen, die wir dort begonnen haben.
Tatsächlich haben wir den ganzen Weg bis zu diesem Teil geschafft und wo wir über das Lernen gesprochen
haben, und jetzt werden wir zum eigentlichen Schauspielteil übergehen.
Es gibt also zwei Teile zu verschiedenen Teilen, an die wir uns erinnern müssen.
Das ist der Lernteil, aber jetzt hat er das alles tatsächlich gemacht.
Das ist schön.
Jetzt muss er tatsächlich etwas unternehmen, er muss entscheiden, was er tun wird, wird die erste, dritte,
oder vierte Aktion ausführen.
Und wie macht er das?
Nun, wie er es tut, erhält man jetzt dieselben Werte, so dass sich die Werte nicht ändern, nachdem wir diese Werte mit
Calcott den letzten beiden verglichen haben. Die arrogierten Zeiten haben wir zwar aktualisiert, aber
die Werte nicht in diesem ganzen Prozess ändern.
Dort die Würfelwerte haben.
Sie sind fixiert.
Wir wissen was sie sind.
All dies passiert jedoch.
Netzwerke wurden mit den gleichen Werten aktualisiert und aktualisiert, die wir hatten.
Was wir tun werden, ist, dass wir sie mit einer Soft Max-Funktion analysieren.
Und wieder weich Max wie beschrieben.
Ich denke ein Anhang 2 und wir werden ein bisschen mehr über Soft Max sprechen.
Weiter unten in diesem Abschnitt werden wir über diese Aktionsauswahlrichtlinie sprechen.
Also nur in ein paar Tutorials.
Aber jetzt wollen wir nur sagen, dass wir es durch eine sanfte nächste Funktion durchlaufen.
Grundsätzlich ist es möglich, die beste Aktion auszuwählen, die es auswählen kann.
Und dazu gibt es einen kleinen Vorbehalt.
Es ist nicht nur das Beste, was es gibt.
Wir sprechen darüber im Tutorial zur Aktionsauswahl.
Aber jetzt sagen wir einfach, es wählt die beste Aktion von hier aus, die OK sagt. Q1, Sie kennen die Wahrscheinlichkeit.
Grundsätzlich wissen wir, dass q-Werte den Q-Wert vorhergesagt haben, so dass er sie betrachten und mit OK sagen kann.
Der höchste Q-Wert dieser Werte ist genau so wie bei dem einfachen Q-Lernalgorithmus.
Ich schaue mir das alles an, um die höchsten Werte zu sagen. Ich werde die Aktion auswählen, die wir
ergreifen werden.
Und das ist so ziemlich alles.
So wählt er aus, welche Aktion ergriffen wird, und dann geschieht alles wieder.
Für die nächste Stufe endet der Agent in unserem Fall und das nächste Quadrat des Labyrinths.
Aber im Allgemeinen im nächsten Staat.
Also los geht's.
So speisen wir ein Verstärkungs-Lernproblem in ein neuronales Netzwerk ein, indem wir einen Vektor beschreiben, der den Zustand beschreibt, in dem
wir uns befinden.
Und sobald wir es passen.
Es gibt zwei Teile des Prozesses, die geschehen. Teil eins ist das Lernen.
Denken Sie also an den Teil, in dem wir jeden der Cube-Werte mit dem Ziel
vergleichen und dann den Verlust durch das Netzwerk verbreiten, um die Gewichtungen so zu aktualisieren, dass unser Netzwerk lernt, während
wir durch dieses Labyrinth oder diese Umgebung gehen.
Und der zweite Teil ist natürlich, dass wir handeln müssen, wir müssen eine Aktion auswählen, und hier übergeben
wir die Werte durch eine Soft-Max-Funktion und / oder im Wesentlichen eine Aktionsauswahlrichtlinie, über die wir
weiter unten sprechen werden.
Und dann wählen wir einfach die Aktion aus, die wir ausführen möchten, und führen diese Aktion aus. Dann beginnt der gesamte
Prozess von neuem.
Und dann bekommt der Agent vielleicht das Spiel nicht.
In jedem Fall endet das Spiel.
Und dann wiederholt sich der gesamte Vorgang erneut, und der Agent spielt das gesamte Spiel erneut. Dann hört das auf. Grundsätzlich ist das
ein weiterer Airpark, jedes Mal, wenn der Agent Sie kennt, jedes Mal, wenn das Spiel endet, mit einem Gefallen jenseits
von Fairie, dem Ende eines Flughafens.
Und dann fängt er wieder an und dann fängt er wieder an und dann fängt er wieder an.
Und so weiter.
Das passiert also und dieser Vorgang findet jedes Mal statt, wenn sich der Agent in einem neuen Zustand in Ihnen befindet.
Der Zustand wird hier verschlüsselt. Dies ist also nicht nur für jedes einzelne Spiel wichtig, sondern für jeden
einzelnen Zustand.
Er ist also in einem Zustand, der seine Prozessdaten usw. durchläuft und jedes Mal passiert.
Und so geschieht das Lernen und das Handeln auch.
Das ist tiefes Lernen in der Intuition hinter tiefem Lernen.
Wir haben noch viel mehr zu berichten und dann natürlich auch praktisch und in der Zwischenzeit, wenn Sie weitere
Informationen zum Lernen erhalten möchten.
Wir haben eine empfohlene Lektüre, so dass wir bereits über die Blog-Reihe von Arthur Giuliani gesprochen haben.
Wenn Sie sich das einfache informelle Lernen ansehen, finden Sie in Liftons Ablaufteil 4 den Teil, der für das, was wir heute
besprochen haben, relevant ist.
Beachten Sie, dass er hier über Konvolute spricht. In diesem Abschnitt werden wir nicht über Revolutionen berichten. Wir werden im
nächsten Abschnitt des Kurses darüber sprechen.
Der Unterschied hier ist, dass es nur eine Art Überspringen der Schlussfolgerungen ist. Wir werden im nächsten
Teil des Kurses darüber sprechen, aber der Unterschied liegt in den Entwicklungen.
Sie sehen aus, als würde der Agent das Bild betrachten, und deshalb muss er ein Bild als zusätzliche
Komplikation für den Moment verarbeiten, bei dem wir uns allmählich darauf einstellen.
Im Moment verschlüsseln wir unsere Umgebung durch Sie. Sehen Sie hier. Wir verschlüsseln unsere
Umgebung. Vielleicht möchten Sie diese Umgebung auch als Kodierung unserer Umgebung als oder als Zustandsbeschreibung des Agenten als Vektor betrachten.
In unserem Fall war also ein sehr einfacher Wertvektor.
Manchmal können die Leute in diesem einfachen Fall manchmal oder wie Sie in diesem Blogbeitrag sehen werden.
Manchmal ziehen die Leute die eine heiße und codierte Version dieses Bundesstaates vor.
Im Grunde also, wo jede einzelne Box des Labyrinths eine.
Sie haben also wie ein Vektor für einen Nullfall 12 Werte von drei mal vier.
Es ist also weder 1 noch 0, je nachdem, in welchen Elementen und in welcher Box Sie sich befinden.
In der Umwelt.
Wie auch immer Sie sich entscheiden, Ihre Umgebung und den Zustand Ihrer Umgebung zu kodieren, so ist es beim Kodieren
im Grunde ein Vektor.
Der Schlüssel hier ist, dass es keine Faltung ist. Es ist also nicht wie ein Bild und
es gibt keine Faltungsspannung.
Für uns beginnt es hier und das vereinfacht den Prozess für uns, um allmählich besser zu verstehen.
Und natürlich nicht vergessen, dass dieser Beitrag unhöflich ist und dazu neigt, zu fließen, und wir verwenden in unseren
Tutorials Pi Torche.
Hoffentlich gefällt dir das.
Ein schneller Einstieg in ein tiefes konvolutives tiefes, noch nicht tiefgreifendes Lernen.
Und ich freue mich darauf, Sie als nächstes zu sehen.
Und bis dahin genießen Sie künstliche Intelligenz.