WEBVTT 00:00.330 --> 00:05.940 Hallo und willkommen zu diesem Tutorial, dieses besondere Spielzeug wird sehr aufregend, weil wir uns dem A 00:05.940 --> 00:08.540 nähern. S. C. Algorithmus. 00:08.700 --> 00:14.190 Sie werden sehen, dass das, was wir gerade implementieren, und das als Eignungstrace oder 00:14.520 --> 00:20.380 Sarsour bezeichnet wird, eigentlich ein Algorithmus der synchronen, aktiven Kritikeragenten ist, die wir nicht berücksichtigen können. 00:20.380 --> 00:25.290 Und wir sehen, weil wir immer noch einen Agenten haben werden, aber 00:25.290 --> 00:32.010 Sie werden immer noch sehen, dass das, was wir implementieren werden, tatsächlich aus dem folgenden Artikel entnommen wird, 00:32.130 --> 00:38.280 der als Synchronoss-Methode für tiefes Verstärkungslernen dient In diesem Dokument finden Sie A-3-Algorithmen, die wir als 00:38.280 --> 00:40.840 abschließenden Bonus dieses Kurses implementieren werden. 00:41.010 --> 00:47.580 Aber wie gesagt, wir kommen näher an das Projekt heran, denn das Modell, das jetzt implementiert wird, ist 00:48.420 --> 00:55.620 tatsächlich das synchron und säkularisierte Modell. Es ist das Modell, das fast der A3 C ist, der danach arbeitet, 00:55.620 --> 01:03.490 aber mit einem Agenten und der mächtigen Sache darüber In diesem und in Schritt Cunanan werden wir lernen, Belohnungen zu sammeln und 01:03.490 --> 01:09.520 das kumulative Ziel in den Endschritten zu lernen, anstatt wie in einem Schritt wie Priestley. 01:09.690 --> 01:15.250 Und das macht das Training viel leistungsfähiger und damit auch leistungsfähiger. 01:15.300 --> 01:21.080 Wir haben also tatsächlich den Pseudocode für diesen Algorithmus, es ist dieser Algorithmus hier. 01:21.180 --> 01:23.230 Also lass uns darauf klicken und los geht's. 01:23.250 --> 01:25.740 Das ist der Algorithmus, den wir gerade implementieren. 01:25.890 --> 01:30.960 Denken Sie jedoch daran, dass mit nur einem Agenten der Unterschied besteht, dass hier eine Aktion ausgeführt wird. 01:30.990 --> 01:37.380 80 nach Angaben des Präsidenten Greely basiert auf den q-Werten für den aktuellen Zustand und der gespielten 01:37.380 --> 01:38.020 Aktion. 01:38.190 --> 01:42.050 In unserem Fall haben wir jedoch keine ausgezeichnete grüne Politik umgesetzt. 01:42.090 --> 01:43.770 Wir haben einen weichen Max implementiert. 01:43.890 --> 01:46.110 Aber der Rest ist derselbe wie Sie sehen können. 01:46.110 --> 01:50.210 Wir werden den kumulierten Wert berechnen, an dem wir gearbeitet haben, und tatsächlich 10 Schritte. 01:50.220 --> 01:52.340 Denken Sie daran, dass die Schritte gleich 10 sind. 01:52.440 --> 01:58.170 Daher werden wir diese Codezeile in unseren Algorithmus implementieren, den wir gerade implementieren werden. 01:58.170 --> 01:59.010 Wir werden das bekommen. 01:59.010 --> 02:02.150 Und meist werden wir das auch umsetzen. 02:02.160 --> 02:07.590 Sie werden sehen, dass wir das Maximum der q-Werte für den aktuellen Status und die aktuelle Aktion in 02:07.590 --> 02:08.820 diesem Theta erhalten. 02:08.820 --> 02:11.150 Hier ist nur ein Zielparameter. 02:11.430 --> 02:15.350 Lasst uns das tun, lasst uns diesen Algorithmus angreifen. 02:15.360 --> 02:18.730 Dieses wird als synchrones und stiftiges Lernen bezeichnet. 02:18.900 --> 02:24.490 Wir haben jedoch nicht das Recht, uns synchron zu sagen, da wir nur einen Motor haben. 02:24.670 --> 02:29.830 Daher können wir es nennen und Lernfähigkeitsspur oder sogar Sarsour lernen. 02:30.270 --> 02:31.780 Also gut, lass uns das tun. 02:31.800 --> 02:33.080 Das wird ziemlich lustig. 02:33.090 --> 02:37.460 Wir können dem Code hier grundsätzlich folgen und das werden wir auch tun. 02:37.460 --> 02:43.980 Wenn Sie also sehen, dass ein Parameter, den wir benötigen, wieder der Parameter ist, der der 02:44.280 --> 02:50.820 Decay-Parameter ist, beginnen wir mit der Einführung einer Variablen für diesen Gahanna-Parameter und der Auswahl dieser Parameter. 02:50.820 --> 02:51.840 Also lass uns das tun. 02:51.900 --> 02:57.040 Wir brauchen eigentlich kein riesiges Klassenzimmer. Wir können dies einfach mit einer Funktion implementieren, weil Sie wissen, 02:57.040 --> 03:01.830 dass wir keine Objekte erstellen müssen, damit das Modell verfolgt werden kann. Eine Funktion reicht 03:02.190 --> 03:08.500 aus, denn im Grunde wollen wir das tun Geben Sie die Eingaben und das Ziel zurück, damit wir später beim Trainieren 03:08.500 --> 03:14.460 der KI bereit sind, den Abstand zwischen den Vorhersagen und dem Ziel zu minimieren und die Vorhersagen zu erhalten, die 03:14.470 --> 03:19.950 wir benötigen, da wir unser Gehirn auf die Eingaben anwenden werden, um die Ausgabe zu erhalten Signale, die 03:19.950 --> 03:21.300 unsere Vorhersagen sein werden. 03:21.300 --> 03:26.730 Und sobald wir unsere Vorhersagen und Ziele haben, werden wir bereit sein, die KI zu trainieren, indem wir 03:26.730 --> 03:30.680 versuchen, diese große Entfernung zwischen den Vorhersagen und den Toiletten zu minimieren. 03:30.690 --> 03:32.780 Das ist also der springende Punkt, dies jetzt zu tun. 03:32.880 --> 03:38.130 Wir implementieren diese Funktion, um diese Eingaben in den Sowjets zurückgeben zu können, so dass wir für 03:38.130 --> 03:43.010 das Training bereit sein können, um die quadratischen Entfernungsvorhersagen für die Toiletten zu minimieren. 03:43.020 --> 03:46.400 Also gut, machen wir das so, wie wir sagten, wir wollen Funktionen implementieren. 03:46.410 --> 03:47.910 Wir fangen damit an. 03:47.940 --> 03:52.680 Dies nennen wir die Berechtigung unterstrichene Spur. 03:52.860 --> 03:54.210 Sie können es auch Sarsour nennen. 03:54.240 --> 04:00.660 Sie können es auch als Schritt bezeichnen, um zu klingeln, was immer Sie 04:00.660 --> 04:07.530 wollen, aber nennen wir es Eignungsverfolgung, und diese Funktion wird ein Argument benötigen, das 04:07.530 --> 04:13.460 ein Batch sein wird Wir werden die KI in Batches trainieren. 04:13.530 --> 04:19.170 Die Eingaben und Ziele gehen also in einige Stapel über, und daher ist das 04:19.410 --> 04:25.090 Eingabeargument hier dieser Stapel, der mehrere Eingaben und dann mehrere Ziele enthält, die berechnet werden. 04:25.500 --> 04:26.730 Also los geht's. 04:26.730 --> 04:28.310 Das ist das einzige Argument, das wir brauchen. 04:28.500 --> 04:32.280 Gehen wir nun in eine Funktion und definieren wir, was wir tun müssen. 04:32.370 --> 04:40.140 Wie wir in der Basilika des Papiers gesehen haben, brauchen wir die Parameter erneut, so dass wir, wie 04:40.440 --> 04:45.390 gesagt, diesen Gamma-Parameter halbnah einführen und den Wert bereits entschlüsseln können. 04:45.450 --> 04:51.780 Und wir wählen vier Punkte, neunundneunzig, die für Ghana und Norreys ein klassischer guter Wert sind. 04:51.780 --> 04:55.640 Ich habe überprüft, dass dies für unsere KI ein guter Wert ist. 04:55.650 --> 05:04.120 Nun, im nächsten Schritt bereiten wir unsere Informationen und Ziele vor, denn genau das wollen 05:04.120 --> 05:05.260 wir zurückgeben. 05:05.260 --> 05:08.980 Wir möchten die Eingaben in Ziele zurückführen, um das Training vorzubereiten. 05:08.980 --> 05:15.520 Und so können wir sie bereits mit einer leeren Liste initialisieren, da diese Eingaben 05:15.790 --> 05:21.130 natürlich am besten in eine Liste aufgenommen werden. Dabei werden die 05:21.430 --> 05:25.000 Eingaben als Liste sowie die Ziele initialisiert. 05:25.000 --> 05:31.420 Also haben wir unsere Ziele initialisiert und in unsere Ziele eingefügt, und am Ende liefert diese Funktion zur 05:31.540 --> 05:33.320 Ablaufverfolgung genau diese Eingaben. 05:33.330 --> 05:36.180 Und das waren natürlich Filton. 05:36.290 --> 05:42.300 Wir haben mehrere Eingänge und die damit verbundenen verschiedenen Ziele, die von der Funktion zurückgegeben werden. 05:42.300 --> 05:48.820 Der nächste Schritt im nächsten Schritt ist, eine Schleife zu starten, und zwar genau deshalb, weil wir dem langsamen 05:48.880 --> 05:50.290 Code des Papiers folgen. 05:50.290 --> 05:51.400 Diese Art von Code. 05:51.490 --> 05:58.420 Und wie Sie sehen, gibt es diesen Wiederholungscodeabschnitt und genau eine vollständige Schleife im Code. 05:58.470 --> 06:03.870 Wir berechnen die kumulierte Belohnung, die sich hier über die 10 Schritte angesammelt hat. 06:03.940 --> 06:05.130 Und wie wird es berechnet? 06:05.290 --> 06:10.480 In jedem Schritt, der nicht der letzte Schritt ist, werden wir das Maximum der Kernwerte der Währung ermitteln, in 06:10.480 --> 06:13.070 der wir uns befinden, und die Schritte werden ausgeführt. 06:13.240 --> 06:17.790 Und wenn wir den letzten Zustand der 10 Stufen gut erreichen, ist dies gleich Null. 06:17.890 --> 06:19.810 Das heißt, wir wollen es nicht mehr machen. 06:20.080 --> 06:23.320 Und dann haben wir diese for-Schleife, die eine weitere sein wird. 06:23.470 --> 06:28.390 Sie sagen nicht, dass hier nichts wiederholt wird, aber es ist das Gleiche, es wird die zweite vollständige Schleife in unserem Algorithmus sein. 06:28.600 --> 06:34.570 Nun, wir haben es so gemacht, indem wir es mit dem Abklingparameter gamma multipliziert und das Wort 06:34.840 --> 06:35.660 hinzugefügt haben. 06:36.010 --> 06:41.510 Also lass uns das tun, lass uns zu Python zurückkehren und lass uns damit anfangen. 06:41.980 --> 06:44.920 Und was wird die iterative Variable sein. 06:45.070 --> 06:47.820 Nun, das wird unsere 10-Schritte-Serie sein. 06:47.890 --> 06:55.510 Sie kennen unsere Serie von 10 Übergängen. Wir bezeichnen diese Variablen also als eine Serie von 10 06:55.600 --> 06:58.820 Übergängen wie eine Folge von 10 Übergängen. 06:58.860 --> 07:00.910 Also für Serien in. 07:01.210 --> 07:02.400 Und was denkst du dann? 07:02.620 --> 07:05.570 Nun, unsere Serie wird von unserer Charge bestimmt. 07:05.680 --> 07:12.040 Es gibt die Batches, auf denen die AI-Serie in Batch trainiert wird, die sich auf alle 07:12.040 --> 07:14.540 10 Übergänge in unserem Input-Batch bezieht. 07:14.800 --> 07:20.710 Nun, wo werden wir gut arbeiten, um eine kumulative Belohnung zu erhalten, die Sie in der Kieselsäure sehen werden, dass 07:20.950 --> 07:26.560 wir den Zustand des ersten Übergangs der Serie und auch den Zustand des letzten Übergangs der Serie benötigen. 07:26.740 --> 07:33.040 Also müssen wir diese Eingabestatus jetzt abrufen, also werden wir diese beiden Zustände in eine 07:33.130 --> 07:39.380 realisierbare Form bringen, die Input nennen würde, und wir werden diese beiden Eingabestatus erhalten. 07:39.400 --> 07:46.590 Der erste Teil der Serie und der letzte, den wir in ein Nicht-Pilot-Array einbauen werden, aber keine Sorgen bleiben dabei 07:46.800 --> 07:51.880 und Ampyra wird das natürlich in ein schreckliches verwandeln, aber der erste Schritt ist, 07:51.880 --> 07:56.930 diese beiden zu setzen sagt den ersten im letzten in ein Reich. 07:57.240 --> 08:03.850 Und hier fügen wir hier in diesem Array die erste Eingabe hinzu, die die Eingangsstufe des ersten Übergangs der 08:03.850 --> 08:10.820 Serie ist, und das ist Serie, und dann nehmen wir den Übergang Null, um den Übergang zu übernehmen, und dann 08:10.820 --> 08:17.780 den ersten Nullpunkt der Serie Wir können darauf zugreifen, indem wir die Attribute nehmen, die state und das ist, weil 08:18.290 --> 08:24.200 wir in unserer Replay-Datei mit Erfahrung eine spezielle Struktur für jeden Übergang gefunden haben und Sie 08:24.440 --> 08:25.660 die Struktur kennen. 08:25.730 --> 08:29.380 Jeder Übergang besteht aus einem Zustand und einem Aktionswort. 08:29.570 --> 08:34.970 Aber das letzte Element, das so gemacht wird, ist diese spezielle Struktur, die wir jetzt verwenden dürfen, 08:35.240 --> 08:39.250 von der Art, wie wir den Übergang und die Wiederholungserfahrung definiert haben. 08:39.290 --> 08:45.380 In Ordnung, damit erhalten wir den Eingabezustand des ersten Übergangs und lassen uns nun auch 08:45.380 --> 08:48.640 die Eingangsstufe des letzten Übergangs der Serie erhalten. 08:48.800 --> 08:57.200 Um dies zu tun, können wir das einfach kopieren und einfügen und so wie Sie sind hier durch den 08:57.200 --> 09:04.040 letzten Index der Serie ersetzen, auf den wir mit diesem Trick zugreifen können, minus einer 09:04.100 --> 09:07.420 Serie minus einem Übergang der Serie. 09:08.210 --> 09:16.310 In Ordnung, dann müssen wir diese beiden Elemente in eckige Klammern setzen, da dies vom Umpire eine Funktion 09:16.310 --> 09:23.120 erwartet wird. Dies ist eine wichtige Aufgabe, da wir dies in eine Antwort des 09:23.210 --> 09:26.140 Brenners in einer Brennervariable umwandeln werden. 09:26.330 --> 09:31.810 Denken Sie daran, dass ein Brennertensor per Definition ein spezielles Array ist, das einen einzigen Typ enthält. 09:31.940 --> 09:34.640 Wir müssen also zwingen, einen einzigen Typ zu haben. 09:34.760 --> 09:42.020 Und wie üblich wählen wir den Float-Typ aus. Wenn Sie diesen Parameter hier hinzufügen, ist D Type 09:42.750 --> 09:45.030 gleich und P ist Float. 09:45.320 --> 09:52.380 Damit Sie dieses nehmen können, können wir es jetzt in einen Brennerspanner in einem Brennervolivode umwandeln. 09:52.550 --> 09:54.640 Also lass uns das tun. 09:54.770 --> 09:57.470 Nun, lassen Sie uns das zunächst in einen Brennersensor umwandeln. 09:57.590 --> 10:06.880 Und denken Sie daran, wir können die Fackel verwenden, die von Nicht-Primzahlen aus geht, und wir setzen alle Felder der zwei 10:06.900 --> 10:15.180 Eingangszustände in diesen Fackeltänzer, wobei die Fackel von ihnen durch eine Funktion perfekt ist, die diese Felder des 10:15.250 --> 10:18.230 Eingangszustands in eine Fackel umwandelt Sensor. 10:18.420 --> 10:26.560 Und jetzt setzen wir diese Taschenlampe mit der Variablenklasse sehr gut in eine Taschenlampe, sodass die Eingabe ein Objekt 10:26.560 --> 10:28.400 der wertvollen Klasse ist. 10:28.480 --> 10:35.380 Und wie Sie es verstanden haben, nimmt diese variable Klasse dies alles als Argument und das 10:35.380 --> 10:36.680 Objekt wird erstellt. 10:36.680 --> 10:38.420 Also gut, jetzt sollten wir gut sein. 10:38.450 --> 10:41.000 Wir haben unsere zwei Eingaben, die wir brauchen. 10:41.000 --> 10:45.440 Dies ist der Eingabezustand des ersten Übergangs und der Eingang sagt dann den letzten Übergang. 10:45.770 --> 10:51.890 Und jetzt haben wir die Eingänge Nun, was können wir bekommen, können wir das Ausgangssignal des Gehirns der KI 10:51.890 --> 10:52.560 erhalten. 10:52.640 --> 10:56.160 Das ist die Vorhersage, die wir als Output bezeichnen werden. 10:56.630 --> 10:57.950 Das ist das Ausgangssignal. 10:58.130 --> 10:59.280 Und um die Ausgänge zu bekommen. 10:59.330 --> 11:04.670 Nun, das ist sehr einfach, denn wir haben bereits ein Gehirn geschaffen, das unser konvolutionelles neuronales Netzwerk 11:04.670 --> 11:05.330 ist. 11:05.570 --> 11:14.120 Und so können wir einfach unser Gehirn CNN auf die Eingaben anwenden, was die Vorhersage liefert, dass 11:14.120 --> 11:16.650 die Ausgabe so einfach ist. 11:16.820 --> 11:19.510 Und jetzt sind wir bereit, zum nächsten Schritt überzugehen. 11:20.730 --> 11:24.890 Der nächste Schritt ist, diese Community zu berechnen, wenn Sie möchten. 11:25.090 --> 11:30.690 Also machen wir jetzt genau das gleiche wie unser Algorithmus für den Sarsour oder sollten wir das nennen 11:30.760 --> 11:32.300 und Schritte zum Lernen. 11:32.290 --> 11:39.990 Wir werden die kumulative Belohnungsvariable einführen, die die kumulative Belohnung sein wird. Lassen Sie uns zurück zur Zeitung gehen, wie Sie 11:39.990 --> 11:45.120 jetzt sehen können, was wir tun müssen, um diese Community-Belohnung zu erhalten, die hier 11:45.210 --> 11:46.000 unsere ist. 11:46.170 --> 11:53.160 Nun, und bei jedem Schritt der 10 Schritte müssen wir ihn aktualisieren, indem wir dieser Community eine Null hinzufügen, wenn wir 11:53.160 --> 11:59.910 die letzte Stufe der Serie erreicht hätten oder das Maximum der Kernwerte, wenn wir die letzte Stufe von nicht erreicht 12:00.000 --> 12:03.410 hätten die Serie, die für alle Statik ist, die dauerte. 12:03.750 --> 12:05.890 Das ist einfach ein Bonanzas. 12:06.000 --> 12:07.580 Gehen wir zurück zu Piscean. 12:07.650 --> 12:16.490 Diese Community-Belohnung wird also, wie wir gerade gesehen haben, gleich Nullpunkt sein, wenn wir den letzten Status erreicht haben, und wir 12:16.490 --> 12:23.070 können diese Bedingung auf diese Weise schreiben, wenn eine Reihe von Index minus 1 ist. 12:23.070 --> 12:25.940 Das ist der letzte Übergang der Serie. 12:26.250 --> 12:32.280 Dann fügen wir hinzu, dass getan wird, weil getan ist ein Attribut von Ihnen, wissen Sie diese 12:32.280 --> 12:38.400 Übergangsstruktur, die wir in Erfahrung definiert haben, wir spielen unsere Erfahrung mit Replay Foul, und dies geschieht 12:38.400 --> 12:44.550 von den Eröffnungsstrukturen, denn wenn wir auf die offene Allergan-Website gehen, ist das richtig hier habe ich es 12:44.550 --> 12:45.240 vorbereitet. 12:45.280 --> 12:47.160 Das ist das Gute oder Vizir. 12:47.340 --> 12:52.300 Und wenn wir zur Dokumentation gehen und dann, wenn wir. 12:52.380 --> 12:55.240 Das ist das Tutorial, das ich Ihnen wirklich nahe legen möchte. 12:55.470 --> 13:01.530 Sie können eine Umgebung ausführen, in der Knowsley Sie sehen kann, dass unsere Beobachtungen, dass dies 13:01.950 --> 13:04.690 Übergänge sind, durch eine Beobachtung definiert werden. 13:04.790 --> 13:12.150 Wir möchten, dass dies hier erledigt wird und dies bedeutet, dass ein Übergang oder ein Schritt beendet ist. 13:12.150 --> 13:15.440 Deshalb werden wir dies hier für unsere IF-Bedingung verwenden. 13:15.610 --> 13:23.460 Daher bedeutet iSeries Wahnsinn, wenn der letzte Übergang der Serie abgeschlossen ist. 13:23.730 --> 13:29.290 Diese kumulative Belohnung wird also gleich Null sein, wenn der letzte Übergang der Serie abgeschlossen ist. 13:29.330 --> 13:37.290 Wenn wir den letzten Übergang noch nicht erreicht haben, wird die kumulative Belohnung mit 13:37.290 --> 13:40.950 dem Maximum der Schlüsselwerte aktualisiert. 13:41.220 --> 13:47.460 Und da diese Ausgabe hier die Ausgabe des Gehirns ist, sind dies die Vorhersagen des neuronalen Netzwerks. 13:47.520 --> 13:53.640 Und wie Sie wissen, sind die Vorhersagen des neuronalen Netzwerks die vorhergesagten Werte. Nun, diese Ausgabe enthält 13:53.920 --> 13:55.040 die Werte. 13:55.110 --> 14:01.130 Und da wir das Maximum der q-Werte gut annehmen müssen, müssen wir zuerst diesen Index hinzufügen, 14:01.130 --> 14:04.620 da diese Struktur zwei Schlüsselwerte und der nächste enthält. 14:04.620 --> 14:07.830 Und dann müssen wir Daten hinzufügen, um auf die Daten zuzugreifen. 14:07.830 --> 14:12.150 Diese Ausgabestruktur, von der Sie wissen, dass sie die besondere Struktur eines Brenner-Woiwode hat, ist. 14:12.270 --> 14:17.910 Damit erhalten wir unsere Kernwerte und wir wollen das Maximum unserer Cue-Werte nehmen 14:17.910 --> 14:20.470 und fügen diese Max hinzu. 14:20.490 --> 14:27.820 Und jetzt bekommen wir genau das, was wir wollen, als dieses Maximum der Würfelwerte für 14:27.820 --> 14:30.240 die Nichtterminalstaaten perfekt ist. 14:30.280 --> 14:33.460 Und jetzt machen wir die zweite Falte. 14:33.930 --> 14:40.830 Für die 10 Schritte der Serie werden wir den kumulativen Verlauf aktualisieren, indem wir zuerst den 14:40.830 --> 14:46.170 bereits vorhandenen Abklingparameter mit Gamma multiplizieren und dann das B-Wort hinzufügen. 14:46.410 --> 14:47.540 Also lass uns das tun. 14:47.610 --> 14:52.260 Wir werden genau das gleiche wie im Pseudocode machen, da Sie feststellen können, dass sie von 14:52.260 --> 14:52.970 rechts beginnen. 14:53.040 --> 14:59.010 Sie beginnen also nicht mit dem ersten Schritt und gehen in den letzten Test, den sie mit dem letzten Schritt beginnen. 14:59.040 --> 15:02.280 T-minus 1 bis zum ersten Schritt. 15:02.340 --> 15:06.520 Das ist genau das, was wir tun werden, und das ist, 15:06.610 --> 15:15.840 weil wir am Ende die kumulierte Belohnung gleich unserem Gleichwert oder Null plus Gamma oder 1 plus Gamma-Quadrat oder zwei plus dem plus plus Gamma 15:15.840 --> 15:24.420 bei der Potenz von 10 oder 10 erhalten möchten 1 oder 2 sind, sind 10 das Wort, das in jedem der Schritte der 15:24.420 --> 15:25.580 Serie erhalten wird. 15:25.590 --> 15:29.870 Machen wir eine kurze Pause, bevor wir die zweite vollständige Schleife machen, und wir sehen uns im nächsten Tutorial. 15:30.030 --> 15:31.530 Bis dahin genießen Sie die KI.