WEBVTT 00:00.430 --> 00:02.410 Hallo en welkom bij deze tutorial. 00:02.860 --> 00:06.960 Oké, dus nu gaan we onze kunstmatige intelligentie helemaal opnieuw implementeren. 00:06.970 --> 00:08.610 We gaan het regel voor regel doorknippen. 00:08.890 --> 00:12.100 En in deze eerste goede sectie gaan we de bibliotheken importeren. 00:12.430 --> 00:17.830 Maar voordat we met deze eerste codesectie beginnen, wil ik het verband tussen de 00:17.830 --> 00:20.230 A. L. en onze die ik vond. 00:20.410 --> 00:23.940 Daarom implementeren we dit formaat. 00:23.950 --> 00:27.440 Wat is het doel van onze A. L. en waar gaan we het gebruiken? 00:27.730 --> 00:29.800 Het is dus eigenlijk heel simpel. 00:30.010 --> 00:34.590 We kijken alleen naar het selecteren van de juiste actie op elk moment. 00:35.020 --> 00:41.590 Dus, oké, we importeren de DeQuan-klasse uit onze A. L. bestand, dus we zullen dit document 00:41.590 --> 00:49.300 minder in dit bestand maken, maar dan importeren we het alleen om de juiste actie te selecteren om op elk moment af te spelen. 00:49.660 --> 00:52.640 En we selecteren deze actie precies op deze regel. 00:52.870 --> 00:54.760 Actie staat gelijk aan hersenupdate. 00:55.000 --> 01:00.310 Minder beloning, minder signaal, minder signaal zal de input van het neurale netwerk zijn. 01:00.580 --> 01:05.680 Weet je, het is samengesteld uit de drie signalen van de sensoren plus de oriëntatie en minus oriëntatie. 01:05.980 --> 01:07.150 Dat is dus de invoer. 01:07.150 --> 01:13.630 Maar dan is de output de actie om te spelen en dat is alleen wat we zullen nemen van onze ik voelde dat we op het punt 01:13.630 --> 01:14.440 stonden te maken. 01:15.130 --> 01:16.230 Houd daar dus rekening mee. 01:16.240 --> 01:17.200 Het is heel simpel. 01:17.410 --> 01:25.810 We importeren eerst de andere klasse uit de A. L. Vervolgens creëren we het objectbrein uit de Duitse klasse, 01:25.810 --> 01:31.660 die als invoer de gecodeerde vectoren voor de status van vijf dimensies neemt, de drie signalen plus 01:31.660 --> 01:33.370 oriëntatie plus minus oriëntatie. 01:33.700 --> 01:36.850 De drie acties gaan naar links, gaan rechtdoor of gaan naar rechts. 01:36.850 --> 01:42.010 En dan deze gammaparameter, dat zijn de enige parameters van de DeQuan-klasse die we gaan maken. 01:42.310 --> 01:49.800 En als we dat object eenmaal hebben gemaakt, selecteren we in de spelklasse de actie die elke keer moet worden gespeeld. 01:49.960 --> 01:53.440 En dat hangt af van de laatste beloning en het laatste signaal, dat is de input. 01:53.770 --> 02:00.100 En dat is alles wat het enige doel is om deze A. L. Dat is om een echte kunstmatige intelligentie te 02:00.100 --> 02:05.740 hebben die de juiste acties uitvoert die elke keer de juiste beweging uitvoeren in plaats van willekeurige acties zoals we 02:05.740 --> 02:07.660 in de vorige tutorial hebben gezien. 02:08.320 --> 02:08.680 Oke. 02:08.680 --> 02:09.610 Dus laten we dit doen. 02:09.610 --> 02:12.340 Laten we onze kunstmatige intelligentie implementeren. 02:12.580 --> 02:18.040 En zoals we al zeiden, we beginnen met het importeren van alle bibliotheken die we zullen gebruiken om het te implementeren. 02:18.310 --> 02:20.530 Op die manier hebben we alle tools die we nodig hebben. 02:20.980 --> 02:21.340 Oke. 02:21.340 --> 02:22.570 Dus laten we beginnen met de eerste. 02:22.660 --> 02:28.700 De eerste is het onvermijdelijke, de geen bibliotheek, de geen bibliotheek. 02:28.720 --> 02:30.430 Ik raad altijd aan om het te importeren. 02:30.730 --> 02:34.930 Het is de bibliotheek die ons in staat stelt om met de arrays te spelen en ermee te werken. 02:35.410 --> 02:39.480 En dit en hier zijn is slechts een snelkoppeling die handiger is als we ze willen gebruiken. 02:40.420 --> 02:41.240 Oke dan. 02:41.240 --> 02:43.540 De tweede bibliotheek is willekeurig. 02:43.900 --> 02:50.470 Dit is dus alleen maar omdat we enkele willekeurige steekproeven zullen nemen uit de verschillende batches bij het implementeren van 02:50.470 --> 02:51.480 experience replay. 02:51.760 --> 02:53.980 We moeten deze willekeurige bibliotheek dus ook importeren. 02:54.730 --> 03:01.840 Dan zullen we een besturingssysteem importeren dat alleen handig is als we het model willen laden, want weet je, als het model eenmaal klaar is, 03:02.020 --> 03:07.900 zullen we wat code implementeren om het model op te slaan en dan nog een code om het model te 03:08.050 --> 03:08.620 laden. 03:08.620 --> 03:13.990 Dat is wanneer we, weet je, de hersenen willen redden en de hersenen willen laden wanneer je je computer 03:13.990 --> 03:18.570 wilt afsluiten en de hersenen die eerder zijn getraind opnieuw willen gebruiken voor een nieuw experiment. 03:18.940 --> 03:19.900 Dus dat is belangrijk. 03:20.560 --> 03:22.780 Dan gaan we importeren. 03:24.010 --> 03:26.990 De fakkelbibliotheek essentieel. 03:27.100 --> 03:32.110 Dat komt omdat we ons neurale netwerk zullen implementeren met een zaklamp, die ik veel meer 03:32.110 --> 03:37.150 aanbeveel dan de andere voor kunstmatige intelligentie, omdat het dynamische grafieken aankan, dus we gaan voor 03:37.150 --> 03:37.690 Torch. 03:38.440 --> 03:47.290 Vervolgens gaan we van Torch toorts importeren dat een end-to-end-module de meest essentiële is. 03:47.300 --> 03:51.270 Dat is de module die alle tools bevat om sommige neurale netwerken te implementeren. 03:51.640 --> 03:57.310 En natuurlijk zal er een diep neuraal netwerk zijn dat de drie signalen van de drie sensoren plus 03:57.310 --> 04:03.690 oriëntatie en minus oriëntatie als invoer zal nemen, en als uitvoer de actie zal retourneren om goed te spelen, eigenlijk om 04:03.940 --> 04:10.000 de kubuswaarden van de verschillende acties terug te geven en met een softmax zullen we de actie teruggeven om er 04:10.000 --> 04:14.870 maar één te spelen, de meest relevante om het doel van de auto te bereiken. 04:15.130 --> 04:24.040 Dus tegen het begin en de meest essentiële, dan gaan we een snelkoppeling naar het functionele geven. 04:25.390 --> 04:32.740 Pakket vanaf hier gaan we, het functionele pakket uit de Enon-module, dus dit functionele pakket bevat de verschillende functies die we 04:32.740 --> 04:35.890 gebruiken bij het implementeren van een neuraal netwerk. 04:36.190 --> 04:42.540 Dus typisch de laatste functie die we zullen gebruiken, het verlies, omdat dat de convergentie verbetert en 04:42.550 --> 04:46.770 het uber-verlies is opgenomen in deze functionele submodule van de motormodule. 04:47.020 --> 04:53.380 En aangezien dit allemaal behoorlijk lang is, geven we het een kortere weg en noemen we het gewoon F. 04:54.310 --> 05:02.710 Dan zijn er nog maar drie modules om te importeren, dus de volgende is een andere essentiële, wat optimaal is, en 05:02.980 --> 05:06.980 we halen het uit de toortsbibliotheek en dan AP'TIN. 05:07.420 --> 05:08.040 Daar gaan we. 05:08.620 --> 05:12.510 En laten we het gewoon oproepen in plaats van dat atoom in brand te steken. 05:12.820 --> 05:15.030 Dus dat is natuurlijk voor de optimizer. 05:15.190 --> 05:19.030 We zullen enkele optimizers importeren om stochastische gradiëntafdaling uit te voeren. 05:19.390 --> 05:21.310 We zullen het dus zeker nodig hebben. 05:21.700 --> 05:28.330 En dan moeten we autocrat importeren en dat is alleen om de variabele klasse van Rugrat te nemen. 05:29.020 --> 05:31.190 Dus het doel ervan is een beetje technisch. 05:31.480 --> 05:38.650 Kortom, we moeten de variabele klasse importeren om enige conversie uit te voeren van sensoren die lijken op meer 05:38.650 --> 05:42.690 geavanceerde arrays om te voorkomen dat er een gradiënt is. 05:43.060 --> 05:46.360 Dus het is alsof we niet alleen maar neigingen willen hebben. 05:46.510 --> 05:50.560 We willen de sensor in een variabele plaatsen die ook een verloop zal bevatten. 05:50.740 --> 05:56.170 En om dit te doen, moeten we de variabele klasse gebruiken om deze sensor om te zetten in een variabele die 05:56.170 --> 05:58.060 de tensor en de gradiënt bevat. 05:58.360 --> 06:02.920 Dus dat is een beetje technisch, maar dat is wat we moeten doen als we met Betteridge werken en 06:02.920 --> 06:04.780 we doen dit dankzij de variabele klasse. 06:04.780 --> 06:10.600 Maar voordat we de variabele klasse krijgen, moeten we daar naartoe importeren of grad. 06:11.200 --> 06:17.050 En laten we ook een snelkoppeling geven op een grafiek en dan van. 06:18.310 --> 06:20.880 Op weg naar die handtekening. 06:22.240 --> 06:23.470 Wij importeren. 06:24.430 --> 06:24.970 Volleybal. 06:25.720 --> 06:26.390 Daar gaan we. 06:26.410 --> 06:32.800 En nu hebben we alle bibliotheken die we zullen gebruiken om onze A. L. , dus we zullen niet de moeite nemen om een 06:32.800 --> 06:33.790 andere bibliotheek te importeren. 06:33.910 --> 06:39.400 We hebben alle tools die we nodig hebben en nu zijn we klaar om de architectuur van het neurale netwerk te creëren. 06:39.880 --> 06:42.360 Dus dat is precies wat we zullen doen in de volgende tutorial. 06:42.550 --> 06:44.290 En tot die tijd, geniet van I.