WEBVTT 00:01.760 --> 00:06.650 Hallo en welkom terug bij de cursus over Deep Learning vandaag, we gaan afronden met terugvermeerdering. 00:07.190 --> 00:07.520 Oke. 00:07.520 --> 00:11.830 We weten dus al vrijwel alles wat we moeten weten over wat er in het neurale netwerk gebeurt. 00:11.990 --> 00:18.260 We weten dat er een proces is dat voorwaartse propagatie wordt genoemd, waarbij informatie wordt ingevoerd in de 00:18.260 --> 00:24.560 invoerlaag en vervolgens naar voren wordt gepropageerd om onze witte hoeden, onze uitvoerwaarden te krijgen, en dan vergelijken we 00:24.560 --> 00:28.700 die met de werkelijke waarden die we in onze trainingsset hebben. 00:29.060 --> 00:31.670 En dan berekenen we de fouten. 00:31.880 --> 00:38.840 Dan worden de fouten in de tegenovergestelde richting terug door het netwerk verspreid, en dat stelt ons in staat om het netwerk te 00:38.840 --> 00:41.140 trainen door de gewichten aan te passen. 00:41.570 --> 00:49.610 Dus het enige belangrijke om hier te onthouden, is dat back-propagatie een geavanceerd algoritme is 00:49.610 --> 00:59.450 dat wordt aangedreven door zeer interessante en geavanceerde wiskunde, waarmee we de gewichten kunnen aanpassen, allemaal tegelijkertijd, helemaal om 00:59.450 --> 01:02.170 het tegelijkertijd aan te passen. 01:02.420 --> 01:08.930 Dus als we dit handmatig zouden doen of als we met een ander type algoritme op de proppen zouden komen, zelfs 01:08.930 --> 01:14.090 als we de fout zouden berekenen en we zouden proberen te begrijpen welk effect elk van 01:14.090 --> 01:20.720 de gewichten heeft op de fout, zouden we op de een of andere manier elk van de gewichten afzonderlijk of afzonderlijk aanpassen. 01:21.930 --> 01:28.800 Het enorme voordeel van back-propagatie en dit is een belangrijk ding om te onthouden, 01:28.800 --> 01:35.700 is dat tijdens het proces van back-propagatie, simpelweg vanwege de manier waarop het algoritme is gestructureerd. 01:36.730 --> 01:43.540 U kunt al het gewicht tegelijkertijd aanpassen, zodat u in principe weet voor welk deel van de fout elk 01:43.570 --> 01:46.900 van uw gewichten in het neurale netwerk verantwoordelijk is. 01:47.290 --> 01:54.160 Dat is het belangrijkste, fundamentele onderliggende principe van terugvermeerdering. 01:54.160 --> 02:00.580 En dit was de reden waarom het zo snel oppakte in de jaren tachtig. 02:00.580 --> 02:02.470 En dit was de grote doorbraak. 02:02.620 --> 02:08.260 En als je daar meer over wilt weten en hoe de wiskunde op de achtergrond precies 02:08.470 --> 02:14.680 werkt, dan is een goed artikel, dat we al noemden, de Neural Networks and Deep Learning, eigenlijk 02:14.680 --> 02:21.910 een boek van Michael Nielsen, de You' Vind de uitgeschreven wiskunde en het zal je helpen te begrijpen hoe dit 02:22.210 --> 02:23.560 precies mogelijk is. 02:23.560 --> 02:29.860 Maar voor nu, voor onze doeleinden, vanuit een intuïtief oogpunt, is het belangrijkste om te 02:30.040 --> 02:33.220 onthouden dat dat is wat back-propagatie doet. 02:33.220 --> 02:35.950 Het past alle gewichten tegelijkertijd aan. 02:36.790 --> 02:43.240 En nu gaan we alles afronden met een stapsgewijze uitleg van wat er gebeurt bij het trainen 02:43.240 --> 02:44.920 van een neuraal netwerk. 02:45.250 --> 02:45.580 Oke. 02:45.580 --> 02:50.530 Dus stap één, we initialiseren de gewichten willekeurig naar kleine getallen dicht bij nul, maar niet nul. 02:50.980 --> 02:56.560 We hebben tijdens de Egyptische tutorials niet echt gefocust op de initialisatie van gewichten, maar 02:56.560 --> 03:02.560 de gewichten moeten ergens beginnen en ze worden geïnitialiseerd met willekeurige waarden in de buurt van nul. 03:02.560 --> 03:09.460 En van daaruit, via het proces voor verspreiding door regulering, worden deze gewichten aangepast totdat de fout is geminimaliseerd, 03:09.460 --> 03:16.480 totdat de kostenfunctie is geminimaliseerd, dan is het aan de eerste observatie van uw datasets om de eerste rij in 03:16.690 --> 03:19.240 de invoerlaag in te voeren . 03:19.360 --> 03:21.220 Elke functie is één ingang. 03:21.400 --> 03:27.430 Dus neem in feite de kolommen en plaats ze afzonderlijk in de invoerknooppunten voor verspreiding van links naar 03:27.430 --> 03:27.820 rechts. 03:27.820 --> 03:32.830 De neuronen worden geactiveerd op een manier dat de input van neuronenactivering wordt beperkt door de gewichten. 03:32.830 --> 03:39.790 De manier om in principe te bepalen hoe belangrijk elke neuronactivering is, en vervolgens de activering te propageren 03:39.790 --> 03:41.800 totdat het voorspellingsresultaat wordt verkregen. 03:41.980 --> 03:43.640 Waarom hoed in dit geval? 03:43.870 --> 03:46.540 Dus eigenlijk propageer je van links naar rechts. 03:46.660 --> 03:48.800 Je gaat de hele weg totdat je bij het einde bent. 03:48.830 --> 03:54.550 Je krijgt je witte hoed, vergelijkt de resultaten met het werkelijke resultaat, meet de gegenereerde fout en dan doe 03:55.000 --> 03:57.370 je de terugpropagatie van rechts naar links. 03:57.370 --> 04:01.810 De gebieden die terug zijn gepropageerd, werken de gewichten bij op basis van hoeveel ze verantwoordelijk zijn voor de fout. 04:02.110 --> 04:08.260 Nogmaals, je bent in staat om te berekenen dat vanwege de manier waarop de achterkant die wordt gepropageerd door 04:08.260 --> 04:12.580 het percolatie-algoritme is gestructureerd, de leersnelheid bepaalt hoeveel we de gewichten bijwerken. 04:12.580 --> 04:16.940 Leersnelheid is een parameter die u kunt regelen in uw neurale netwerk. 04:17.650 --> 04:22.630 Stap zes, herhaal stap één tot en met vijf en werk de gewichten bij na elke observatie. 04:23.260 --> 04:24.790 Dat heet versterkend leren. 04:24.790 --> 04:31.420 En in ons geval was dat een stochastische gradiëntafdaling of herhaal de stappen één tot vijf. 04:31.420 --> 04:37.810 Maar het is pas na een batch observaties of batch-leren, het is ofwel een volledige gradiëntafdaling 04:37.810 --> 04:40.540 of achtergrondruis of een mini-batch gradiëntafdaling. 04:40.810 --> 04:45.940 En stap zeven, toen de hele trainingsset door het kunstmatige neurale netwerk ging, 04:45.940 --> 04:48.940 waardoor een tijdperk meer tijdperken opnieuw doet. 04:48.970 --> 04:54.820 Dus eigenlijk blijf je dat en dat en dat doen en je neurale 04:54.820 --> 05:02.230 netwerk beter en beter en beter laten trainen en zichzelf constant aanpassen terwijl je de kostenfunctie minimaliseert. 05:02.650 --> 05:03.760 Dus daar gaan we. 05:04.360 --> 05:09.520 Dat zijn de stappen die u moet nemen om uw kunstmatige neurale netwerken op te bouwen en te trainen. 05:09.880 --> 05:15.700 En dit zijn de stappen die je samen met Hadland doorloopt in de praktijklessen. 05:16.000 --> 05:19.210 Ik wens je veel succes en graag tot een volgende keer. 05:19.360 --> 05:21.250 Geniet tot die tijd van deep learning.