WEBVTT 00:00.180 --> 00:02.430 Hallo en welkom terug bij de cursus over diep leren. 00:02.610 --> 00:05.070 Oké, vandaag hebben we het over de activeringsfunctie. 00:05.100 --> 00:06.440 Laten we er meteen op ingaan. 00:06.930 --> 00:08.580 Hier waren we dus eerder mee gestopt. 00:08.580 --> 00:11.760 We hadden het over de structuur van één neuron. 00:11.880 --> 00:13.200 Dus daar staat het in het midden. 00:13.210 --> 00:15.690 We weten dat het een aantal inputs heeft, waarden die binnenkomen. 00:15.690 --> 00:16.710 Het heeft wat gewichten. 00:16.980 --> 00:23.310 Vervolgens telt het het gewicht op, berekent het het gewicht bij sommige van die ingangen en past vervolgens de activeringsfunctie toe 00:23.310 --> 00:24.420 in stap drie. 00:24.600 --> 00:28.430 Het geeft het signaal door aan de volgende ronde. 00:28.470 --> 00:29.720 En daar hebben we het vandaag over. 00:29.730 --> 00:32.790 We hebben het over de waarde die wordt doorgegeven. 00:32.790 --> 00:35.430 We hebben het dus over de activeringsfunctie die wordt toegepast. 00:36.300 --> 00:39.180 Dus welke opties hebben we voor de activeringsfunctie? 00:39.210 --> 00:43.330 Welnu, we gaan kijken naar vier verschillende soorten activeringsfuncties waaruit u kunt kiezen. 00:43.350 --> 00:47.190 Natuurlijk zijn er meer verschillende soorten activeringsfuncties, maar dit zijn de belangrijkste waarover u zult 00:47.190 --> 00:49.870 horen en die u in deze cursus zult gebruiken. 00:50.280 --> 00:53.000 Dus hier is de drempelfunctie. 00:53.040 --> 00:53.800 Dit is hoe het eruit ziet. 00:54.210 --> 01:00.990 Dus op de X-as heb je de gewogen som van de invoer op de Y-as, je hebt gewoon, je weet wel, 01:01.560 --> 01:03.540 de waarden van nul tot één. 01:03.840 --> 01:12.120 En eigenlijk is de drempelfunctie een heel eenvoudig type functie waarbij als de waarde kleiner is 01:12.750 --> 01:16.430 dan nul, de drempelfunctie nul doorgeeft. 01:16.740 --> 01:22.850 Als de waarde groter is dan nul of gelijk aan nul, dan geeft de drempelfunctie een één door. 01:22.860 --> 01:30.120 Dus het is eigenlijk een soort van, ja, geen type functie, heel, heel rechttoe rechtaan, een heel soort 01:30.120 --> 01:34.320 van star type functie, ja of nee, geen andere opties. 01:34.950 --> 01:35.450 Daar ga je dan. 01:35.460 --> 01:36.120 Zo werkt dat. 01:36.120 --> 01:37.140 Zeer eenvoudige functie. 01:37.320 --> 01:40.230 Laten we nu verder gaan met iets ingewikkelders. 01:40.560 --> 01:45.930 De sigmoïde functie, zeer interessante formule die we hier hebben. 01:45.940 --> 01:52.380 Je zult zien dat er nu één is gedeeld door één plus E tot de macht min X, terwijl 01:52.380 --> 01:58.010 in dit geval X natuurlijk de waarde is van de som van de gewogen sommen. 01:58.410 --> 02:02.490 En dus, ja, dus dit is hoe de sigmoid eruit ziet. 02:02.490 --> 02:08.980 Het is een functie die wordt gebruikt in de logistische regressie, als je je herinnert, uit de machine learning-cursus. 02:09.390 --> 02:14.710 Dus wat goed is aan deze functie, is dat deze soepel is, in tegenstelling tot de drempelfunctie. 02:14.880 --> 02:21.630 Deze heeft die knikken niet in zijn curve en daarom is het gewoon een mooie en soepele, geleidelijke progressie. 02:21.630 --> 02:29.700 Dus alles onder nul, zakt gewoon af boven nul, het benadert naar één. 02:29.970 --> 02:36.540 En deze sigmoid-functie is erg handig in de laatste laag, in de uitvoerlaag, vooral als je 02:37.020 --> 02:38.850 kansen probeert te voorspellen. 02:38.850 --> 02:40.490 En dat zullen we tijdens deze cursus zien. 02:41.010 --> 02:42.930 En dan hebben we nog de gelijkrichterfunctie. 02:43.110 --> 02:50.160 De gelijkrichterfunctie, ook al heeft deze een knik, is een van de meest populaire functies voor kunstmatige neurale 02:50.160 --> 02:50.880 netwerken. 02:50.880 --> 02:53.760 Dus het gaat helemaal naar nul. 02:53.760 --> 02:55.020 Het is nul. 02:55.020 --> 03:01.460 En vanaf daar vordert het geleidelijk naarmate de invoerwaarde ook toeneemt. 03:01.590 --> 03:03.330 En dat zullen we tijdens de cursus zien. 03:03.330 --> 03:04.980 We zullen dat zien in andere intuïtieve tutorials. 03:04.980 --> 03:09.630 En dat zien we ook hoe we deze functie gebruiken in de praktijk van de cursus. 03:09.640 --> 03:13.170 En ik zal hier in een paar dia's vanaf nu iets meer over zeggen. 03:13.470 --> 03:18.480 Onthoud dus dat een gelijkrichterfunctie een van de meest gebruikte functies is in kunstmatige neurale netwerken. 03:18.870 --> 03:22.680 En tot slot hebben we nog een functie waar je waarschijnlijk nog van zult horen. 03:22.680 --> 03:24.810 Het is de hyperbolische tangensfunctie. 03:25.110 --> 03:27.060 Het lijkt erg op de sigmoid-functie. 03:27.360 --> 03:32.370 Maar hier gaat de hyperbolische tangensfunctie onder nul. 03:32.370 --> 03:38.940 Dus de waarden gaan van nul naar één of ongeveer twee één en gaan van nul naar min één aan de andere 03:38.940 --> 03:39.300 kant. 03:39.600 --> 03:41.940 En dat kan in sommige toepassingen handig zijn. 03:42.270 --> 03:45.710 We gaan dus niet te diep in op elk van deze functies. 03:45.720 --> 03:51.090 Ik wilde je gewoon met ze kennis laten maken, zodat je weet hoe ze eruit zien en hoe ze heten. 03:51.660 --> 04:00.030 Als je wat extra lectuur wilt krijgen, lees dan deze paper over vijf jaar of wat heb je 04:00.030 --> 04:05.430 agglomeraat genoemd een Deep Spar's Rectifier Neural Networks 2011 paper. 04:05.640 --> 04:14.640 En daar zult u precies ontdekken waarom de gelijkrichtfunctie zo'n waardevolle functie is, waarom het zo populair is om 04:14.880 --> 04:16.050 te gebruiken. 04:16.260 --> 04:20.580 Maar voorlopig hoef je al die dingen niet echt te weten. 04:20.590 --> 04:22.230 Voorlopig hoeven we ze alleen nog maar toe te passen. 04:22.380 --> 04:24.030 We beginnen ze gewoon steeds meer en meer te gebruiken. 04:24.150 --> 04:31.230 Dus als je je op je gemak voelt met de praktische kant van de dingen, dan kun je dit document gaan raadplegen en 04:31.230 --> 04:36.870 dan zul je die kennis veel sneller in je op kunnen nemen en zal het veel logischer zijn. 04:37.320 --> 04:41.610 Maar houd dit in gedachten dat als je er klaar voor bent, als je voelt dat je er klaar voor 04:41.610 --> 04:44.680 bent, je naar dit document kunt gaan en daar waardevolle kennis uit kunt halen. 04:45.450 --> 04:53.040 Dus om het snel samen te vatten, we hebben de drempelactiveringsfunctie, die er zo uitziet, de sigmoid-activeringsfunctie, 04:53.040 --> 04:54.930 die er zo uitziet. 04:55.620 --> 04:59.610 We hebben de gelijkrichterfunctie en we hebben de hyperbolische tangens. 05:00.360 --> 05:06.240 En om deze tutorial af te ronden, laten we snel een paar oefeningen doen, dus we zullen gewoon twee 05:06.240 --> 05:09.060 snelle oefeningen doen om die kennis te laten bezinken. 05:09.090 --> 05:15.120 Dus de eerste is dat we hier een voorbeeld hebben van een neuraal netwerk met slechts één neuron en dan meteen 05:15.120 --> 05:15.780 de uitvoerlaag. 05:16.020 --> 05:21.630 En de vraag is, ervan uitgaande dat uw afhankelijke variabele binair is, dus het is nul één, welke 05:22.020 --> 05:23.660 drempelfunctie zou u gebruiken? 05:23.670 --> 05:31.410 Dus van degenen die we hebben besproken, hebben we de drempelfunctie, de sigmoïde functie, de 05:31.410 --> 05:37.620 gelijkrichterfunctie, en we hebben de hyperbolische tangensfunctie in hun ruwe vorm. 05:37.860 --> 05:42.870 Welke zou je kunnen gebruiken voor een binaire variabele. 05:43.830 --> 05:49.290 OK, dus de antwoorden hier zijn, er zijn twee opties waarmee we dit kunnen aanpakken. 05:49.290 --> 05:55.020 Dus nummer één is de drempelactiveringsfunctie omdat we weten dat het tussen nul en één ligt en het geeft je een 05:55.020 --> 05:58.710 nul om rally's te begrijpen en anders geeft het je een keer. 05:58.710 --> 06:00.030 Het kan je maar twee waarden geven. 06:00.030 --> 06:08.400 Het past perfect, past perfect bij deze eis, en daarom zou je kunnen zeggen dat Y bij sommigen gelijk is aan de 06:09.540 --> 06:13.500 drempelfunctie van je suite en dat is het dan. 06:13.860 --> 06:18.150 En in het tweede geval, die u zou kunnen gebruiken, is de sigmoid-activeringsfunctie. 06:18.330 --> 06:21.660 Het is eigenlijk ook tussen nul en één, precies wat we nodig hebben. 06:21.660 --> 06:25.350 Maar tegelijkertijd wil je gewoon nul één. 06:25.350 --> 06:25.560 Rechts. 06:25.570 --> 06:33.210 Dus jij bent niet precies wat we nodig hebben, maar in dit geval, wat je zou kunnen gebruiken, zoals 06:33.600 --> 06:37.380 de kans dat Y ja of nee is. 06:37.440 --> 06:45.750 Dus we willen dat Y nul één is, maar in plaats daarvan zullen we zeggen dat de sigmoid-functie, een vergelijkbare activeringsfunctie, 06:45.750 --> 06:51.780 ons vertelt of die ons de kans vertelt dat Y gelijk is aan één. 06:51.810 --> 06:58.680 Dus hoe dichter je bij de top komt, hoe waarschijnlijker het is dat dit inderdaad een een of een ja is in plaats 06:58.680 --> 06:59.810 van een nee. 07:00.600 --> 07:01.260 En ja. 07:01.270 --> 07:04.410 Dus dat lijkt erg op de logistische regressiebenadering. 07:04.770 --> 07:07.440 En dat zijn nog maar twee voorbeelden. 07:07.490 --> 07:12.930 En als je een binaire variabele hebt en laten we nu eens kijken naar een andere praktische toepassing, laten we 07:12.930 --> 07:16.880 eens kijken hoe dit allemaal zou uitpakken als we zo'n neuraal netwerk hadden. 07:17.310 --> 07:20.160 Dus in de eerste invoerlaag hebben we enkele invoer. 07:21.000 --> 07:26.010 Ze worden naar onze eerste verborgen laag gestuurd en vervolgens wordt een activeringsfunctie toegepast. 07:26.010 --> 07:30.570 En wat u hier gewoonlijk zou toepassen en wat u tijdens deze cursus zult zien, is dat 07:30.570 --> 07:32.300 we een activeringsfunctie voor gelijkrichters toepassen. 07:32.760 --> 07:34.470 Dus het zou er ongeveer zo uitzien. 07:34.470 --> 07:40.920 We passen de activeringsfunctie van de gelijkrichter toe en van daaruit zouden de signalen worden doorgegeven aan de uitgangslaag 07:40.920 --> 07:46.770 waar de sigmoïde activeringsfunctie zou worden toegepast, en dat zou onze uiteindelijke uitvoer zijn en dat zou 07:46.770 --> 07:48.960 bijvoorbeeld een waarschijnlijkheid kunnen voorspellen. 07:48.990 --> 07:50.940 Dus deze combinatie zal heel gewoon zijn. 07:50.940 --> 07:52.470 We zitten in de verborgen lagen. 07:52.470 --> 07:58.360 We passen de gelijkrichterfunctie toe en in de uitvoer daar passen we de sigmoid-functie toe. 07:58.770 --> 07:59.700 Dus daar gaan we. 07:59.790 --> 08:01.340 Ik hoop dat je genoten hebt van de Dorel van vandaag. 08:01.350 --> 08:06.270 Nu bent u redelijk goed thuis in de vier verschillende soorten activeringsfuncties en zult u 08:06.540 --> 08:08.880 er een aantal praktische ervaring mee opdoen. 08:08.880 --> 08:12.180 Deze cursus zal ze overal gebruiken. 08:12.180 --> 08:16.050 Je zult ze dus heel goed leren kennen en je moet je er goed bij voelen. 08:16.470 --> 08:22.170 Maar voor nu is dit de kennis die je nodig hebt om vooruitgang te boeken en te begrijpen wat er verderop in 08:22.170 --> 08:23.270 deze cursus gaat gebeuren. 08:23.790 --> 08:26.810 En wat dat betreft, ik kijk ernaar uit om je de volgende keer te zien. 08:26.820 --> 08:28.530 Geniet tot die tijd van deep learning.