WEBVTT 00:00.570 --> 00:05.400 Hallo en welkom terug bij de cursus over Deep Learning vandaag, we 00:05.420 --> 00:12.120 hebben het over een RELU die is gerectificeerde Leanyer-eenheden, en dit is een extra stap bovenop onze convolutiestap. 00:12.120 --> 00:13.620 Het is dus geen aparte grote stap. 00:13.620 --> 00:14.520 Het is een kleine stap. 00:14.580 --> 00:15.840 Stap één, eigenlijk. 00:16.140 --> 00:18.150 En wat is hier aan de hand? 00:18.180 --> 00:20.340 Welnu, we hebben ons invoerbeeld. 00:20.340 --> 00:22.830 We hebben onze convolutionele daar, die we hebben besproken. 00:22.830 --> 00:27.060 En dan gaan we daar nog eens op wachten. 00:27.090 --> 00:30.780 Onze favoriete gelijkrichterfunctie. 00:30.990 --> 00:38.280 En je bent bekend met de gelijkrichtfunctie uit het vorige gedeelte over kunstmatige neurale netwerken. 00:38.670 --> 00:48.690 En in onze zo soms autoriserende instructeurs scheiden de convolutie en de gelijkrichter als twee afzonderlijke stappen in onze voorbeelden, 00:48.690 --> 00:55.980 wat ze gaat beschouwen als de enige grote stap voor de convolutie, dan de 00:55.980 --> 00:56.820 gelijkrichter. 00:57.120 --> 01:03.720 En de reden waarom we de gelijkrichter toepassen is omdat we de niet-lineariteit in ons 01:03.720 --> 01:13.380 beeld of in ons netwerk willen vergroten en ons commerciële neurale netwerk en gelijkrichter fungeert als dat filter of toegang tot die 01:13.380 --> 01:15.600 functie die de lineariteit verbreekt. 01:15.720 --> 01:23.580 En de reden waarom we de niet-lineariteit in ons netwerk willen vergroten, is omdat afbeeldingen zelf in hoge mate 01:23.610 --> 01:30.660 niet-lineair zijn, vooral als je verschillende objecten naast elkaar herkent, alleen op de achtergrond en dat soort 01:30.660 --> 01:31.240 dingen. 01:31.250 --> 01:36.330 Zoals de afbeelding veel niet-lineaire elementen zal hebben en de overgang tussen pixels, zullen aangrenzende 01:36.330 --> 01:37.970 pixels vaak niet-lineair zijn. 01:37.980 --> 01:43.380 Dat komt omdat de randen anders zijn, de kleuren anders zijn en er verschillende elementen in je afbeeldingen zitten. 01:43.680 --> 01:50.040 Maar tegelijkertijd, als we wiskundige bewerkingen zoals convolutie toepassen en deze functiedetectie uitvoeren om 01:50.040 --> 01:57.360 onze functiekaarten te maken, lopen we het risico dat we iets lineairs creëren en daarom moeten 01:57.360 --> 01:59.310 we de lineariteit doorbreken. 01:59.880 --> 02:01.520 Laten we dus een voorbeeld bekijken. 02:02.490 --> 02:05.500 Hier is een afbeelding, een originele afbeelding. 02:05.850 --> 02:12.960 Als we nu een functiedetectiedetector toepassen op deze afbeelding, krijgen we zoiets als dit. 02:13.230 --> 02:15.900 Dus je kunt hier zien dat zwart negatief is, wit positieve waarden. 02:15.930 --> 02:22.650 Welnu, als je een kenmerkdetector toepast op een gelijkaardige afbeelding, die niet alleen nullen en enen heeft, maar ook 02:22.650 --> 02:27.330 veel verschillende waarden, en je toepast, zoals we eerder zagen, kenmerkdetectoren kunnen op zichzelf 02:27.480 --> 02:28.850 negatieve waarden hebben. 02:28.950 --> 02:30.600 Soms krijg je negatieve waarden. 02:30.970 --> 02:34.500 En hier zijn zwarte die negatief zijn, witte zijn positief. 02:34.650 --> 02:45.440 En wat een gerectificeerde Leanyer-eenheidsfunctie doet, is dat het al het zwart verwijdert, alles onder nul verandert in 02:45.460 --> 02:46.260 nul. 02:46.410 --> 02:48.360 En zo wordt het hieruit. 02:48.660 --> 02:48.990 Rechts. 02:49.180 --> 02:57.840 En dus is het vrij moeilijk om te zien wat precies het voordeel is in termen van voor in termen van het doorbreken van 02:57.840 --> 02:58.440 lineariteit. 02:59.310 --> 03:00.780 Ik zal het proberen uit te leggen. 03:00.900 --> 03:03.720 Ik zal proberen een voorbeeld op deze afbeelding te laten zien. 03:04.620 --> 03:09.330 Maar aan het eind van de dag is dit een heel wiskundig concept en we zouden veel wiskunde moeten 03:09.330 --> 03:12.410 doen om echt uit te leggen wat er aan de hand is. 03:12.420 --> 03:13.740 Maar laten we het proberen, laten we eens kijken. 03:13.770 --> 03:17.520 Laten we bijvoorbeeld eens kijken naar dit gebouw hier. 03:17.520 --> 03:17.790 Rechts. 03:17.970 --> 03:19.590 Dit is dus een gebouw op zich. 03:20.700 --> 03:24.270 Dan zie je deze schaduw, dit zwarte deel, deze schaduw hier. 03:24.540 --> 03:30.390 Wel, je kunt zien dat het wit is, de weerkaatsing van het licht, en dan is het grijs en dan wordt 03:30.390 --> 03:32.700 het donkerder en dan wordt het weer donkerder. 03:33.230 --> 03:35.820 Dus als we het eruit halen, halen we dat zwarte deel eruit. 03:35.820 --> 03:37.950 Denk er dus over in termen van lineariteit. 03:37.950 --> 03:38.160 Rechts. 03:38.180 --> 03:43.880 Dus het lijkt erop dat wanneer je van wit naar grijs gaat, de volgende stap zwart zou zijn, toch? 03:43.890 --> 03:44.910 De volgende stap zou zwart zijn. 03:44.920 --> 03:49.290 Het is een lineaire progressie van helder naar donker. 03:49.560 --> 03:53.430 En daarom is dit een soort lineaire situatie. 03:53.430 --> 03:55.530 Als je het zwart eruit haalt, verbreek je de lineariteit. 03:56.570 --> 03:57.460 Laten we een andere proberen. 03:57.900 --> 03:58.950 Laten we hier eens kijken. 03:59.070 --> 04:01.910 En tegelijkertijd is het nog steeds datzelfde gebouw, toch? 04:01.920 --> 04:03.720 Het is niet zoals jij bent. 04:04.560 --> 04:08.280 Het is niet alsof je twee gebouwen in elkaar laat overvloeien. 04:08.460 --> 04:09.750 Maar dat is secundair. 04:09.750 --> 04:11.430 Het belangrijkste punt is het doorbreken van de lineariteit. 04:12.120 --> 04:13.040 Dus laten we hier eens kijken. 04:13.050 --> 04:13.500 Hetzelfde. 04:13.500 --> 04:19.080 Dus je ziet wit, grijs, zwart, grijs, wit. 04:19.470 --> 04:22.470 En als je het uit elkaar haalt, heb je dat niet meer, toch? 04:22.470 --> 04:30.240 Je hebt die progressie niet, een geleidelijke progressie die je gewoon hebt als een abrupte verandering en die helpt 04:30.270 --> 04:33.270 om niet-lineariteit in je beeld te introduceren. 04:33.480 --> 04:42.570 Het is dus een heel ruwe uitleg, een beetje zoals op de vingers-uitleg in plaats van technisch. 04:42.570 --> 04:47.310 Maar hopelijk helpt het je een beetje beter te begrijpen waar we het hier over hebben. 04:47.310 --> 04:54.390 Dus ook hier kun je zien dat witgrijs een beter voorbeeld is, zelfs helder, donkerder, donkerder, donkerder, donkerder, donkerder 04:54.390 --> 04:55.390 en donkerder. 04:55.590 --> 04:57.990 Dus dit deel ziet eruit alsof het lineair is. 04:58.170 --> 04:59.190 Dan verdeel je het zo. 05:00.640 --> 05:06.520 Nogmaals, dit is dus een erg ruwe uitleg, niet helemaal perfect, maar het geeft je tenminste een idee van wat 05:06.520 --> 05:08.260 er aan de hand is. 05:08.740 --> 05:13.720 Maar als je meer wilt weten, er is een goed papier, zoals altijd, is altijd een papier. 05:14.110 --> 05:17.560 Deze is van CCJ Cooper van de University of California. 05:17.830 --> 05:22.600 En het heet Convolutional Neural Networks begrijpen die een wiskundig model hebben. 05:23.050 --> 05:25.900 En daar beantwoordt hij eigenlijk vragen. 05:26.320 --> 05:28.770 En je hoeft alleen maar naar de eerste te kijken. 05:28.780 --> 05:34.060 En de vraag is waarom in een niet-lineaire activeringsfunctie essentieel is bij de filteruitgang 05:34.060 --> 05:35.290 van alle tussenlagen. 05:36.130 --> 05:43.090 Dus dat soort uitlegt het in wat meer detail, zowel in termen van intuïtie als vooral in termen van 05:43.090 --> 05:43.720 wiskunde. 05:44.230 --> 05:47.800 Dus dat is een interessant artikel waar je wat meer aanvullende informatie over dit onderwerp kunt krijgen. 05:47.980 --> 05:54.400 En als je er echt in wilt duiken en wat coole dingen hier wilt ontdekken, dan is er nog een ander artikel waarin je 05:54.400 --> 05:55.450 misschien geïnteresseerd bent. 05:55.600 --> 06:02.440 Het heet Delving Deep into Rectifier en overtreft de prestaties op menselijk niveau op het gebied van beeld en die classificatie. 06:02.800 --> 06:09.010 En hier komen auteurs en anderen van Microsoft Research. 06:09.280 --> 06:19.790 Ze stellen een ander type gerectificeerde Leanyer-eenheidsfunctie voor met een voorgestelde parametrische, gecorrigeerde lineaire functie, die je hier 06:19.830 --> 06:21.550 rechts ziet. 06:21.880 --> 06:26.480 En ze beweren dat het betere resultaten oplevert zonder in te boeten aan prestaties. 06:26.620 --> 06:29.970 Dus interessant om te lezen als je wat meer in dit onderwerp wilt duiken. 06:30.340 --> 06:31.760 En dat was alles voor vandaag. 06:31.870 --> 06:37.560 De echte jij-laag is vrij eenvoudig, luchtig om gewoon de gelijkrichtfunctie toe te passen. 06:37.720 --> 06:39.130 En ik kijk ernaar uit om je de volgende keer te zien. 06:39.160 --> 06:40.720 Geniet tot die tijd van deep learning.