WEBVTT 00:00.270 --> 00:02.640 Cześć i witamy z powrotem na kursie głębokiego uczenia się. 00:02.730 --> 00:05.140 W porządku, dziś mówimy o funkcji aktywacji. 00:05.190 --> 00:07.010 Przejdźmy od razu do tego. 00:07.020 --> 00:11.910 Tak więc od tego momentu poprzednio mówiliśmy o strukturze jednego neuronu. 00:12.030 --> 00:16.770 Więc w środku wiemy, że ma pewne wartości wejściowe, które wchodzą w to, że ma 00:17.130 --> 00:23.370 pewne wagi, a następnie dodaje sposób obliczenia sposobu, w jaki niektóre z tych wejść, a następnie zastosować funkcję aktywacji 00:23.370 --> 00:24.690 w kroku 3. 00:24.750 --> 00:30.090 Przekazuje sygnał do następnego roku, a to o tym dzisiaj mówimy, mówimy 00:30.090 --> 00:32.850 o wartości, która ma zostać pominięta. 00:32.850 --> 00:35.970 Więc mówimy o stosowanej funkcji aktywacji. 00:36.390 --> 00:39.270 Jakie więc opcje mamy dla funkcji aktywacji? 00:39.270 --> 00:43.400 Cóż, przyjrzymy się czterem różnym typom funkcji aktywacyjnych, z których można wybierać. 00:43.410 --> 00:47.400 Oczywiście istnieje więcej różnych typów funkcji aktywacji, ale są to te, o których 00:47.400 --> 00:50.390 będziesz słyszeć i których będziemy używać w tym kursie. 00:50.400 --> 00:53.060 Oto funkcja progowa. 00:53.070 --> 00:54.300 Tak to wygląda. 00:54.300 --> 00:59.600 Więc na osi X masz ważone niektóre wejścia na osi Y. 00:59.610 --> 01:07.320 Po prostu znasz wartości od 0 do 1 i zasadniczo funkcje progowe są bardzo prostym 01:07.330 --> 01:14.700 typem funkcji, w której jeśli wartość jest mniejsza od zera, to za darmo. 01:14.730 --> 01:16.680 Dzięki ssion przechodzi na zero. 01:16.890 --> 01:22.940 Jeśli wartość jest większa od zera lub równa zero, funkcja progowa działa na wartość 1. 01:22.940 --> 01:26.910 Jest to w zasadzie coś w rodzaju tak, nie ma funkcji. 01:26.940 --> 01:29.130 Bardzo bardzo proste. 01:29.130 --> 01:33.500 Bardzo rodzaj sztywnego typu funkcji tak lub nie. 01:33.540 --> 01:35.000 Brak innych opcji. 01:35.040 --> 01:35.510 Więc idź. 01:35.510 --> 01:36.210 Tak to działa. 01:36.210 --> 01:37.440 Bardzo prosta funkcja. 01:37.440 --> 01:40.020 Przejdźmy do czegoś nieco bardziej złożonego. 01:40.020 --> 01:48.420 Teraz sigmoid działa bardzo interesującą formułą, którą tutaj widzimy, teraz jest jeden podział na jeden 01:48.420 --> 01:49.940 plus jeden. 01:49.950 --> 01:58.450 Siła minus X, podczas gdy w tym przypadku oczywiście X jest wartością sum sumy. 01:58.590 --> 02:00.540 I tak, tak. 02:00.570 --> 02:02.600 Tak wygląda sigmoid. 02:02.610 --> 02:06.510 Jest to funkcja używana w regresji logistycznej. 02:06.510 --> 02:09.470 Jeśli pamiętasz z kursu uczenia maszynowego. 02:09.540 --> 02:12.000 Więc co jest dobre w tej funkcji, jest to, że jest gładka. 02:12.060 --> 02:14.880 W przeciwieństwie do funkcji wirtualnej. 02:14.970 --> 02:21.720 Ten nie ma tych załamań na swojej krzywej i dlatego jest po prostu ładny i płynny, stopniowy postęp. 02:21.720 --> 02:26.340 Tak więc wszystko poniżej 0 jest tak jak spada poniżej zera. 02:26.340 --> 02:35.590 Działa w przybliżeniu w kierunku jednego, a ta funkcja sigmoidalna jest bardzo użyteczna w końcowej warstwie wyjściowej Lehrena. 02:35.610 --> 02:38.900 Zwłaszcza, gdy próbujesz przewidzieć prawdopodobieństwa. 02:38.910 --> 02:40.820 Zobaczymy to podczas całego kursu. 02:41.190 --> 02:47.370 A teraz mamy prostownik funkcji prostownika, mimo że jego załamanie jest 02:47.370 --> 02:55.090 jedną z najpopularniejszych funkcji dla sztucznych sieci neuronowych, więc idzie aż do zera, to zero. 02:55.110 --> 03:02.460 A potem stamtąd postępuje stopniowo wraz ze wzrostem wartości wejściowej, a zobaczymy, że w trakcie kursu zobaczymy to 03:02.460 --> 03:07.140 w innych ćwiczeniach intuicyjnych, a także zobaczymy, jak wykorzystujemy tę 03:07.140 --> 03:13.020 funkcję w praktycznej stronie kursu i Skomentuję to nieco więcej na kilku slajdach od 03:13.020 --> 03:13.590 teraz. 03:13.590 --> 03:18.970 Pamiętaj tylko, że funkcja bezpośredniego ognia jest jedną z najczęściej używanych funkcji w sztucznych sieciach neuronowych. 03:19.020 --> 03:22.770 I wreszcie mamy jeszcze jedną funkcję, o której zapewne usłyszycie. 03:22.830 --> 03:25.220 Jest to styczna funkcja hiperboliczna. 03:25.260 --> 03:32.760 Jest bardzo podobny do funkcji sigmoid, ale tutaj hiperboliczna styczna funkcja idzie poniżej zera, więc wartości idą od 0 03:32.760 --> 03:39.510 do 1 lub około 2 1 i idą od zera do minus 1 po drugiej stronie. 03:39.750 --> 03:42.360 A to może być przydatne w niektórych aplikacjach. 03:42.390 --> 03:48.060 Więc nie zamierzamy zbytnio zagłębiać się w każdą z tych funkcji, które chciałem wam przybliżyć, 03:48.060 --> 03:51.680 abyście wiedzieli, jak wyglądają i jak się nazywają. 03:51.780 --> 03:59.690 Jeśli chcesz uzyskać dodatkowe czytanie, sprawdź ten artykuł na 75-letniej działce. 03:59.820 --> 04:05.630 Czy często nazywasz się Deep Sparse rektyfikuje sieci neuronowe 2000 papieru. 04:05.790 --> 04:14.700 I tam dowiesz się, dlaczego funkcja prostownika jest tak cenną funkcją, dlaczego jest tak 04:14.970 --> 04:16.300 popularnie używana. 04:16.350 --> 04:20.640 Ale na razie tak naprawdę nie musimy znać wszystkich tych rzeczy. 04:20.650 --> 04:24.240 Na razie zaczniemy je stosować, a zaczniesz z nich korzystać coraz więcej. 04:24.270 --> 04:31.290 Kiedy więc czujesz się komfortowo z praktyczną stroną rzeczy, możesz odnieść się do tego artykułu, a 04:31.290 --> 04:37.140 wtedy będziesz mógł szybciej wchłonąć tę wiedzę i będzie to miało więcej sensu. 04:37.370 --> 04:42.000 Pamiętaj jednak, że gdy będziesz gotowy, gdy poczujesz, że jesteś gotowy, możesz iść 04:42.120 --> 04:45.060 i zbadać papier i zdobyć cenną wiedzę. 04:45.540 --> 04:53.070 Tak więc, aby szybko podsumować, mamy funkcję aktywacji progu, która jest podobna do sigmoidalnej funkcji 04:53.100 --> 04:55.360 aktywacji, która wygląda tak. 04:55.680 --> 05:01.770 Mamy funkcję prostownika i mamy funkcję stycznej hiperbolicznej, a teraz, aby zakończyć ten 05:01.770 --> 05:09.150 samouczek. Szybko zróbmy kilka ćwiczeń, więc po prostu wykonaj dwa szybkie ćwiczenia, aby pomóc tej wiedzy. 05:09.150 --> 05:15.140 Pierwszym z nich jest tutaj przykład sieci neuronowej tylko jednego neuronu i od razu 05:15.160 --> 05:16.030 warstwa wyjściowa. 05:16.140 --> 05:22.620 I pytanie jest przy założeniu, że twoja zależna zmienna jest binarna Więc to jest albo 0 albo 1, której 05:22.620 --> 05:23.780 funkcji progowej użyjesz. 05:23.790 --> 05:31.980 Więc z tych, które omówiliśmy, mamy funkcję progową, funkcja sigmoidowa jest funkcją 05:31.980 --> 05:39.480 prostownika, a my mamy funkcję stycznej hiperbolicznej w jej rolkach, którą 05:39.480 --> 05:43.450 moglibyście użyć dla zmiennej binarnej. 05:43.950 --> 05:44.410 DOBRZE. 05:44.490 --> 05:49.360 Więc odpowiedzi tutaj są dwie opcje, z którymi możemy się do tego podejść. 05:49.380 --> 05:55.790 Tak więc jedna jest funkcją aktywacji progu, ponieważ wiemy, że jest ona między 0 a 1 i daje nam 0 05:55.800 --> 06:00.090 parasoli Andersona, a następnie daje ci to, gdy tylko da ci dwie wartości. 06:00.090 --> 06:10.020 Idealnie pasuje do tego wymogu i dlatego możesz powiedzieć, że równasz się funkcji progowej twojego kołysania 06:10.020 --> 06:13.770 dla niektórych i to jest to. 06:14.010 --> 06:18.450 W drugim przypadku można użyć funkcji aktywacji sigmoidalnej. 06:18.450 --> 06:21.710 W rzeczywistości jest to również od 0 do 1, właśnie to, czego potrzebujemy. 06:21.750 --> 06:29.940 Ale jednocześnie chcesz mieć tylko jedno prawo, więc nie jest dokładnie to, czego potrzebujemy, ale w 06:29.940 --> 06:37.530 tym przypadku możesz go użyć, podobnie jak prawdopodobieństwo, że Y jest tak lub nie. 06:37.530 --> 06:46.170 Tak więc chcemy, żeby Y było 0 1, ale zamiast tego powiemy, że funkcja aktywacji simmo funkcja Simoun mówi 06:46.170 --> 06:51.860 nam, czy powie nam ona o prawdopodobieństwie, że Y jest równe 1. 06:51.870 --> 06:59.130 Więc w zasadzie im bliżej jesteś na szczyt, tym bardziej prawdopodobne, że jest to rzeczywiście jeden lub tak, a 06:59.160 --> 07:00.300 nie nie. 07:00.750 --> 07:04.700 I tak, to bardzo podobne do podejścia regresji logistycznej. 07:04.920 --> 07:07.570 A to tylko dwa przykłady. 07:07.650 --> 07:09.610 Jeśli masz zmienną binarną. 07:10.120 --> 07:12.810 Teraz rzućmy okiem na inną praktyczną aplikację. 07:12.810 --> 07:17.190 Rzućmy okiem na to, jak by to wszystko się potoczyło, gdybyśmy mieli tak naturalnie. 07:17.430 --> 07:20.960 Tak więc w pierwszej warstwie mamy pewne dane wejściowe. 07:20.980 --> 07:26.060 Są wysyłane na naszą pierwszą ukrytą warstwę, a następnie włączana jest funkcja aktywacji. 07:26.070 --> 07:31.380 Zwykle to, co chciałbyś tutaj zastosować, a co zobaczysz w Scorsese, zastosuje funkcję 07:31.410 --> 07:34.510 aktywującą prostownik, żeby wyglądał jak coś takiego. 07:34.530 --> 07:40.980 Stosujemy funkcję aktywacji prostownika, a następnie stamtąd sygnały będą przekazywane do warstwy wyjściowej, gdzie 07:40.980 --> 07:46.820 zostanie zastosowana sigmoidalna funkcja aktywacji i która będzie naszym ostatecznym wynikiem. 07:46.830 --> 07:51.270 A to mogłoby przewidzieć prawdopodobieństwo na przykład, więc ta kombinacja 07:51.600 --> 07:58.640 będzie dość powszechna, gdzie w ukrytych warstwach stosujemy funkcję prostownika, a następnie wyprowadzamy tam funkcję sigmoidalną. 07:58.890 --> 07:59.850 Więc idziemy. 07:59.850 --> 08:05.040 Mam nadzieję, że podoba Ci się ten samouczek, teraz jesteś dobrze obeznany z czterema różnymi typami 08:05.040 --> 08:11.130 funkcji aktywacyjnych, a dostaniesz trochę praktycznych doświadczeń z nimi w trakcie tego kursu będzie ich używać w każdym 08:11.220 --> 08:15.900 miejscu, dzięki czemu poznasz je całkiem blisko i powinieneś być z nimi całkiem 08:15.900 --> 08:16.310 komfortowo. 08:16.530 --> 08:22.230 Ale na razie jest to wiedza, której potrzebujesz, aby robić postępy i zrozumieć, co będzie dalej działo 08:22.250 --> 08:23.600 w tym kursie. 08:23.940 --> 08:26.940 I w tej notatce czekam na ciebie następnym razem. 08:26.940 --> 08:28.560 Do tego czasu cieszcie się nauką.