Witam i zapraszam do kursu na temat głębokiego uczenia się. Jest to dodatkowy samouczek mówiący o
funkcjach miękkiej i krzyżowej entropii.
Nie jest to w 100% konieczne, abyś przeszedł przez wszystkie części, przez które przeszliśmy w
głównej części tej sekcji, gdzie mówimy o splotowych sieciach neuronowych, ale jednocześnie myślałem, że
to będzie dobry dodatek do torby wiedzy i zestawu umiejętności.
Więc chodźmy dalej i zagłębić się w te funkcje.
Zacznijmy od tego, co mamy tutaj, to wniosek sieci neuronowej, którą zbudowaliśmy w głównej
części sekcji, a następnie na końcu wyskakuje kilka prawdopodobieństw dla punktu zero dziewięćdziesiąt pięć
dla psa 0. 05 pięć lub 5 procent dla kota.
Biorąc pod uwagę, że zdjęcie po lewej stronie jako dane wejściowe To już po
przeprowadzeniu pociągu, to faktycznie działa i klasyfikuje określony obraz.
Tak więc tutaj pytanie brzmi, w jaki sposób te dwie wartości sumują się do jednego.
Ponieważ o ile wiemy ze wszystkiego, dowiedziałem się o sztucznych sieciach neuronowych, nie ma nic
do powiedzenia, że te dwa ostatnie neurony są ze sobą połączone.
Skąd więc mieliby wiedzieć, jaka jest wartość posiadania, każdy z nich wie, jaka jest
wartość drugiej.
A skąd mają wiedzieć, aby dodać swoje wartości do jednego.
Cóż, odpowiedź brzmi, że nie.
W klasycznej wersji naszej sztucznej sieci neuronowej i jedynym sposobem, w jaki to robią, jest wprowadzenie
specjalnej funkcji zwanej funkcją miękkiego maksimum, aby pomóc nam wyjść z sytuacji.
Więc normalnie, co by się stało, neurony psa i kota miałyby jakiekolwiek prawdziwe wartości, których nie
muszą być, żeby nie musiały ich dodawać.
Ale wtedy zastosowalibyśmy funkcję soft max, która jest tam zapisana u góry i która przyniosłaby
te wartości między 0 a 1 i spowodowałaby dodanie do 1 i 3 PPTA.
Funkcja maksimum miękkiego lub znormalizowana funkcja wykładnicza jest uogólnieniem funkcji logistycznej, która
cytuje squash niecałkowity ma wektor k-wymiarowy dowolnych wartości rzeczywistych do wektora k-wymiarowego rzeczywistych wartości w zakresie od
zera do jednego, który sumuje do 1.
Zasadniczo robi dokładnie to, czego chcemy.
Przynosi wartości od 0 do 1 i upewnij się, że sumują się do 1.
A sposób w jaki działa to to, że jest to możliwe, ponieważ na samym
dole widzimy, że istnieje podsumowanie.
Więc bierze wykładnik i umieszcza go w mocy Zeda i dodaje go do siebie, tak aby każdy miał dwie
klasy.
Wszystkie te wartości.
I tak właśnie dzieje się twoja normalizacja.
Tak działa funkcja Saucebox i ma sens wprowadzenie miękkiej następnej funkcji w
splotowe sieci neuronowe, ponieważ jak dziwne by było, gdybyście mieli możliwe klasy psów i
kotów, a dla klasy psów mielibyście możliwość 80% .
A dla pazurów kota miałeś dobre 45 procent.
To po prostu nie ma sensu i dlatego jest o wiele lepsze, gdy wprowadzasz miękką następną
funkcję i właśnie to dzieje się przez większość czasu w sieciach splotowych i neuronowych.
Drugą rzeczą jest to, że funkcja "miękkiej maksimum" idzie w parze z czymś, co nazywa się funkcją
entropii krzyżowej i jest dla nas bardzo przydatna.
Najpierw przyjrzyjmy się formule.
Tak wygląda funkcja wejścia krzyżowego.
W rzeczywistości będziemy używać innych obliczeń, które będą wykorzystywać tę reprezentację stulecia, ale wyniki są
w zasadzie takie same.
To jest łatwiejsze do obliczenia.
A to, co wiem, może brzmieć zupełnie niezwiązane z niczym w tej chwili tylko formułami na ekranie, ale na
końcu tej sekcji będzie kilka dodatkowych zalecanych lektur, więc nie martw się, jeśli
nie podchodzisz do matematyki.
Jakby nawet nie wyjaśniliśmy teraz matematyki.
Ale chodzi tutaj o to, co jest dobrze przez entropię w całej funkcji entropii.
Pamiętasz, jak poprzednio w sztucznych sieciach neuronowych mieliśmy funkcję zwaną średnią kwadratową funkcją strzałki, którą
wykorzystaliśmy jako funkcję kosztów do oceny naszej naturalnej wydajności.
Naszym celem było zminimalizowanie usługi MSE w celu zoptymalizowania wydajności naszej sieci.
Cóż, to była nasza funkcja kosztowa tam i w splotowych sieciach neuronowych możemy nadal używać MSE, ale
lepszym rozwiązaniem w splotowych sieciach neuronowych po zastosowaniu funkcji miękkiego maksimum okazuje się
funkcja entropii krzyżowej.
A w splotowych sieciach neuronowych, gdy stosuje się funkcje wejścia krzyżowego, a nie koszt zwany funkcją kosztów,
jest nazywany ostatnią funkcją i są one bardzo podobne.
To tylko niewielkie różnice terminologiczne i trochę inne, i to, co mają na myśli.
Ale dla wszystkich celów jest to prawie to samo.
A co się dzieje, ostatnia funkcja jest znowu czymś, co chcemy zminimalizować, aby zmaksymalizować
wydajność naszej sieci.
Zatem przyjrzyjmy się krótkiemu przykładowi, w jaki sposób można zastosować tę funkcję.
Powiedzmy więc, że umieszczamy obraz psa w naszej sieci.
Przewidywana wartość dla psa to 0. 9 i to robi szkolenie, więc wiemy, że znamy etykietę,
która jest psem.
Tak więc wartość predykcyjna 0. 9 prgged wartość dla kota wynosi 0. 1 tutaj mamy etykietę, więc znamy jej
psa, ponieważ jest to trening 0 1 dla psów lub dla kota.
Tak więc w tym przypadku musisz użyć tych liczb, aby wstawić te wartości do swojej formuły dla entropii krzyżowej.
Więc jak to robisz, wartości po lewej idą do słownego cue.
Ten, który znajduje się pod logarytmem po prawej stronie, a wartości z prawej strony, przechodzi
do P, więc ważne jest, aby pamiętać, który z nich idzie, ponieważ jeśli źle
je zrobisz, nie chcesz logarytmu dla wszystko od zerowej wartości i od 1.
Więc po prostu chcesz je podłączyć.
Upewnij się, że podłączasz je w odpowiednie miejsca.
A potem zasadniczo to dodajesz.
Tak właśnie działa cross-wejście i przyjrzymy się właśnie teraz, kiedy przyjrzymy się konkretnemu
krok po kroku przykładowi zastosowania tej funkcji w prawdziwym życiu, i Ill, aby uczynić
więcej sensownym, czym jest Cross entropia i będzie mniej tak.
Moim celem w tym trudu jest sprawić, byś czuł się bardziej komfortowo od wieku średniowiecza, ponieważ
może wydawać się bardzo zawiły i nie ma sensu.
Podobnie jak splotowe sieci neuronowe może wydawać się bardzo skomplikowane i przerażające, ale tak nie jest.
Właśnie o to chodzi.
Więc zastosujmy go, abyśmy wiedzieli, że to nie jest przerażające.
A więc to wszystko.
To również wyjaśni, dlaczego robimy to, dlaczego szukamy różnych funkcji przyczyn.
Tak więc sieć neuronowa, jedna sieć neuronowa, powiedzmy, że mamy dwie sieci
neuronowe, a następnie mijamy obraz psa i wiemy, że to jest pies, a nie kot.
A potem mamy kolejny obraz naszego kota tym razem zwierzęcia i to jest kot nie pies, a tutaj mamy patrzymy
na dziurę, która w rzeczywistości jest psem, a nie kotem.
Jeśli spojrzysz bardzo uważnie.
Chcemy więc zobaczyć, co nasze sieci neuronowe przewidują w pierwszym przypadku.
Sieć neuronowa 1 90 procent pies 10 procent kot poprawny brak numeru sieci do 60 procent pies 40 procent
kot wciąż poprawia gorzej.
Ale poprawne.
Druga opcja pierwsza sieć neuronowa 10 procent cat dog 90 procent cat.
Poprawny.
Wiesz, że ta liczba do 30 procent psa jest o 70 procent gorsza, ale wciąż poprawna.
I wreszcie sieć neuronowa w sieci obrazkowej wygrała 40 procent psów, 60 procent kotów błędnie numeruje sieć
neuronową do 10 procent psów, a 90 procent kotów jest niepoprawna i gorsza.
Tak więc kluczem jest to, że pomimo tego, że obaj ludzie netto źle się złączyli w ciągu ostatnich
trzech obrazów, sieć neuronowa przewyższała sieć neuronową.
Tak więc nawet w tym ostatnim przypadku było to bardzo prawdopodobne, gdyby dawał psu 40% szansy, w przeciwieństwie do sieci neuronowej,
aby dać psu tylko 10% szansy lub sieć neuronowa osiąga lepsze wyniki w
porównaniu z siecią neuronową 2.
Teraz przyjrzymy się funkcjom, które mogą mierzyć wydajność, o której mówiliśmy w pewnym
stopniu.
Więc umieśćmy je w tabeli, żeby istniała sieć neuronowa 1, masz niewłaściwą liczbę.
To jest numer obrazu.
A potem obraz, który masz.
Jaka jest przepowiednia 90 procent szympansów i kotów.
Więc jest kapelusz Marable, a wtedy masz rzeczywistą wartość, więc pies jest poprawny, niepoprawny.
To samo dotyczy obrazu numer dwa i to samo dla minimum trzech i to samo dla sieci neuronowej numer dwa.
Tak więc 60 procent psa utrzymało 40 procent na pierwszym obrazie.
Tak właśnie przewidywał, że krotony nie były kotem.
I tak dalej.
A teraz zobaczmy, jakie błędy możemy faktycznie uzyskać.
Więc jakie błędy możemy obliczyć, aby oszacować wydajność i monitorować wydajność naszych sieci.
Tak więc jeden typ błędu nazywany jest błędem klasyfikacji.
I to jest po prostu pytanie, czy to dobrze, czy nie.
Niezależnie od prawdopodobieństwa, po prostu ZROBILIŚMY PRAWO.
Czy zrobiłeś to dobrze.
Więc w obu przypadkach dla obu sieci neuronowych każdy z nich ma jeden.
Więc tak się nie myli.
Więc jedno z trzech źle zrobiło.
Tak więc 33 procent wskaźnika błędu dla sieci 1 i 30 procent wskaźnika błędu dla sieci neuronowej.
Jako punkt odniesienia z tego punktu widzenia obie sieci neuronowe działają na tym samym poziomie, ale wiemy, że to
nieprawda.
Wiemy, że sieć neuronowa Ikhwan przewyższa sieć neuronową.
Dlatego błąd klasyfikacji nie jest dobrym miernikiem, szczególnie w przypadku różnicy błędów średniej kwadratowej z
powrotem i przez to, że zrobiłem te obliczenia w Excelu. Nie chciałem Cię zanudzać, ale możesz
usiąść i zrób to na papierze lub w Excelu.
Są to bardzo proste obliczenia, po prostu weź sumę kwadratów błędów, a
następnie weź średnią w swoich obserwacjach i to prawie wszystko.
Tak więc dla sieci neuronowej dostaje się 25 procent dla sieci neuronowej 2, a otrzymujesz 71 procentowy wskaźnik błędów, tak
jak widać ten jest bardziej dokładny.
Mówi nam, że prawie jeden ma znacznie niższy poziom błędu niż twoja własna sieć.
A potem ponownie krzyż entropii.
Widzieliśmy wzór, który można również obliczyć, jest to nawet łatwiejsze do obliczenia niż średni błąd
kwadratowy Przekrój przez entropię daje 38% dla sieci neuronowej 1 i 1. 0 6 dla sieci neuronowej 2.
Więc możesz zobaczyć wyniki są nieco inne.
Kiedy patrzysz na nie w ten sposób, gdy spojrzysz na siebie, poznasz obszar minispódniczki i krzyżową entropię oraz
pytanie, dlaczego używałbyś krzyżowej entropii ponad średnią kwadratu błędu to nie tylko rodzaj liczb, które mówią, ale wszystkie te obliczenia miały
pokazać tylko, że to wszystko, co można zrobić, wystarczy, że zrobimy to
na papierze, ale nie jest.
To nie jest bardzo intensywna matematyka.
Są to całkiem proste, proste rzeczy.
Ale pytanie, dlaczego używałeś środków powodujących entropię, oznacza, że jest bardzo dobre
pytanie.
Cieszę się, że zapytałeś, że odpowiedź na to pytanie jest taka, że istnieje kilka zalet krzyżowej entropii ponad średni kwadrat
błędu, które nie są oczywiste.
Tak więc wspomnę o parach, ale inne, więc dam ci znać, gdzie możesz dowiedzieć się więcej.
Więc jednym z nich jest to, że jeśli na przykład jesteś na samym początku swojej propagacji pleców, twoja wartość wyjściowa jest
bardzo, bardzo, bardzo mała, bardzo mała.
Jest więc o wiele mniejsza niż rzeczywista wartość, którą chcesz.
Wtedy na samym początku gradient w twoim wspaniałym i przyzwoitym świecie będzie bardzo niski i nie
będziesz wystarczający.
Bardzo trudno jest, aby sieć neuronowa zaczęła coś robić, zaczęła się przemieszczać i zaczęła dostosowywać te
ciężary, a Movistar zaczął się poruszać we właściwym kierunku.
Podczas gdy używa się czegoś takiego jak entropia krzyżowa, ponieważ ma on w sobie ten
logarytm, to faktycznie pomaga on sieci ocenić nawet mały taki obszar i coś z tym zrobić.
Oto jak o tym pomyśleć.
Powiedzmy, że jest to bardzo intuicyjne podejście.
Pojawi się link do matematyki i możesz uzyskać te szczegóły matematyki bardziej
szczegółowo, ale bardzo intuicyjnie.
Powiedzmy, że lubisz swój wynik, który chcesz.
Jest jeden i teraz jesteś na jednej milionowej jednej.
Dobrze.
0 USD. 00 czy jest jeden, a potem poprawiasz się następnym razem, gdy poprawisz wynik
z jednej milionowej na jedną tysięczną.
I jeśli chodzi o to, jeśli obliczysz kwadrat błędu, po prostu odejmując jeden od drugiego.
Albo w zasadzie w każdym przypadku jesteś Kalka w kwadracie i zobaczysz, że błędy kwadratów, kiedy porównujesz
jeden przypadek z drugim, nie zmieniły się tak bardzo.
Nie ulepszyłeś swojej sieci tak bardzo, gdy patrzysz na środkowy kwadrat.
Ale jeśli patrzysz na krzyżową entropię, ponieważ bierzesz logarytm i porównujesz to do
dzielenia jednego na drugi.
Przekonasz się, że rzeczywiście znacznie poprawiłeś swoją sieć, tak że skoki od miliona do 1000 w
warunkach średniego kwadratu będą bardzo niskie.
To będzie nieistotne i nie będzie.
Nie poprowadzi procesu zwiększania nachylenia ani propagacji pleców we właściwym kierunku.
To wszystko będzie kierowało we właściwym kierunku, ale będzie to jak bardzo powolne prowadzenie,
nie będzie miało wystarczającej mocy, natomiast jeśli zrobisz recross entropii przez entropię, zrozumiesz, że nawet
jeśli są to bardzo małe korekty, które tylko wiesz, robisz niewielka zmiana w wartościach bezwzględnych w kategoriach względnych
to ogromna poprawa.
I zdecydowanie zmierzamy we właściwym kierunku.
Kontynuujmy w ten sposób, aby entropia krzyżowa pomogła twojej sieci neuronowej w uzyskaniu optymalnego stanu jest
lepszym sposobem na uzyskanie sieci neuronowej, aby uzyskać optymalny stan.
Należy jednak pamiętać, że działa to tylko wtedy, gdy jest to entropia, która jest jedynie preferowaną metodą klasyfikacji.
Więc jeśli mówisz o takich regresjach jak te, które mieliśmy w sztucznych sieciach neuronowych, wolałbyś iść
ze mną i do kwadratu błędu, podczas gdy entropia krzyżowa jest lepsza dla klasyfikacji i znowu ma związek
z tym, że używamy miękkiego następna funkcja, więc jest to intuicyjne wyjaśnienie tego dobrego
miejsca, aby dowiedzieć się więcej na ten temat, jeśli naprawdę jesteś zainteresowany, wiesz, dlaczego używamy
błędu krzyżowego w stosunku do średniej kwadratowej.
Google wideo Geoffrey'a Hintona nazwał funkcję miękkiego maksimum, a on wyjaśnia to bardzo dobrze i wiesz, że jest
ojcem chrzestnym głębokiej nauki, który i tak może to wyjaśnić lepiej.
A tak przy okazji, każde wideo Geoffrey'a Hintona jest złote.
Po prostu ma ogromny talent do wyjaśniania rzeczy.
Więc to jest takie miłe w porównaniu z krzyżem i mam nadzieję, że daje to coś w rodzaju intuicyjnego zrozumienia tego, co
się tutaj dzieje.
Ale co ważniejsze, nie zniechęca cię pojęcie cross entropy, ponieważ nagłówek wspomina o tym w praktycznych historiach
i chciałem się upewnić, że jesteś na to przygotowany.
I jest to po prostu inny sposób obliczania twojej ostatniej funkcji.
Innym sposobem optymalizacji sieci, która jest specjalnie dostosowana do problemów klasyfikacji,
a zatem splotowych sieci neuronowych, jest ręka w rękę z funkcją miękkiego maksimum.
Więc dodatkowe czytanie, jeśli chcesz wprowadzić światło do entropii krzyżowej, jeśli interesujesz się koncentratem
nieco bardziej oczywiście.
Dobry artykuł do sprawdzenia nazywa się przyjaznym wprowadzeniem do programu Cross Entropia Strat autorstwa Rob
DePietro 2016.
Oto link poniżej.
Bardzo, bardzo ładne, bardzo miękkie i nic, bez skomplikowanej matematyki.
Dobre analogie, dobre przykłady z wykorzystaniem analogii samochodów, patrzysz na samochody i rozmawiasz o
informacjach, bitach i ograniczeniach i wiesz, jak byś zdekoncentrował to całe Unico, więc jest
to dobry artykuł do zobaczenia, a my damy ci dobry przegląd krzyżowego wejścia, jak z wstępnego
punktu widzenia.
Jeśli chcesz zagłębić się w ciężką matematykę, jak to, co tu widzisz, sprawdź artykuł
lub blog, jak zaimplementować sieć neuronową Intermezzo, więc pod względem użycia jest
jak pośrednia rzecz jak.
Intermittency in.
Wiesz jak, kiedy idziesz do teatru i masz ochotę na przerwę między pierwszą częścią a drugą
częścią.
Więc, ponieważ jest jak przechodzenie przez wszystkie te kroki, a potem jest jak i wtedy mówi, że
najpierw muszę to wyjaśnić.
I tak, dlatego nazywa się to intermezzo.
Nie ma innego powodu, o ile rozumiem artykuły Petera Rolandsa 2016, więc oba są całkiem
nowe.
I wiesz, sprawdź to, jeśli chcesz zagłębić się w matematyce kryjącej się za entropią Krossa za miękkim Maxem i
krzyżową entropią w tym artykule.
Więc idziemy.
To wszystko dla tych dwóch.
Mam nadzieję, że udało mi się dodać trochę dodatkowej klarowności i powodzenia w tym.
Będzie zabawnie i skorzystaj z praktycznych samouczków.
Do zobaczenia następnym razem.
Do tego czasu cieszcie się nauką.