Hallo und herzlich willkommen zurück, natürlich zum tiefen Lernen heute sprechen wir über den Kostic-Gefälle-Abstieg.
Zuvor hatten wir etwas über den Gradientenabstieg erfahren und fanden heraus, dass dies eine sehr effiziente Methode ist,
um unser Optimierungsproblem zu lösen, wenn wir versuchen, die Kostenfunktion zu minimieren.
Es dauert im Wesentlichen 10 bis 57 Jahre, um ein Problem innerhalb von Minuten oder Stunden oder innerhalb eines Tages
zu lösen.
Und es hilft wirklich, die Dinge zu beschleunigen, weil wir sehen können, in welche Richtung es bergab geht, und wir können einfach
in diese Richtung gehen und Schritte machen und schneller auf das Minimum kommen.
Beim Stick mit Gradientenabstieg ist es jedoch wichtig, dass die Kostenfunktion konvex sein
muss.
Und wie Sie hier sehen können, haben wir speziell eine konvexe Kostenfunktion ausgewählt. Konvex bedeutet im Wesentlichen, dass
die Funktion dem, was wir jetzt sehen, ähnlich aussieht, als ob es sich nur um eine Richtung in eine Richtung
handelt und das im Wesentlichen ein globales Minimum hat.
Und das ist das, was wir finden werden.
Was aber, wenn unsere Funktion nicht konvex ist.
Was ist, wenn unsere Kostenfunktion nicht korrekt ist.
Was ist, wenn es ungefähr so aussieht.
Zunächst einmal, wie konnte das passieren.
Nun, das könnte passieren, wenn wir zuerst eine Kostenfunktion wählen, die nicht der quadratische Unterschied zwischen warum
und warum ist oder ob wir die Kostenfunktion wählen, die so ist.
In einem mehrdimensionalen Raum kann es dann tatsächlich zu etwas werden, das nicht konvex ist.
Und was würde in diesem Fall passieren, wenn wir einfach versuchen würden, unsere normale Gradientenmethode anzuwenden, könnte so
etwas passieren.
Wir könnten ein lokales Minimum der Kostenfunktion anstelle des globalen finden.
Das war also das beste und wir haben das falsche gefunden und deshalb haben wir nicht das richtige Gewicht.
Wir haben kein optimiertes neuronales Netzwerk.
Wir haben ein subparales neuronales Netzwerk.
Und was machen wir in diesem Fall?
Nun, die Antwort hier ist stochastisch.
Gradientenabstieg.
Es stellt sich heraus, dass der sarkastische Gradientenabstieg nicht erforderlich ist, damit die Ursachenfunktion konvex ist.
Schauen wir uns also die beiden Unterschiede zwischen dem normalen Gradientenabfall, über den wir gesprochen haben, und
dem stochastischen Bereich an.
Normaler grüner Abstieg ist also, wenn wir alle unsere Zeilen aufnehmen, stecken wir sie in unser neuronales
Netzwerk und wieder haben wir das neuronale Netzwerk mehrmals kopiert, aber die Zeilen werden jedes Mal
in dasselbe neuronale Netzwerk eingefügt.
Es gibt also nur einen einjährigen Trick, der nur zu Kissels Handlungszwecken dient.
Und wenn wir sie dann eingesteckt haben, haben wir unsere
Kostenfunktion basierend auf der Formel rechts berechnet und unten auf das Diagramm geschaut. Anschließend
stellen wir die Gewichte ein. Dann wird dies als Gradientenabstiegsmethode bezeichnet diese Batch-Gradientenabstiegsmethode.
Also nehmen wir die gesamte Charge aus unserer Probe, wenden sie an und führen dann aus, dass die stochastische
Gradientenabstiegsmethode etwas anders ist.
Hier nehmen wir die Reihen nacheinander, also nehmen wir diese Reihe, arbeiten unser neuronales Netzwerk und passen dann die
Gewichte an.
Dann gehen wir zur zweiten Reihe und nehmen die zweite Reihe, in der wir unser neuronales Netzwerk betreiben.
Wir schauen uns die Kostenfunktion an und passen die Gewichte erneut an. Dann nehmen wir eine weitere Rohtak-Rose. Wir betreiben
unser neuronales Netzwerk. Wir werden die Kostenfunktion betrachten, mit der wir das Gewicht anpassen.
Im Grunde betrachten wir also, dass wir die Gewichte nach jeder einzelnen Reihe anpassen, anstatt alles zusammen zu
tun und dann zwei verschiedene Ansätze zu testen.
Und jetzt werden wir die beiden nebeneinander vergleichen.
Hier also, wie sie sich visuell an sie erinnern.
Sie haben also den besten Gradientenabstieg, bei dem Sie die Gewichte anpassen, nachdem Sie sie ausgeführt haben, nachdem Sie
alle Zeilen in Ihrem neuronalen Netzwerk ausgeführt haben, und dann im Grunde nur die Gewichte und Sie
die Iteration durchlaufen In der sechsten Klasse im Dezember laufen Sie jeweils eine Reihe
und stellen die Gewichte genau so ein, wie es nur die Gewichte sind. Dann machen Sie alles
wieder und wieder und das nennt man Diskussion.
Sie sagten, dass die beiden Hauptunterschiede darin bestehen, dass die sarkastische
Gradientenabstiegsmethode Ihnen hilft, das Problem zu vermeiden, bei dem Sie lokale Extremwerte oder lokale Minimums anstelle des globalen Gesamtminimums
finden.
Der Grund dafür ist in einfachen Worten, dass es Videos der stochastischen Gradientenabstiegsmethode gibt, die viel höhere
Schwankungen aufweisen, weil sie sich diese leisten können.
Es wird jeweils eine Iteration oder eine Zeile ausgeführt, und daher sind die Schwankungen viel
höher und es ist wahrscheinlicher, dass das globale Minimum und nicht nur das lokale Minimum ermittelt wird.
Und das andere an dem sarkastischen Gefälle-Abstieg halte ich für einen schlechten Gefälle. Es ist wie der erste
Eindruck, den Sie vielleicht haben, ist, dass es immer langsamer wird, aber tatsächlich
ist es schneller, weil es so ist Sie müssen nicht alle Daten in den Speicher laden und ausführen und
warten, bis alle diese Regeln in Kraft sind.
Sie können einfach nacheinander rollen, so dass ein viel leichter Algorithmus
in diesem Sinne viel schneller ist, obwohl er weitaus mehr in diesem Sinne hat, da er mehr Vorteile gegenüber den schlechten hat.
Gradientenabstiegsmethode.
Der Hauptvorteil einer Domäne wie der schlechten Gradientenabstiegsmethode besteht darin, dass es sich um
einen deterministischen Algorithmus oder um einen anderen Gradient handelt als um einen sarkastischen Algorithmus, dh
es ist zufällig und der beste Gradient und die beste Methode, solange Sie dies tun gleiche Startgewichte für Ihr
neuronales Netzwerk.
Jedes Mal, wenn Sie die Batch-Gradienten-Abstiegsmethode ausführen, erhalten Sie dieselben Iterationen und dieselben Ergebnisse, während
Ihre Gewichte aktualisiert werden, damit wir sie für die sarkastische Gradientenmethode verwenden können.
Sie werden das nicht verstehen, weil es sich um eine stochastische Methode handelt, die Sie möglicherweise zufällig
auswählen und Ihr neuronales Netzwerk sarkastisch aktualisieren. Daher werden Sie jedes Mal, wenn Sie die Kategorie als
anständige Methode ausführen Selbst wenn Sie am Anfang die gleichen Gewichte
haben, werden Sie einen anderen Prozess und verschiedene Iterationen haben, um dorthin zu gelangen.
Das ist also in aller Kürze das, worauf man abzielen und abwehren sollte. Es gibt auch eine Methode zwischen
den beiden, die sogenannte Mini-Batch-Gradienten-Abstiegsmethode, bei der Sie die beiden kombinieren und grundsätzlich ausgeführt werden, anstatt
einen ganzen Stapel von Läufen nacheinander auszuführen.
Sie führen Stapel von Zeilen aus, vielleicht 5 10 100, aber für viele Zeilen legen Sie fest, dass Sie diese Anzahl von Zeilen
gleichzeitig ausführen, und dann aktualisieren Sie Ihre einzelnen Ziffern und so weiter.
Wenn Sie mehr über Gradientenabstieg erfahren möchten, gibt es einen
großartigen Artikel, den Sie sich ansehen können.
Es wird ein neuronales Netzwerk in 13 Zeilen von Python-Partien genannt, das von Andrew Trask großartig ist und von den
untenstehenden Links abgerufen wird. Es ist ein guter Artikel, der sehr gut geschrieben ist und sehr einfache Begriffe enthält.
Es hat einige interessante philosophische oder einfach nur interessante Gedanken darüber, wie man grünes anständiges Wasser anwendet, man kennt Vor- und
Nachteile und wie man in bestimmten Situationen vorgeht, so dass man sehr coole Tipps
und Tricks bekommen kann.
Sehr einfach zu lesen, überprüfen Sie das auf jeden Fall.
Und noch ein bisschen schwerer lesen.
Für diejenigen unter Ihnen, die sich für Mathematik interessieren und warum der Mathematik auf den Grund gehen wollen.
Der Gradientenabstieg ist so spezifisch.
Was sind die Formeln, die die Bewertungen beeinflussen? Und wie wird es berechnet und so weiter.
Schauen Sie sich den Artikel oder das Buch an.
Es ist ein kostenloses Online-Buch mit dem Namen Neuronale Netze und tiefes Lernen von Michael Nielsen 2015.
Es ist im Grunde nur alles online, was Sie dort machen können.
Und wieder eine sehr sanfte Einführung in die Mathematik.
Aber für eine Mutter ist die Mathematik aber die Mathematik ziemlich schwer, während Sie den Artikel
durchlesen.
Aber gleichzeitig bringt es dich in die Stimmung, die ich glaube, du hast wie ein
Aufwärmkapitel, in dem du zuerst die Mathematik aufwärmst und dann springst du
in.
Und so geht es also auf den Punkt, der Unterschied zwischen Graney-Sinn, um den
Gradientenabfall zu beeinflussen, und wie man arbeitet.
Und in dieser Hinsicht werden wir heute zusammenarbeiten, sagte Tauriel.
Ich freue mich darauf, Sie beim nächsten Mal zu sehen.
Und bis dahin tiefes Lernen genießen.