Hallo und herzlich willkommen zum Kurs über künstliche Intelligenz.
Ich hoffe, dass Ihnen der Kurs bisher gefallen hat.
Und heute sprechen wir über Maßnahmen bezüglich der Auswahlrichtlinien.
Alles klar, lass uns gleich hineingehen.
Zuvor haben wir darüber gesprochen, dass wir unser einfaches Lernen um ein neuronales Netzwerk erweitert haben.
Bis jetzt haben wir ein tiefes Lernen.
Wir haben viel über den Lernteil geredet und einige Elemente hinzugefügt.
Und heute reden wir über diesen Teil, über den Schauspielern.
Schauen wir uns das mal an.
Hier haben wir das, was wir über das Handeln besprochen haben, dass, sobald Sie die Werte eingegeben haben, die Parameter der
Vektor sind, der den Zustandsagenten eindeutig in dieser Umgebung beschreibt, das heißt, nachdem das Lernen abgeschlossen ist oder sogar
bevor das Lernen abgeschlossen ist.
Grundsätzlich erhalten wir alle q-Werte. Daher sind wir nicht an dem Lernen interessiert.
Wir bestehen darauf, zu handeln. Wenn wir also diese Schlüsselwerte haben, wissen wir, welche wir verwenden müssen.
Nun, wenn du darüber nachdenkst.
Q-Werte sind einfach Vorhersagen für den Würfel.
Wie beim einfachen Lernalgorithmus haben wir also nur das mit dem besten und dem höchsten
Wert ausgewählt.
Sobald wir denjenigen mit dem höchsten IQ-Wert haben, ergreifen wir diese Maßnahme, weil uns nur der
höchste Wert erzielt wird und wir wissen, dass die unmittelbare Belohnung des Duval-Rechners erwartet wird,
und der DK-Faktor den Wert des nächsten Datums.
Und es ist eine rekursive Berechnung. Warum also nicht, warum sollten Sie nicht den besten
Wert einnehmen?
Aber wie Sie hier sehen können, ist es hier nicht so einfach, dass wir eine Soft Max-Funktion
verwenden. Hier werden wir über die aktuellen Auswahlrichtlinien sprechen.
In der Realität brauchen wir also nicht nur eine Softwarefunktion.
Wir können unterschiedliche Aktionsauswahl-Richtlinien haben. Wir haben beispielsweise Epsilons gierige Epsilon-Soft-Software, und wir haben die weichen
Macs. Diese ähneln den am häufigsten verwendeten Aktionsauswahl-Richtlinien. Natürlich gibt
es andere.
Die einfachste ist zum Beispiel eine sehr einfache Aktion, die einfach die besten auswählt.
Der mit dem höchsten Q-Wert.
Aber warum fliegt dieser Aktionsimpuls nicht und warum gibt es verschiedene Arten von
Aktionsimpuls-Auswahlrichtlinien.
Nun, es kommt alles auf Erkundung statt Ausbeutung an.
Und dies ist der Kern des Verstärkungslernens, da wir bereits ein wenig darüber gesprochen haben, dass Ihr Agent
in einer Umgebung bestimmte Warteschlangenwerte vorhersagen kann, die möglicherweise gut sind, und
es könnte sich als großartig herausstellen, dass diese verfügbar sind und werden gezwungen sein zu erkunden.
Wenn wir zum Beispiel in diesem Fall vorhersagen, dass Q2 das beste ist, dann nimmt Q
To die Aktion an.
Von hier zu Abschnitt 2 und dann bekommt es eine sehr negative Belohnung.
Dann zwingt die Umgebung den Agenten dazu, zu explodieren, denn jetzt wird er lernen, dass ich
dachte, Q2 würde sehr gut sein, aber es stellte sich als sehr schlecht heraus.
Die Ergebnisse sind also nicht sehr schlecht.
Die Netzwerke können sich also aktualisieren, so dass er das nächste Mal in dem Zustand ist, in dem er
wahrscheinlich meine Seele fressen wird.
Sie wissen, wenn es sehr günstig ist, so denken Sie vielleicht, dass es so ist, als würden
Sie ein paar Mal ein paar Strafen oder Strafen brauchen, um zu lernen, dass es um Taten geht.
Aber vielleicht wird er schon bald erfahren, dass ich eine andere Aktion mache und die Handgelenksaktion mache, weil
sie jetzt den besten Wert hat.
Manchmal zwingt die Umgebung den Agenten dazu, andere Aktionen auszuführen, um andere Aktionen zu untersuchen, aber manchmal kann
der Agent feststellen, dass er in einem lokalen Maximum stecken bleibt. Er könnte durch seine anfängliche Erkundung hindurchgehen und fand
heraus, dass dies eine ziemlich coole Aktion ist Ich werde gleich hier gehen.
Und diese d'esprit-Kollektion.
Aber das Problem ist, dass es der Meinung ist, dass es die beste Aktion ist, einfach weil
es nicht erkundet wurde, ob es um seine Nase geht oder wenn Sie nach links gehen, um nach
rechts zu gehen irgendwie wie voreingenommen gegenüber dieser Handlung und denken, dass eine gute
Handlung weiter andauert, sie wird weitergehen.
Er wird weitermachen, wird tatsächlich eine gute Belohnung bekommen.
Aber was wäre, wenn diese Aktion noch besser gewesen wäre, wenn diese Aktion so viel besser
gewesen wäre, wenn sie von dieser Aktion gewusst hätte, dann würde
sie tatsächlich zu dieser Aktion wechseln verstärkt werden
Dies wird sich immer weiter verstärken, oder die Gewalt wird es verstärken, dass dies eine
gute Maßnahme ist, um dies fortzusetzen.
Aber in Wirklichkeit ist es so, dass es diese andere Aktion gibt, die noch nicht gefunden wurde oder noch nicht erforscht wurde.
Das wäre viel besser gewesen.
Was wir also tun wollen, ist, dass wir eine tatsächliche Auswahlpolitik vorlegen wollen, die es unserem Agenten erlaubt, nicht in
einem lokalen Maximum zu stecken.
Ja, es ist wichtig für Sie, dass Sie die guten Aktionen, die der Teil der Ausbeutung sind, weiterführen.
Wir werden das, was wir gefunden haben, nicht ausnutzen.
Aber gleichzeitig wollen wir immer noch erforschen, wir wollen nie aufhören zu erforschen, wie im Leben Sie nie aufhören wollen zu
lernen, dass Sie aufhören zu lernen, dass Sie sterben.
Das sind Dinge wie das, wenn Sie nicht wachsen, sterben Sie oder etwas ist so, dass Sie weiter lernen
möchten und Ihr Agent möchte weiter lernen.
An dieser Stelle kommen diese Richtlinien zur Auswahl der Maßnahmen ins Spiel.
Wir haben drei von Ihnen hier aufgelistet, so dass der erste von Epsilon gierig ist. Es ist ein sehr
einfaches, es klingt ziemlich komplex in dem Sinne, als hätte es einen coolen Namen und normalerweise Dinge mit chirurgischen Namen.
Es ist eigentlich nicht so.
Im Grunde ist es also so, dass es denjenigen mit dem besten Q-Wert und Epsilon wie Epsilon auswählt,
den Sie an anderen Orten hören können.
In diesem Fall verwenden wir es daher, um zu glätten, so dass unsere Al-Q-Werte zu den Verkäufen wie
die mit dem höchsten Q-Wert sind, mit Ausnahme des Prozentsatzes von Epsilon.
Wenn Sie beispielsweise epsilon auf 10 Prozent setzen, gehen Sie zu oder 0. Mehr als 10 Prozent der Zeit, zu
der die Aktion zufällig ausgewählt wird.
In 90 Prozent der Fälle werden Sie immer noch die beste Aktion basierend auf dem höchsten Wert auswählen.
Aber in zehn Prozent der Fälle wird eine zufällige Aktion ausgewählt.
Einheitlich ist es absolut zufällig eine Aktion oder wenn Sie Epsilon
auf Null Punkt fünf für 0. 05 Das bedeutet, dass der Agent in 95 Prozent der Fälle die Aktion mit dem
höchsten Wert durchführt.
Aber in fünf Prozent der Fälle wird es immer noch eine zufällige Aktion sein.
Es wird also rausgehen und erforschen.
Epsilon's soft ist also sehr ähnlich der Art, warum es FCL
gierig heißt, denn dann wählt man gierig die gute Action aus, abgesehen von dieser kleinen Episode.
Einen Teil der Zeit.
Je niedriger der EPS-Deal ist, desto niedriger wird der Lepp Epsilon, je schmieriger Sie die Art der Aktion
auswählen, die die optimale Aktion ist, und je weniger Sie verlassen, desto weniger Chancen haben Sie zur Erkundung.
Epsilons Soft ist das Gegenteil.
Im Grunde wählen Sie nach dem Zufallsprinzip einen Epsilon-Cent aus.
Also wenn Sie Epsilons wie 0. 1 bis 10 Prozent, dann nur 10 Prozent der Zeit, in der Sie diese Aktion durchführen.
Und in 90 Prozent der Fälle wählen Sie eine zufällige Aktion aus.
Also, sehr einfache, nur invertierte Algorithmen und ein sanfter Max ist ein bisschen wie der nächste Schritt von oder es ist
eine fortgeschrittenere Version, die ich über Epsilon des epsilon gierigen Algorithmus sagen würde, obwohl beide einen Vorteil
haben und beide einen Platz haben.
Wir werden die Selbstfinanzierung in unserer Codierung für unsere praktischen Dinge verwenden.
Das ist es, worüber wir etwas mehr über Soft Max sprechen werden.
Schauen wir uns das mal an.
Lassen Sie uns hoffentlich zu Ihrem nächsten weitergehen.
Es ist ziemlich klar, dass Ebsen ein ziemlich einfacher Algorithmus ist.
Wählen Sie diese aus.
Die meiste Zeit, außer manchmal zu erkunden.
Und jetzt sehen wir auch, warum es wichtig ist, diese Untersuchung durchzuführen, damit
wir in unserem Optimierungsprozess nicht zu lokalen Höchstwerten kommen.
Am Ende des Kurses gibt es ein Tutorial über weiche Marken.
Ich denke, es ist ein Anhang Nummer zwei, in dem wir über das Konzept von Maxim sprechen, weil Sie hier ein
wenig auffrischen. Wir sprechen hier über neuronale Netzwerke und übrigens werden wir alle über Konvolution
berichten.
In diesem Abschnitt werden nicht die neuronalen Netzwerke der Evolution behandelt.
Natürlich verwenden wir in diesem Abschnitt immer noch einen Vektor.
Aber im nächsten Abschnitt des Kurses, wenn wir eine KI für Doom entwickeln, werden wir ein konvolutionäres neuronales
Netzwerk verwenden, sodass es für Sie von Vorteil sein könnte, in relationalen neuronalen Netzwerken nachzuschauen
und dann ein Selbstmaximum zu erreichen Funktion oder Sie können etwas mehr über Soft Max lernen.
Danach nimmst du die konvolutionellen neuronalen Netzwerke und natürlich später.
Aber hier ist eine kurze Auffrischung. Hier haben wir unser konvolutionelles neuronales Netzwerk, das entscheidet, ob es sich um einen Hund oder
eine Katze handelt.
Hier haben wir also den Abstimmungsprozess zwischen diesen Neuronen, und dieser sagt,
dass es sich um die Funktionen handelt, mit denen Sie die flauschigen Ohren kennen Augen
sehen all diese Merkmale, die zu einem Hund gehören.
Es ist also eine 95-prozentige Chance, dass es sich um einen Hund handelt, und die 5-prozentige Chance, dass es sich um eine Katze handelt.
Aber die Frage ist, wie wir zu diesem Tauriel gekommen sind. Wir reden darüber, wie wir diese Werte zu
einem addieren können.
Was auch immer die Faltung aller unserer neuronalen Netze ist, das Faltungsneuralnetzwerk und die vollständig verbundenen
Lares, egal was es ist, egal welche Werte wir für die Soft Max-Funktion
verwenden.
Hier haben wir die Formel für die Soft-Next-Funktion eingeführt.
Sieht es so aus.
Und dann haben wir diese Werte bekommen.
Und im Grunde ist das eine schnelle Auffrischung.
Dies ist die Formel für das weiche Max.
Es ist das, was es tut, es braucht, egal wie viele Ausgaben Sie haben, spielt keine Rolle.
Es wird sie brauchen und sie werden alle in Werte zwischen 0 und 1 zerquetschen, unabhängig davon, wie groß sie sind. Nur
für mich kann man sehen, dass es eine Gesamtsumme an der Unterseite gibt, so dass diese Geräte
gleich Null sind.
Und auch all diese Werte werden sich immer zu einem summieren.
Das ist also für uns sehr vorteilhaft, denn wenn wir die Soft Max-Funktion verwenden, erhalten wir
diese Werte und wählen diesen besten Ansichtswert aus.
In Wirklichkeit sind diese Werte jedoch die richtigen Zahlen.
Das ist also eine Art Zahlen.
Sie müssen nicht alle zu eins addieren und müssen nicht zwischen 0 und 1 liegen.
Nur ein paar Zahlen.
Wenn wir jedoch Soft Max anwenden, wählen wir nicht einfach die beste aus, die wir tatsächlich
bekommen. Wir bekommen also Zahlen im Bereich zwischen 0 und 1, und das ist auch eine Summe von 1.
Was also wissen wir noch, das ergibt eins.
Wahrscheinlich wissen wir, dass Wahrscheinlichkeiten immer 1 ergeben müssen. Deshalb können wir hier sagen, dass
wir q Werte haben, aber plötzlich sind wir weich oder haben Wahrscheinlichkeiten.
Wir können also sagen, dass die Wahrscheinlichkeit, dass dies die beste Aktion ist, bei 90 Prozent liegt.
Dieser lesbische Teil 5 Prozent 2 Prozent 3 Prozent, weil wir wissen, je höher der Wert, desto besser
die Aktion.
Wenn wir sie also auf 0 zu 1 zerquetschen, werden diese zu Möglichkeiten und wir können sie als solche behandeln.
Und deshalb ist es jetzt, wenn die Aktion ausgewählt wird und so kommen wir zu Q2.
Aber wenn Sie es genau betrachten, ist dies nicht ein striktes 100-prozentiges Ergebnis, und dies sind keine 0% bei Saroo.
Das sind also 5 bis 3 Prozent.
Der natürlichste Weg, den Soft Max anzuwenden, um die Exploration im Algorithmus zu bewahren, besteht darin, diese genauen Wahrscheinlichkeiten als
die Häufigkeit zu verwenden, in der wir diese Aktion ausführen.
Diese Wahrscheinlichkeiten stellen also tatsächlich die Verteilung dieser Aktionen dar, die wir ergreifen. Im Grunde genommen macht Max
uns sehr leicht, einen Weg zu finden, um Ausbeutung und Erkundung zu kombinieren.
Die beste, die beste Aktion wird also immer die hohe Wahrscheinlichkeit haben, weil sie den höchsten Q-Wert hat. Deshalb
werden wir diese hier nur als unsere Distribution verwenden, oder wir werden sagen, okay,
wir nehmen es an Q2 90% der Zeit, aber 5% der Zeit, in der wir noch Q1 nehmen
können, und 2% der Zeit, die wir auf 3 und 3% der Zeit, in der wir Q4 nehmen werden.
Das Schöne an dieser Sache ist auch, dass sich diese Werte mit dem Aktualisieren des Agenten immer
mehr mit der Umgebung vertraut machen, und wenn der Agent das Netzwerk immer mehr durchläuft, werden die Änderungen mit der Umgebung vertraut. Daher werden diese
Aktualisierungen möglicherweise so, dass dieser Wert möglicherweise so aussieht, als ob er dies feststellen könnte Dieser Wert ist tatsächlich geringer
oder der Wert ist höher, und diese Wahrscheinlichkeiten ändern sich auch, wenn ein Agent durchgeht.
Auch wenn wir hier Choo-Choo haben.
Niemand soll sagen, dass manchmal fünf Prozent der Zeit, um genauer zu sein, wir Q1 als die zu wählende
Aktion auswählen, und manchmal oder Aktion 1 werden die ersten Maßnahmen ergriffen.
Manchmal werden Maßnahmen durch zwei Maßnahmen ergriffen, zwei Prozent der Zeit, und Maßnahmen erfordern
etwa drei Prozent.
Jede Aktion hat also eine Chance, in diesem Prozess zu spielen, solange der Agent genügend Iterationen hat,
durchläuft dieser Agent viele Male durch diese Zustände.
Und so funktioniert jeder Algorithmus des tiefen Lernens, den Sie so oft machen möchten,
dass Sie aus Erfahrung lernen und wie Sie hier sehen können, ist dies ein
sehr natürlicher Übergang.
Wir sind nicht einfach zufällig wie ein Epson-Angry-Algorithmus und wählen nicht einfach zufällig die Aktionen aus, die wir
anhand ihrer Soft Max-Werte auswählen, was dazu führt, dass es eine gewisse Logik hat, nicht nur die zufälligen 10 Prozent
der Mal wählen wir eine zufällige Aktion aus, aber es gibt eine Logik dahinter,
wie wir sie ausführen und basierend auf den Schlüsselwerten, die wir untersucht haben.
Das ist also die Aktionsauswahlrichtlinie, die wir in diesem Kurs verwenden werden.
Sie können Ebbs gierigen Action-Bereich Polsce auf jeden Fall besuchen, wenn Sie möchten,
aber wir werden überwiegend die Soft Max-Action-Richtlinien anwenden, und ich habe eine interessante Lektüre für
Sie.
Dies wird adaptive Epsilon-gierige Erkundung im Bereich des Verstärkungslernens basierend auf
Wertunterschieden genannt.
Und es ist interessant, weil Mike Michel nicht sicher ist, wie Michelle auszusprechen ist. Miquel führt
einen anderen Typ von Algrens und angepassten Epsilon-Gieralgorithmus ein und nennt den VDB-VDB-Algorithmus oder den epsilon-gierigen VDB-Algorithmus,
den Sie hier sehen können.
Und er vergleicht im Vergleich zu Ebsens gierigem und weichem Max und es ist
ein absolut gieriger Algorithmus, der im Grunde die Hauptidee dahinter ist, den Wert von epsilon abhängig von dem Zustand des Agenten
anzupassen.
Wenn der Agent also sehr sicher ist, was den Zustand in dem Zustand angeht, sollte Epsilon kleiner
sein, so dass bei einer Beantwortung des Agenten weniger Explorationen erforderlich sein sollten.
Es ist also ein Artikel aus dem Jahr 2010.
Ich bin mir nicht sicher, ob dieser neu vorgeschlagene Algorithmus weit verbreitet ist oder von der Community akzeptiert
wird oder ob künstliche Zeiten irgendwie von diesem Vorschlag abweichen.
Aber es wird Ihnen auf jeden Fall dabei helfen, Ihr Wissen über die Richtlinien zur Aktionsauswahl zu vertiefen. Wir
besprachen die Epsom Ingredion. Die Soft-Naxal-Hilfe hilft Ihnen, Ihnen die
Möglichkeit zu geben, den Standort von Subha zu zwingen und zu sehen, in welche Richtung die
Menschen tatsächlich denken, wenn sie die künstliche Intelligenz verbessern möchten Wenn Sie also jemals wirklich interessante Algorithmen entwickeln möchten, die den
Rand der künstlichen Intelligenz von Elche und den Rahmen in diesem Bereich vorantreiben, könnte dies ein
guter Weg für Sie sein, um zu sehen, in welche Richtung die Leute manchmal denken, wenn sie es versuchen die Normen der künstlichen Intelligenz
oder die Normen zu verbessern, die damals im Jahr 2010 existierten.
Also los geht's.
Hoffentlich hat Ihnen das heutige Tutorial über die Aktionsauswahlregeln gefallen und wir haben etwas über
das abseilgierige Epson Salt und die weichen Macs erfahren. Jetzt sind Sie noch mehr auf die praktische Seite vorbereitet.
Und in diesem Sinne freue ich mich auf Ihren nächsten Schritt.
Und bis dahin genießen Sie AI.