Hallo und herzlich willkommen zum Kurs über künstliche Intelligenz.
Und heute reden wir von Mark über Entscheidungsprozesse oder M. D ..
Mal sehen, was wir heute haben.
Das letzte Mal haben wir mit dem Konzept einer Karte aufgehört.
Da wir die Werte basierend auf der Belman-Gleichung berechnet haben, können wir diese Karte für unseren Agenten in
diesem Labyrinth ableiten.
Und im Grunde bedeutet das, wo der Agent anfängt, sagen wir, er fängt dort an.
Es weiß genau, welche Schritte er unternehmen muss, um zur Ziellinie zu gelangen, sodass es einfach nach rechts geht.
Richtig und fertig.
Und hier ist die Frage, dass es so ist.
Ist es wirklich so einfach?
Ist das Lernen im Bereich der Verstärkung wirklich so, dass Sie wissen, dass ein besseres Wort langweilig ist?
Es ist ja.
Wenn Sie erst einmal die Mathematik erworben haben, müssen Sie nur noch voll damit arbeiten.
Nun, die Realität ist, dass es nicht so einfach ist.
Und das ist gut so, weil dieser Kurs für uns interessanter wird und wir viel
komplexere Probleme lösen können.
Hier kommt also ein Zeichen eines Prozesses.
Aber zuerst werden wir über zwei Dinge sprechen.
Es geht uns um deterministische Suche gegen nicht deterministische Suche.
Sprechen wir über das Konzept der deterministischen Suche.
Dies ist unser Agent im Labyrinth, und deterministische Suche bedeutet, dass, wenn sich der
Agent entscheidet, nach oben zu gehen, die Wahrscheinlichkeit 100% beträgt.
Genau das wird passieren.
Es gibt keine anderen Möglichkeiten.
Sobald die Meldung "Aufwärts" oder "Aufwärtspfeil" angezeigt wird, wird der Aufwärtspfeil angezeigt.
Es gibt keine anderen Möglichkeiten.
Auf der anderen Seite ist eine nichtdeterministische Suche dann der Fall, wenn unser Agent sagt, dass er aufsteigen will.
Sie sind eigentlich ein paar Optionen.
Zum Beispiel könnte es drei Optionen geben, und wir werden uns ein Beispiel ansehen,
bei dem es drei Optionen gibt, aber es muss keine Beschränkung auf drei geben, bevor es
unterschiedlich sein kann, abhängig von dem Problem, dass die Zufälligkeit unterschiedlich sein kann In unserem Fall könnten es drei Optionen sein, mit
einer 80-prozentigen Chance, dass er steigt.
Aber mit einer 10-prozentigen Chance, wenn er nach oben will, geht er tatsächlich nach links, nur weil.
Denn so funktioniert die Umwelt, in der er lebt.
Und mit einer weiteren 10-prozentigen Chance geht er tatsächlich richtig.
Und in diesem Fall fällt er ins Feuer.
So funktioniert das alles.
Dies ist ein Beispiel für eine nichtdeterministische sichere Suche nach einem stochastischen Prozess, und es geht
darum, ein realistischeres Modell dafür zu erstellen, was in einer realen Welt in einem realen Problem tatsächlich vorkommen könnte, denn in sehr seltenen
Situationen kommt es zu solchen Situationen wenn du etwas tust und es passiert
genau so.
Und selbst wenn Sie in Sachen Spiele darüber nachdenken, nehmen Sie an, Sie haben einen Agenten, der Pac-Man spielt.
Es ist nicht immer so, dass er auf dem Platz steht, wenn er auf dem Platz steht.
Er wird jedes Mal das gleiche exakte Ergebnis erhalten.
Nun, er wird tatsächlich nach oben gehen, aber in einem Fall werden Sie in beiden Fällen von einem Geist nicht gefressen.
Er wird von einem Geist gefressen.
Wie Sie sehen, gibt es einige Zufälligkeiten, denn es hängt davon ab, wie sich die Geister bewegen, und sie bewegen
sich nicht immer auf dieselbe Weise.
Sie fangen nicht immer an denselben Orten an.
Es ist also sehr logisch, dass es ziemlich fair ist, dass es eine Zufälligkeit gibt. Es gibt etwas, das
nicht unter der Kontrolle des Agenten steht. Dies ist nur ein Weg für uns, dies darzustellen,
damit wir lernen, wie wir damit umgehen können und wie eine Belman-Gleichung wirkt sich auf
den gesamten Verstärkungslernprozess aus.
Aber gleichzeitig ist die Zufälligkeit natürlich nicht darauf beschränkt, wenn Sie nach oben gehen, besteht eine 10-prozentige Chance, dass Sie nach rechts
oder vorübergehend gehen und einfach nach links gehen, oder wenn Sie auf eine 10-prozentige Chance gehen, gehen Sie nach rechts oder
links oder Sie ' Es stimmt, es gibt eine 10-prozentige Chance, die nach oben oder unten begrenzt ist, wo Sie
enden werden. Manchmal haben Sie vielleicht ein Problem, das genau ist.
Manchmal sind die Möglichkeiten unterschiedlich.
Manchmal läuft die Zufälligkeit auf etwas anderes hinaus, es könnte wie dieses Beispiel heruntergekocht werden.
Pacman-Geister, die Sie essen, essen Sie nicht oder es läuft auf etwas anderes hinaus.
Zum Beispiel gibt es so etwas wie wenn der Agent Doom spielt und dann gibt es so etwas wie ein
Monster, das ihn in einem Fall erschießen wird, und in anderen Fällen besteht die Wahrscheinlichkeit,
dass wir alle erschossen werden und nicht erschossen werden.
Und so und so etwas, das außerhalb der Kontrolle der Agenten liegt, kann ich nicht vorhersagen.
Dies ist, was wir hier in der nichtdeterministischen Suche modellieren, und hier haben wir zwei neue Konzepte direkt
angegangen: ein Kennzeichen von Prozessen und oder ein Kennzeichen von Prozess und ein Markierungszeichen von Entscheidungsprozess, also lassen Sie uns einen
Blick darauf werfen.
Und Sie wissen, wie sehr es mir nicht gefällt, Definitionen und viel Text zur Seite zu stellen.
Aber in diesem Fall müssen wir das durchgehen.
Schauen wir uns also an, dass ein stochastischer Prozess eine Eigenschaft aufweist.
Ob die bedingte Wahrscheinlichkeitsverteilung zukünftiger Zustände des Prozesses von einem bedingten und einem vergangenen und einem
gegenwärtigen Zustand abhängt, hängt nur vom gegenwärtigen Zustand ab und nicht von der Abfolge der Ereignisse, die diesem vorausgegangen sind.
Ein Prozess mit dieser Eigenschaft wird als Marker bezeichnet.
Sehr komplexe Definition und es ist, als ob Sie ein wenig einführen, widerspricht sich nicht nur sich selbst, sondern fühlt sich
an, als würde sie sich selbst widersprechen, so dass hier eine positive Präsenz von Ihrem Standpunkt abhängig
ist.
Gleichzeitig hängt es jedoch nur vom gegenwärtigen Zustand ab.
Lassen Sie sich also nicht zu sehr verstecken.
Ich werde es in einfachen Worten aufschlüsseln.
Also nicht nur deine Wahl, sondern das Ganze.
Ihre Wahl und die Umgebung, es werden nur die Ergebnisse aller Aktionen, die Sie in dieser Umgebung durchführen, nur davon
abhängen, wo Sie sich gerade befinden.
Es wird nicht davon abhängen, wie Sie dorthin gekommen sind.
Und das ist es.
Das ist also eine Frage der Öffentlichkeit und ein Prozess, der diese Eigenschaft hat, wird als Marktprozess bezeichnet.
Um es in ein Beispiel zu bringen, also wenn Ihr Agent hier ist und wenn er geht, wenn er sich entscheidet zu gehen, könnte er
gehen.
Er könnte in unserem Fall in unserem nichtdeterministischen Suchbeispiel tatsächlich nach links und rechts gehen.
Gut.
Das liegt daran, dass wir diese Stadt in unserer Umgebung
haben.
So könnte eines dieser Dinge passieren.
Aber der Schlüssel hier ist, dass dies ein Zeichen des Prozesses ist, weil es uns egal ist, wie Sie hierher gekommen sind.
Er könnte von oben gekommen sein und hier gelandet sein, er könnte von links gekommen sein und hier oben
könnte man von unten kommen und hier oben enden.
Er hätte gerne 100000 Mal hier gespielt und wäre dann hierher gekommen.
Es ist egal, was vorher passiert ist, sondern nur, in welchem Staat er sich gerade befindet.
Die Wahrscheinlichkeiten, nach links oder rechts oder nach oben zu gehen, sind also immer gleich, wenn er sich jetzt in diesem
Zustand befindet.
Das heißt im Grunde nur, dass es egal ist, was passiert ist, bevor wir jetzt hier sind.
In diesem Zustand befinden Sie sich.
Und vergessen Sie nicht, dass dieser Zustand nicht nur bedeutet, wo er steht.
Der Zustand ist der Zustand des gesamten Agenten in der Umgebung, also gibt es wie Monster rechts oder die Monster
links oder Sie wissen, dass der Geist von oben oder unten kommt, egal in welchem Zustand Sie
sich gerade befinden .
Es spielt keine Rolle, wie Sie dorthin gekommen sind, egal wie und wie es dazu gekommen ist, dass Sie sich in diesem Zustand
befinden.
Was in der Zukunft passieren wird, wird nur von dem Zustand bestimmt, in dem Sie sich jetzt befinden.
Plus die Aktionen, die Sie ergreifen, und natürlich die Zufälligkeit, die darüber gelegt wird.
Das ist also ein Prozessmerkmal und ein Markerentscheidungsprozess oder ein MVP- oder Markerentscheidungsprozess.
Bereitstellung eines mathematischen Rahmens für die Modellierung der Entscheidungsfindung in Situationen, in denen die Ergebnisse
teilweise zufällig und teilweise unter Kontrolle stehen.
So wichtig ist es zu verstehen, dass Kennzeichen von Entscheidungsprozessprozessen unterschiedlich sind und unterschiedliche
Konzeptkennzeichen von Prozess zu Markierungen von Prozessen.
Es gibt so einen mathematischen Rahmen.
Gleichzeitig dachte ich, es sei wichtig, dass wir verstehen, was ein Kennzeichen des Prozesses
ist, weil es meiner Meinung nach immer noch hilfreich ist, um das Markierungszeichen des Entscheidungsprozesses zu verstehen, und daher ist ein
Entscheidungszeichenpunkt vorhanden.
Das ist genau das, was wir bisher besprochen haben, so dass der Agent in dieser
Umgebung lebt, in der er zuvor die Kontrolle hatte und die volle Kontrolle über die Vorgänge hatte, jetzt
aber weniger Kontrolle.
Es kann sich entscheiden, nach oben zu gehen, aber es weiß es tatsächlich.
OK, also wenn ich nach oben gehe, besteht eine Chance für Affen. Ich werde diese Versuche nach oben gehen, und die Chancen gehen nach links, und die Chance wird
nach rechts gehen.
Also ist nicht alles unter Kontrolle.
In dieser Umgebung gibt es einige Zufälligkeiten, und genau dies ist das Kennzeichen des
Entscheidungsprozesses und des Markov-Entscheidungsprozesses, das der Agent verwendet, um zu verstehen, was in dieser Umgebung zu tun
ist.
Wir haben also eine Umgebung mit etwas Toxizität, etwas Zufälligkeit.
Und jetzt muss der Agent wählen, ob er nach links oder rechts gehen soll.
Er muss diese Entscheidung treffen.
Er weiß nicht, was er tun soll.
Und um diese Entscheidung zu treffen, wird ein Rahmen angewendet, der einen Entscheidungsprozess verwendet, um
diese Entscheidung zu treffen, was passieren wird, wo es hingeht.
Im Grunde genommen bezieht sich diese Umgebung, die dieses Problem aufwirft, auf das Entscheidungskennzeichen, also auf
das Framework, das der Agent zur gleichen Zeit verwendet, auf das sich
der Agent in einer Marktentscheidungsprozessumgebung bezieht.
Im Grunde haben wir hier zwei Konzepte, die wir als Prozesskennzeichen haben, ist die Art und Weise, in der diese
Umgebung so gestaltet ist, dass die PA die Arbeit erledigt.
Was von wo aus jetzt passiert, hängt nicht von der Vergangenheit ab.
Zur gleichen Zeit haben wir das Zeichen des Entscheidungsprozesses, das ist der Rahmen, den der
Agent verwenden wird, um diese Umgebung zu lösen.
Und die gute Nachricht ist, dass das Kennzeichen des Entscheidungsprozesses oder dieses Rahmens, über das
wir sprechen, eigentlich nur eine Ergänzung zu unserer Frage der Belman-Gleichung ist, die Belman-Gleichung, aber nur ein bisschen raffinierter.
Schauen wir uns das mal an.
Dies ist unsere bisherige Belman-Gleichung.
Es ist das Maximum aller möglichen Aktionen.
Der Wert eines Zustands ist also das Maximum aller möglichen Aktionen, die Sie in diesem
Zustand ausführen können.
Das Maximum ergibt sich aus der Belohnung, die Sie erhalten würden, wenn Sie diese Aktion in diesem Bundesstaat
durchführen würden, zuzüglich eines Abzinsungsfaktors mal dem Wert des nächsten Bundesstaates.
So hatten wir es bisher.
Nun, da wir in unserem gesamten Prozess einige Zufälligkeiten haben, wird sich dieser Teil ändern, weil wir nicht
wirklich wissen, welcher Zustand enden wird, und wir nicht wissen, was am wichtigsten sein wird, wenn wir
hinaufgehen, wird es sein hoch oder wird links sein wird rechts sein, also müssen wir dies tatsächlich mit dem erwarteten Wert
des nächsten Datums platzieren.
Hier werden wir dies ersetzen, so dass es drei mögliche Zustände gibt, in denen wir enden können.
Und so werden wir das durch einen Wert ersetzen, den der Staat als Primzahl hat.
Dass es eine gute Aussicht hat.
Und dieser Zustand hat einen Wert von uns drei Bryne.
Wir werden also den Zustand, in den wir uns eigentlich einlassen wollen, um 80 Prozent vervielfachen, weil so die
Wahrscheinlichkeit, in diesen Zustand zu kommen, plus die Wahrscheinlichkeit, in diesen Zustand zu gelangen, 10
Prozent plus Menschen ist, die in den Staat kommen Nur unser erwarteter Wert. Wenn wir also aus der Statistik
den erwarteten Wert annehmen, in den Zustand zu gelangen, in den wir hineinkommen, dann ist das ein bisschen wie der Durchschnitt. Was
ist der Durchschnitt von dem, was wir bekommen und dann ersetzen wir das hier.
Dann bekommen wir diese Aggression und sie springt sehr schnell, nur weil es ein großes gibt,
aber wenn Sie es sorgfältig betrachten, werden Sie dasselbe über Max hier Max sehen.
Dann hast du r von S und A R von S und sie haben Gamma, du hast Gamma.
Und dann hast du endlich hier v.
Sie wussten genau, dass es eine deterministische Suche war, und Sie wussten, in welche Zustände Sie geraten.
Jetzt wissen Sie nicht mehr, in welchen Zustand Sie sich seit der Einnahme von V begeben.
Sie nehmen den erwarteten Wert des Zustands an, in dem Sie sich befinden, oder des zukünftigen Zustands, oder Sie nehmen einfach nur
den Durchschnitt dessen, was Sie erreichen werden.
Sie wissen also, dass es eine 30-prozentige Chance von 3 Prozent war, dass es im Prinzip so aussieht, als wäre das Plus dieses Plus durch
drei.
Aber in diesem Fall ist es nicht genau der durchschnittliche Durchschnitt.
Es ist ein gewichteter Durchschnitt wegen der Wahrscheinlichkeiten hier.
Hier haben Sie also die Wahrscheinlichkeit, dass Sie sich in dieser Phase befinden, um als Primetime den Wert von s
prime zu bestimmen und einige dieser Primzahlen zu überqueren, die Sie möglicherweise in denjenigen überführen könnten,
der wir sind.
Genau das, was wir hier drei hatten, eins zwei drei.
Addiere sie auf und multipliziere sie.
Hier gilt das gleiche.
Eins zwei drei.
Multiplizieren Sie sie mit den Wahrscheinlichkeiten und addieren Sie sie.
Und das ist deine neue Belman-Gleichung.
Herzliche Glückwünsche.
Daran werden wir in Zukunft weiter arbeiten.
Und das ist der Rahmen, der in Entscheidungsprozessen verwendet wird, also der, der dies
löst.
Diese Agenten lösten dieses ganze stochastische nichtdeterministische Suchproblem, bei dem zufällige Ereignisse auftreten,
die sie nicht steuern können.
Es ist also viel komplexer.
Aber wie Sie sehen können, haben wir langsam daran gearbeitet.
Nun wissen wir bereits darüber Bescheid.
Es gibt Sorgen darüber.
Wir wissen davon.
Wir wissen was sie sind.
Wir haben also nur diesen Teil hier eingeführt, weil Wahrscheinlichkeiten in der
Handlung involviert sind oder die Konsequenzen Ihrer Handlung auf Nichtdeterministen, die auf Wahrscheinlichkeiten beruhen.
Und so gehen wir hin.
So funktioniert ein Marker des Entscheidungsprozesses und die dahinter stehende Gleichung.
Wieder ist es etwas, das eher den realen Problemen der realen Welt, Sinatras oder
sogar Spielszenarien ähnelt, da nicht alles einfach ist.
Es gibt eine gewisse Zufälligkeit von allen Beteiligten und nicht immer wird eine Aktion in einem bestimmten Zustand durchgeführt.
Nawal führt nicht immer zum gleichen Ergebnis.
Das ist also, was wir in Zukunft tun werden, und das wird die
Dinge interessanter machen.
Hoffentlich freuen Sie sich darauf und sehen, was als nächstes kommt.
Und in der Zwischenzeit habe ich für Sie einen wirklich coolen Artikel gefunden, um sich diese Zeit anzusehen.
Es ist ein sehr angewandtes Papier.
Das hier ist wirklich interessant zu lesen.
Es wird eine Übersicht über die Anwendungen von Mark of Decision Process Proces genannt und wurde 1993 von
White geschrieben.
Es gibt einen Link und ich zeige Ihnen Beispiele, wo Markov-Entscheidungsprozesse tatsächlich verwendet werden, um Sinatras im echten Leben
zu modellieren. Ich glaube, ich war sehr aufgeregt.
Ich war beeindruckt von einigen Beispielen der Bevölkerungsernte.
Nehmen wir also an, Sie haben Fisch und wissen, um welche Fischpopulation Sie sich entscheiden
müssen, wie viele Fische wir in diesem Jahr fischen dürfen.
So ist dein gegenwärtiger Zustand.
Das ist die Aktion, die Sie ergreifen. Wie viele können wir in diesem Jahr gedreht haben.
Was sind also die möglichen Ergebnisse davon?
Wie viele Fische werden wir nächstes Jahr haben?
Wie viele Fische haben wir das Jahr danach und das Jahr danach und so weiter.
Und es ist nicht deterministisch, weil es nicht so ist, wenn Sie es in einer Stunde einnehmen und 90 Prozent der Bevölkerung das
nächste Jahr, in dem Sie wissen, dass Sie zu 100 Prozent wissen, dass es nicht gerade eine Predigt ist.
Es gibt bestimmte zufällige Faktoren, die außerhalb unserer Kontrolle liegen, und daher müssen wir
verstehen, was passiert, wir müssen modellieren, was passieren wird. Dort wird
die Landwirtschaft durch eine Marktentscheidung verarbeitet.
Es gibt ein Beispiel wie das Ernten von Getreide, wie viel Getreide wir ernten, wie viel
Geld wir nicht ernten.
Eine andere, die ich wie eine Versicherungsgesellschaft im Bereich Finanzen und Investitionen betrachtete, muss entscheiden, wie viel Geld
sie in jeden Tag, jedes Jahr oder einen bestimmten Zeitraum investiert und es gibt bestimmte Faktoren, die von
ihm kontrolliert werden.
Sie kennen zum Beispiel die Marktbewegungen, wissen aber nicht, was passieren kann, also muss dies tatsächlich
modelliert werden.
Ein Zeichen dafür, welche Entscheidungsprozesse verwendet werden.
Hier können Sie viele Beispiele sehen.
Und das ist die Anzahl von Beispielen, die ich für jeden einzelnen denke.
Und so kennen Sie auch Sportbeispiele für Sport- und Epidemien sowie Kfz-Versicherungen, Inspektionen, Wartungen und Reparaturen,
es ist auch sehr interessant.
Schau dir das an.
Um Ihnen ein Verständnis für hey zu geben, handelt es sich nicht nur um hypothetische Dinge aus der
Matrix.
Dies ist tatsächlich das Szenario der realen Welt, also werde ich Ihnen ein besseres
Verständnis vermitteln, und darüber haben wir im Werbevideo für die Ergebnisse oder die Beschreibung des Kurses gesprochen,
die Sie und Ihre Intuition dazu inspirieren wird, Ihnen Ideen zu geben wie man KI im wirklichen Leben einsetzt.
Das ist deine Chance.
Sehen Sie sich dieses Dokument an, um es zu verstehen.
OK, also werden wir uns mit dem Entscheidungsprozess befassen.
Das ist wirklich cool, wie sie im wirklichen Leben aussehen, und dies könnte möglicherweise einige Ideen
für Sie auslösen, wie Sie sich in Zukunft bewerben könnten, um die Welt zu einem besseren Ort zu machen, und wir wären darüber sehr
glücklich.
Wir würden uns freuen, wenn Sie das, was Sie in diesem Kurs lernen, nutzen können, um die Welt zu einem besseren Ort zu machen.
Wie fantastisch damit.
In diesem Sinne hoffe ich, dass Ihnen das heutige Tutorial gefallen hat.
Ich freue mich auf ein Wiedersehen.
Und bis dahin genießen Sie AI.