Hallo en welkom terug bij de cursus over kunstmatige intelligentie.
Vandaag gaan we het hebben over de bellman-vergelijking.
Het is een vrij complex onderwerp en we gaan het stap voor stap introduceren in dit hele
gedeelte van de cursus.
Dus we gaan niet meteen meteen naar de meest complexe versie van de Bellman-vergelijking.
Maar in plaats daarvan gaan we het langzaam introduceren om geleidelijk te begrijpen hoe het werkt.
En ik hoop dat je cool bent met die aanpak.
Als dat zo is, laten we er dan meteen op ingaan.
Dus we gaan een paar sleutelconcepten hebben.
Gaan we ermee aan de slag en deze begrippen staan voor staat.
Dus de staat waarin onze agent zich bevindt of elke andere mogelijke staat waarin hij een kan zijn, vertegenwoordigt een
actie die een agent kan ondernemen.
Een agent kan dus toegang hebben tot een bepaalde lijst met acties.
En acties zijn erg belangrijk als ze in een toestandscombinatie worden bekeken.
Dus als je in een bepaalde staat bent en je kijkt naar acties en het begint logisch te worden, wat zal
dan het resultaat zijn van die acties?
Want als je alleen naar een actie kijkt, heeft onze toestand eigenlijk geen zin omdat je niet weet waar
je bent en waar je eventueel terecht kunt komen.
En dan hebben we AAVE, wat staat voor beloning.
En dat is de beloning die de agent krijgt voor het binnengaan van een bepaalde staat.
En Gamma is de kortingsfactor.
En we zullen het zo meteen hebben over de kortingsfactor.
Allemaal logisch nu.
Maar maak gewoon een aantekening, maak een mentale notitie dat we deze lettergamla zullen hebben waarmee we later zullen
werken.
Dus de persoon achter de portiersvergelijking is Richard Ernest Belmond.
Hij was een toegepaste wiskundige en bedacht het concept van dynamisch programmeren, dat we nu zijn, dat we nu
bekrachtigingsleren noemen, of dat we nu de Belmont-vergelijking noemen.
Nou, zo noemen we het nu.
En in 1953 kwam hij met dat concept, en toen kwam de Bell Beelman-vergelijking in me op.
Dus laten we eens kijken hoe dit allemaal werkt.
Er is een aardige agent in de linkerbenedenhoek en hij is in een doolhof.
En dit is nogal een klassiek doolhof waar je een paar blokken van witte blokken hebt. Dit
zijn blokken waarin een agent kan stappen in het grijze blok dat gewoon niet toegankelijk is.
Dus dat is als een muur in dit doolhof.
De green is waar de agent moet eindigen.
Daar willen we de agent heen.
Dat is de afwerking.
En de rode is een vuurkorfzoekmachine voor vuurkorf.
Hij zal het spel verliezen.
Dus in de vuurplaats is de beloning, die ah is, min één.
Dus dat is onze manier om de agent te vertellen dat we niet willen dat je dat doet.
Zoals we ons het voorbeeld herinneren van wanneer we honden trainen, willen we ze vertellen, net als een slechte hond, als het
niet het juiste doet.
Ik wilde hier iets doen.
We willen de agent vertellen dat dit niet iets is dat u zou moeten doen.
Je zou niet op het plein moeten eindigen.
Dus elke keer dat het niet op het plein staat, krijg je een min één beloning.
Dus je wordt gestraft met een min één beloning.
Aan de andere kant, als het op het Groene Plein terecht komt, krijgt het een plus één beloning, wat betekent
dat dat is wat we wilden doen.
Dat zijn dus de twee beloningen die de agent mogelijk kan krijgen.
En hoe leert het te opereren in dit doolhof, net als in dat voorbeeld van de robothonden die leren
lopen, die het gaat laten weten.
Het zal het alleen vertellen dat dit de acties zijn die u kunt doen.
Je kunt naar boven, naar rechts, naar links of naar beneden gaan.
Die zijn voor mogelijke acties die je kunt ondernemen en dat is het dan.
Hoe speel je daar mee.
Kijk wat je kunt bedenken.
Dus de agent zou naar rechts kunnen gaan, dan zouden ze naar meer naar rechts kunnen gaan, ze zouden terug naar links
kunnen gaan.
Ze drukken gewoon willekeurig op deze knop en ze proberen te zien wat er gebeurt.
Dan gaan ze hier terug.
Ze gaan omhoog, omhoog, omlaag, omhoog, naar rechts.
Dus voorlopig hebben ze nog niets geleerd.
Tot nu toe is er niets gebeurd.
Ze gaan rechts.
En dan, bam, belanden ze op het Groene Plein.
Dus ze beseffen, wauw, ik heb net een plus één beloning gekregen.
Dus zodra ik het Groene Plein binnenstapte, kregen ze een plus één beloning.
En dat triggert het algoritme om te zeggen: OK, dat is echt cool.
Ik word beloond voor het eindigen op het plein, dus ik wil op het plein eindigen.
Wat betekent dat voor de makelaar?
Dat betekent dat het de vraag begint te stellen, hoe ben ik op het plein gekomen?
Wat was de voorgaande staat waarin ik me bevond en welke actie heb ik ondernomen om bij het kwadraat te komen?
En dan kijkt het terug en zegt: OK, dus de vorige toestand was deze.
Het blijkt waardevol te zijn in die staat, degene die deel uitmaakt van de Rode Pijl, want vanuit
die staat ben jij ik ben Ik ben slechts één stap verwijderd van het krijgen van de maximale beloning waarvan ik kan dromen, van plus
een als een koekje voor een hond van zodra ik weet of ik ooit in die staat ben, dat vierkant gemarkeerd met de Rode Pijl,
hoeven we alleen maar op te drukken.
Rechts.
Dus hoe vertel ik mezelf hoe ik kan onthouden dat die staat waardevol is?
Nou, voor mij is er geen verschil.
Als agent maakt het eigenlijk geen verschil of ik op het Groene Plein zit of op het Witte Plein, precies
op het Groene Plein.
Ik krijg de beloning van één.
Dus ik ga voor mezelf werken dat de manier waarop Square voor mij de waarde heeft van één, omdat
het precies leidt.
Om er een te belonen.
Dus.
Zodra ik op het Witte Plein ben, weet ik dat ik nog één actie zal ondernemen, ik ben op het Groene Plein en
krijg een beloning van één.
Dus daarom ga ik zeggen dat de waarde van dit vierkant gelijk is aan één, omdat het
direct leidt zonder enige vorm van aftrekking.
Zodra ik hier ben, weet ik dat mijn beloning er één zal zijn.
Dus ik ga dit plein markeren als een voertuig voor een.
Dat is de waarde.
Dat is een waargenomen waarde van het zijn in deze staat.
Vervolgens zal de agent zeggen: oké, dus hoe kom ik op dit plein?
En, weet je, hij zou weer rond kunnen lopen enzovoort en weer op het plein en zeggen, oké, hoe
kwam ik daarvoor op dit plein?
En de manier waarop ik dit plein binnenkwam was vanaf dit plein.
Interessant.
Oké, dus zodra ik op dit plein kom, weet ik dat ik alleen maar naar rechts hoef te gaan.
En vanaf hier weet ik al dat ik ga winnen.
Ik weet precies hoe alles vanaf hier gaat ontrafelen.
En ik weet dat de waarde van het zijn in deze staat gelijk is aan één.
En aangezien niets me ervan weerhoudt om van hier naar hier te gaan, zal de waarde hierin de
waargenomen waarde zijn.
Ik ga het waarderen om hier te zijn als voertuig voor één, want zodra ik hier ben, weet ik dat ik hier
zou zijn en ik zal hier vrij snel zijn.
Dus ik ga winnen.
En hoe kom ik daarvoor op dit plein?
Nou, ik kwam op dit plein van dit plein.
Dus de waarde, vergelijkbare benadering, de waarde van hier zijn is ook gelijk aan één enzovoort.
Dus de waarde van hier zijn is gelijk aan één waarde van hier zijn is gelijk aan tijd, omdat elk van hen
naar de volgende leidt en naar de finish leidt.
Dus dat is allemaal vrij logisch in dit stadium.
Dit zijn wij die op dit moment de Bellman-vergelijking aan het ontwerpen zijn.
Dus dit is dat we zouden kunnen nadenken over het ontwerpen van een vergelijking die een agent helpt door het doolhof te gaan.
Kijk dus naar de beloning.
Dan geven de voorgaande toestanden het een waarde van gelijk om de voorgaande zin te belonen.
Dus dat soort likes creëert dit pad is allemaal geweldig en goed.
Maar het probleem hier is, OK, wat gebeurt er als onze agent om de een of andere reden in deze staat begint in plaats van hier te beginnen en
deze acties te ondernemen en het daadwerkelijk in die staat begint?
Hoe weet het?
Hoe onthoudt het welke actie moet worden ondernomen?
Moet het naar rechts of naar beneden of naar links of naar boven?
Hoe herinnert het zich wat de volgende voortzetting van hier is als de enige waarden die het heeft deze waarden van gelijk aan één
zijn?
Je kunt dus niet zien wat verder weg is.
Het kan alleen zien.
Oke.
Wat ik hier heb en wat ik hier heb, hoe weet het welke kant het op moet?
Nou, in dit stadium niet.
Het is net zo goed identiek voor de agent welke kant hij op moet.
En daarom werkt deze aanpak niet echt.
Het is een zeer is een zeer simplistische uitleg.
Natuurlijk komt er veel meer bij kijken, maar op een intuïtieve manier, dat is waarom we een soort van gewoon toewijzen om
deze waarde gewoon achterstevoren door te voeren.
Omdat een van de redenen is dat als de agent eenmaal tussen deze twee waarden in zit, terwijl jij gaat,
het niet zo in de war kan raken.
En hoe lossen we dit probleem dan op?
Wat gaan we hier doen?
En dit is waar we beginnen met het introduceren van de Bellman-vergelijking in zijn werkelijke vorm, langzaam, stap
voor stap.
Dus de portiersvergelijking ziet er ongeveer zo uit.
Dus we hebben het al gehad over de waarde van het zijn in een bepaalde staat, zoals je huidige staat of
een bepaalde staat.
En dat is er ook.
En als priemgetal is de toestand, de volgende toestand, de toestand waarin je na deze toestand en
door gezamenlijke actie terechtkomt.
Maar we weten dat er veel acties zijn die een agent kan ondernemen, en daarom hebben we deze Max
hier.
Dus door een actie te ondernemen, wat gebeurt er met een agent?
Dus laten we zeggen dat we in staat waren door een actie te ondernemen in staat s en we ondernemen actie.
A, wat er zal gebeuren is dat het onmiddellijk een beloning krijgt door in een nieuwe staat te komen.
En onthoud, die beloning kan één of plus één of min één zijn als het aan het einde van het spel is, of het kan een
nul zijn als het tijdens het spel is.
In dit geval is onze beloning gedurende het spel nul.
Dus dat is de beloning.
Bovendien komen we in een nieuwe staat die de waarde van als prime heeft.
Dat is dus de waarde van de nieuwe staat.
En Gammer, daar zullen we het zo over hebben.
Maar het punt dat ik hier naar voren probeer te brengen, of het punt dat ik hier naar voren breng, is dat we veel verschillende acties
hebben die we kunnen ondernemen en daarom hebben we het maximale.
Dus door actie te ondernemen, krijgen we beloning.
Bovendien komen we in een nieuwe staat terecht.
En dus voor elk van de in ons geval, voor onze mogelijke actie, voor elk van de
mogelijke vier acties, krijgen we een vergelijking als deze.
Dit zal dus een waarde hebben, want ze zullen een andere waarde hebben voor al onze acties.
En we gaan alleen naar het maximum kijken, want de agent wil natuurlijk de optimale toestand aannemen.
Dus als hij in staat s is, gaat hij naar deze waarden kijken.
Hij gaat het maximum vinden op basis van de actie en gaat die actie ondernemen die leidt tot het maximum van
deze waarden.
Dus hopelijk is dat logisch waarom we hier het maximale nemen.
Als we de beloning en de waarde van de staat hebben, waarom hebben we dan deze gammaparameter hier?
Nou, het is er precies om dat probleem op te lossen waarbij de agent niet weet welke kant hij op moet, omdat hij dat
niet kan.
Het vergelijkt de waarden van twee toestanden aan beide kanten en ze zijn hetzelfde.
Daarom wordt het spel de verdisconteringsfactor genoemd.
Dus daar gaan we eens naar kijken.
Is nu beter te begrijpen.
Dus laten we een formule nemen, we zullen het hier bovenaan plaatsen, rechts.
En nu gaan we analyseren wat de waarden van de verschillende staten zijn.
En elke staat hier is een vierkant.
En dus is een van deze witte vierkanten een staat.
En we gingen de waarde van het zijn in die staat berekenen.
Dus laten we beginnen met dit vierkant.
Wat is de waarde van het zijn in deze staat?
Welnu, we moeten het maximum van deze waarde nemen bij verkiezingen.
En we weten dat deze waarde vertegenwoordigt, wordt gemaximaliseerd naarmate we dichter bij de finish komen.
En zo is het geconstrueerd door gewoon naar te kijken, je kunt het zien, want hier heeft
de beloning en hier heeft een verdisconteringsfactor vermenigvuldigd met de waarde van de volgende staat.
En het is gewoon logisch dat we die vergelijking zo zouden construeren.
Het is dus logisch dat vanaf hier het maximum van deze waarde zal zijn als we naar rechts gaan.
Dus zo berekenen we de waarde van staat.
Deze waarde van deze toestand is gelijk aan het maximum of gelijk aan deze waarde.
Als we naar rechts gaan, als we een actie ondernemen om naar rechts te gaan.
Dus wat zal deze waarde zijn?
Welnu, de beloning om naar rechts te gaan is gelijk aan één.
En wat Gamma ook is, we hebben geen waarde in de staat omdat we al op de best mogelijke manier
zijn.
Dit is dus de eindstand.
Het zal geen waarde hebben.
We krijgen hier gewoon een beloning en dat is het einde van het spel.
Dus de waarde zal van dit maximum gelijk zijn aan één.
En daarom is de waarde van status hier gelijk aan één.
Nu wordt het interessant als we naar links gaan, als we een beetje naar achteren gaan.
Dus laten we nu de waarde hiervan berekenen, van het zijn in deze staat.
En daarvoor hebben we dekking nodig.
Dus laten we zeggen dat onze verdisconteringsfactor nul komma negen is en het zal logisch zijn wat een verdisconteringsfactor is als we dat
eenmaal hebben berekend.
Dus vanaf hier, gewoon gebaseerd op onze intuïtie en gebaseerd omdat we weten hoe dit doolhof werkt, hoe dit betekent werkt, weten we dat
de best mogelijke actie is om naar rechts te gaan, want vanaf hier gaan we
hier.
Dat betekent dus dat er een maximum wordt bereikt als je in deze toestand naar rechts gaat.
En laten we eens kijken wat er gebeurt als we het hier aansluiten.
Dus als je van hier naar hier gaat, krijg je geen beloning of dit wordt een nul.
Maar dan krijg je Gamma's die negen keer de waarde van de nieuwe staat krijgen, die één is.
Dus in dit geval is de waarde van het hele resultaat hiervan één keer nulpunt negen keer één gelijk aan nulpunt
negen.
Dus dat is onze waarden rapport negen.
Dus als we dit nu berekenen, zie je dat vanaf hier.
We weten het alleen door naar het doolhof te kijken, we weten het omdat wij mensen, omdat we begrijpen
hoe deze vergelijking werkt, natuurlijk.
En een FBI-agent zou met deze dingen moeten experimenteren.
Maar omdat we een glazen bol hebben, kunnen we dit hele doolhof zien.
We hebben nu een vogelvluchtperspectief.
We weten dat de beste actie naar rechts gaat.
Dus als we alles hier aansluiten, is het nul.
En de beloning plus nul komma negen keer de waarde van de staat, nul komma negen is
nul komma eenentachtig enzovoort.
Dus hier is het nul komma drieënzeventig en hier is nul komma zesenzestig.
U kunt dus zien dat de manier waarop de verdisconteerde factor werkt, is dat deze de waarde van de staat verlaagt naarmate u
verder weg bent.
Dus als je bekend bent met de financiële theorie, dan is het iets dat lijkt op de tijdswaarde van geld.
Wat zou je er op deze manier van denken?
Wat heb je liever vandaag vijf dollar of over tien dagen vijf dollar?
Als iemand je een keuze zou geven, geef ik je vandaag vijf dollar.
Het hele jaar, vijf dollar over tien dagen.
Nou, natuurlijk zou je vandaag voor vijf dollar kiezen.
Waarom is dat?
Nou, omdat je die vijf dollar kunt nemen en ze kunt beleggen tegen een bepaalde rente,
die erg lijkt op Gamma.
En je vijf dollar in tien dagen zal in feite uitgroeien tot misschien vijf dollar en drieënzeventig cent of
iets dergelijks.
En zo werkt de tijdswaarde van geld.
En zeer vergelijkbaar concept hier.
En het belangrijkste om te begrijpen is dat dit slechts een theorie is, een manier waarop versterkend leren werkt.
Dus Richard, Belmond bedacht deze vergelijking.
En vanaf dat moment gebruiken we het zo.
Dus je zou door kunnen gaan en met een andere vergelijking komen.
Het hoeft niet zo te zijn dat Gumede een andere factor heeft, misschien zelfs geen factor.
Maar deze aanpak werkt en daarom gebruiken we hem.
En dit is hoe het eruit ziet.
Dus hoe verder je weg bent, hoe minder waarde het heeft in deze staat en in termen van tijd, waarde van
geld.
Als ik tegen je kon zeggen, waar zou je dan liever zijn?
Ben je liever hier?
Je zou zeggen dat ik liever hier zou zijn.
Dus we creëren hetzelfde fenomeen als elke tijdswaarde van geld.
We creëren het kunstmatig via Gamma om agenten te stimuleren of agenten te inspireren om dichter bij de
finish te komen.
Dus als een agent zou worden gevraagd, zou je liever hier of hier zijn vanwege de manier waarop deze vergelijking werkt, dan
zou hij ervoor kiezen om hier te zijn.
Daar is niets meer aan, niets minder.
Het is niet iets dat de wereld zo werkt.
Nee, het is gewoon iets dat we kunstmatig hebben gecreëerd om onze agenten te laten
begrijpen dat dit goed is.
Dit is goed.
Ze zijn allemaal goed.
Maar deze is beter dan deze.
En deze is beter dan deze.
En deze is beter deze.
En zo zie je dat de oude makelaar ziet welke kant het op moet.
Zodat het kan zien dat als ik hier sta, herinner je je dat probleem dat we hadden of stond hij hier?
Dus als hij hier staat, ga ik dan naar beneden of als ik hier sta om naar boven te gaan of ga ik naar beneden?
Nou, nu is er geen probleem meer omdat hij kan zien dat het eigenlijk beter is om omhoog te gaan omdat de waarde hier
groter is en dan is het beter om vanaf hier te gaan.
Juist, want de waarde is hier groter dan hier.
En vanaf hier is het beter om naar rechts te gaan.
Omdat de waarde hier groter is dan hier, dan hier en van hier.
Hij weet al dat hij moet gaan.
Juist, want hij krijgt hier een beloning van één.
Dus zo werkt deze hele aanpak.
Laten we nu snel naar de rest van het plein kijken.
Dus hoe berekenen we de waarde in dit vierkant?
Nou, hier wordt het een beetje lastig.
Dus vanaf hier ga je misschien niet echt naar links, toch?
Misschien ga je wel naar rechts.
Dus we kunnen niet gewoon zo doorgaan, want het kan eigenlijk korter zijn om deze kant op te gaan.
Dus wat we gaan doen, is dat we eerst de waarde in dit vierkant gaan berekenen.
En omdat het duidelijk is dat vanaf hier de beste manieren om te gaan weer omhoog zijn.
Dat komt omdat we de bemanning zien, we hebben de kristallen bol, we kunnen dingen zien en
je zult verderop in de sectie zien hoe de agent dit daadwerkelijk onderzoekt, dit begrijpt,
zoals door te experimenteren.
Maar voor ons weten we dat het beter is om deze kant op te gaan.
Dus we gaan hier de waarde berekenen en daarom gaan we eerst de waarde in dit vierkant
berekenen.
Dus hier hebben we drie mogelijke acties.
In werkelijkheid hebben we er zelfs vier.
We kunnen ook linksaf.
De agent zou hypothetisch naar links kunnen drukken en tegen de muur stoten en hier blijven.
Maar omwille van de eenvoud gaan we gewoon de acties laten zien dat we weten wat we weten
en met de kristallen bol weten we welke acties daadwerkelijk leiden tot iets anders dan dezelfde
toestand.
En dus vanaf hier weten we dat weer, alleen omdat we een glazen bol hebben, weten we dat de beste manier om
te gaan deze kant op is.
Een agent zou natuurlijk moeten experimenteren en de beste manier vinden.
En hoe dat gebeurt, ziet u verderop in de paragraaf.
U zult zien hoe een agent rondloopt en hoe u zou experimenteren om deze waarden te vinden.
Maar voor ons weten we dat het zo is.
Dus hier, als we alles één keer aansluiten, is het maximum de beste output als je hier omhoog gaat, een nul
komma negen nul.
Dus als je dat zo invult, krijg je het nulpunt negen.
OK, dus we berekenen die ene, deze berekenen dezelfde benadering.
Dit is dat je drie kanten op kunt, eigenlijk vier voor de agent, maar voor ons zijn het er
maar drie.
Dus nul komma eenentachtig vanaf hier heb je nul komma drieënzeventig.
En het sluit eigenlijk mooi aan bij deze waarde, want als je dan gewoon opnieuw telt, krijg je 066 en
hier heb je nul komma nul drie omdat dit de optimale snelheid is.
Daar ga je dan.
Dat zijn de waarden van alle staten.
En nu kun je zien dat, omdat we deze vergelijking hebben gemaakt, we synthetisch dit hele concept
hebben gecreëerd: hoe dichter je bij de finish bent, hoe waardevoller die staat nu is, omdat we dat nu hebben gecreëerd, het
is mooi voor de makelaar duidelijk welke kant het op moet.
En daar zullen we het de komende tijd meer over hebben.
Charles, ik hoop dat je genoten hebt van de sessie van vandaag.
En ik weet dat het een beetje klinkt, het klinkt in dit stadium misschien een beetje erg basaal, maar terwijl we deze sectie
doornemen, zullen we er wat meer complexiteit aan toevoegen.
Tegelijkertijd, als je niet kunt wachten, als je erin wilt springen, dan is er een paper waar
je naar kunt kijken, en het is het originele paper van Richard Bellmen genaamd The Theory of
Dynamic Programming uit 1954.
En die vind je via deze link.
En daar ga je.
Dus je kunt er meteen in springen en lezen van de auteur van The Bellmon Equation.
Maar houd er rekening mee dat dit nogal een wiskundig zwaar papier is.
En wat dat betreft kijk ik uit naar je volgende dia.
En tot die tijd, geniet van I.