Hallo en welkom terug bij de cursus over kunstmatige intelligentie in de Atauro van vandaag, we
gaan een vrij complexe kleermakerij behandelen die geschiktheidstracering of en stap wordt genoemd.
V Leren.
En dit is iets dat we gaan implementeren in de praktische kant van de dingen.
Dus daarom moeten we het verdoezelen.
En tegelijkertijd is het een behoorlijk complex onderwerp.
Dus ik heb een zeer interessante benadering om ons op de hoogte te brengen van de intuïtie achter de.
Ik heb dus graag een andere aanpak voor ogen dan we gewend zijn.
Dus laten we daar eens naar kijken en kijken hoe dat gaat.
Dus ik ga je een voorbeeld geven om mee te beginnen.
Ik ga je een voorbeeld geven, deze tutorial, en dat zal de kracht van geschiktheid voor ons demonstreren
en ons de intuïtie achter dingen geven.
En als u zich verder wilt verdiepen in geschiktheidskenmerken, geef ik u de beste plaats waar u erover
kunt lezen.
Ik zal je een verwijzing naar een boek geven, maar anders.
Dus waarom dit anders zal zijn, is omdat we eerst in plaats van in de intuïtie duiken, we naar een
voorbeeld gaan kijken en de intuïtie zal duidelijk worden nadat we erover hebben gesproken en dat is mijn hoop
voor dit materiaal .
Dus laten we eens kijken.
Laten we eens kijken of we dit kunnen doen.
Dus hier hebben we twee agenten en ze navigeren door dezelfde omgeving.
En we gaan zien hoe deze twee agenten werken.
De eerste gaat werken met ons geschiktheidsspoor.
De tweede gaat werken met geschiktheid.
En hopelijk zullen we zien waarom de tweede zoveel krachtiger zal zijn dan de eerste.
Dus laten we eens kijken.
We gaan eerst naar deze agent kijken.
En de manier waarop hij werkt, is precies de manier waarop we tot nu toe DIPP AQ-leren hebben besproken.
Dus de agent gaat een stap zetten of gaat verhuizen, een actie ondernemen om naar een nieuwe staat te gaan.
Het zal een bepaalde beloning krijgen en die beloning zal door zijn algoritme worden gestuurd.
Werk het neurale netwerk bij dat deze agent uitvoert of dat in de geest van deze agent wordt uitgevoerd.
Dus dat is eigenlijk hoe het leert vanaf het moment dat het een nieuwe stap gaat zetten.
Dus vanuit deze nieuwe staat gaat hij een nieuwe actie ondernemen op basis van wat zijn neurale netwerk hem vertelt
te doen, gaat hij beloningen krijgen, gaat hij updaten enzovoort, en hij zal dat blijven doen.
Het is dus duidelijk dat dit heel goed gaat werken.
En zoals we eerder hebben gezien van de vorige praktische score voor proeven, gaan we hier behoorlijk goede
resultaten behalen.
Maar nu gaan we een nieuwe functie toevoegen.
Nu, deze agent nee tegen deze man hier, hij gaat door dezelfde omgeving navigeren, maar hij gaat het geschiktheidsspoor
gebruiken en dit is wat het betekent.
Wat hij gaat doen, is dat hij alle stappen neemt die hij in dit geval gaat nemen, vijf, vier
stappen.
Hij gaat vier stappen zetten.
En dan pas na het nemen van deze stappen zal hij de totale beloning berekenen die hij van die stappen heeft
gekregen.
En hij zet het via zijn netwerk.
Hij zal het door zijn neurale netwerk sturen dat het besluitvormingsproces bestuurt.
En dan zal het neurale netwerk daarvan leren.
Dus welke meteen.
Zoals welke denk je dat krachtiger is?
De man die het stap voor stap doet en een beetje in de blinde of in het donker snuffelt.
En hij zegt, oké, dus ik ga een stap zetten, kijken wat er gebeurt, een stap zetten, kijken wat
er gebeurt, een stap zetten, kijken wat er gebeurt.
De man aan de top of de man die gewoon heel moedig marcheert door vier stappen achter elkaar.
En dan beslist hij of dat goede stappen waren of niet en waarom je hier kunt zien of waarom je waarschijnlijk
een idee krijgt waarom de tweede man beter of krachtiger is, omdat de tweede man echt
weet wat er aan het einde is.
De eerste man wanneer hij beoordeelt of de stap goed is of niet, hij kijkt alleen naar de
beloning die hij krijgt.
En dus laat hij zich alleen leiden door de beloning.
De omgeving geeft hem hier hetzelfde.
Ze laat zich alleen leiden door de beloning die deze omgeving hem hier geeft.
Dus elke keer dat dat zijn enige soort kompas is, heeft hij de beloning, de beloning, de beloning.
Terwijl hij hier daadwerkelijk kan beoordelen na het nemen van al deze stappen, kan hij beoordelen, oh, oké.
Zo kwam ik bij de finish.
Dus deze combinatie van stappen was goed.
Ze waren allemaal goed of.
Oh, nee, ik belandde in de vuurplaats of.
Oh nee, ik, ik heb niet gewonnen of mijn auto kwam niet bij de finish of ik stak de zandmuur over of ik verloor
het spelletje Doom of iets dergelijks.
En dan besluit hij dat deze hele combinatie van stappen slecht is.
En daarom heeft hij voor deze stappen die eerder zijn meer informatie.
Hij heeft meer inzichten zoals in een zeer intuïtieve benadering.
Nogmaals, dit is een veel complexer onderwerp dan we hier schetsen, maar op een intuïtieve manier.
Als u deze stap bijvoorbeeld uitvoert, bevat deze stap alleen informatie om deze bij te werken.
Je hebt hier alleen informatie die terugkomt van deze beloning en voor deze stap in dit geval exact
dezelfde stap.
Het heeft meer informatie, informatie komt er helemaal vandaan.
OK, dus wat was het resultaat na vier stappen of vijf stappen of wat dan ook?
Ja.
Dus dat is hoe het werkt en waarom het geschiktheidstracering wordt genoemd, is omdat hij tijdens dit proces niet alleen kijkt
naar de cumulatieve beloning hiervan, van wat er aan de hand was en dan het cumulatieve verlies en dan
is dat allemaal een propagator die zijn.
Maar eigenlijk is er een spoor van geschiktheid, dat heet geschiktheidspoor, er is
een spoor dat in het algoritme wordt bewaard, dat zegt, OK, dus als we een laten we zeggen dat we een straf krijgen,
krijgen we een negatieve beloning, welke van deze stappen komt dan het meest waarschijnlijk in aanmerking voor die
straf?
We weten dus niet alleen wat dit hele patroon of deze combinatie van stappen in het algemeen is, maar we
houden ook een spoor bij van geschiktheid.
Welke stappen gaan we updaten als we een beloning krijgen?
Dus als er bijvoorbeeld een negatieve beloning is, hebben we misschien een spoor om in aanmerking te komen.
Dat geeft voor ons aan dat dit een stap is die het meest verantwoordelijk is voor wat we uiteindelijk hebben gekregen of dat het een positieve
beloning is.
Nogmaals, we weten misschien dat het algoritme ons helpt bij het bijhouden.
Dit op geschiktheid gebaseerde algoritme helpt ons bij te houden wat welke stap is of welke actie het moet
zijn.
Komt in aanmerking voor updates op basis van die beloning die we ontvangen.
En daarom heet het geschiktheid.
En dat is dus de basisintuïtie achter geschiktheid.
En hopelijk maken deze twee voorbeelden van deze twee agenten het vrij duidelijk of vrij intuïtief waarom geschiktheidstests zo
krachtig kunnen zijn.
En als je, zoals beloofd, je verder wilt verdiepen in het onderwerp van geschiktheidssporen of het
begin van leren, dan is een prachtig, verbazingwekkend boek, dat je kunt vinden, Reinforcement Learning
and Introduction genaamd, van Richard Sutton en Andrew Barto, 1998.
Ik denk dat ze bezig zijn met het maken van een tweede editie van de zeer kritieke toestand.
Maar dit is het meest voorkomende of het meest populaire of het meest gerefereerde boek over versterkend leren.
Het heeft een belachelijk aantal citaten, denk ik, tienduizenden, als ik me niet vergis.
En ook het hoofdstuk dat je hiervoor nodig hebt is hoofdstuk zeven.
Dus om de geschiktheidssporen te bekijken, is er een heel hoofdstuk over een Hoofdstuk zeven.
Je kunt erover lezen en het gaat in op veel details, voorwaartse, achterwaartse geschiktheidssporen en ook hoe je aan de
ene kant tijdsverschil hebt en aan de andere kant van het spectrum, je hebt
Montecarlo-methoden.
Daartussenin heb je recht.
Sporen van geschiktheidssporen zijn uw schakel om van temporele verschillen naar Montecarlo-methoden te gaan.
Heel interessant.
Veel foto's gelezen, wat ik erg op prijs stelde.
Zeer intuïtieve uitleg.
Er zijn dus veel dingen die je uit dit boek kunt leren over kunstmatige intelligentie en
versterkend leren, maar specifiek geschiktheidssporen zijn een heel goede plek om naartoe te gaan.
Is dit boek geschikt voor sporen?
En de tweede referentie voor vandaag is iets dat je zal laten zien in de
praktische tutorials, het deep learning of het Google Deep Mind-onderzoeksdocument over asynchrone methoden voor een dieper versterkend leren.
Ja, dat is het papier.
Dat is het enige artikel dat het H3C-artikel is dat we verderop in deze cursus gaan bespreken.
We komen er steeds dichter bij.
En zoals je kunt zien, zijn we hier behoorlijk enthousiast over.
Dus dit gaat een beetje kijken naar hoe ze geschiktheidssporen in dit document hebben geïmplementeerd.
Dus we gaan dit meer gebruiken voor de praktische kant van de dingen.
Dus hopelijk heb je genoten van de tutorial van vandaag en ben je nu wat meer vertrouwd met de geschiktheidssporen.
En ik kan niet wachten om je de volgende keer te zien.
Tot die tijd, geniet van Ehi.