Bine ai venit la cursul de inteligență artificială.
În tutorialul de astăzi vom acoperi un tutorial destul de complex numit urmărire de eligibilitate sau și
pas.
Q learning și asta este ceva ce voi pune în aplicare în aspectul practic al lucrurilor, de aceea
trebuie să ieșim din centru și este un subiect destul de complex, așa că avem o abordare foarte interesantă pentru a
ne ridica la viteza cu intuiția din spatele ei.
Așa că am în minte o altă abordare decât ne-am obișnuit să ne uităm la acest lucru și să
vedem cum merge.
Aș vrea să vă dau un exemplu pentru a începe.
Vă voi da un exemplu în acest tutorial și asta va demonstra puterea de eligibilitate.
Și dați-ne intuiția din spatele lucrurilor.
Și apoi, dacă vă place să căutați în continuare trăsăturile de eligibilitate, vă voi oferi cel mai bun loc unde
puteți citi despre ele.
Vă voi da o referință la o carte, dar altfel.
Deci, în timp ce acest lucru va fi diferit pentru că suntem mai întâi în el, decât să ne
îndreptăm spre intuiție, vom privi un exemplu și intuiția va deveni evidentă după ce vom vorbi.
Și asta este speranța mea.
Să aruncăm o privire.
Hai să vedem dacă putem face asta.
Deci, avem doi agenți și navighează în același mediu și vom vedea cum funcționează acești
doi agenți.
Primul va funcționa cu următorul criteriu de eligibilitate.
Al doilea va lucra cu o urmă nelegitimă și, sperăm, vom vedea de ce al doilea va
fi mult mai puternic decât primul.
Să aruncăm o privire.
Vom privi mai întâi acest agent.
Iar felul în care operează este exact modul în care am discutat până acum o problemă circulară profundă.
Deci, agentul va face un pas sau se va mișca să ia o acțiune de mutare într-un nou stat.
Bună pentru a obține o anumită recompensă va pune asta prin sau prin algoritmul său de
actualizare a rețelei neuronale care rulează acest agent sau care rulează în mintea acestui agent.
Deci, în principiu, modul în care învață din acel moment va face un nou pas.
Deci, de la acest nou stat se va lua o nouă acțiune bazată pe ceea ce rețeaua sa neurală îi spune să
facă este să obțină recompense în curs de actualizare și așa mai departe și va continua să facă acest lucru.
Deci, evident, acest lucru va face o treabă destul de bună și, după cum am văzut anterior de
la Squire practică anterioară la DROs, vom obține niște rezultate destul de bune aici, dar acum vom adăuga o nouă caracteristică.
Acum, agentul numărul doi, tipul ăla de aici va naviga în același mediu.
Ce va folosi lizibilitatea copacilor.
Și asta înseamnă.
Ceea ce va face este că va lua orice măsuri pe care le va lua
în acest caz cinci forceps va face patru pași și apoi numai după ce vor face acești pași va calcula răsplata totală pe care a
obținut-o din acești pași și va pune-l prin rețeaua lui.
El o va pune prin rețeaua sa neuronală care guvernează procesul de luare a deciziilor, iar apoi
rețeaua neurală va învăța din asta.
Deci, care dintre ele.
La fel ca cine credeți că este mai puternic.
Tipul care o ia doar cu un pas la un moment dat și cumva o să lovească în orb sau în întuneric și e ca OK,
așa că am să fac un pas să văd ce se întâmplă.
Faceți un pas să vedeți ce se întâmplă.
Luați pași.
Ce se întâmplă.
Tipul de la vârf sau tipul care ia foarte curajos pe Marsha prin patru pași la rând și apoi decide dacă aceștia
erau pași buni sau nu, și de ce puteți vedea aici sau de ce probabil că aveți un sens pentru motivul
pentru care tipul secund este mai bun sau este mai puternic deoarece cel de-al doilea
tip știe de fapt ce este la sfârșit.
Primul tip când e când evaluează dacă acest pas este bun sau nu privește doar la răsplata pe
care o primește.
Și astfel el este doar ghidat de răsplata pe care o dă mediul înconjurător.
Același lucru îl conduce doar de răsplata pe care acest mediu îl oferă aici.
Deci, de fiecare dată când este singurul său busolă, că are recompensa recompensa, recompensa.
În timp ce aici el poate evalua, după ce a luat măsurile pe care le poate evalua.
OK, așa că am ajuns la linia de sosire.
Așadar, această combinație de pași a fost bună.
Toate erau bune.
Sau Oh nu am ajuns în firepit sau Ohno I.
Am facut-o si cand masina mea nu a ajuns la linia de sosire sau am traversat peretele nisipului sau am pierdut jocul de condamnare sau
ceva de genul asta.
Și apoi decide că această întreagă combinație de pași este rău.
Și, prin urmare, pentru acești pași care sunt mai devreme, el are mai multe informații.
Are mai multe cunoștințe ca într-o abordare foarte intuitivă.
Din nou, acesta este un subiect mult mai complex decât îl prezentăm aici.
Dar într-un mod intuitiv, de exemplu, dacă faceți acest pas, acest pas are doar informații pentru a obține acest lucru, aveți
doar informații care vin din această recompensă aici.
Și pentru acest pas în acest caz același pas exact.
Ea are mai multe informații de la care vin informații.
OK, care a fost rezultatul după patru pași sau cinci pași sau orice altceva.
Da, așa este și modul în care funcționează și de ce se numește urmărirea eligibilității deoarece, în timpul acestui proces, nu
numai că se uită la recompensa pe calculator a ceea ce se întâmplă și apoi la pierderea cumulativă și apoi
la tot ceea ce este potrivit.
Dar, de fapt, există o urmă de eligibilitate ca ceea ce se numește incapacitatea de invaliditate.
Există o urmă care este păstrată într-un algoritm care spune OK, așa că dacă obținem o să spunem că primim o pedeapsă obținem o
recompensă negativă, atunci care dintre acești pași este cel mai probabil să fie eligibil pentru această pedeapsă.
Deci, nu numai că știm ce ansamblu întregul model sau combinația școlară de pași, dar ținem și
noi o urmă de eligibilitate care sunt pașii pe care îi vom actualiza dacă îi vom face pe toți.
De exemplu, dacă, ca o recompensă negativă, am putea avea o urmă de eligibilitate care
ne indică faptul că acesta este un pas care este cel mai responsabil pentru ceea ce am obținut în cele
din urmă sau dacă este din nou o recompensă pozitivă, am putea ști că algoritmul ne ajută să ținem evidența acest algoritm de
eligibilitate ne ajută de asemenea să urmărim ce pas sau ce acțiune trebuie să fie eligibil pentru a fi actualizat pe baza recompensei pe care o
primim.
Și de aceea se numește urmărirea eligibilității.
Și astfel, aceasta este intuiția de bază care se află în spatele eligibilității și sperăm că aceste două exemple
ale acestor agenți o fac destul de evidentă sau sunt destul de intuitive în timp ce aceste abilități pot fi atât de puternice.
Și dacă ați promis dacă vreți să continuați să căutați în continuare urme de eligibilitate sau să învățați pas, atunci o
minunată carte uimitoare, pe care o puteți găsi, se numește învățare de întărire.
O introducere este făcută de Richard Sutton Andrew Barto 1998.
Cred că se află în proces de a crea oa doua ediție sau problema foarte critică.
Dar aceasta este cea mai frecventă, cea mai populară sau cea mai referențiată carte despre învățarea
aplicării, are un număr ridicol de citări.
Cred că sunt zeci de mii dacă nu mă înșel.
Și capitolul de care aveți nevoie pentru acest lucru este capitolul 7.
Deci, pentru a examina opțiunile de eligibilitate, există un capitol întreg despre Capitolul 7.
Poți să citești despre ea și o să fie foarte detaliată.
Redirecționați urme de eligibilitate înapoi și, de asemenea, cum diferența temporală integrală, pe de o parte, și cealaltă parte a spectrului pe care îl
aveți în metodele Monte-Carlo între dvs., au urme de eligibilitate care ar trebui să fie urmărite sau dacă
vă conectați pentru a trece de la diferențele temporale la metodele Monte-Carlo.
Foarte interesant a citi o mulțime de imagini pe care le-am apreciat într-adevăr foarte explicații foarte intuitive.
Deci există o mulțime de lucruri pe care le puteți învăța de la această carte despre inteligența artificială și despre
învățarea de întărire, dar în mod specific, urme de eligibilitate sunt ca un loc foarte bun pentru a merge este această carte pentru urmări
de eligibilitate.
Iar cea de-a doua referință pentru ziua de azi este ceva care vă va arăta în studiile practice învățarea profundă
sau lucrarea profundă a cercetării minții Google cu privire la metodele sincrone pentru o învățare mai profundă a
întăririi.
Da, asta e hârtia care este singura hârtie pe care A-3 o vede în hârtie că vom discuta mai
departe în scor.
Ne apropiem și mai aproape de asta.
Și după cum puteți spune că suntem foarte entuziasmați de acest lucru, astfel încât aceasta va fi în căutarea un
pic despre modul în care au implementat urme de eligibilitate în această lucrare, astfel încât vom folosi mai mult pentru aspectul
practic al lucrurilor.
Deci, sperăm că vă bucurați de tutorialul de astăzi și știți că sunteți puțin mai confortabil cu urmele de eligibilitate și
nu pot să aștept să vă văd data viitoare.
Până atunci, bucurați-vă de a.