Ciao bentornati al corso sull'intelligenza artificiale.
Nel tutorial di oggi copriremo un tutorial piuttosto complesso chiamato traccia di idoneità o
step.
Q apprendimento e questo è qualcosa che ho intenzione di implementare nel lato pratico delle cose
quindi è per questo che dobbiamo uscire e al centro è un argomento abbastanza complesso, quindi abbiamo un approccio
molto interessante per farci diventare subito operativi l'intuizione dietro.
Quindi ho in mente un approccio diverso rispetto a quello che siamo abituati a considerare il semplice sguardo e
vedere come va.
Quindi voglio darti un esempio per iniziare.
Ti darò un esempio in questo tutorial e questo dimostrerà il potere dell'idoneità.
E dacci l'intuizione dietro le cose.
E poi, se ti piace approfondire ulteriormente i tratti di eleggibilità, ti darò il posto migliore dove
puoi leggere al riguardo.
Ti darò un riferimento a un libro ma altrimenti.
Quindi, mentre questo sarà diverso perché ci occupiamo prima di tutto, piuttosto che
scavare nell'intuizione, vedremo un esempio e l'intuitivo diventerà ovvio dopo aver parlato.
E questa è la mia speranza.
Quindi diamo un'occhiata.
Vediamo vediamo se possiamo farlo.
Quindi qui abbiamo due agenti e stanno navigando nello stesso ambiente e vedremo come funzionano questi
due agenti.
Il primo funzionerà con la nostra tracciabilità.
Il secondo funzionerà con tracce illeggibili e, si spera, vedremo perché il secondo sarà
molto più potente del primo.
Quindi diamo un'occhiata.
Guarderemo prima questo agente.
E il modo in cui opera è il modo esatto in cui abbiamo discusso di cose circolari profonde finora.
Quindi l'agente farà un passo o si muoverà per portare un movimento di azione in un nuovo stato.
Bene avere una certa ricompensa sta per mettere in atto che attraverso o attraverso il suo algoritmo aggiornare
la rete neurale che sta eseguendo questo agente o che è in esecuzione nella mente di questo agente.
Quindi questo è fondamentalmente il modo in cui sta imparando da quel momento sta per fare un nuovo passo.
sta dicendo che sta per ricevere ricompense in corso di aggiornamento e così via e continuerà a farlo.
Quindi da questo nuovo stato prenderà una nuova azione basata su ciò che la sua rete neurale
Quindi ovviamente questo farà un buon lavoro e, come abbiamo visto in precedenza dal
precedente pratico Squire ai DRO, otterremo dei buoni risultati qui, ma ora aggiungeremo una nuova funzione.
Ora questo agente numero due questo ragazzo qui sta andando a navigare nello stesso ambiente.
Che cosa sta per usare la leggibilità degli alberi.
E questo è ciò che significa.
che prenderà in questo caso. Cinque pinze compiranno quattro passi e poi solo dopo
aver fatto questi passi otterrà il calcolo della ricompensa totale che otterrà da quei passi e lui metterlo attraverso la sua rete.
Quello che sta per fare è che prenderà tutti i provvedimenti
Lo metterà attraverso la sua rete neurale che governa il processo decisionale e quindi
la rete neurale imparerà da quello.
Quindi quale?
Subito come pensi che sia più potente.
Il ragazzo che lo sta facendo solo un passo alla volta e un po 'come spiare il buio o il buio e lui è
come OK, quindi vado a fare un passo per vedere cosa succede.
Fai un passo per vedere cosa succede.
Prendere provvedimenti
Che succede.
Il ragazzo in cima o il ragazzo che prende solo molto coraggiosamente Marsha attraverso quattro passaggi di fila e poi
decide se quelli sono stati buoni passi o non del tutto e perché puoi vedere qui o perché probabilmente
stai capendo perché il secondo ragazzo è migliore o è più potente perché il
secondo ragazzo sa davvero cosa c'è alla fine.
Il primo quando è quando sta valutando se questo passo è buono o meno, sta solo guardando la
ricompensa che sta ottenendo.
E quindi è guidato solo dalla ricompensa che l'ambiente gli sta dando.
La stessa cosa qui è solo guidato dalla ricompensa che questo ambiente gli sta dando qui.
Quindi ogni volta che è il suo unico tipo di bussola che ha la ricompensa, la ricompensa è la ricompensa.
Considerando che qui in realtà può valutare dopo aver preso le misure che può valutare.
OK, quindi sono arrivato al traguardo.
Quindi questa combinazione di passaggi è stata buona.
Tutti erano buoni.
O Oh no, sono finito nel firepit o Ohno I.
L'ho fatto e quando la mia macchina non è arrivata al traguardo o ho attraversato il muro di sabbia o ho perso il gioco del
destino o qualcosa del genere.
E poi decide che tutta questa combinazione di passaggi è cattiva.
E quindi per questi passaggi che sono in precedenza ha più informazioni.
Ha più intuizioni come in un approccio molto intuitivo.
Ancora una volta questo è un argomento molto più complesso di quello che stiamo rappresentando qui.
Ma in un modo intuitivo, per esempio, se fai questo passo, questo passo ha solo informazioni per ottenerlo, qui trovi
solo le informazioni che tornano da questo premio.
E per questo passo in questo caso lo stesso esatto passaggio.
Ha più informazioni da cui provengono tutte le informazioni.
OK, quindi qual è stato il risultato dopo quattro passaggi o cinque passaggi o qualsiasi altra cosa.
Sì, è così che funziona così e perché si chiama traccia dell'eleggibilità perché durante questo processo non
solo guarda al computer la ricompensa di ciò che sta accadendo e quindi la perdita cumulativa e
quindi tutto ciò che è appropriato.
Ma in realtà c'è una traccia di eleggibilità come quella che viene chiamata la fiducia della disabilità.
che otteniamo una punizione otteniamo una ricompensa negativa, allora quale di questi passaggi è più probabile che sia ammissibile per quella punizione.
C'è una traccia che viene mantenuta in un algoritmo che dice OK, quindi se otteniamo una diciamo
Quindi non solo sappiamo quale sia l'insieme di questo schema o la combinazione di passi
della scuola, ma manteniamo anche una traccia di ammissibilità quali passi stiamo aggiornando se otteniamo tutti.
Per esempio, se come ricompensa negativa potremmo avere una traccia di eleggibilità che
ci indica che questo è un passo più responsabile per ciò che abbiamo ottenuto alla fine o
se è una ricompensa positiva, potremmo sapere che l'algoritmo ci aiuta a tenere traccia questo algoritmo di ammissibilità ci aiuta
anche a tenere traccia di qual è il passo o quale azione deve essere ammissibile per essere aggiornato in base a tale premio
che otteniamo.
Ed è per questo che si chiama traccia dell'eleggibilità.
E così questa è l'intuizione di base dietro l'ammissibilità e si spera che questi due
esempi di questi agenti lo rendano abbastanza ovvio o abbastanza intuitivo mentre queste abilità possono essere così potenti.
E se, come promesso, ti piacerebbe approfondire ulteriormente le tracce di idoneità o l'apprendimento graduale, allora un
meraviglioso libro meraviglioso che puoi trovare è chiamato apprendimento di rinforzo.
Un'introduzione è di Richard Sutton Andrew Barto 1998.
Penso che stiano creando una seconda edizione o il problema molto critico.
o il più popolare o il più diffuso sull'apprendimento della sicurezza, ha un numero ridicolo di citazioni.
Ma questo è il libro più comune
Penso che siano decine di migliaia se non sbaglio.
E anche il capitolo che ti serve è il capitolo 7.
Quindi, al fine di esaminare le scelte di ammissibilità, c'è un intero capitolo sul Capitolo 7.
Puoi leggere su di esso e va in molti dettagli.
Forward backward eligibility trace e anche come differenza temporale integrale da una parte e dall'altra estremità dello
spettro avete metodi Monte-Carlo tra voi avete tracce di ammissibilità presumibilmente tracce o
vi collegate per passare da differenze temporali a metodi Monte-Carlo.
Molto interessante leggere molte immagini che ho davvero apprezzato molto spiegazioni molto intuitive.
Quindi ci sono molte cose che puoi imparare da questo libro sull'intelligenza artificiale e sull'apprendimento del
rafforzamento, ma in particolare l'ammissibilità delle tracce è come un ottimo posto dove andare è questo libro per le tracce
di ammissibilità.
E il secondo riferimento per oggi è qualcosa che ti mostrerà nelle prove pratiche il deep learning o
il documento di ricerca approfondita di Google su un metodo sincrono per un apprendimento di rinforzo più
profondo.
il documento che è l'unico documento in cui l'A-3 vede la carta che discuteremo più avanti nel punteggio.
Sì, questo è
Ci stiamo avvicinando sempre di più.
E come puoi dire siamo piuttosto entusiasti di questo, quindi questo sarà un po 'su come
hanno implementato le tracce di eleggibilità in questo articolo, quindi lo useremo di più per il lato
pratico delle cose.
Quindi spero che il tutorial di oggi ti sia piaciuto e che tu sia un po 'più a tuo agio con le tracce
di idoneità e non vedo l'ora di vederti la prossima volta.
Fino ad allora goditi a.