Ciao e bentornati al corso su un I I nella parte precedente abbiamo parlato
dell'intuizione profonda di Killary che abbiamo iniziato lì.
E in effetti siamo arrivati ​​fino a questa parte e abbiamo parlato dell'apprendimento e ora
passeremo alla parte recitazione vera e propria.
Quindi, ci sono due parti in parti distinte che dobbiamo ricordare.
Questa è la parte dell'apprendimento, ma ora in realtà ha fatto tutto questo.
Questo è bello.
prendere un'azione che deve decidere che cosa farà, farà l'azione uno due tre o quattro.
Ora, in realtà, deve
E quindi come fa a farlo.
Bene, il modo in cui lo fa è ora dato gli stessi valori in modo che i valori non cambiano dopo che abbiamo
questi valori di confrontarli con Calcott gli ultimi due dell'era arrogata abbiamo aggiornato i pesi
ma i valori non cambiare in tutto il processo.
Per avere i valori del cubo lì.
Sono riparati.
Sappiamo cosa sono.
Tutto questo succede però.
Reti aggiornate e fuori usando quegli stessi valori che avevamo.
Quello che faremo è che li analizzeremo attraverso una funzione soft max.
E di nuovo morbido Max come descritto.
Penso ad un allegato 2 e parleremo un po 'di più su soft max.
Più avanti o parleremo di questa politica di selezione delle azioni più avanti nel resto di questa sezione.
Quindi, solo in alcuni tutorial.
Ma per ora stiamo solo per dire che lo stiamo passando attraverso una funzione soft successiva.
Fondamentalmente quello che fa è che consente di selezionare il migliore che seleziona la migliore azione possibile.
E c'è un piccolo avvertimento su questo.
Non è solo il migliore possibile.
Ne parleremo nel tutorial sulla politica di selezione delle azioni.
Ma per ora diciamo che seleziona l'azione migliore da qui, dice OK, quindi Q1 conosci la verosimiglianza.
Fondamentalmente sappiamo che i valori di q hanno predetto il valore Q in modo che possa guardarli e dire OK quindi il
valore Q più alto di questi proprio come abbiamo fatto nel semplice algoritmo di apprendimento Q.
tutti questi per dire i valori più alti per cui selezionerò quell'azione che prenderemo.
Ill guardo
E questo è praticamente tutto.
È così che sceglie quale azione prende le azioni necessarie e quindi tutto questo processo si ripresenta.
Per il prossimo stadio l'agente finisce nel nostro caso e nel quadrato successivo del labirinto.
Ma generalmente parlando nel prossimo stato.
Quindi eccoci.
È così che alimentiamo un problema di apprendimento di rinforzo in una rete neurale attraverso un vettore che descrive lo stato in
cui ci troviamo.
E una volta che ci siamo adattati.
Ci sono due parti del processo che avvengono. La prima parte è l'apprendimento.
Quindi ricorda quella parte in cui confrontiamo ciascuno dei valori del cubo con il target e
poi torniamo a propagare la perdita attraverso la rete per aggiornare i pesi in modo che la nostra rete stia
imparando mentre attraversiamo questo labirinto o attraverso questo ambiente.
E anche la seconda parte è ovviamente che dobbiamo agire, dobbiamo selezionare un'azione ed è qui che
passiamo i valori attraverso una funzione soft max e sostanzialmente una politica di selezione delle azioni di
cui parleremo più avanti.
E poi selezioniamo semplicemente l'azione che vogliamo intraprendere e noi eseguiamo quell'azione e quindi
l'intero processo ricomincia.
E poi forse l'agente ottiene allora forse l'agente non interrompe il gioco.
In ogni caso il gioco finisce.
E poi, ancora una volta, l'intero processo ripete l'agente che gioca di nuovo l'intero gioco e poi si ferma così fondamentalmente che è un
altro aeroporto ogni volta che l'agente che conosci ogni volta che il gioco finisce con un favore al di là di
quello che è la fine di un aeroporto.
E poi ricomincia e poi ricomincia e poi ricomincia.
E così via.
Così succede e questo processo avviene ogni volta che l'agente è in te in un nuovo stato, quindi lo stato
è codificato qui, quindi è importante non solo per ogni singolo gioco che suona, ma per ogni
singolo stato.
Quindi è in uno stato che passa le sue date di processo e così via e succede ogni volta.
E così l'apprendimento avviene e anche la recitazione avviene.
Quindi questo è apprendimento profondo nell'intuizione dietro l'apprendimento profondo.
e poi, naturalmente, pratico e nel frattempo se desideri ottenere ulteriori informazioni su come continuare ad imparare.
Abbiamo molto di più da coprire
Abbiamo una lettura consigliata, quindi abbiamo già parlato della serie di post di Arthur Giuliani.
Se osservi il semplice apprendimento informale del flusso di Lifton, parte 4, troverai la parte rilevante per ciò
che abbiamo discusso oggi.
Nota che qui parla delle convoluzioni che non copriamo le rivoluzioni in questa sezione, di cui
parleremo nella prossima sezione del corso.
Quindi la differenza qui è che è solo una specie di saltare la parte delle conclusioni per ora
e ne parleremo nella prossima parte del corso, ma la differenza è nelle evoluzioni.
Sei come guardare l'agente sta guardando l'immagine e quindi deve elaborare un'immagine un'ulteriore complicazione
per il momento in cui lentamente ci stiamo gradualmente sviluppando.
Per ora stiamo codificando il nostro ambiente attraverso il tuo sguardo qui stiamo codificando il nostro ambiente o
forse guardiamo a questo probabilmente nel codificare il nostro ambiente come uno o in uno stato in cui l'agente si trova come un vettore.
Quindi nel nostro caso era un vettore di valori molto semplice.
A volte le persone anche in questo semplice a volte possono o come vedrai da questo post del blog.
A volte le persone preferiscono la versione calda e codificata di quello stato.
Quindi in pratica dove ogni singola casella del labirinto ha un
Quindi hai un vettore di un caso nullo di 12 valori tre per quattro.
Quindi non è come 1 o 0 a seconda degli elementi e della casella in cui ti trovi.
Nell'ambiente
Quindi, in qualsiasi modo tu decida di codificare il tuo ambiente e lo stato del tuo ambiente è così che nella
codifica è fondamentalmente un vettore.
La chiave qui è che non è una convoluzione Quindi non è come un'immagine e non c'è volt convoluzione
Quindi questa parte verrà dopo.
Per noi ricomincia qui e questo semplifica il processo per farci capire gradualmente meglio.
E, naturalmente, non dimenticare che questo post è scortese e tende a fluire e stiamo usando pi torche
nei nostri tutorial.
Quindi spero che ti piaccia questo.
Un'introduzione rapida in un profondo apprendimento convoluzionale, profondo e non ancora profondo.
E su quella nota non vedo l'ora di vederti dopo.
E fino ad allora goditi l'intelligenza artificiale.