Hola y bienvenidos a la historia
Ahora vamos a hacer el ciclo for para calcular la pérdida de política y la pérdida de valor,
y una vez que tengamos estas dos lecciones, podremos usar nuestro optimizador para colocar cigarrillos en la
arena para reducir las pérdidas.
Está bien así que ahí vamos.
Comenzamos aquí por cierto en el tutorial anterior implementamos esta sección y olvidé eliminar las
sangrías, lo siento.
Así que comenzar desde aquí no es en el otoño.
Y ahora estamos comenzando un nuevo ciclo completo, así que empiezo aquí con cuatro.
Y ahora lo que vamos a hacer es comenzar desde el último paso que se realizó durante la exploración y
vamos a retroceder en el tiempo.
Entonces, es por eso que lo estoy haciendo en recompensas de tierras de rango invertido. Las mayores recompensas son las menos importantes.
Y dado que cada paso de la exploración está asociado a donde trabajamos porque en cada paso obtenemos
recompensa cuando luego hablamos.
Es este número de pasos y este reverso aquí se usa para que podamos retroceder en el tiempo para que vayamos.
lo que vamos a hacer es actualizar la recompensa acumulativa que está lejos y vamos a actualizarla de esta manera.
Y ahora
Eso es realmente lo mismo que hicimos con Doom.
Es igual a gamma que obtenemos de nuestros parámetros y tomando de los primeros programas que no son mucho más
la recompensa de esto que podemos obtener tomando la menor recompensa y tomando el índice.
Entonces, para nosotros, este será el trabajo del último y luego será la recompensa del día anterior, etc.
y cada vez que actualizamos nuestro Al multiplicarlo por gamma y luego agregar esta recompensa en el conjunto.
Y así al hacer esto, recuerda que llegaremos al final.
obtendremos una recompensa de nuestra comunidad que será genial al final del ciclo hasta nuestro cero.
Así que voy a escribirlo cuando lleguen y
La recompensa del paso cero más los tiempos gamma son uno.
Fuimos los primeros en agregar los tiempos de gamma cuadrado a la palabra.
El segundo paso más esa gamma más a la potencia de y menos una vez la recompensa obtenida en el paso y menos 1 en cualquier
número de pasos, pero luego tenga cuidado al final tendremos gamma con el poder de la
cantidad de pasos.
Los tiempos devalúan el valor de la función aplicada al último estado.
A eso es a lo que deberíamos llegar todavía.
Y esto lo obtendremos porque recuerden que obtuvimos este valor y el último paso porque esto se hizo al final
de este ciclo for aquí.
Y así obtuvimos el valor y establecemos que nuestro valor sea igual a ese valor.
Así que en este momento están al comienzo del segundo ciclo completo aquí será igual a este valor de la
última fecha.
Pero al hacer esto, esto es lo que obtendremos al final son iguales o cero por ciento o una cancha de tenis
o dos más pueden agregar la potencia y menos una vez que estuvimos en el paso y menos un juego
más a la potencia del número de pasos multiplicado por este valor de Lastings.
Entonces, eso es lo principal para entender y esta puede ser la acción de la recompensa acumulativa.
Y es por eso que es importante partir de él inicializando o con el aquí y haciendo este
ciclo invertido para obtener esta ecuación final perfecta.
Y ahora que tenemos el valor correcto para la recompensa acumulativa, calcularemos la ventaja y la
ventaja aquí es solo la ventaja de obtener esta recompensa en comparación con ellos.
Así que voy a introducir una ventaja evolutiva y, por lo tanto, será igual a esta recompensa acumulativa
menos el valor de la función V obtenida en la etapa.
Entonces, ese es nuestro valor negativo.
Perfecto.
Y ahora que tenemos la comunidad en la que trabajamos y la ventaja, entonces podemos obtener la pérdida de valor.
Este es el primero que podemos obtener ahora.
Así que vamos a obtener nuestro valor lo hace muy bien y esto se actualizará de la siguiente manera.
Recuerde que hasta el momento que nos devaluó se inicializó a cero.
Y entonces vamos a tomar la pérdida de valor nuevamente y a 0. 5 veces el cuadrado a la ventaja para que podamos obtenerlo de
esta manera.
Ventaja también pensada.
Así que eso solo significa cuadrar la ventaja de la potencia y ese es exactamente el valor más
la pérdida generada por las predicciones del valor de las salidas de función por el arroyo.
Por lo tanto, tiene sentido que esto se devalúe solo porque recuerde que la ventaja de la acción en el estado
s es la diferencia entre el valor Q y el valor de la función B.
Y así, cuando jugamos la acción óptima Bueno, obtenemos el estado estacionario con Q óptimo de la acción óptima
que un jugador estrella en el estado iguala el valor óptimo.
Vistar del estado s.
entender que cuando la ventaja no es igual a cero, habrá una diferencia entre estos dos.
Entonces, es bastante intuitivo
Y por lo tanto, así es como se mide el último.
DE ACUERDO.
Así que el último cálculo fue una última caída.
Ahora tenemos uno más para ir.
la política y eso es lo que vamos a calcular en este momento y para calcularlo debemos
considerar nuevamente la estimación de la ventaja generalizada porque para calcular la pérdida de la política necesitamos una estimación de la ventaja
generalizada y obtener las ventajas generalizadas de la nación primero necesitamos la diferencia temporal de las válvulas de etapa.
Es la pérdida de
Así que tenemos varias cosas para calcular aquí y vamos a comenzar con esta diferencia temporal una vez que
tengamos la diferencia temporal.
Obtendremos la estimación de ventaja generalizada y una vez que tengamos las ventajas generalizadas
de mencionar, obtendremos las penínsulas.
Todo bien.
Comencemos con la diferencia temporal T. GRAMO. Bromstad gamma multiplica por el valor de esta
deuda más uno y agregamos esa información para acceder a ella menos el valor del paso I y lo mismo los datos.
DD es igual a la recompensa del paso I más Ghana que obtenemos cosas para nuestra lista de programas, por lo que
Todo bien.
Esa es la fórmula de la diferencia temporal y los valores de estado.
Y ahora podemos actualizar la estimación de ventaja generalizada y cómo está fechada.
Bueno, tomamos R-GA y lo multiplicamos por gamma parameter gamma times, de modo que también accedemos con nuestros
parámetros.
Entonces tomamos programas de celda y agregamos esta diferencia temporal de los valores de estado.
Así que ten cuidado.
Estamos en el circuito.
Y cada vez multiplicamos el by-by y agregamos una diferencia temporal.
Entonces, es importante entender que al final de este bucle, esta estimación de ventaja generalizada
será igual a la suma de todos los pasos de los tiempos gamma, de modo que la potencia de i multiplicada por la diferencia temporal en el paso
por, sea tan importante para mantener esa en mente.
Y ahora que tenemos la estimación de ventaja generalizada y la diferencia general, finalmente
podemos calcular la política.
Entonces, hagamos esto.
Vamos a actualizar nuestras leyes de política de la siguiente manera tomando la antigua política para nosotros y restamos las
probabilidades de LUGG obtenidas en el paso que multiplicamos por esta estimación de ventaja generalizada que tenemos que poner en
una variable porque luego calcularemos los gradientes.
Entonces tiene que ser adjuntado a degradados en el gráfico y luego agregamos menos 0. 1 vez la entropía.
La entropía obtenida en el paso en el otoño.
Y otra vez.
Ahora ten cuidado
menos algunos pasos sobre el producto de la política en los tiempos de paso a la estimación de ventaja generalizada.
Este es el interior del ciclo, lo que significa que al final de la gripe lo que obtendrá es una política más
igual a
Además este 0. 01 veces la entropía hace lo que tenemos.
Y ahora, ¿cuál es la política del yo?
Bueno, esa es la probabilidad máxima de Max de las acciones y la entropía de esto, que haré que
sepas qué es lo que hicimos antes.
Y lo que intentamos hacer la lista.
Entonces ya tenemos eso.
Pero este año escuché que es la probabilidad Max suave de las acciones.
Y por qué ponemos un menos aquí.
Eso es porque la suerte de la probabilidad y la entropía son valores negativos.
Y como queremos minimizar su valor absoluto, debemos ver esto último como la probabilidad LUGG en lugar
de una distancia.
No, queremos maximizar la probabilidad de la acción que maximizará la ventaja.
Esa es toda la idea detrás de eso.
para aquellos de ustedes que podrían estar preguntándose cuál es el propósito de esta entropía eficiente.
Queremos maximizar la probabilidad de jugar la acción que maximizará la ventaja y
Hay este factor 0. 01 aquí.
Bueno, el objetivo es evitar que caiga demasiado rápido en una trampa donde tenemos una distribución de probabilidades
con ceros para todas las acciones, excepto una que tiene una probabilidad de uno.
Y si eso sucede eso minimizaría la entropía.
Entonces, es por eso que estamos agregando estas pequeñas revisiones 0. 01 año que hará que la entropía aumente en
el Gran en el sentido.
OK, entonces la buena noticia es que la parte más difícil ya está hecha.
Tenemos las dos pérdidas y, por lo tanto, lo que solo tenemos que hacer ahora y que ya sabemos cómo hacerlo
es realizar solo para obtener una calificación en el sentido de reducir estas dos clases.
Y entonces, lo que vamos a hacer ahora es salir de este circuito y vamos a tomar nuestro optimizador.
El que hicimos por separado, entonces recuerda que lo primero que tenemos que hacer es inicializar
todos los parámetros de clasificación a cero y para hacer esto lo sumamos a cero y se llama método de graduación.
Está bien, entonces eso está hecho.
Ahora vamos a realizar una propagación hacia atrás, pero le daremos el doble de importancia a
la política que el valor perdido porque la política es más pequeña.
Entonces para hacer esto vamos a poner en la política de paréntesis y el puntaje más más 0. 5 pérdida de valor así que 0. 5 veces el valor para nosotros y vamos a
agregar aquí que aplicamos el método hacia atrás para realizar la propagación hacia atrás y gracias a este truco
aquí con la política menos más la mitad del valor que tenemos el doble
de importancia para la política que el Vaness.
OK, vamos a usar otro truco que es evitar que el degradado tome valores extremadamente
grandes y, por lo tanto, genere el algoritmo.
de la biblioteca de antorchas, luego el submódulo utils y ahora vamos a usar una función CLEP
subrayar grad en la norma de puntuación y vamos a ingresar nuestra parámetros del modelo con una segunda entrada que será 40.
Y el truco para hacer eso es obtener primero nuestra biblioteca de antorchas, luego el extremo y el módulo
Y ese truco básicamente se asegurará de que los degradados no tomen valores extremadamente grandes
y generen el algoritmo.
Y para aquellos de ustedes que podrían estar preguntándose si estos 40 años.
Exactamente.
Bueno, eso significa que estamos utilizando estos valores, por lo que la norma del gradiente se mantiene
entre 0 y 40, y por eso es así como evitamos que el gradiente tome valores grandes.
OK, ya casi terminamos.
Recuerde que hicimos esto y que compartimos la función de Gretz al principio del otoño, que es para asegurarnos de
que el agente y el modelo compartido comparten los mismos degradados y hacer esto para asegurarse de que
podamos aplicar esta función aquí.
Así que vamos a agregar y compartir los grad's para asegurarnos de que el modelo moral y compartido comparten los
mismos gradientes.
Está bien, así que es solo una precaución.
No estoy seguro de que sea totalmente necesario, pero al menos no sabremos nada aquí.
Bueno.
Y finalmente, la última línea de código, por supuesto, vamos a realizar el paso de optimización
para reducir las pérdidas y usted sabe cómo hacerlo; por supuesto, tomamos nuestro optimizador y lo agregamos con paréntesis
y luego vamos a entrenar nuestros cerebros. encima.
Así que felicitaciones.
Espero que esto no sea demasiado abrumador.
No se preocupe, le proporcionaré el código con todos los comentarios.
Entonces, si omite algún detalle, puede echarle un vistazo a los comentarios.
Y no te preocupes si no has entendido nada, esto es muy avanzado.
Pero tenga la seguridad de que esta es también la visita de recuerdo más poderosa realizada por el creador de pi.
Entonces realmente estamos trabajando con los mejores aquí.
El estado del arte, por lo que es totalmente normal que si no obtuviste todo la primera
vez, pero trabajando en ello muchas veces definitivamente te sentirás más cómodo.
Así que ahora hemos terminado con el entrenamiento.
Básicamente, hicimos todas las cosas más importantes que sabes que hicimos los cerebros construyendo las arquitecturas de las
redes neuronales con las convoluciones LCN y las capas completamente conectadas.
Entrenamos su cerebro al hacer este código de tren aquí.
Entonces, básicamente, el corazón del algoritmo está hecho.
Hiciste que el A3 viera felicitaciones.
Ahora tenemos algunas cosas más que hacer, pero eso es solo para divertirnos.
Sabes que tenemos que hacer esta prueba que encontramos que pondrá a prueba a los agentes y proporcionará los videos y
la salida del avión.
Así que será muy divertido ver que no vamos a codificar todas las líneas de esta prueba porque me caí porque,
como dijimos, hicimos lo más importante.
el 23C pero, por supuesto, explicaré el código y, eventualmente, tendremos esta información. Descubrí cuál ejecutará el código.
Todos los relacionados con
Y desde el momento en que ejecutamos este código, se generará todo el código.
Entonces los cerebros estarán hechos.
El entrenamiento sucederá y la vista jugará nuevos juegos de breakout y obtendremos todos los videos.
Así que no puedo esperar para eventualmente verlos.
Vamos a ver si es lo suficientemente inteligente como para atrapar la pelota.
Así que ahora voy a ver en el siguiente tutorial para esta interfaz de usuario de escritorio para que podamos probar la IA en
algunos juegos nuevos.
Y hasta entonces, disfruta de la IA.