Hola y bienvenidos a Statoil.
De acuerdo, entonces calculamos la entropía y la agregamos a la lista de entropías.
Y ahora lo que vamos a hacer es tomar una gota aleatoria de una acción de acuerdo con la distribución
de probabilidades de la siguiente.
Entonces, hagamos esto.
Ese es el siguiente paso.
Todavía estamos en el circuito porque todavía estamos ejecutando los pasos aquí.
Y ahora sabes cómo jugar la acción.
Primero introduciremos una variable para la acción llamada acción y luego tomaremos nuestra
distribución de probabilidades y vamos a usar la función neuronal multi nulo para tomar un sorteo al azar de
esta distribución de probabilidades y luego agregaremos esa información.
Por lo tanto, es importante tener en cuenta que la acción en realidad será un tensor con un solo valor, pero
no debería ver esto como un valor simple.
Debería ver esto como una condena de tensor uno por uno que contiene este valor para la acción.
Y eso es porque no está exprimido aún en el mismo ciclo for.
Vamos a obtener la probabilidad de registro asociada a la acción que acabamos de jugar.
Y cuando estoy saliendo con mi probabilidad de suerte aquí tomando la anterior suerte de la
que calculamos aquí y luego voy a usar el otro método al que voy a ingresar 1 y la acción que
fue solo jugando porque queremos obtener la probabilidad de suerte asociada a esta acción.
Y entonces el segundo argumento aquí voy a poner mi acción, pero tiene que haber una tortura horrible como lo
requiere la función recopilada y la función recopilada simplemente indexa con un número entero de tensor.
Muy bien, ahora tenemos el aspecto de asociado a la acción que se mostró.
Y ahora el siguiente paso es agregar lo que tenemos a la lista aquí.
Así que obtuvimos el valor.
Eso es lo que obtuvimos aquí como resultado del modelo.
Entonces también tenemos el problema de bloqueo.
Así que vamos a agregar el bloqueo a la lista de accesorios de bloqueo.
Ya agregamos que la entropía a la entropía es menos buena y las recompensas la obtendrán después.
Entonces, ahora nos abriremos al valor y observaremos la lista de valores y el proceso legal.
Hagámoslo.
la función de gasto y agregamos el valor que fue devuelto por el modelo perfecto luego Igual para los
problemas de bloqueo. Acabamos de obtener nuestros nuevos accesorios y los vamos a agregar a la lista de accesorios de bloqueo.
Tomamos nuestra lista de valores. Agregamos que usamos
Y así en esta función de adición podemos poner un registro de nuestra suerte, probablemente fue calculado aquí.
Está bien, entonces nuestras listas están ahora bien actualizadas.
Ahora lo que vamos a hacer es jugar la acción porque en realidad aquí seleccionamos la acción
tomando un sorteo al azar de la distribución de probabilidades aquí.
Pero en realidad todavía no lo hemos jugado y vamos a jugarlo ahora para poder alcanzar el nuevo estado y,
por lo tanto, obtener la nueva transición y jugarla.
jugamos la acción en nuestro entorno y luego vamos a usar el método de paso.
Vamos a tomar nuestro entorno porque
Y en el interior especificamos la acción que se seleccionó para reproducirlo y para ello tomamos nuestra acción y agregamos que
ninguno por, porque eso es lo que se espera que sea la función.
Ok, pero esto devuelve el nuevo estado y también la nueva recompensa porque al alcanzar el nuevo estado obtenemos una nueva recompensa
y también obtenemos un nuevo valor para que Dunn sepa si el juego está hecho o no.
Muy bien, con esto jugamos la acción, alcanzamos un nuevo estado y obtenemos una recompensa y sabemos si hemos
terminado con el juego.
Y hablando de haber terminado con el juego.
Bueno, vamos a agregar algo aquí que asegurará que un agente no esté apilado en
algún estado.
Y para hacer eso vamos a actualizar eso muy bien de la siguiente manera.
Bueno, va a ser igual a hacer o vamos a agregar una condición que diga que el episodio
del juego no debe durar demasiado tiempo y veremos en la función principal que habrá un parámetro de
longitud máxima que será igual a 10000.
Y no queremos que un episodio dure más de 10000 unidades.
una condición más grande que el episodio máximo de Lex, que en realidad no hemos dicho esto en detalle.
Así que vamos a escuchar la duración del episodio, que es la duración de un episodio y vamos a escribir
Lo estamos obteniendo de nuestros parámetros para un final aquí Paramjit pero Ramstad.
Max es extenso.
Esto significa que si el juego está terminado o la duración del episodio es mayor que la duración máxima del conjunto
de episodios que será igual a 10000.
Bueno, el juego estará listo y comenzaremos un nuevo juego.
De acuerdo, eso es solo una precaución.
precaución vamos a agregar otra precaución para fijar la recompensa entre menos 1 y más 1.
Y hablando de
Ya obtuvimos el que estábamos aquí, pero queremos asegurarnos de que la recompensa esté entre menos 1 y
más 1.
Y para hacer esto simplemente necesitamos actualizar la recompensa haciendo esto tomando el máximo luego de
tomar los hombres de recompensa y 1.
Y aquí tomamos el máximo del mínimo de recompensa y 1 y menos 1 y eso asegurará que la
recompensa esté entre menos uno más uno.
Todo bien.
Entonces otra percusión.
Y ahora solo queremos comprobar si el juego está hecho, en cuyo caso reiniciaremos el entorno.
Y por qué tenemos que comprobar que ahora es porque recién llegamos a un nuevo estado.
Acabamos de pasar una nueva transición.
Entonces debemos verificarlo después de pasar esta nueva transición.
Bueno, el juego no está hecho, así que si se hace de nuevo, en
ese caso, reiniciaremos los entornos configurando la duración del episodio en cero.
reiniciarse a medida que tomemos nuestro entorno y usaremos la función de reinicio OK.
Y también el estado se reinicializará para
Ahora salimos de esta condición que solo estaba comprobando.
Y ahora lo que vamos a hacer es desde que alcanzamos un nuevo estado, mientras que este nuevo estado es
Ray, de vez en cuando, porque recuerde que los estados son las imágenes de entrada que originalmente reciben el nombre de matrices.
Y ahora lo que tenemos que hacer es convertir el nuevo estado en una respuesta torturada.
Así que vamos a actualizar nuestro estado y vamos a usar la biblioteca de la antorcha.
Y, por supuesto, la función no tailandesa para convertir este estado de no pago las imágenes de entrada en un sensor
de antorcha.
Perfecto.
Y ahora lo último que tenemos que hacer antes de salir de este ciclo es el ciclo
de nuestros pasos Bueno, por supuesto, pasar la recompensa a la lista de observación.
Eso es lo último que debe actualizarse. Actualizamos toda la lista aquí excepto la recompensa.
Así que vamos a hacer eso en este momento tomamos nuestras recompensas y usamos su función cerebral para
anexar la última palabra que acaba de recibir perfecta.
Y justo antes de salir del bucle for, solo tenemos que hacer una última comprobación para verificar que, si está
listo, queremos detener la caducidad.
Y entonces simplemente vamos a agregar aquí un descanso.
Lo que significa que, si lo hace, detenemos la exploración y pasamos directamente al siguiente
paso, que será la actualización del modelo compartido, y ahora hemos terminado con esto por ahora que el agente ha realizado
su exploración.
Se actualizará el modelo compartido y que se encargará de que en el próximo tutorial y así entonces I.