Hola y bienvenidos a este patrón, es horror.
Muy bien, así que solo actualizamos la memoria después de alcanzar el nuevo estado.
Y ahora cuidémonos del día siguiente.
Según usted, ahora cuál será la próxima actualización.
Bueno, básicamente, hemos terminado con una transición que hemos fechado el último elemento de la transición, que es el
nuevo estado.
Así que ahora es como si comenzáramos de nuevo.
Y cuando estábamos empezando todo de nuevo.
Es como si supieras que estamos en este nuevo estado del medio ambiente y, entonces, ¿qué tenemos que hacer ahora de forma natural?
Bueno, por supuesto, es para actuar porque ya tenemos la observación de las noticias.
Ahora lo que tenemos que hacer es jugar una acción y, por lo tanto, lo que tenemos que hacer ahora es,
por supuesto, utilizar la función de acción de selección para ejecutar la acción.
Así que hagámoslo, creemos una nueva acción Voivode y juguemos la acción con la acción seleccionada, así que
estoy tomando.
Primero, es bueno especificar que la función de acción de selección es un método del objeto de la clase
que se creará.
Entonces un yo que selecciona acción.
Aquí vamos.
Entonces esa es la próxima acción.
Y luego, por supuesto, dado que la función de acción de selección toma el estado como entrada porque, por supuesto,
la función de acción de selección devolverá la salida de la red neuronal cuando el estado de entrada actual ingrese a
la red neuronal.
y dado que son los estados que acabamos de alcanzar en el entorno en este momento donde el estado de
entrada es, por supuesto, su estado, porque este estado al que recién llegamos en este momento es Newstead.
Entonces, tenemos que ingresar la etapa de entrada aquí
Entonces, en esta función de acción selectiva me refiero a poner nuevos palos.
De acuerdo, con esta línea de código simplemente jugamos la nueva acción después de alcanzar el nuevo estado.
OK y ahora que jugamos una acción Bueno, obtenemos la recompensa y, por lo tanto, recibimos retroalimentación con la recompensa.
Y, por lo tanto, si tenemos más de 100 elementos en la memoria, sería tiempo de aprender.
Y, por lo tanto, lo que debemos hacer ahora es lo que lógicamente viene después de seleccionar una acción que, por
supuesto, disminuya la necesidad de AI de comenzar a aprender.
Si está haciendo las cosas de la manera correcta.
Y ahora, dado que jugó bien la acción, haremos que la IA aprenda de sus acciones en
los últimos 100 eventos.
Pero antes de aplicar esta función aprendida tenemos que hacer esta condición para asegurarnos de que ya hemos alcanzado
más de 100 eventos porque sabes que estamos aprendiendo de las muestras aleatorias de la memoria.
Sabes que tenemos esta gran memoria de 10000 elementos.
Estamos tomando algunas muestras aleatorias de la memoria de 100 elementos y la IA está aprendiendo de la
información contenida en esta muestra de 100 transiciones aleatorias.
el objeto de su clase de memoria de repetición, pero luego la clase de memoria de repetición tiene una atributo que es memoria.
Así que hagamos esta condición si queremos asegurarnos de que el número de elementos de la
memoria de esa memoria y luego tenga cuidado solo con un pequeño truco. Aquí la memoria autodidacta es
Entonces, de hecho, necesitamos tomar parte de la memoria de la memoria: la primera memoria es el objeto de la clase de
memoria de repetición y la segunda memoria es el atributo aquí mismo de esa memoria.
Entonces, si la cantidad de elementos en la memoria es buena, queremos que sea mayor que 100, luego Cullin Y luego,
qué sucede.
Bueno, podemos aprender, pero para aprender necesitamos obtener esta muestra aleatoria de 100 transiciones y esto lo
podemos lograr con la simple función.
Y dado que la función simple devuelve los diferentes lotes a los estados en el tiempo t estos datos 20 más uno
las acciones del tiempo t y estábamos en 20.
Bueno, lo que tenemos que hacer ahora es crear algunos nuevos avivamientos que serán el lote
de los estados en el tiempo t el lote de las próximas fechas el lote de
las palabras y el lote de las acciones y podemos simplemente dar los mismos nombres como dijimos para los argumentos aquí y están aquí.
Y estas variables serán iguales a lo que devuelve la función simple, ya que devuelve exactamente estos lotes
y el estado siguiente toma palabras y acciones.
memoria y luego de este objeto de memoria vamos a usar el método simple que tomará como entradas.
Entonces, lo que necesitamos hacer ahora es obtener primero nuestro objeto de
Bueno, la cantidad de transiciones de las que queremos que nuestra IA aprenda es de 100.
Es por eso que nos aseguramos de que tuviéramos más de cien transiciones.
Entonces aprenderá de 100 transiciones de la memoria.
Entonces el aprendizaje será mucho mejor.
Y entonces, hagamos que esto realmente suceda.
Bueno, ya que el método de aprendizaje es un método de nuestra clase.
los objetos futuros que se crearán a partir de una clase diferente y, por lo tanto, lo que debemos tomar es uno mismo.
Bueno, necesitamos acceder a este método de aprendizaje a partir de
Uno mismo se refiere a ese objetivo de hacer durante la clase y luego aprender como este método aprendido Método aprendido a
la cual, cuando se pone Por supuesto, estos tipos aquí el mal estado del estado belga el mundo natural y
la acción Bachche.
Estos son nuestros lotes tomados de nuestra memoria y obtenemos 100 de ellos porque tenemos 100
transiciones de estas 100 transiciones. Tomamos 100 estados 100 luego estados 100 recompensas y 100 acciones Afrontemos
aquí y allá vamos Ahora el aprendizaje sucederá.
Pasará de todos estos lotes aleatorios.
Perfecto.
Y ahora lo que tenemos que hacer son las últimas actualizaciones después de saber que alcanzas un nuevo estado y juegas
en acción.
Bueno, tenemos que jugar, pero todavía no tuvimos esa reacción.
Ese es nuestro ser el último voivoda de acción.
Así que asegurémonos de que no olvidemos esto.
Hagámoslo ahora.
que iguale a la última acción y por supuesto acción la acción que nos quedamos aquí con esta función de acción seleccionada.
Actualizaremos el último yo de acción
Ahora mismo, la última sección se actualiza entonces.
Lo mismo para el nuevo estado.
Alcanzamos el nuevo estado, pero no hemos actualizado la última fecha porque, por supuesto, el último estaba antes del estado
en el momento t.
Pero desde ahora llegamos al nuevo superávit estatal cuando es hora de aprobar uno.
Bueno, el último se convierte en esto que dijiste aquí.
Por lo tanto, necesitamos actualizar también.
Self ese último estado es igual a nuestro nuevo estado.
Aquí vamos.
Y ahora, ¿qué necesitamos para salir?
Bueno, solo queda una cosa.
Por supuesto, la palabra y la palabra son exactamente las que recibimos en realidad.
Entonces ese será el argumento de esta función que si hiciéramos la conexión a nuestro mapa será
la última palabra.
Esa es la palabra que recibimos justo después de jugar la acción en este nuevo estado alcanzado.
Entonces, si continuamos con algún sonido, esta última palabra será menos uno, si nos alejamos de la marcha
obtendremos una palabra ligeramente mala menos 0. 2 si nos acercamos a la meta.
Obtendremos una recompensa ligeramente buena 0. 1.
Y si nos acercamos demasiado a un borde del mapa, eso será un castigo.
Obtendremos menos uno por cada uno.
Así que esa es la última palabra que recibimos.
En realidad, eso es cuando eso sucede de verdad en el mapa.
Y este será el argumento de la función.
La última palabra aquí.
Esa es exactamente esta.
Y como este es el argumento de la función de actualización que corresponde
a esto, no estábamos aquí y, por lo tanto, nuestro yo, la última variable de palabra inicializada al principio en esta
función se convierte en la nueva palabra que en realidad es la palabra o eso la misma última palabra
Todo bien.
Ahora actualizamos nuestra última palabra.
Y ahora, ya que tenemos nuestra última palabra.
Bueno, ahora podemos salir con el mundo.
Recuerdas la guerra cuando se inicializaron aquí como una de las variables del objeto de nuestra clase.
Esa es la ventana que hará un seguimiento de cómo va este tren, tomando el promedio
de las últimas 100 recompensas.
Entonces sabes que será como una ventana deslizante que nos muestra cómo evoluciona la media del mundo.
Y así que ya tenemos nuestra última palabra.
Bueno, podemos actualizar la ventana de cómo estábamos actualizados.
mi ventana de guerra como palabra cuando escuchemos esto y voy a usar la función de agregar.
Bueno, simplemente tenemos que añadir esta última palabra a la ventana y, por lo tanto, lo que voy a hacer es tomar
Y dentro de la función abierta necesitamos ingresar el elemento que queremos agregar al que
estábamos cuando hacemos eso, por supuesto, queremos.
Muy bien, perfecto.
Y como esta ventana de guerra tendrá un tamaño fijo, sabrá que no va a ser una ventana en crecimiento, será
una ventana de tamaño fijo que se desliza con el tiempo para mostrar la evolución del mundo.
Y ahora tenemos que decidir por un tamaño de este invierno.
Y es simplemente la cantidad de medios de la recompensa que tendremos en esta ventana.
Y así, por ejemplo, vamos a conocer los últimos 1000 medios de las últimas 100 palabras.
Y para asegurarnos de que vamos a agregar si planificamos entonces tomamos nuestra ventana de trabajo y simplemente
agregamos aquí si la cantidad de elementos en la ventana es mayor a 1000.
Bueno, lo que queremos hacer es eliminar el primer elemento de este que nuestra ventana y el
primer elemento de esta ventana tiene que indexar cero.
Todo bien.
Ahora nos aseguramos de que esta ventana de guerra nunca obtenga más de 1000 elementos.
perfectos, esto será una ventana de tamaño fijo para que podamos ver si la media de la palabra está aumentando.
Hay mil medios de las últimas 100 palabras que son
Y, por lo tanto, si la capacitación va bien y, en consecuencia, la corte hace lo que queremos.
Perfecto.
Y ahora, una pequeñita cosa que hacer te deja a ti como va a ser.
Recuerda que esta función de actualización no solo actualiza los diferentes elementos de la transición en la
ventana de guerra, sino que también devuelve la acción que se jugó al alcanzar este nuevo estado.
Es por eso que tenemos y luego esa acción es igual a traer esa fecha en la que somos menos señal y, por lo tanto,
se supone que debe devolver algo, y lo que se supone que debe regresar es, por supuesto, la acción.
Entonces, lo último que necesitamos hacer aquí es solo la acción de retorno, la acción que se acaba de jugar cuando alcanzamos
la nueva etapa.
Y esa es nuestra función de actualización está lista.
Va a hacer todas las actualizaciones necesarias y hará que la acción llegue a la nueva etapa.
Eso es perfecto.
Esa fue la última acción difícil de hacer para todo esto, un proceso.
Ahora el resto será bueno.
Simplemente haremos una función central para devolver los medios que queremos en la ventana.
Luego haremos una función segura para salvar el cerebro del automóvil cada vez que desee salir de la aplicación
y volver a ella.
Y, por supuesto, dado que desea cargar el cerebro de su automóvil cuando regrese, regrese
a la aplicación.
Bueno, terminaremos haciendo una función de carga que cargará su modelo después de guardar su modelo
con la misma función.
Así que tres funciones para hacer eso, pero va a ser simple.
la sección más emocionante de este primer módulo que es la demostración que veremos si el aire funciona.
Y luego tendremos
Veremos si el coche alcanza los objetivos y veremos cómo podemos mejorarlo y, finalmente,
tendrá que construir su primera IA.
Así que no puedo esperar para comenzar la demostración.
Hagamos estas tres funciones primero y hasta entonces I.