Hola a todos, y bienvenidos de nuevo.
En esta lección, vamos a configurar nuestro entorno.
Y quiero presentar esta descripción general de más alto nivel para aquellos que quieran intentar resolverlo por su
cuenta.
Y esto puede parecerle familiar en la última conferencia que vio.
Así que si lo lees, mis disculpas.
Vamos a revisarlo muy rápido.
Lo primero es lo primero.
En este proyecto, nuestro objetivo es mantenerlo lo más simple posible en el sentido de que no necesitamos
importar demasiadas bibliotecas.
Básicamente, solo vamos a usar NumPy para eso.
Solo necesitamos importar NumPy como y P, generalmente la referencia común para numpy.
Y también queremos configurar nuestro entorno, como verá aquí.
Y vamos a repasar esto de nuevo muy rápidamente como una descripción general.
El primer paso para nuestro aprendizaje Q es que queríamos encontrar un entorno en el que el cartero tenga que navegar.
Necesitamos ese entorno configurado para que podamos iterar y revisarlo.
En esta conferencia, el entorno consistirá en estados, acciones y recompensas.
Los estados y las acciones son entradas para el agente de aprendizaje Q, mientras que las acciones posibles son
los agentes, las salidas son estados en los que podemos pensar y ver esta imagen como nuestra representación.
Los estados de nuestro entorno son todas las ubicaciones posibles dentro de la ciudad que podemos llamar esta ciudad de
ejemplo.
Algunas de estas ubicaciones son los límites de la ciudad que serán nuestros cuadrados negros, mientras que otras ubicaciones son
islas que el cartero puede usar para viajar por la ciudad.
Esos van a ser los cuadrados blancos.
El cuadrado verde indica el área de embalaje y envío del artículo.
Los cuadrados negros y verdes son lo que llamaremos estados terminales.
Entonces, en general, nuestro objetivo o el objetivo de nuestro agente, queremos usar el camino más corto.
Queremos que nuestro agente aprenda el camino más corto entre el área de empaque del artículo, el frasco, el verde y todos
los demás lugares de la ciudad donde el cartero puede viajar.
En la imagen de arriba, tenemos 121 posibles estados o ubicaciones dentro de la ciudad.
Estos estados están dispuestos en una cuadrícula de 11 por 11.
Cada ubicación se puede identificar por su índice de fila y columna.
Entonces, ¿cuál sería nuestro primer paso?
Y esto es realmente quiero que empiecen a pensar en cómo pueden definirlo.
Necesitamos definir nuestro entorno.
Este es un buen ejemplo de nuestra imagen y de cómo vamos a abordarla.
Entonces, ¿cómo modelarías eso?
Recuerde, estamos usando NumPy, por lo que debemos definir estos límites y podemos definir una matriz numpy 3D para
contener nuestros valores Q actuales para cada par de estado y acción a medida que vemos nuestra representación.
Y para aquellos de ustedes que no están familiarizados con él, o tal vez esto
es nuevo o simplemente quieren refrescarse, el manual Air Z de este curso es extremadamente útil, muy recomendable.
Entonces, ¿qué tenemos que hacer aquí?
En realidad podemos.
Permítanme expandir esto muy rápidamente para que podamos verlo un poco más fácil.
Permítanme agregar algunas celdas de código.
Vamos a definir nuestro imperio 3D.
¿Cómo haría usted para esto?
Así que tenemos algunas opciones.
Pero la opción más directa y simple, llamémosla filas de entorno.
Rose y pongámoslo en 11.
Es un 11 por 11.
Entonces también podemos hacer medio ambiente, columnas de subrayado.
Y también podríamos establecer esto en 11.
Por último, podemos establecer nuestros valores Q ya que necesitamos agregar nuestro numpy con las filas del entorno, las columnas del
entorno.
Y podemos establecer esto como valores Q iguales a ceros NumPy y necesitamos usar nuestras filas de entorno, columnas de
entorno.
Y tenemos nuestra matriz numpy 3D, nuestra representación de entorno 3D configurada con nuestro entorno.
Impresionante.
Ahora vamos a dejarlo aquí, pero quiero que empiecen a pensar en cómo resolver esto ya
que ya tienen su entorno configurado.
Lo siguiente que querrá hacer como sugerencia es configurar sus acciones.
Su agente debe poder moverse por el entorno.
Entonces, ¿cómo representarías eso?
¿Cómo escribirías eso?
Para este problema, dejémoslo aquí.
En el próximo video, revisaremos esas acciones.
Impresionante.
Los veré en el próximo video.