WEBVTT 00:00.390 --> 00:05.320 Hola y bienvenidos a parte de entrenar el ojo con un profundo kuning convolucional. 00:05.490 --> 00:06.240 Está bien. 00:06.240 --> 00:11.550 Ahora que construimos AI AI con la arquitectura de la red neuronal, el cuerpo, la forma en que se 00:11.550 --> 00:12.830 ejecutan las acciones y todo. 00:12.840 --> 00:17.040 Es hora de entrenar, digo yo con Cuellar convolucional profundo. 00:17.220 --> 00:21.100 Así que eso es a partir de ahora que implementaremos tu experiencia de reproducción de la experiencia. 00:21.210 --> 00:23.770 Trabajando con los valores trabajando con palabras. 00:24.000 --> 00:27.820 E incluso habrá una bonificación que mejorará mucho. 00:27.840 --> 00:33.870 El proceso de capacitación y eso se llama rastreo de elegibilidad de rastreo de elegibilidad es una técnica poderosa 00:34.110 --> 00:41.880 que consiste en acumular la palabra en varios pasos y los valores del cubo se aprenden en esta acumulación de palabras en lugar de 00:41.880 --> 00:46.860 en el momento en que se aprendieron los valores del cubo después de cada transición. 00:46.860 --> 00:52.800 Por lo tanto, después de obtener cada palabra esta vez, aprenderemos los valores después de obtener varias recompensas en 00:53.040 --> 00:54.480 lugar de solo una palabra. 00:54.660 --> 01:00.530 Entonces, en lugar de tener una transición después de la otra, sabes actualizar el valor Q cada vez. 01:00.660 --> 01:07.620 los q valores se van a actualizar en cada paso porque la elegibilidad rastrea los radicales y los pasos de elegibilidad de los pasos 01:07.710 --> 01:13.500 y el final es este número después del cual los valores q se van a actualizar y en nuestro modelo. 01:13.500 --> 01:13.820 Bueno, 01:13.820 --> 01:15.600 Aquí vamos a tener llamadas entonces. 01:15.630 --> 01:21.570 Entonces eso significa que habrá 10 pasos de elegibilidad y, por lo tanto, actualizaremos y aprenderemos los q valores 01:21.840 --> 01:22.880 cada 10 pasos. 01:22.890 --> 01:26.820 Después de acumular las palabras en estos 10 pasos, eso es una ventaja. 01:26.820 --> 01:32.400 Eso hará que nuestro modelo sea aún más poderoso y verá que al final obtendremos 01:32.400 --> 01:33.180 resultados sobresalientes. 01:33.180 --> 01:36.020 Estaba realmente sorprendido cuando vi el resultado final. 01:36.030 --> 01:40.430 Solía ​​trabajar en Merle's que llevaba mucho tiempo ejecutar. 01:40.430 --> 01:45.780 Sabes que la IA tardó mucho tiempo en entrenar, pero lo verás con esta y con la red 01:45.780 --> 01:46.640 neuronal que creamos. 01:46.860 --> 01:49.390 Ese es nuestro cerebro y nuestro cuerpo aquí con cosas. 01:49.390 --> 01:55.740 A continuación obtendremos una mafia muy poderosa y, por lo tanto, una IA muy poderosa porque verán que realmente 01:55.740 --> 01:56.600 curará las mentiras. 01:56.610 --> 01:59.090 ¿Entiendes de lo que estoy hablando? 01:59.370 --> 02:05.440 esta parte 2, estamos empezando por obtener el entorno Dume y, de hecho, preparamos las líneas de código para usted. 02:05.440 --> 02:06.740 Como puede ver en 02:06.780 --> 02:12.790 Solo estamos usando el archivo externo de preprocesamiento de imagen desde una carpeta de directorio de trabajo. 02:12.930 --> 02:19.520 Entonces, básicamente, el orden es más bien primero tomar esta línea de código, eso no lo hace en la corte. 02:19.590 --> 02:24.450 0 0 es el nombre del entorno del juego que estamos jugando. 02:24.450 --> 02:30.930 Entonces, primero importamos el entorno con esta joya que hace eso. Es lo que puedes encontrar en la página 02:30.930 --> 02:31.970 abierta y tutoriales. 02:32.190 --> 02:40.230 tengan un formato cuadrado con las dominaciones 80 por 80 y que lo recuerde es porque en nuestro nuevo sistema que funciona bien 02:40.290 --> 02:45.870 establecemos nuestras imágenes de entrada para tener los motores de tiempo uno por 80 por 80. 02:45.870 --> 02:54.060 Pero luego usamos esta clase de imagen preprocesada, que es una clase desde el procesamiento previo de la imagen hasta las imágenes preprocesadas 02:54.360 --> 02:58.530 que entrarán en la nueva que funciona y las preprocesamos para que 02:58.560 --> 03:03.490 Recuerde que uno es el número de canales, por lo que uno significa que estamos trabajando con imágenes en blanco y negro. 03:03.660 --> 03:06.350 Entonces esa es la escala de grises aquí. 03:06.900 --> 03:14.070 Y 80 por 80 significa que el predominio de nuestras imágenes de entrada será de 80 por 80 y eso es lo que 03:14.070 --> 03:20.190 establecemos en la red neuronal, pero por supuesto, necesitamos especificar esto al poner las imágenes, que es exactamente lo 03:20.190 --> 03:23.150 que hacemos aquí con este preproceso. clase de imagen. 03:23.670 --> 03:29.610 reproduciendo Doom Entonces veremos cómo matará a los monstruos tratando de alcanzar lo mejor y todo será súper emocionante. 03:29.610 --> 03:34.920 Y después de que importamos el entorno con el formato correcto de las imágenes de entrada mientras 03:34.920 --> 03:40.350 importamos todo el juego con los videos con esta línea de código y recordamos que lo bueno de 03:40.350 --> 03:43.410 esto es que al final veremos que los videos están 03:43.440 --> 03:48.170 Y recuerda que estos videos irán a la carpeta de estos videos. 03:48.630 --> 03:49.100 Todo bien. 03:49.230 --> 03:54.990 Y la última línea aquí, pero quiero mostrártelo, porque eso es importante, ahora está más relacionado con la 03:55.200 --> 03:56.710 AI AI que estamos construyendo. 03:56.910 --> 04:02.680 Recuerda que nuestra red neuronal toma como acciones de número de entrada. 04:02.880 --> 04:07.950 Eso es porque usted sabe que queremos hacer una AI AI que podamos probar fácilmente en 04:07.950 --> 04:09.660 varios entornos y varios entornos Dume. 04:09.660 --> 04:15.100 Y dado que los diferentes entornos tienen diferente número de acciones, bien especificamos esta variable 04:15.120 --> 04:19.070 de acciones numéricas como la entrada de la CNN al cerebro. 04:19.380 --> 04:26.250 Y, por lo tanto, ahora lo que vamos a hacer es obtener esta variable de acciones numéricas usando el entorno Dumah 04:26.250 --> 04:29.340 que nosotros solo importamos y creamos en esta variable. 04:29.340 --> 04:34.860 Y más adelante, este número está muy bien, lo que estamos a punto de crear será la entrada del cerebro. 04:34.890 --> 04:36.000 Entonces, hagamos esto. 04:36.000 --> 04:42.690 Estoy introduciendo este número real de acciones número acciones reales iguales. 04:42.720 --> 04:47.870 Ahora vamos a tomar nuestro entorno de fatalidad que es la variable que creamos. 04:48.150 --> 04:49.330 Entonces hazlo. 04:49.500 --> 04:56.250 Luego agregamos aquí eso y luego, bien, aquí vamos tomamos el primer espacio de acción aquí que es el conjunto 04:56.250 --> 04:57.200 de tus acciones. 04:57.230 --> 05:01.960 Los animo a echar un vistazo a la apertura en Horrible's para ver cómo funciona. 05:02.010 --> 05:05.530 Sabes cómo funciona cómo funcionan los entornos de gimnasio. 05:05.670 --> 05:07.940 Pero básicamente este es el conjunto de acciones. 05:08.040 --> 05:14.070 Y a partir de este conjunto de acciones, podemos acceder al número de acciones en el entorno y hacer 05:14.120 --> 05:15.770 estos datos aquí y luego. 05:16.080 --> 05:25.050 Y ese es el número de acciones y, por lo tanto, fatalidad, y ese espacio de acción devolverá 7 6:48 porque 05:25.050 --> 05:26.550 hay siete acciones. 05:26.760 --> 05:32.640 Sé que podemos ver seis acciones en los dos entornos en la página de inicio, pero creo que también 05:32.640 --> 05:33.400 podemos ejecutar. 05:33.490 --> 05:39.000 Y para que sepa que podemos avanzar mover a la izquierda mover a la derecha, girar a la izquierda, girar a la derecha y disparar. 05:39.000 --> 05:45.090 que hace que siete acciones estén bien y eso es todo para lograr hacer un ambiente que tengamos que hacer en nuestro entorno. 05:45.330 --> 05:47.010 Y además podemos ejecutar eso, lo 05:47.040 --> 05:52.640 Tenemos una serie de acciones, por lo que tenemos todo lo que necesitamos para nuestro cerebro. 05:52.800 --> 05:58.320 Luego crearemos un objeto o un objeto cerebral que llamaremos letras mínimas de CNN. 05:58.500 --> 06:04.500 Y dado que cualquier función toma una cantidad de acciones como argumentos, colocaremos el número de 06:04.900 --> 06:11.160 acciones en la escena, un objeto que crearemos y luego, por supuesto, crearemos el cuerpo y finalmente 06:11.160 --> 06:11.690 la IA. 06:11.850 --> 06:18.090 Y es por eso que en la próxima sección la llamaré construir una AI AI porque ahora podemos construir tantos 06:18.090 --> 06:19.170 ojos como queramos. 06:19.170 --> 06:22.070 Eso es lo increíble de la programación orientada a objetos. 06:22.110 --> 06:24.290 Podemos construir cualquier IA como queramos. 06:24.320 --> 06:29.820 Y entonces vamos a construir nuestra IA que tenga el cerebro sofisticado y eso es exactamente lo que 06:29.970 --> 06:31.690 haremos en el próximo tutorial. 06:31.860 --> 06:33.430 Hasta entonces, disfruta de la IA.