WEBVTT 00:00.390 --> 00:05.320 Olá e bem-vindo para se formar para treinar o olho com kuning convolucional profundo. 00:05.490 --> 00:06.240 Está certo. 00:06.240 --> 00:11.550 Agora que construímos o AI AI com a arquitetura da rede neural do corpo da maneira como as ações 00:11.550 --> 00:12.830 são jogadas e tudo. 00:12.840 --> 00:17.040 É hora de treinar, digamos, com Cuellar convolutivo profundo. 00:17.220 --> 00:21.100 Então, a partir desse momento, implementaremos você, conheça a experiência de repetição. 00:21.210 --> 00:23.770 Trabalhando com os valores trabalhando com palavras. 00:24.000 --> 00:27.820 E haverá mesmo um bônus que melhorará muito. 00:27.840 --> 00:33.870 O processo de treinamento e que é chamado de rastreio de elegibilidade de rastreamento de elegibilidade é uma 00:34.110 --> 00:41.880 técnica poderosa que consiste em acumular a palavra em várias etapas e os valores do cubo são aprendidos com essa acumulação de palavras 00:41.880 --> 00:46.860 em oposição a antes de onde os valores do cubo foram aprendidos após cada transição. 00:46.860 --> 00:52.800 Portanto, depois de obter cada palavra desta vez, estaremos aprendendo os valores depois de obter várias recompensas ao invés 00:53.040 --> 00:54.480 de apenas uma palavra. 00:54.660 --> 01:00.530 Então, em vez de ter uma transição após a outra e você sabe atualizar o valor Q de cada vez. 01:00.660 --> 01:07.620 os valores q serão atualizados a cada passo, porque a elegibilidade traça os ráférios e as etapas de elegibilidade rastreiam 01:07.710 --> 01:13.500 e terminam esse número após o qual os valores q serão atualizados e em nosso modelo. 01:13.500 --> 01:13.820 Bem, 01:13.820 --> 01:15.600 Aqui, vamos ter chamadas então. 01:15.630 --> 01:21.570 Então, isso significa que será 10 etapas de elegibilidade e, portanto, vamos atualizar e aprender os valores q a 01:21.840 --> 01:22.880 cada 10 etapas. 01:22.890 --> 01:26.820 Depois de acumular as palavras nestas 10 etapas, isso é um bônus. 01:26.820 --> 01:32.400 Isso tornará nosso modelo ainda mais poderoso e você verá que, no final, obteremos 01:32.400 --> 01:33.180 resultados excelentes. 01:33.180 --> 01:36.020 Fiquei realmente impressionado quando vi o resultado final. 01:36.030 --> 01:40.430 Eu costumava trabalhar no Merle's que demorou muito para ser executado. 01:40.430 --> 01:45.780 Você sabe que o AI tomou muito tempo para treinar, mas você verá isso com este mais a rede 01:45.780 --> 01:46.640 neural que fizemos. 01:46.860 --> 01:49.390 Esse é o nosso cérebro e nosso corpo aqui com coisas. 01:49.390 --> 01:55.740 Em seguida, obteremos uma multidão muito poderosa e, portanto, uma AI muito poderosa, porque você verá que ela realmente 01:55.740 --> 01:56.600 irá curar mentiras. 01:56.610 --> 01:59.090 Você entende do que estou falando. 01:59.370 --> 02:05.440 ver nesta parte 2, estamos começando a obter o ambiente Dume e realmente preparamos as linhas de código para você. 02:05.440 --> 02:06.740 Então, como você pode 02:06.780 --> 02:12.790 Estamos apenas usando o arquivo externo de pré-processamento de imagem de uma pasta de diretório de trabalho. 02:12.930 --> 02:19.520 Então, basicamente, a ordem é preferivelmente tomar essa linha de código que não faz isso no tribunal. 02:19.590 --> 02:24.450 0 0 é o nome do ambiente do jogo que estamos jogando. 02:24.450 --> 02:30.930 Então, primeiro importamos o ambiente com essa jóia que faz. É o que você pode encontrar na página aberta 02:30.930 --> 02:31.970 e nos tutoriais. 02:32.190 --> 02:40.230 que tenham um formato quadrado com as dominações 80 por 80 e que lembrar é porque, no nosso novo que funciona bem, 02:40.290 --> 02:45.870 estabelecemos as nossas imagens de entrada para que os motores do tempo sejam 80 por 80. 02:45.870 --> 02:54.060 Mas, então, usamos essa classe de imagem de pré-processamento, que é uma classe do pré-processamento de imagem para pré-processar as imagens que 02:54.360 --> 02:58.530 entrarão no novo que funcionam e nós as processamos de forma 02:58.560 --> 03:03.490 Lembre-se que um é o número de canais e, portanto, significa que estamos trabalhando com imagens em preto e branco. 03:03.660 --> 03:06.350 Então essa é a escala de cinza aqui. 03:06.900 --> 03:14.070 E 80 por 80 significa que o domínio das nossas imagens de entrada será 80 por 80 e é isso 03:14.070 --> 03:20.190 que definimos na rede neural, mas, é claro, precisamos especificar isso ao colocar as imagens exatamente o 03:20.190 --> 03:23.150 que fazemos aqui com este pré-processamento classe de imagem. 03:23.670 --> 03:29.610 jogando Doom Então, veremos como isso vai matar os monstros tentando alcançar o melhor e tudo será super emocionante. 03:29.610 --> 03:34.920 E então, depois de importar o ambiente com o formato certo das imagens de entrada, enquanto importamos 03:34.920 --> 03:40.350 todo o jogo com os vídeos com esta linha de código e lembre-se, a coisa legal sobre 03:40.350 --> 03:43.410 isso é que, no final, veremos que os vídeos estão 03:43.440 --> 03:48.170 E lembre-se de que esses vídeos entrarão nessa pasta de vídeos. 03:48.630 --> 03:49.100 Tudo bem. 03:49.230 --> 03:54.990 E a última linha aqui, mas eu quero mostrar isso porque é importante que agora esteja mais relacionado com o 03:55.200 --> 03:56.710 AI AI que estamos construindo. 03:56.910 --> 04:02.680 Bem, lembre-se de que nossa rede neural toma como ações de número de entrada. 04:02.880 --> 04:07.950 Isso porque você sabe que queremos fazer uma AI AI que podemos testar facilmente em vários 04:07.950 --> 04:09.660 ambientes e vários ambientes Dume. 04:09.660 --> 04:15.100 E uma vez que os diferentes ambientes têm diferentes números de ações Bem, nós especificamos este 04:15.120 --> 04:19.070 número de ações variáveis ​​como a entrada da CNN no cérebro. 04:19.380 --> 04:26.250 E, portanto, agora o que vamos fazer é obter este número de ações variáveis ​​usando o ambiente Dumah 04:26.250 --> 04:29.340 que nós apenas importantes e criados nesta variável. 04:29.340 --> 04:34.860 E mais tarde, esse número realmente está muito bem que estamos prestes a criar será a entrada do cérebro. 04:34.890 --> 04:36.000 Então vamos fazer isso. 04:36.000 --> 04:42.690 Estou apresentando esse número de ações de número real de ações agora iguais. 04:42.720 --> 04:47.870 Agora, vamos levar nosso ambiente de doom que é a variável que criamos. 04:48.150 --> 04:49.330 Então, meu. 04:49.500 --> 04:56.250 Então, adicionamos aqui e, então, bem, aqui vamos, tomamos o primeiro espaço de ação aqui, o conjunto de 04:56.250 --> 04:57.200 suas ações. 04:57.230 --> 05:01.960 Eu encorajo você a dar uma olhada na abertura no Horrible's para ver como isso funciona. 05:02.010 --> 05:05.530 Você sabe entender como abrir o trabalho dos ambientes de ginástica. 05:05.670 --> 05:07.940 Mas, basicamente, esse é o conjunto de ações. 05:08.040 --> 05:14.070 E, a partir deste conjunto de ações, podemos acessar o número de ações no meio ambiente e fazer 05:14.120 --> 05:15.770 esses dados aqui e depois. 05:16.080 --> 05:25.050 E esse é o número de ações e, portanto, doom e esse espaço de ação retornará 7 6:48 porque 05:25.050 --> 05:26.550 existem sete ações. 05:26.760 --> 05:32.640 Eu sei que podemos ver seis ações nos dois ambientes na página de abertura, mas acho que também 05:32.640 --> 05:33.400 podemos executar. 05:33.490 --> 05:39.000 E então você sabe que podemos avançar para mover para a esquerda, mova para a direita, vire à esquerda, vire à direita e atire. 05:39.000 --> 05:45.090 que faz sete ações bem e é isso para fazer o ambiente que temos de fazer nosso ambiente. 05:45.330 --> 05:47.010 E, além disso, podemos executar 05:47.040 --> 05:52.640 Nós temos uma série de ações, então temos até agora tudo o que precisamos para o nosso cérebro. 05:52.800 --> 05:58.320 Então, vamos criar um objeto ou objeto cerebral que chamaremos letras mínimas da CNN. 05:58.500 --> 06:04.500 E uma vez que qualquer função leva uma série de ações como argumento bem, colocaremos o 06:04.900 --> 06:11.160 número de ações na cena um objeto que criaremos e, claro, criaremos o corpo e, eventualmente, o 06:11.160 --> 06:11.690 AI. 06:11.850 --> 06:18.090 E é por isso que a próxima seção eu vou chamar isso de construir um AI AI, porque agora podemos criar 06:18.090 --> 06:19.170 tantos olhos quanto quisermos. 06:19.170 --> 06:22.070 Essa é a coisa incrível sobre a programação orientada a objetos. 06:22.110 --> 06:24.290 Podemos construir qualquer AI como quisermos. 06:24.320 --> 06:29.820 E então vamos construir nossa AI que tem o cérebro sofisticado e é exatamente isso 06:29.970 --> 06:31.690 que faremos no próximo tutorial. 06:31.860 --> 06:33.430 Até então, desfrute da AI.