WEBVTT

00:00.720 --> 00:03.450
Olá e bem-vindo de volta ao curso sobre inteligência artificial.

00:03.490 --> 00:07.570
No tutorial de hoje, vamos falar sobre um add on que vamos implementar para

00:07.580 --> 00:08.860
o nosso algoritmo 8: 3.

00:08.860 --> 00:12.970
É chamado de "Memória de curto prazo longo" ou "LSD" para breve.

00:12.970 --> 00:20.080
Então, vamos dar uma olhada no que temos até agora e então vamos discutir por que precisamos do LSD e o

00:20.080 --> 00:24.440
que mais é para ele, até agora, nós discutimos por meio de nós.

00:24.440 --> 00:29.950
pouco mais completo ou muito mais complexo do que o que temos nesta imagem, na verdade, temos três ou mais

00:29.950 --> 00:34.990
agentes múltiplos que atravessam o meio ambiente e eles estão se comunicando entre si e assim por diante.

00:35.110 --> 00:39.640
E falamos sobre as três letras A no 3C e, claro, já vimos que é realmente um

00:39.640 --> 00:44.890
Mas por razões de simplicidade para a história de hoje, vamos apenas ilustrar tudo com este agente

00:45.190 --> 00:47.580
no final, temos esse relatório da parte crítica.

00:47.590 --> 00:53.030
Então, basicamente, uma vez que temos um estado, vamos declarar a esta imagem à medida que ela passa por convolucional, então,

00:53.050 --> 00:55.360
passa por uma Lego tirando de arrumar uma camada.

00:55.360 --> 01:02.500
camadas ocultas e então, como saída, obtemos as partes da política ou do ator e obtêm o valor do

01:02.500 --> 01:08.620
estado ou recebemos a parte crítica e o que vamos fazer hoje é que vamos falar

01:08.830 --> 01:15.670
sobre essa parte oculta nas camadas escondidas, podemos levá-lo ao próximo nível e podemos adicionar uma notificação.

01:15.670 --> 01:21.010
E neste ponto, temos valores ou números que são propagados pela rede e eles

01:21.010 --> 01:21.700
entram nas

01:21.730 --> 01:26.440
E já vimos que existem múltiplas notificações para que elas vejam uma delas, nós

01:26.440 --> 01:32.900
vimos que, em alguns casos, você pode ter essa parte principal da rede que é individual para cada agente.

01:32.920 --> 01:39.220
Ou você pode ter esta parte principal da rede que é compartilhada e é isso que vimos que em nossos

01:39.220 --> 01:42.150
experimentos de intuição anteriores tivemos uma parte compartilhada da rede.

01:42.190 --> 01:47.560
Esta rede foi compartilhada entre os agentes e, como Adlon vai lhe contar mais nos tutoriais

01:47.830 --> 01:50.660
práticos que realmente ajudam com o desafio da separação.

01:50.830 --> 01:55.560
E há muitas outras maneiras de modificar o algoritmo.

01:55.720 --> 01:59.720
Muitas outras adições que podem ser implementadas.

01:59.920 --> 02:03.400
E um deles, vamos discutir, porque na verdade vamos ter

02:03.700 --> 02:10.300
no lado prático dos trolls aqui antes de bater e Lares, que você pode adicionar, é um Himmler elist

02:10.480 --> 02:18.610
uma rede neural Klare que permite que seu algoritmo de avaliação tenha memória que permite ao algoritmo lembrar o que aconteceu antes e falamos

02:18.610 --> 02:21.050
sobre a LACMA agora em mais detalhes.

02:21.130 --> 02:26.080
de outro recurso e o que você realmente verá nos Sorrells práticos é que nem precisamos de camadas

02:26.080 --> 02:30.190
ocultas depois de todos eles serem semelhantes Então você verá isso na implementação de Atlanta.

02:30.190 --> 02:36.250
Mas, basicamente, você pode adicionar uma camada extra aqui, que é elist ele Lehre e aprimorar seu algoritmo com algum Nimer adicional

02:36.250 --> 02:38.860
Ele tem o achatamento lá imediatamente.

02:38.860 --> 02:43.530
Depois disso, ele tem o stemware. Então, basicamente, esta caixa representa o jogador elist.

02:43.630 --> 02:48.730
E então, depois disso, você obteve a saída para que você nem precise de nenhum outro Lares escondido

02:48.730 --> 02:53.320
depois disso, simplesmente porque é a quantidade de energia que a lâmina LSM acrescenta ao algoritmo.

02:53.350 --> 02:59.200
E, novamente, o algoritmo ou a arquitetura da sua própria rede, é uma coisa muito visual, é

02:59.200 --> 03:00.260
uma preferência pessoal.

03:00.270 --> 03:05.010
muito criativa, então você pode querer ter jogadores elist que você possa ter o analista bem-aprendido Jim Lehrer.

03:05.020 --> 03:05.700
É uma coisa

03:05.710 --> 03:09.130
Isso é muito parecido com cinco camadas ocultas depois de listá-las.

03:09.160 --> 03:11.750
Isso é totalmente para você e para você experimentar e explorar.

03:11.920 --> 03:18.430
Mas isso é o que surgimos nos tutoriais práticos para que você veja que temos uma camada

03:18.580 --> 03:24.410
achatada plana e, depois disso, temos uma lidra de ls e, em seguida, a saída.

03:24.420 --> 03:28.680
Então, agora falamos sobre o outro semelhante, o que é um manipulador.

03:28.840 --> 03:34.750
lama LACMA adiciona memória dá uma característica como permite que a rede neural tenha memória sobre

03:34.750 --> 03:42.580
o que aconteceu nas iterações anteriores e muitas vezes é simbolizada ou mostrada com um símbolo que se parece com isso.

03:42.580 --> 03:43.280
Bem, o

03:43.300 --> 03:46.110
Isso está apenas começando e eu estou apenas colocando aqui.

03:46.120 --> 03:51.820
Eu sei que parece muito tortuoso, mas vou colocá-lo aqui para que você possa ver quando discutimos esta imagem.

03:51.820 --> 03:58.470
Você pode ver o que está acontecendo, de modo que o resultado desta carta seja aqui e esse é o nosso.

03:58.660 --> 04:04.480
Então, esta é uma camada inteira que vai aqui, então é um vetor de valores x um vetor avows entra no

04:04.570 --> 04:06.080
tronco, que simplesmente descartaremos a célula.

04:06.250 --> 04:10.540
E, em seguida, como um resultado, você obtém outro vetor que é que você conhece a concatenação desta loja ou

04:10.540 --> 04:15.030
alguma. De alguma forma, ele se liga no nosso caso como um resultado que você obtém isso e você obtém isso.

04:15.040 --> 04:17.350
Então, vamos dar uma olhada nisso com mais detalhes.

04:17.350 --> 04:19.090
Então, vai se concentrar nessa parte.

04:19.120 --> 04:23.320
Na verdade, entramos como você provavelmente percebeu que as letras estavam do lado, vamos virar

04:23.650 --> 04:24.430
para o lado.

04:24.430 --> 04:31.120
Então, assim, e todo esse todo, como se envolver, foi apenas para reiterar o fato de que, mesmo que pareça,

04:31.120 --> 04:36.910
o que realmente está acontecendo é uma camada de valores que um vetor de valores inteiro está

04:36.910 --> 04:37.530
acontecendo aqui.

04:37.630 --> 04:41.440
Algo está acontecendo, o que só vai acontecer agora e agora, uma valise de vetores inteiro está acontecendo.

04:41.440 --> 04:47.310
Então, esta é a camada, não é apenas um elemento da esta é a própria camada.

04:47.350 --> 04:55.590
Então vamos voltar novamente apenas para reiterar que Lehre vai para isso onde algo acontece. Lehre sai.

04:55.810 --> 04:58.680
Então é isso que a LACMA está do seu lado.

04:58.690 --> 05:02.370
Então, é apenas mais fácil dessa maneira e essa é uma representação comum.

05:02.500 --> 05:07.870
Agora, nós concordamos por que essa imagem estava do seu lado e como vamos continuar com isso.

05:07.960 --> 05:11.710
Vamos começar a cavar mais um pouco para essa situação da LACMA.

05:11.710 --> 05:14.070
Então, o que acontece dentro de Ellis Jim Lehrer.

05:14.080 --> 05:15.400
Então, é isso que parece.

05:15.610 --> 05:20.830
E é claro que isso parece muito complexo e definitivamente não vamos passar por

05:20.860 --> 05:24.000
tudo isso agora, simplesmente porque há muito a discutir.

05:24.010 --> 05:32.080
O ponto era as operações sábias da Operação Xolair e apenas há muito ou muitos detalhes intrincados em que não vamos

05:32.110 --> 05:37.720
entrar, pois, de outra forma, estragariam isso, é claro, e isso não é o propósito

05:37.720 --> 05:42.410
não é falar sobre Else represas aqui que vão utilizar o LACMA.

05:42.430 --> 05:48.520
E se você quiser saber mais sobre os sistemas Ellis, você pode ir ou estamos aqui.

05:48.520 --> 05:50.130
O blog de Christopher Ola.

05:50.500 --> 05:56.750
descrição de seus talos ou também falamos sobre a LACMA em nossa profunda idade de aprendizagem, é claro, você pode verificar isso.

05:56.770 --> 05:58.060
Ele tem uma boa

05:58.060 --> 06:01.420
Temos uma seção inteira sobre redes e sistemas neuronais recorrentes também.

06:01.540 --> 06:06.470
Então, basicamente, esta é a parte interna do sistema.

06:06.520 --> 06:12.160
E o que acontece é como se a perna acontecesse, então vamos falar sobre isso em um nível intuitivo

06:12.160 --> 06:17.650
em um nível muito básico exatamente o que seria o suficiente para entender o que acontece ou porque

06:17.650 --> 06:18.400
há memória.

06:18.400 --> 06:23.530
E para que você também possa entender melhor o que Atlanta está falando quando ele está implementando isso.

06:23.560 --> 06:29.440
Então o Largo é tudo isso é algo que basicamente acontece aqui Larry sobe.

06:29.710 --> 06:35.710
O que precisamos para realmente ver é que existem essas partes dessas entradas, na verdade, são

06:35.800 --> 06:37.480
entradas adicionais neste Lehre.

06:37.480 --> 06:42.970
Então, lembre-se disso, geralmente você tem como uma entrada de um Lehre anterior, então esta carta e, então, você

06:42.970 --> 06:49.290
tem uma saída se você pensa naquela imagem que tínhamos anteriormente a rede normal, que não está do seu lado, que é

06:49.290 --> 06:52.660
como da esquerda para a direita do topo para o topo.

06:52.810 --> 06:55.350
Mas a menos que você realmente tenha mais insumos.

06:55.360 --> 06:59.410
Então eu sei que está ficando ainda mais complexo, mas essas coisas, pelo menos, podemos compreendê-las.

06:59.410 --> 07:03.380
Então esta é a sua célula de memória.

07:03.400 --> 07:06.760
Esta é a chave e é o que você ouvirá falar sobre Heidel Atlanta.

07:06.880 --> 07:15.220
Então, a célula de memória é algo que é salvo no elist ele, então essas entradas e saídas estão realmente aqui, o que

07:15.490 --> 07:18.280
você está olhando é o eixo do tempo.

07:18.280 --> 07:26.260
Então, isso é desviado no tempo, então, em uma iteração específica, isso acontece, mas esse valor é tirado do possed e esses valores passaram para esses

07:26.260 --> 07:30.910
valores, esses valores são retirados do passado e esses valores são passados ​​para o futuro

07:30.910 --> 07:35.660
e como eles passam a riqueza através do jeito que o trabalho em equipe, então, seguimos

07:35.680 --> 07:38.480
nos preocupando demais com o que está acontecendo aqui.

07:38.590 --> 07:44.950
que veio do passado, que é armazenado dentro do LSD dentro da memória de longo prazo.

07:44.950 --> 07:51.740
Tudo o que precisamos entender é que quando a letra entra e aqui, nós realmente temos um valor

07:52.060 --> 07:59.950
Nós conseguimos essa célula de memória e qualquer valor que estava aqui antes é que apenas permanece aqui, como você pode ver, apenas

07:59.950 --> 08:04.960
atravessa, ele flui livremente, exceto por essas operações de ponto onde ele pode ser fechado

08:04.960 --> 08:07.210
ou algo pode ser adicionado a isto.

08:07.330 --> 08:13.360
Mas, independentemente disso, é apenas um valor que flui livremente, por isso é basicamente que é passado para o

08:13.360 --> 08:14.900
próximo ponto no próximo ponto.

08:14.920 --> 08:20.350
ou algo parecido com essa célula e, assim, apenas se lembra do valor anterior que

08:20.350 --> 08:25.750
estava aqui e depois pode usar isso para adicionar ou Leia sobre esse valentimento.

08:25.750 --> 08:30.350
Então, você poderia pensar nisso como uma lembrança semelhante a uma movimentação flash

08:30.370 --> 08:33.670
E esse valor é o estado oculto.

08:34.000 --> 08:37.670
Portanto, daí o H e o estado oculto é basicamente.

08:37.740 --> 08:42.000
E agora o valor que vem do passado e depois é usado dentro do sistema.

08:42.010 --> 08:48.180
E como você pode ver no final depois que tudo isso acontece, o que você obtém é que você recebe uma carta

08:48.220 --> 08:53.170
que sai e é para que você obtenha esse valor que sai e é o mesmo valor passado.

08:53.170 --> 08:59.440
Então, basicamente, a equipe de Ellis lembra duas coisas, há um valor constante que é como permanecer na lista

08:59.440 --> 09:04.720
e que pode ser alterado, como esta é uma unidade flash para como um valor constante.

09:04.720 --> 09:05.990
Então, a célula de memória.

09:06.040 --> 09:11.940
E assim você pode, você pode ter o luxo de armazenar algo nesse espaço e naquela memória, e

09:11.930 --> 09:15.290
será passado para o futuro, sempre que na próxima iteração.

09:15.320 --> 09:20.620
Assim como o algoritmo estava em um ambiente, viu algo fazia algo e assim por diante.

09:20.650 --> 09:25.690
E então, no LACMA, você pode armazenar um certo valor e lembrará desse valor mesmo quando

09:25.690 --> 09:26.960
estiver no próximo estado.

09:27.400 --> 09:31.420
E também o outro valor que eles vão lembrar, lembro-se de sua saída anterior.

09:31.420 --> 09:35.370
Ele lembrará automaticamente a saída anterior, então a saída vai aqui e vai aqui.

09:35.560 --> 09:42.160
Então, esse é basicamente o nível muito muito alto do que acontece em um LSM.

09:42.160 --> 09:47.530
Mais uma vez, se você quiser mais detalhes, como muitos recursos onde você pode encontrar e,

09:47.530 --> 09:51.100
nesta fase, não precisamos entrar nesse detalhe em todas essas coisas.

09:51.100 --> 09:56.440
Nós só precisamos entender que você sabe o que uma célula de memória é o que a adesão à

09:56.440 --> 10:02.270
célula de memória é o que é o estado de espírito e como é como facilita a memória para ele.

10:02.330 --> 10:09.920
E a questão é tão agora que nós temos uma visão geral de tudo isso para reforçar

10:10.250 --> 10:16.220
ou solidificar esse conhecimento que você é como dar uma razão para esse conhecimento.

10:16.220 --> 10:19.160
Vamos fazer a pergunta por que precisamos de memória.

10:19.190 --> 10:23.180
Por que precisamos de memória em nosso A-3 ou outros algoritmos.

10:23.180 --> 10:26.990
Bem, vejamos nosso exemplo o desafio que estamos adotando nesta seção.

10:26.990 --> 10:32.420
Então, o desafio é breakout e o que acontece e quebrar vai e irá sair, você tem esse ambiente esses

10:32.420 --> 10:37.340
pequenos blocos que você precisa destruir com esta pequena bola e você precisa ter certeza de que este

10:37.340 --> 10:41.120
é o tipo de raquete ou plataforma que está em movimento por aí.

10:41.150 --> 10:46.610
E deve, sempre que a bola estiver voando, deve pegar a bola e saltar da plataforma e voltar e

10:46.610 --> 10:48.160
bater bolas das paredes também.

10:48.160 --> 10:50.060
Volte um bloco e volte.

10:50.060 --> 10:54.270
E essa é a essência do que você precisa para realizar.

10:54.290 --> 11:02.330
Mas agora vamos ver esta bola como se você es um algoritmo e um algoritmo de 83 C ou um agente dentro de um

11:02.330 --> 11:04.040
desses agentes dentro das 08:30.

11:04.160 --> 11:07.550
Você vê esta imagem o que você extrai daqui.

11:07.670 --> 11:09.580
Qual seria a sua ação aqui para você.

11:09.740 --> 11:11.790
Então você pode ver as bolas voarem direito.

11:11.840 --> 11:13.640
Tão bem está voando bem.

11:13.640 --> 11:16.610
Então, está em algum lugar e talvez esteja voando para a direita, você pode.

11:16.610 --> 11:20.230
Você poderia fazer essa conclusão, você poderia antecipar que está vindo em sua direção?

11:20.240 --> 11:23.720
Você provavelmente poderia e talvez você estivesse no lugar certo para pegar a bola.

11:23.930 --> 11:28.890
Mas e se a bola realmente não estiver voando desse jeito, mas está voando, e se ele estiver voando desse jeito.

11:28.910 --> 11:34.250
O que é que você não pode dizer a partir desta imagem de que maneira está voando porque você

11:34.250 --> 11:36.370
não sabe onde estava no momento anterior.

11:36.560 --> 11:39.220
Então, se estava aqui, está voando assim.

11:39.230 --> 11:43.850
Então, se você tivesse se você soubesse o momento do momento anterior se soubesse que estava aqui, você estaria lá, agora você

11:43.850 --> 11:48.650
sabe que aqui é como um humano, você apenas traça uma linha para estes dois e você vai dizer que vai assim.

11:48.920 --> 11:52.360
Mas se você soubesse aqui, você desenha linhas exatamente como indo dessa maneira.

11:52.490 --> 11:54.320
Além disso, veja isso.

11:54.320 --> 11:57.130
Na verdade, poderia estar em algum lugar aqui.

11:57.140 --> 12:01.280
Talvez esteja acontecendo, talvez seja assim, então, talvez estivesse aqui e eu

12:01.460 --> 12:05.960
estava indo para lá, então, apenas daquela imagem é muito difícil é realmente impossível.

12:05.960 --> 12:10.540
É exatamente como geometricamente impossível dizer de que maneira a bola está voando.

12:10.550 --> 12:18.830
é por isso que a memória LSD na verdade realmente realmente ajuda a nossa Mfat a memória ainda pode ainda fazer um bom trabalho,

12:18.830 --> 12:24.230
mas provavelmente poderia adivinhar ou você sabe encontrar outras maneiras de entender para onde ir.

12:24.230 --> 12:24.610
E

12:24.620 --> 12:31.520
Mas, com o tallo, mova-se mesmo para aquela memória, então, se voltarmos, mesmo com esse valor que era semelhante

12:31.520 --> 12:37.460
ao resultado do valor anterior ou talvez você conheça, talvez, você pode armazená-lo aqui ou com

12:37.460 --> 12:43.250
base nesse valor ou baseado sobre as informações obtidas a partir do ponto anterior no tempo.

12:43.250 --> 12:45.920
Então, digamos do que aconteceu aqui.

12:45.920 --> 12:51.650
Então, é aí que a sua bola estava antes, para que você possa transmitir informações sobre o meio ambiente desde

12:51.650 --> 12:53.200
o ponto anterior até aqui.

12:53.270 --> 12:57.900
Então agora você tem agora, você sabe que não só tem suas informações da imagem.

12:58.040 --> 13:02.850
Se voltarmos ainda mais, você lembrará dessas informações da imagem.

13:02.870 --> 13:06.050
Bem, isso está condenado, mas estamos realmente trabalhando para divulgar informações.

13:06.050 --> 13:10.020
A imagem veio aqui aqui, converteu-se nesses valores achatados.

13:10.160 --> 13:11.500
E para que a informação para eles.

13:11.510 --> 13:13.320
Imagem que entra em todo o sistema.

13:13.340 --> 13:20.150
E agora, de repente, como você se lembra de ter vindo de não desde algum lugar, mas do

13:20.600 --> 13:21.290
ponto anterior.

13:21.290 --> 13:24.630
Então é aí que você realmente demonstra vir do topo ou da bola da esquerda à direita.

13:24.650 --> 13:28.410
Na verdade, é só ficar no elist the lair.

13:28.490 --> 13:31.170
Você possui essa informação apenas através da arquitetura.

13:31.180 --> 13:33.980
Eles dirão que você tem informações sobre o que aconteceu anteriormente.

13:34.160 --> 13:40.940
E então, devolvemos essa informação aqui, que ajuda você a tomar uma decisão sobre o que fazer.

13:40.940 --> 13:42.930
Ajuda o algoritmo a tomar uma decisão.

13:43.010 --> 13:45.010
E agora, de repente, sabe disso.

13:45.140 --> 13:45.500
ESTÁ BEM.

13:45.500 --> 13:48.320
Então, a bola também está mentindo.

13:48.350 --> 13:52.730
Digamos que está voando nesta direção ou nesta direção, então eu estou no lugar certo, eu deveria ficar por

13:52.730 --> 13:57.050
aqui, a bola está chegando na minha direção ou se ela perceber que a bola está lá, deve começar

13:57.050 --> 14:00.710
a se mover para a esquerda porque se esperar um pouco mais, será muito tarde.

14:00.740 --> 14:01.780
E eles vão perder a bola.

14:01.940 --> 14:08.630
Então, basicamente, é assim que o Elist eles realmente ajuda no algoritmo e é exatamente isso que vamos

14:08.630 --> 14:12.360
ver quando você está fazendo os tutoriais práticos de Atlanta.

14:12.500 --> 14:14.370
Então, você vai, é assim que funcionam essas equipes.

14:14.480 --> 14:20.720
E apenas uma nota adicional como mencionamos no início, as equipes Ellis não são 100 por cento necessárias.

14:20.720 --> 14:25.430
Eles não são completos Eles não estão completamente anexados ao algoritmo deles.

14:25.550 --> 14:29.420
Você pode querer tê-los em um algoritmo Through C, você pode não querer tê-los dependendo da

14:29.420 --> 14:31.180
situação para trazer o Arctic que você escolher.

14:31.250 --> 14:37.340
Há muitas adições e já discutimos a adição ou a modificação onde a rede neural é

14:37.340 --> 14:40.950
compartilhada entre atores não são compartilhados entre agentes ou não.

14:41.010 --> 14:46.610
Agora, no entanto, elist Jim, há outro que você verá nos tutoriais práticos onde adicionamos

14:46.610 --> 14:51.280
entropia, que é calculado através de uma política. Adlon irá acompanhá-lo através disso.

14:51.290 --> 14:57.190
Então, basicamente, existem muitas modificações diferentes que podem acontecer em um algoritmo A-380.

14:57.290 --> 15:03.180
Basta lembrar que isso depende do que você deseja alcançar e também é algo que

15:03.180 --> 15:09.060
incentivaria você a explorar se você vai implementar muitos desses e tentar algoritmos diferentes.

15:09.180 --> 15:14.880
Nós já discutimos um casal e talvez você possa encontrar algumas modificações adicionais que possam ser de seu

15:14.880 --> 15:19.110
interesse ou, talvez, quando você estiver assistindo esses tutoriais, talvez os compre mais

15:19.110 --> 15:21.330
modificações foram reveladas, que são muito interessantes.

15:21.330 --> 15:27.330
Então, definitivamente, isso é algo que você poderia procurar e que poderia aprimorar ainda mais seu

15:27.420 --> 15:30.740
conhecimento de inteligência artificial e como criar esses algoritmos.

15:30.780 --> 15:34.200
E com essa nota, espero que você tenha gostado deste tutorial e vou buscá-lo na próxima vez.

15:34.200 --> 15:35.380
Até então, aproveite.

15:35.380 --> 15:35.590
EU.