Olá e bem vindo a este tutorial.
Tudo bem, agora temos a nossa AI, está pronto para ser treinado.
E o primeiro passo do treinamento é configurar nossa experiência de repetição.
Então estamos chegando lentamente lá.
O treinamento e a boa notícia é que temos uma versão implementada da repetição da experiência.
Além disso, é adaptado ao rastreamento de elegibilidade que eu lembro é uma técnica que, ao invés de
aprender os valores q, cada transição aprende cada 10 transições.
Então, basicamente, isso é exatamente o mesmo que antes.
Mas em vez de ter um único alvo, uma única palavra para cada etapa, teremos um alvo cumulativo
de dez passos e uma recompensa cumulativa de 10 etapas e aprenderemos as 10 etapas de cada vez.
Então estamos aprendendo em transições 10 etapas em vez de uma como antes.
E com isso vou fazer maravilhas e isso fará algumas maravilhas para o processo de treinamento.
Você sabe que o treinamento levará muito menos tempo.
Graças a esta técnica, temos de especificar a repetição da inexperiência que estamos aprendendo cada 10 etapas.
Então, é por isso que essa repetição da experiência não é uma implementação clássica da reprodução da experiência.
Como fazer um para o carro auto-dirigido.
É uma implementação de repetição de experiência levando em conta este 10 passos de aprendizagem e, portanto, você
encontrará neste arquivo de repetição de experiência duas classes uma classe que faz seu progresso AI fazer dez
passos para que possa somar as recompensas são observadas nestas 10 etapas.
Essa é a primeira classe e precisamos desta aula, porque precisamos incluir esses 10 passos na classe de memória
de repetição, que é o implemento da sala de aula pela experiência que jogamos e é assim que nos certificamos
de que a memória também leva em consideração o fato de que somos aprendendo em 10 etapas.
Então, é por isso que você encontrará duas classes nesta implementação de reprodução de experiência, mas
isso é apenas para levar em conta que estamos aprendendo em 10 etapas e isso também deve ser levado em consideração na memória.
Então, falando sobre nossa memória, vamos criá-la.
Vamos chamar nossa memória de memória e a memória será um objeto do elenco de memória de repetição e a classe de
memória de repetição é uma classe dessa experiência de reprodução no momento.
E então estou tomando primeiro essa experiência de experiência repetida e é aí que eu levo a classe de memória
de repetição.
Perfeito.
E agora você pode ver que temos que colocar dois argumentos, o primeiro argumento e as etapas que correspondem
exatamente ao número de etapas nas quais vamos aprender os valores-chave.
Então, você conhece o número de etapas nas quais acumulamos o alvo e queremos.
Nós teremos um alvo cumulativo e a recompensa cumulativa e, em seguida, o segundo argumento é
a capacidade que é o tamanho da memória.
Então, por exemplo, aqui podemos ver dez mil.
Então, se a capacidade for igual a 10000, isso significa que teremos um tamanho
de 10000 e, portanto, isso significa que teremos uma memória dos 10000 passos realizados pelo olho.
Mas, novamente, não vamos aprender todas as transições.
passos da memória e é exatamente esse novo recurso que apresentamos aqui em comparação com o anterior.
Nós vamos aprender cada dez passos ao longo dos últimos 10000
Antes de termos apenas esse truque de memória de repetição e aqui temos esse truque de memória de repetição
mais esse truque aprendi cada dez passos e vamos aprender cada dez passos
e vamos fazê-lo na memória composta pelo últimos 10000 passos.
E esta é uma repetição experiente combinada a traços de inadimplência com 10 etapas, irá melhorar consideravelmente o
desempenho do treinamento.
Então vamos terminar com esses dois argumentos.
O primeiro é e os passos e isso será igual.
Mas, por enquanto, digamos, as etapas especificarão o passo certo depois que ele será realmente um abjeto da
outra classe desse arquivo de repetição de experiência, que é a classe de progresso
final e que permite progredir durante dez etapas.
E lembre-se durante as 10 etapas, vamos tocar as palavras nas dez etapas para obter as recompensas
cumulativas em 10 etapas.
E esse é exatamente o teste de elegibilidade.
Então, agora, o que temos a fazer é criar estes passos aqui e criá-lo com a segunda classe que temos
neste arquivo de repetição de experiência, que é um progresso gradual.
Então, agora vamos criar etapas neste e isso será um objeto da classe de progresso
de etapas que retomamos de nossa experiência que jogamos.
Aqui vamos nós.
Então, essa é a classe anti-progresso e agora temos que colocar três argumentos, como você pode ver,
temos que colocar o ambiente que é o ambiente aqui que importamos.
Então o segundo argumento é a nossa AI e isso será, claro, a AI
que construímos aqui na U. S. e o último argumento é passo nisso, onde especificamos que queremos
10 etapas que você conhece para aprender cada 10 etapas que são cada 10 transições.
Então, vamos ajudar com esses argumentos.
O primeiro é o meio ambiente e isso é ruim e tudo bem.
Então o segundo é o nosso AI AI e que nós contamos ai ai.
Esse é o único aqui.
Então, este é apenas o nome do argumento da classe de progresso do passo e ai ai ai.
Aqui está o ai ai ai.
Aquele que nós construímos e, em seguida, o último argumento é e pilha e isso é igual a 10.
Tudo bem.
Então, agora, estamos apenas levando em consideração na memória que há uma aprendizagem em 10 etapas e
essa aprendizagem em 10 etapas é chamada de rastreamento de elegibilidade.
Então estamos realmente trabalhando no material avançado aqui.
Mas lembre-se que é porque estamos tentando ser Dume, que não é como fazer um pedaço de bolo.
Então, precisamos dessas técnicas avançadas para fazê-lo funcionar.
Então agora estamos quase prontos.
é a capacidade, é claro, e é, digamos, 10000 homens, teremos um tamanho de 10000,
o que significa que a memória conterá o último 10000 passos realizados pela AI e isso nos permitirá gerar alguns.
Antes de avançar para o próximo passo que será realmente sobre a implementação de bandejas LGBT, a única
coisa que temos que incluir
Como eu me lembro, era uma função simples.
Você sabe que a memória contém 10000 transições, mas para treinar o olho, vamos testar tantos lotes
de dez transições, não comparados a antes das 10 transições desta vez, e amostraremos
esses mini lotes de 10 transições na memória, composta pelos 10000 passos .
Tudo bem, então agora eu acho que estamos prontos para passar para o próximo passo, que é sobre a implementação do
rastreio de elegibilidade.
Então vamos ter alguma aventura aqui.
Esta não será uma implementação simples.
Então, faça uma boa pausa e, quando estiver pronto, podemos atacar isso.
E então, aproveite.