Merhaba ve Baharat Intertoto'ya hoş geldiniz.
Pekala, bu yeni kod bölümünde oyunla ilgili tecrübe uygulayacağız.
Dolayısıyla, yeniden oynatma belleği diyeceğimiz yeni bir sınıf yapacağız ve deneyiminizi, sezgisel
derslerde gördüğünüz gibi çalmak için uygulayacağız.
Ancak öncelikle, deneyim tekrarının ne olduğu konusunda hızlı bir hatırlatma yapalım.
Yani tüm bu yapay zekanın Markov karar süreçlerine dayandığını ve Markov karar
süreçlerinin bir dizi olaya bakmaktan ibaret olduğunu biliyorsunuzdur.
O halde, bir devletten bir sonraki devlete geçmek gibi olayları biliyorsunuz ve tipisiniz.
Fakat olaylar ertesi günden bu kadar iyi olsaydı, şimdiki durumla çok ilişkili olurdu.
Şebeke pek iyi bir iş çıkarmazdı.
Bu nedenle, derin öğrenme kursundan gelen kişiler için, zaman serimizi yalnızca bir zaman
adımıyla öğrendiğimiz yerdeki ile aynıdır.
Hiçbir şey öğrenmiyordu çünkü bir zaman aşımı, bir modelin uzun vadeli
korelasyonlarını anlamayı öğrenmesi için yeterli değildi.
İşte burada aynı ve bu yüzden deneyim tekrarını uygulamak zorundayız.
Peki nasıl işliyor
Bu, yalnızca t zamanında yalnızca bir durum olan mevcut durumu göz önünde bulundurmak yerine
çok basit.
Geçmişte daha çok düşünmeye başlayacağız.
Bu nedenle, lityumlar için tam olarak benzer ve bu nedenle olaylar dizisi olamaz.
Sanırım birincisi geçmişte yüz devlet olacak.
T-eksi yüz seksen eksi 99, eksi 1 ve daha sonra S-T.
daha az geçişler koyuyoruz ve bu yüzden kısa süreli bir hafızaya karşı uzun süreli bir hafızamız
var ya da anlık bir hafıza diyelim ve bütün süreci daha iyi işleyen hale getirmeliyiz.
Başka bir deyişle, belleğe adlandırdığımız nesneye 100
Ve son 100 etkinliğin bu hafızasını yarattığımızda, bir sonraki güncellememizi yapmak
için bu geçişlerin rasgele gruplarını alacağını basitleştireceğiz.
Bir sonraki bölümü seçerek bir sonraki hamleniz budur ve bu nedenle deneyim tekrarlama için
uyguladığımız bu tekrar hafıza sınıfında üç fonksiyon yapacağız.
Her şeyden önce her fonksiyonun işlevi, her sınıf için geçerli.
Ve böylece bu fonksiyonda, gelecek sınıfa gelecek
nesnelere iliştirilecek değişkenleri tanımlayacağız.
Ve çok basitçe bu değişkenler, 100 olaya 100 geçişin belleği olacak.
Ve 100 numara olan kapasitesi, kapasitenizi arttırarak daha uzun bir bellek denemekten
mutluluk duyacaktır.
Bu, işlevi ilk işlevi ve daha sonra hafızanın hiç 100'den fazla geçiş içermediğinden
emin olmak için iki farklı fonksiyonu bir itme fonksiyonu yapacağız.
Ve bunun için kapasiteyi basit bir koşulla kullanacağız ve sonunda basit
işlevi yapacağız ve bu, son 100 geçişin bu belleğinde bazı geçişleri
örneklemek için olacak.
Pekâlâ, sınıfı tanıtarak başlayalım.
Bilirsiniz bildiğiniz gibi sınıfla başlarız ve onlara tekrar tekrar bellek dediğimiz sınıfa veririz ve daha
sonra parantez içinde nesne girdikten sonra Cullin'i göndeririz ve sonra ilk işle başlarız.
Son işlevi.
Bu ölümle başlamadan önceki ile aynı şey.
Ardından iki alt çizgi, tekrar ve daha sonra değişkenlerin altını çiziyor.
değişken olan elbette ben var ve ondan sonra bazı anılarda
bazı deneyimleri deneyebilmemiz için başka bir değişkene sahip olacağız; kapasite ol
Dolayısıyla gelecek nesil sınıfının ilerideki örneklerine eklenen
Dolayısıyla bu kapasite yalnızca yüz sayılacak çünkü yüze daha
az geçişle birlikte tecrübe edeceğiz.
Tamam, sonra Collon Ve işte gidiyoruz.
İşlevin içine girelim ve tekrar oynatma bellek nesnemizin değişkenlerini tanımlayalım.
Birincisi kendi kendine öğretilen kapasite olacak ve muhtemelen bunun, bizim olaylar anısına sahip olmak istediğimiz
maksimum geçiş sayısı olan kapasite olacağını anlamış oldun.
bir nesnesi oluşturulurken girilecek argümanlara eşit olacak ve bu kapasite olacaktır.
Ve bu, yeniden çalma bellek sınıfının
Init işlevinin argümanı budur.
Yani kapasite.
Yani yine de karıştırılmamalıdır ki, bu kapasite, nesneye eklenen değişkenin adıdır
ve buradaki kapasite, yeniden oynatma bellek sınıfının bir nesnesini oluştururken giren argümandır.
Tamam.
Ve sonra ikinci bir ses tonumuz var.
Tabii ki bu bellek.
Bu yüzden Nemec kendine övündü.
Tamam.
Ve öyleyse bu hafıza Voivode ne olacak.
Peki bu hafızanın son 100 etkinliği içermesi gerektiği ve bu nedenle bu basit bir test olmalıdır.
Son 100 geçişi içeren ve son 100 geçiş listesini içeren bir listeyi biliyorsunuz ve listeyi
başlatıyorsunuz.
Bunun gibi köşeli ayıraçları eklemek için daha basit bir şey yok.
Ve işte gidiyoruz.
Belleğimiz deneme başlangıcında ya da daha kesin bir şekilde araştırmanın başlangıcında, belleğin
boş bir liste olacağı şekilde başlatılmış ve daha sonra geçişleri koyacağız.
Her seferinde gelecek bir ülkeye ulaşırız.
Ve bundan bahsettiğimizde, itme fonksiyonunu çağıracağımız bir sonraki işle tam
olarak bunu yapacağız.
Olayları bu hafıza listesine yerleştirmek için bu push fonksiyonunu yapacağız ve sonra bu hafıza listesinin
her zaman 100 olay içerdiğinden ve hiç olmadığıdan emin olmak için kapasiteyi kullanacağız.
Pekala, bunu bir sonraki adımda da yapalım.
Ve o zamana kadar ben.