Merhaba ve yapay zeka dersine tekrar hoş geldiniz.
Pekâlâ, bu yüzden şimdiye kadar bu dersin tadını çıkardığınızı umarız, neredeyse yakında, kısa
sürede çok yakında pratik taraf olan şeylere değineceğimiz birkaç küçük şey var.
Pekâlâ, önceden CULE öğrenme bütün denklemine sinir ağları eklememiz ve bir sonraki
aşamaya geçmemiz ve derin öğrenmeye dönüştürmemiz hakkında konuşalım.
Ve bugün, şeylerin pratik tarafında kodlanacak ekstra önemli bir özellik ekleyeceğiz, bu nedenle başlık
ve şeylerin sezgisel tarafında sık sık örtünmesi sizin için daha hazır
olduğunuza karar verdim. şeylerin kodlama tarafında olduğunda.
Dolayısıyla tartıştığımız gibi orada iki bölüm var ağ var.
Her şeyden önce, ağın aslında her yeni devletle birlikte öğrenmesi öğrenimdir.
Bu ortamla uğraşırken, daha iyi ve daha iyi olabilmek için bekleyişlerini yavaş yavaş günceller.
Ve sonra devlet içinde hareket ediliyor böylece q değerleri devlette sayıldıktan sonra
seçildikten sonra.
Bu yüzden bugün hala öğrenme kısmından bahsedeceğiz, bu özelliği kendimiz belirlemek için lisans
düzeyinde yardımcı olacak ilginç bir özellik ortaya çıkacağız, ancak bunun
için çok önemli olan bir özellikten söz edeceğiz derin ve serin bir öğrenme ve bu özellik tekrarlama denir.
Tamam.
İşte şebekemiz bu yüzden burada kopyaladık.
Kaybettik, alttaki Calcott, şebeke üzerinden propaganda yapıyor.
Ve biraz daha iyi bir şekilde uğraştığımız sorunu anlamak için ne yapacağımızın bir örneğine
göz atalım.
Yani aslında skorlardan bir örnek.
Bu, tam olarak bu dersten çekilmiş bir ekran görüntüsü, programlamanız gereken şey bu.
boyunca sürüş yapıyor ve bu yolda gezinmeyi öğrenmesi gereken kendi kendine çalışan bir otomobil.
Bu, bu yol
Ve daha önce tartıştıklarımızın anlamı nedir Bu durum bu haldedir.
Ve elbette devlet, x1 x2 olmayacak Lundell, devletin ne olduğunu anlamanızı, aracın
açısına ve bazı alakalı parametrelerle alakalı olan parametrelerin bir çift olacağına çok daha ayrıntılı olarak
tarif eder. okuma ve benzeri.
Dolayısıyla devleti tanımlamak için daha fazla parametre olacak.
Fakat yine de bir sinir ağı vasıtasıyla gidecek bir vektör vektörü olacak ve
ardından çıktıda bazı ACU değerlerine sahip olacaksınız.
Yine çevreye göre bir fark olacak.
Olası eylemler için farklı sayıda eylem olabilirler.
Ancak, basitlik uğruna, burada olup bittiğini daha iyi anlayabilmemiz için bizim
için bırakacağız.
Bu durumda bu durumda şu ana kadar ne olduğu sorusu nedir?
Bu, bu sinir ağına girer veya daha ne kadar sıklıkla bu sinir ağı tetiklesin.
Bu sinir ağı büyüme sıklığı.
duruma geldiğinde arabanın harekete geçmesi sonunda yeni bir duruma geçer ve sonra her şey geçer.
Araba yeni bir
Devletle ilgili tüm bu veriler ağ üzerinden gider ve Alice hesaplanan hataları
verir.
Bu hata, önceki derslerde tartıştığımız bilgilere dayanarak hesaplanmıştır.
Bu geri yayılır ve ağırlıkları güncellenir.
Ardından otomobil hangi eylemi yapacağını seçer, bu hareket bu yeni devrede yeni bir duruma gelir.
Her şey baştan başlar.
Ve böylece temelde otomobil her vardiyada olur ve siz de bu örneğe bir göz atın demiştiniz.
Özellikle ekran görüntüsünü aldım, çünkü deneyim tekrarlama ve masraflar yoluyla anlatılan problemi, yalnızca bu
derste veya bu spesifik problemde kullandığımız bir şeyi değil, çok güzel
bir şekilde gösteriyor.
Bu, boyunca kullanıldığını göreceğiniz bir şey.
Yapay zeka algoritmalarında tekrar tekrar ve tekrar tekrar, çünkü o kadar güçlü ve çok
önemlidir.
Bu arabaya bu arabada bu arabada bakın ya da bu ortamda amacımız buradan buraya ve
arkaya gelmektir.
Amacý kumdan yapýlan bu duvarlarý geçmeden buraya gelmektir.
Ve arabanın burada başladığı yere düştü ve onun ödülünü size dayandırdığı gibi başlamak ne kadar yakın
olduğunu biliyor.
Böylece araba buradan inip gitti ve şu şekilde ya da deniz kıyısında bu
duvar boyunca böyle devam etti.
Ve sonra ne yapacağız dönmeye devam edecek devam edecektir.
Peki biz yapmak istedim burada devam edin.
Ama bir saniye düşünelim.
Bir kere bu duvara girdiğinde ileri doğru ilerlediğinde ileri gider.
İleriye hareket eder ileri hamle ileri hamle ileriye hamle ileri hamle ileri böylece hamle.
Dolayısıyla yapıya bağlı olarak, burada yüz hamle veya 50 hamle gibi olabilecek
bir durum olabilir.
Bunun için ileriye doğru ilerlemeye devam ediyor ve hiçbir şey değişmiyor.
Değil gerçekten değişir yol daha fazla yol bu hikaye daha yakın başladı.
Bu çok şirin.
Ancak çevredeki çevre açısından pek çok şey değişiyor, hala aynı duvarı değiştiriyor.
Arabada oturuyorsanız muhtemelen gördüğünüz şeyi sürdüğünüzde durumun gördüğü şey,
ortamın çok monoton olduğu gibi, aynı şeyin geçip gittiğini
görüyorsunuzdur.
Ama sanırım bir çölden geçiyorsun ve aynı şeyi görüyorsun aynı ses,
hiçbir şey olmamış gibi geliyor.
Hiçbir şey değişmiyor.
Ve temel alınır, ancak her seferinde o devleti buraya yeni devlet koyuyoruz.
için bir şey değişiyor olabilir ve GPS, hedefinize daha yakın olduğunuzu gösterir.
Elbette arabayı sürerken, bizim
Dolayısıyla bu girdilerden biri garip ancak bu diğer girdilerin birçoğu,
örneğin değiştirmedikleri arabadaki sensörler ve bu nedenle girmek için bu gün
yavaşlarken girdileri kendinize yerleştiriyorlar. Buraya burada burada burada burada girişler hemen
hemen aynıdır.
Ve aynı girişleri aynı değerleri girerek vektör veya çok benzer vektörlerle ağınıza
girmeye devam ederseniz, çeşitlilik kalmaz.
Araba çok iyi öğrenecek.
Sağ tarafta olan bu duvar boyunca nasıl sürüleceğini çok iyi öğreneceğiniz bir şey olacak ve böylece
ağ nasıl güncellenecek ve ödül alacak yavaş yavaş sürüş için ödül almaya başlayacak gibi olacak gibi
olacak.
Tamam buradan kadar öğreniyorum hepsini çok iyi yapıyorum iyiyim iyiyim daha iyiyim.
Hepsi bu.
Bu yanlış algılamaya sahip olacak, ancak diğer sinir ağı çok iyi
sürüşe adapte olacak ve aniden bu eğri var
ve araba doesn Ne yapacağımı biliyorum.
Ve tamamen bu sinir ağı ile uymuyor.
Ve öyle olsa bile, sadece bir şekilde varsayımsal olarak bir nokta geçip sonra da bu duvarda sona erdiğini
söyleyelim.
Aynı şey burada olacak, burada buradan gidiyor olacak.
Tamam şimdi sinir ağı bu duvara adapte olmak için yeniden yapılandırılıyor ve sonra bu şey bam oluyor.
Ve sonra nasıl olsa bir şey geçerse, bu şeyin ötesine geçecek ve aynı şey bu çizgide
ilerleyecektir.
şekilde birbirine bağımlı olduğu normal ortamlarda var ve bu karşılıklı bağımlılığın ağımızı öngörmemesini istemiyoruz.
Temelde bu, şu anda sahip olduğumuz problemin çok canlı bir örneğidir; çünkü
sinir ağı kullandığımız yol her bir devlette güncellenirken ardışık bir sürü şey bulunduğunda
onlar olmak zorunda bile değiller. Aynıdır ancak ardışık devletlerin bir şekilde birbiriyle ilişkili olduğu ya da
bir
Aracın sadece düz bir çizgi veya uzun eğri bir çizgi gibi nasıl sürdüğünü öğrenmesini
istemiyoruz ya da hayatında bir aracının nerede olacağını düşündüğünüz bir şey gibi Navigant ortamında, birbiriyle
ilişkili olarak düşünebileceğimiz bir şey gibi veya birbirine bağlı devletler, sizin sinir ağınızı gerçekten berbat edebilecek birbiri
ardına gelir.
Ajanun bundan öğrenmesine izin vereceksen.
Ve deneyim yeniden oynamanın geldiği yer.
Deneyim tekrarlandığında yaşananlar bu deneyimlerdir, bu yüzden bu olaylar bir iki üçte ancak
burada nöroda 50 eyalette olduklarını belirtiyor ve ağ üzerinden hemen geçemiyorlar.
Aslında ajanın hafızasına kaydedilirler.
Ve bu nedenle tüm bunları kaydeder ve kodlayabilmeniz için belirli bir eşiğe ulaştığında bunları ve
bazılarını bir noktaya kaydeder ve Atlanta bunu nasıl yapacağınızı gösterir.
Belirli bir eşiğe ulaştığında, ajan kendisi için karar verir, öğrenme zamanı.
Sahip olduğum deneyimler topluluğum var, bundan öğrenemeyeceğim ve böylece rasgele bir
şekilde tek bir dağıtım ve tekdüzelik seçiyor burada önemli çünkü burada
bir sonraki slaytta konuşacağız.
Biz kitap bunu söz edeceğiz.
Ancak eşit dağılmış bir örnek alır.
Temelde tüm deneyimler eşit kabul edilir.
her deneyimin dört unsuru bir devlette belirtilir eylem iki devlet ve ödül ve böylece tüm bu deneyimleri
alır ve sonra onları ağ üzerinden geçirir ve öğrenir.
Deneyim topluluğundan tekdüze bir şekilde dağıtılan örnek alır ve ardından onlardan
geçer ve onlardan öğrenir, böylece tüm deneyimleri ele geçirmez veya sadece bir çiftini alabildiği örnekleri
tekdüzeli olarak dağıtmasını sağlar. Burada burada bir çift var ve her deneyimin, içinde bulunduğu duruma ve
bu özel durumdaki bu eylem yoluyla sağladığı ödülün alındığı eylemde bulunduğu devlet tarafından karakterize
edilir; bu nedenle,
Ve bu şekilde tecrübenin ardışık doğasından gelen önyargı modelini, birbiri ardına şebeke aracılığıyla sanki
ağzınıza koymuş gibi kopar.
Bu yüzden oynadığımız en önemli deneyim odağı bu.
Sorun ve adres budur ve deneyim tekrar oynamanın bir başka yararı da
böyle bir ortamda bazen çok değerli nadir deneyimler yaşamanızdır.
Mesela ben bilmiyorum, bu köşeye bakalım doğru köşe olduğuna izin verelim diyelim.
Sağ.
Ve çok keskin bir keskin.
Dolayısıyla, bu köşeyi kucaklayacağını varsayıp buradan gelecektir.
Bu yüzden sana doğru köşeleri salladığımız için burada bir doğru
köşe ve bir sağ köşe yapacağız.
Doğru, o zaman bu şekilde doğru geliyor.
Ve sonra geri döndüğünde burada keskin bir sağ köşede.
Dolayısıyla bu olay dükkanda bu kadar keskin değil, bu nedenle tüm çevrede
keskin bir sağ köşeden öğrenecek tek bir fırsat var.
Ve bu çok önemli bir deneyimdir çünkü düz çizgiler boyunca sürüş gerçekten çok iyi olabilir,
bunun gibi yumuşak köşelere benzer şekilde gerçekten iyi olur.
karıştırmaya devam edecek çünkü basitçe ondan öğrenmek için o kadar çok şansa sahip değil ve bu nedenle her şeyi
çok çabuk öğrenecek, ancak doğru öğrenmek uzun zaman alacaktır elbette.
Ve sonra bu keskin sağ köşeyi
Çok basitleştirilmiş bir örnek çok basitleştirilmiş bir açıklama ancak bazen de
değerli olabilecek nadir deneyimler olan kavramı göstermektedir.
Ve burada değerlerinizi koyduğunuz basit bir sinir ağı kuruyorsanız ve yaşadıklarını
bilirsiniz ve tecrübelerin ardışık doğası ve nasıl olabileceği sorununu unutsanız
bile biliyorsunuzdur. birbirine bağımlı ve tüm korelasyonlu Thimphu bir saniyeliğiyle
bile unutturuyor.
kez bir deneyim koyarsanız, ağlar üzerinden veri akıp giderseniz anında unutursunuz ancak bu deneyimi unutacaksınız.
Ne olur bir
Bir sonrakine geçersen.
Sadece sinir ağı nasıl işliyor böyle.
Sonra bir sonraki aşamaya geçeceksiniz ki bir sonraki adım sonraki deneyimin X deneyimini
yaşaması ve böyle devam ediyor.
Yani bir ağ geçtiğinde bu sağ köşe kayboldu ve o değerli tecrübenin hiçbir
anısına sahip değilsiniz.
geri geldiğinde en kısa sürede bu, bu deneyimi toplu olarak kaydetti.
Bu tecrübeleri toplu olarak uyguladığınız için yeniden oynattığımız halde, bash'ınızı
dönen bir pencere olarak düzenleyebilirsiniz, örneğin, 100 parti içerebilir. Partideki
yüz deneyimleri buradan
Sonra, bir noktada çalıştığı gibi onun deneyimler topluluğundan üniform bir dağılım alır ve daha sonra bu
deneyimleri unutup bu deneyimlerini sürdüren bir dönen pencere vardır.
Ve sonra tekrar öğrendiğinde bir kere burası bu toplu işten öğrenir ve sonra bir kere burası
buraya kadar unutur.
Ancak o zaman böyle deneyimler topluluğu vardır, bu yüzden bu deneyimlerden öğrenmeyin.
Ve bu şekilde elde ettiğiniz şey, bu sağ köşe öğrenme sürecinde birkaç kez ortaya çıkabilmesidir
çünkü toplu işte burada olduğu gibi burada toplu işlerde olduğu
gibi bu toplu işte olduğu için çünkü birkaç abartma deneyimi
yuvarlanan bir pencere olarak güncellenebilir.
Böylece daha eski deneyimler yeni deneyimler eklendi ve daha sonra eski
deneyim kazandı.
Öyleyse deneyim edin ve arabayla ya da aracı arabada bir süre saklanır, bu deneyimden birkaç
kez öğrenebilir.
Bu, deneyim yeniden oynamanın bir diğer avantajı.
Ve elbette en son avantaj, deneyim yeniden oynatma, bir kerede bir tane öğrenmektense
daha çok tecrübe edinme fırsatı sağladığı için bu toplu işleve sahip
olduğunuzdan ve dolayısıyla dönen bir pencere olduğundan çevreniz sınırlı olsa bile Deneyiminizi deneyimlemek için tekrar çalma
yaklaşımı daha hızlı öğrenmenize yardımcı olabilir.
Tekrar etmemek yerine birçok şeyi hızlı bir şekilde öğrenebilirsiniz çünkü birçok şeyi tekrar yapmanız
gerekmez.
Kurtarılan deneyimleriniz var.
Bu, deneyimlerin başlıca avantajlarıdır.
Onu bulduğumuz şeyi tekrar edelim.
Bu deseni, ardışık deneyimlerin bağımsızlığı ve korelasyonu üzerine nadir bulunan deneyimleri
kaydettiğimiz için önemsiyoruz, dolayısıyla onlardan daha sık öğrenebiliriz ve
deneyim sahibi Fosler ortamlarını öğrenebildiğimiz ortamlarda öğreneceğiz.
Ajanun geçtiği pek çok tecrübeye sahip olmayan deneyimlerimiz var ve yine
de bunu öğrenebiliyoruz.
Deneyim, her şeyi tekrarlar.
Bundan biraz daha okumak istersen.
2016 yılında derin akıl tarafından yayınlanan ilginç bir makaleye öncelikli deneyim
replayı deniyor ve neden bahsediyor.
Deneyimimizi Bachche deneyiminden seçmek için neden tekdüzeli bir dağıtım kullanıyoruz; neden deneyimlerimizi seçmek
ve önemli olduğunu düşündüğümüz bazı deneyimlerin önceliğini bulmakta daha iyi
bir yol bulamıyoruz.
ilginç bir şey olsa da, bu durumda, sadece deneyim tekrarıyla ilgili
bilginizi güçlendirmekle kalmayıp aynı zamanda güçlendiremezsiniz, ancak aslında teknolojinin en ileri teknolojisiyle hareket edebileceksiniz.
Oldukça
Yani bu 2016 ve derin akıllarla yayınlandı.
Sınırları keşfedebilmeniz veya bu algoritmayı daha da keşfedebilmeniz ve bir sonraki seviyeye götürebilmeniz için
çok yeni ve çok güçlü bir kağıt.
İsterseniz bu kağıttan yeniden oynatmak için üniformayı farklı bir yaklaşımla neden ve nasıl
değiştirebildiğimizi bulmak için sana bırakacağım.
Ve umarım bu hoşunuza gidiyor.
gerçekten ne olduğunu biliyoruz ve bunu pratik çevrelerimizde güvenle kullanabiliriz ve sizi bir dahaki sefere bekliyoruz.
Tauriel ve şimdi deneyimlerin
O zamana kadar AI zevk.