Merhaba ve yapay zeka dersine tekrar hoş geldiniz.
Günümüzün öğreticisinde biraz eğleneceğiz.
Yaptığımız bu labirentte, uzun süredir bahsettiğimiz bir göz ve yapay
zekaya sahip olacağız ve yol boyunca gidip yolu bulmak için öldürme öğrenmeyi
kullanacağız ve ne olacağını göreceğiz. q ilkeler politikaya gidecekti vb.
O halde bir göz atalım.
Berkeley Üniversitesi tarafından sağlanan bazı malzemeleri kullanacağız.
Dolayısıyla, eğer birine gidersen Birk değilim sadece E R K E L E Neden tekrar o bağlantıya gitmiyorsun?
Bu Web sitesini göreceksiniz ve bakacağımız şeyleri duyuyoruz, gidelim PacMan
projelerine gidiyoruz.
Bence Pacman projeler ve burada aşağı kayarsanız ve ilk öğrenimde onlara bakarsanız, bununla birlikte çalıştığımız
şey budur.
Yani burada zip arşivini indirebilirsiniz.
İstersen öyle.
Bu yüzden buna gerek yok, çünkü biz bu denemede birlikte bir çözüm
aramayacağız, sadece bunun nereden geldiğini size çok sevdiğimizden bildireceğiz.
Buna gerçekten minnettarız.
UC Berkeley bu malzemeleri mevcut hale getirdi.
Ancak bunu tek başınıza deney yapmak istiyorsanız.
Bunun sadece bir parçası olmadığını akılda tutun.
Berkeley kursunun bir parçası olarak kurslarımızın bir parçası olmayacak.
Resimleme amacıyla nasıl çalıştığını bilmiyorum ama bunu denemek isterseniz buraya
zip arşivini ve tüm eski talimatları bulabilirsiniz.
göstermek istediğim ilk şey, burada lisans bilgisine sahibiz, demek istediğim bu.
Ve şimdi hemen Python'a gideceğiz ve sana
Yapmayacağımız yayın çözümlerini dağıttığınızı bildiğiniz takdirde, bu projeleri eğitici amaçlarla kullanmaya
veya genişletmeye serbest olduğumuzu söyledikleri için şanslıyız.
Sahip olduğumuz bu bildirimi saklı tutuyorsun ve UC Berkeley'ye sahip olduğumuz bir bağlantı da dahil olmak üzere açık
bir başpiskopos sağlıyorsun.
Yani bir daha burada daha fazla bilgi edinmek isterseniz bağlantı.
Bir göz atabilirsin.
Ve bu projede çalışmış olan tüm bu insanlar için çok teşekkür ederim, burada şebeke dünyası.
Orada bir çözüm varsa, çalışacağız.
Çalıştırmak için kendiniz çözmeniz ya da muhtemelen bir çözüm bulmanız gerekirdi.
Belki bazılarınızdan bazıları tanıdığınız birileri size yardımcı olabilir.
Tekrar istiyorsan, sahip olmak zorunda değilsin, çünkü şu anda bu ekranda
ona bakacağız.
Bu dosyaları oluşturduktan sonra dosyayı buradan başlatabiliriz.
Dolayısıyla tüm dünyada yer alan bazı parametreler var ve sanki başlattığımızda
neye benzediğini size göstermeyeceğiz.
Bu yüzden manuel modda başlatmayı deneyelim.
Dolayısıyla eksiği gidersem, bu manzaralardan bir tanesi manuel olduğundan kontrol ajansına komuta edebilirim.
Böylece burada tüm ızgaraları görebilirim, böylece yukarı çıkabilirim, böylece harekete geçtiğini anladım
ve nerede olduğum eyaletlerde başladım.
Ve sonra bastığımın harekete geçtiğini ve Norf'u gördüğünü gördüm ve ilk kez yukarı çıktıktan sonra
sıfıra geldi.
Ama harekete geçtiğim ikinci sefer Norf ve ben aynı üzgün hareket etmedik sona erdi.
Rastgele bir şey olduğunu bildiğiniz bir şey oldu, ya sola ya da sağa döndüm.
Ve varsayılan olarak parametreler ayarlanır.
Varsayılan olarak, tam olarak neyin aslında kaçınılmaz yönünde sonuçlandığını tartıştıklarımıza göre
ayarlandığını görebilirsiniz.
Zamanın yüzde 20'sinde yüzde 10'a, bazıları sağa sola doğru.
Öyleyse yukarı çıkıp yukarı çıksam doğru gidersem.
Doğru gittim şimdi olmadı.
Sağa ve sağa, işim bitti.
bu nihai çıktıdan çıkmak için tekrar tıklamanız gerekir; böylece tekrar tıkladığınızda bitti demektir.
Fakat bu uygulamada,
El terminalimizi çalıştırabilmek için terminal bir devlet.
Sağ taraftan sağa sola dönersem bunu görebilirsin.
Öyleyse, daha önce ne gördüğümüzü, ajanın doğruca düz gitmediğini gördük.
Çukura girme şansı varsa yukarı çıkmanın yolu nedir?
Bir bakalım ajanın ne yapacağını.
Buradan ayrılır ve batı gitmek batıya giderdi.
Ve gördüğün gibi sola tıkladım ama yukarı çıktı ve sağ tıklarım.
Ve son çıkış aşamasında kalıyorum ve Tanrı'nın ödülünü birine eşit görüyorsunuz.
Elle nasıl göründüğü de bu.
Şimdi buna bir AI bağlayın ve izin verelim.
Hadi burada bir H işleyelim ve biraz Brandner ekleyelim.
Öyleyse, burada yazdıklarımı görmeme izin verin, umarım ızgara dünyasına göre, burada neden ortalamamızı
eksemediğimi görebilirsiniz.
Hayat için ödül budur.
Bu yüzden iki tane var, bu yüzden muhtemelen bunlardan birini çıkarmalıyım.
K eksi k kaç tekrarlamadır.
Çok fazla yinelemenin yolu bu.
Daha az şey yapalım 10 tekrarlama yeterlidir gibi yapalım.
Eksi bir Ajan.
Ne tür bir temsilci, onur ve imaj yapmak istemiyorsa, bir miktar değer mi yoksa bir soru mu demek.
Q Bir soru sormak istiyorum.
Q ekseni araştıran öğrenen a, s hızı nedir, o kadar çok büyük ki şimdi sadece
eksi R için tam hızı kullanan bir kuvvet yaşayan bir cezadır ve öntanımlı olarak sıfırdır.
Öyleyse unutmayın en baştan başlatmayı 0 yaşayan penals'i tekrar başlatın, bu yüzden de 0 0
araması yapalım ve sadece bu parametreyi kaldırabiliriz ve D indirimi ne d iseledir.
Bu yüzden sadece bir faktör, bu yüzden sıfır noktasında tutalım ve bu
bölümdeki bu bölümde başlayacağımız şeyle çok benzer bir şekilde tamamlayalım, o halde, o kadar da hızlı bir şekilde tekrar
başlayalım, o zaman nasıl olduğunu görebiliyorsunuz. keşfetmek.
Ve şu ana kadar üç kez negatif çarptı ve bu karelerde q değerlerinin
nasıl güncellendiğini görebiliyorsunuz.
Bu anahtar değerlerdir.
Onlar sıfır çeşitleri.
Artık Q değerini görebilirsiniz.
Bu yüzden, birinin biraz farklı olduğunu öğrendi, çünkü son aşamaya geldiğinizde bununla
başa çıkmanız gerekiyor.
Çıkmak için bir düğmeyi tıklamanız yeterlidir.
Ve bu yüzden birine çok yakın, ancak tam olarak birine yakın değil.
görebilirsiniz. Kristalize edici ellerin türü eski bir meslektaşınız bir yere gitmektedir ancak
bunlar yeterince bilgiye sahip olmadığı için sıfırlardır. Neler olduğunu anla.
Fakat aynı zamanda, değerini yavaşça bildiğinizi de
Tamam, hadi görelim burada neler olduğunu görelim.
Neyin olacağını keşfetmekle keşfetmek.
İyi bir süre oldu.
Ve burada bazı rastlantısallıkları hallederiz.
Bu yüzden iyi olanı birkaç kez var.
Şimdi sadece 10 yineleme alıyor.
Yani o hızlı öğrenmek zorunda Sana ihtiyacım var.
Bakalım neler oluyor.
Haydi.
Zaten o labirentten kurtul.
Ve evet 10 bölüm öyle ortalama o çıkıyor.
Bu gerçekten ilgilenmiyor.
Bu yüzden görelim bakalım.
Hiç bir tıklama görmedim.
Sağ.
Oraya gidiyoruz.
Gördüğünüz gibi bunun geldiği politika budur.
Sadece 10 bölüm bile olsa, zaten bir nabzı var.
Bir bomba çıkacağım ve burada buraya gideceğim Buraya aşağı ineceğim duvara girmek için
gideceğim ve sonra buraya geldiğime geri döneceğim.
Bu oldukça havalı.
TAMAM.
Şimdi hızı arttıralım.
Parametre ne idi orada.
Ve bu, iki kat kanunsuzluk gibidir.
Hız dört kat arttı ve yineleme sayısını artıralım, bu sefer 20 rasyonel ödüllendirelim diyelim
ve şimdi biraz daha geçip geçemeyeceğini görelim.
Böylece biraz daha hızlı gittiğini görebilirsiniz.
Ve o öğrendiğini öğreniyor ki, gerçekten bu kadar iyi bir eylem olmadığını biliyorsun
değilsin Doğru ve düz olan bu eylemleri doğru yapmıyorsun.
Kesinlikle bu kesinlikle iyi değildi.
Hâlâ öğrenmeye ihtiyacı var, bundan buradan da iyidir.
Bu eylemin oldukça iyi olduğunu görebilirsiniz.
Tamam.
Ne aldı?
TAMAM.
Burada ilginç bir politika var, yukarı çıkmaya karar veriyoruz.
Sadece yeterli bilgi yok.
Öyleyse, gerçekten bunu yapalım.
Ve hızı 100'e çıkaralım.
Süper hızlı ve yinelemelerin sayısı, bu sahnenin deli gibi hızlı bir şekilde çalıştırıldığı bu sefer
100 tekrarlama işlemi yapacak ve çok daha fazla yineleme olduğu için bunu denemek ve bu matrisi
ya da matrisi gerçekten oluşturmak için daha fazla bilgiye sahip olduğunu görebiliyorsunuz bu değerler her bir
devlet için.
Artık seksen dokuzuncu sıfır noktasını görebildiğini biliyor.
86. Sıfır noktamızda ne dedik 86.
Unutulmaması gereken diğer bir nokta, verilen herhangi bir devletin değeridir.
Unutmayın ki sahip olduğumuz formüller maksimum küp değerleridir.
Kısayol formülüyle geldiğimizi hatırlayın.
Peki bu durumda bu değerin V olması ne olmalı.
0 olurdu. 18.
Çünkü buradaki en yüksek dört bu durumun değeri 0'dır. 7 bu günün değerini istiyorsun.
Altmış bir nokta var mı vb.
Bu hatırlanması gereken bir şey.
Ben uyandığımda, sanırım sıfır noktası 86 ya da öyle bir priktör gibiydik.
Ve önümüzdeki yıla gidersek, yalnızca kaybolur veya yok olurum ve bu geri gelebilir.
TAMAM.
Yavaş yavaş yavaş yavaş yavaş bazı alanlar dolduruyor.
Anlıyorum.
Ve aynı zamanda rasgele de olsa, çünkü ortamın tesadüfi yanı
sıra yıldızın gerçekten rastgele keşfedilen politikayı bilmediğini araştırması da var.
Sadece ortadan kayboluyor.
Nedenini anlamıyorum.
Her neyse, burada sayı arttırırsanız ne olacağına bakalım ve hızın
üst sınırı yoksa, burada aynı miktarı alması gerekiyor.
Tamam, bu yüzden şeyleri keşfetmek için daha fazla fırsata sahip.
Tamam, nasıl gittiğini görelim.
Ve değerlerin birbirine yaklaştığını görebiliyorsunuz, çünkü bazı rastlantısallıklar var
ve bu şekilde gitmesine rağmen çukurun içine gidebileceğinden bilirsiniz.
Ancak aynı zamanda yavaş yavaş birtakım değerler ve işaret değerleri ile birleşmeye başlıyorlar.
Muhtemelen bin kişi zaman açısından biraz fazladır.
Hızın orantılı olarak arttığı gibi görünmüyor.
Bu yüzden o kısmı kesebilir.
Yani hızı düşürmek gibi.
Bu çok düşükken, bu öğreticinin sonuna kadar izlemek zorunda değilsiniz, sadece size
biraz çalışmak istedim, böylece size bazıları üzerinde çalıştıklarımızın örneklerini verecektim ancak şu noktayı
elde ettiniz ki: Bütün bunlar biter.
Onun davranışlarına yerleşik olan Rambler gibi bazı rastlantısallıkları var.
Dolayısıyla bir politika izlemeye devam etse bile, keşfetmeye devam edecek ve böylece bir kez basit bir politikaya
sahip olması sadece politikasını izlemeye devam etmesini istemeyecektir.
Politikasını güçlendirmek için kısa süre önce başka varyasyonlarla deneyler yapabilir, belki de en
iyi politikayı hemen bulamamış olabilir.
Belki politikayı iyileştirebilir.
Ve bu kadar çok yinelemeden sonra bile bazı rastgele efektleri görebilirsiniz, çünkü bazen
rastgele durumlara ortamdaki rasgele durumdan değil, aynı zamanda ayarlayabileceğinizi kontrol
edebileceğiniz bir parametre gibi bir seviye de vardır ajanınız için, zamanınızın
yüzde 80'inin politikanızın söylemiş olsanızın ne yaparsa yapsın% 20'sini bildiğini
söyleyerek, eğlenerek biraz eğlenip ne olduğunu görün ve güncellemek
için topladığınız bilgileri kullanın poliçeniz
Tamam, bu çok uzun sürüyor.
Tekrar deneyelim.
Evet, ajan bu yüzden farklı devletlerde öğrenir.
Belki sadece meraktan birini çalıştıralım.
Bu konuda değiştirebileceğimiz başka bir şey var mı?
Tekrarlamalar.
TAMAM.
Tamam bir göz atalım.
Evet, örneğin tartışmayı değiştirebiliriz.
Bu durumda, bu durumda K eksi yüz eksi Q eksi iki, eksi ise bin olarak kabul edilebilir.
Öyleyse ödüllendir.
Belki de 0'da tutmaya devam etmek istiyoruz. karşı koymak, her seferinde çöl noktamdaki ödülü sıfır tutmaya devam edelim.
04 Diyelim ki buna
Ve sonra burada indirimin sıfır noktası dokuz değil, sıfır noktalı nokta beş gibi olduğunu
söyleyeceğiz.
Dolayısıyla, oyuna girerken oldukça fazla indirime tabi tutulur.
Bu yüzden aslında şimdi, bitiş noktalarına yaklaşmaktan ziyade bitiş noktasına yaklaşmaya teşvik
edilecek, böylece değerleri gerçekten düşürdüğünü ve daha önce olduğu gibi
yeşermediğini göreceksiniz.
İşte burada bunun ilke olduğunu görebilirsiniz.
Bu yüzden, daha önce gördüğümüze çok benzeyen, buradaki farklılıkların burada doğrudan
atlamaya benzeyeceği şekilde gidiyor.
İşte bu.
Ve yine bir tane daha çalıştıralım.
Bu çok eğlenceli.
Şimdi bir k kayıp k 100 a q atmaktan daha fazlasını yapalım.
Orijinal olduğu gibi saklayın Öyleyse şimdi bu temel vanileyi çalıştıralım, tamam mı tamam mı?
Bize politikayı gösterip göstermeyeceğini göreceksin.
Ve evet, politikamız var.
Evet.
İyi bitiş.
Yani burada politika var.
Bunun bildiklerini biliyorsun.
AI'nın, insan bombalannın duvarın içine daldığını gördüğümüz o zamanı hatırlayın ve sorunu
arttırmak için böyle gitmek için duvara patlayın.
İşte gidiyoruz.
Yapay zekanın etkisiz hale getirilmesine bir örnek çok basit basit kazançları öldürmek için bu aşamada derin bir
öğrenme yapmamaktır.
Ancak aynı zamanda oldukça akıllıdır ve umarım bugünkü eğitimden hoşlanırsınız.
Ve bir kez daha UC Berkeley'ye teşekkür ederim ve umarım bugünkü ders kitaplarından zevk alırsınız ve onlara öneri örnekleri sunmak
isterim.
O zamana kadar AI zevk.