Merhaba ve yapay zeka dersine tekrar hoş geldiniz.
Umarım bugünün öğretmeninden heyecanlısın çünkü ilk adımımızı dünyaya I. adıma
atıyoruz.
Ve bugün takviye öğrenmesinden bahsediyoruz.
Bu çok önemli bir hikaye, çünkü her şeyin temelini oluşturacak olan bu derste olacak.
O halde burada başlayalım.
Küçük bir labirentimiz var ve bu labirent bir çevre temsilimizdir ve bu derste
başa çıkacağımız şey budur.
Yapay zekamızın gerçekleştireceği bazı ortamlarla ilgileneceğiz, bu
ortamlarda kazanmak için aradığı şeyin üstesinden gelmek için arıyor
olacağı eylemleri gerçekleştireceğiz.
Ve burada bir menajer var.
Ajan yapay zekamız.
Bu kişiler budur ya da bu ortamlarda dolaşacak zihin ve akıllarının
belirli eylemleri gerçekleştirmek için verdiği geribildirimden öğrenmektir.
Ve bu şekilde, aracı, bu ortamda belirli eylemleri gerçekleştirir.
Ve sonuçta içinde olduğu devlet değişecek, bu yüzden daha sağa sola doğru daha fazla veya daha yakın ya da
daha fazla olabilir.
Devleti ve bu parametreleri açıklayan diğer parametrelerden biri olabilir.
Böylece devlet, harekât aldığı için değişecek ve eylem üzerine temellendirilecektir.
Dolayısıyla bir harekete geçtiğinde devlet değişecek ve ödül alacak.
Şimdi aklınızda bulunduğunuzda, bazen durumun değişmeyeceği, hareketin bir kalış süresini değiştirmeyeceği
veya bu eylemi gerçekleştirmek için bir ödülün olmayacağı bir durum olabilir.
Bu anlamda öyleydi.
Ancak yine de temsilci bunu yapmaya devam ederse devletin aldatılmasına ve
devleti değiştiren ve ödül kazanmak için hareketi değiştiren ödülleri almaya hükmedilecekti.
Ve bu işlemi yaparak, hangi eylemlerin iyi ödüller ve olumlu
devletlere yol açtığını ve ikisinin olumsuz bir duruma düşen eylemleri anlayarak
çevrenin keşfedileceğini öğreneceğiz.
Ve bu çok basit bir temsili çok küresel bir sorundur.
Dolayısıyla, ortamları düşünürseniz, aslında sadece labirent olmak zorunda değilsiniz.
Sadece bir labirentten çıkmak ya da bir labirentte bir hazine bulmaktan ibaret değil.
Bir ortam, hayatta hemen her şey olabilir.
Sabah uyandığınızı ve bir omlet pişirmeyi hayal edin.
Bu omlet yapmak için belirli adımları atmanız gerekiyor, böylece yumurta almak için gereken belirli adımları atmanız yeterlidir ve
ateş etmeye devam eden kızartılmış tencereler vb. Alınıyor ve sıradan bir sıradan şey gibi geliyor.
Ancak rutin hale geldi, çünkü bunu birçok kez yaptınız.
aksiyonları gerçekleştirdiğiniz bir ortam, yangına kızartma tavası koyarak
yumurta koyup yumurta üzerine tuz koyarsınız. ve dönüyorsun vb.
Ancak gerçekte, yangın söndürdüğünüz bazı
Görüldüğü gibi CRN eylemleri olan eylemler belli devletlerde alınıyor ve bu eylemler diğer bazı devletlere
ve bazen de ödüllere neden oluyor.
Örneğin, örneğin ateşi açtığınızda ve beklemek bekleyin bekle bekle bir eylemde bekle bekle bekle bekle
bekle çok uzun süre bekleyin ve sonra da kızartma tavasına yumurta koyarsınız.
Ödüller çok olumsuz olacak.
Hepsi yanacak.
eylemlerin zamanında doğru noktalarda yapılması gerektiğini anlamanız da çok önemlidir.
Öte yandan, tüm doğru eylemleri doğru zamanda yaparsanız,
Yani yumurta koymadan önce tavayı kızartma tavasına koymak iyi bir fikir
olmayabilir.
Tuzu kızartma tavasına yumurta girdikten sonra koyarak
harekete geçmek isteyebilirsiniz.
Bu yüzden hatırlamak önemlidir.
Ve aynı zamanda, doğru durumdaki doğru sırayla doğru olan tüm
eylemleri yerine getirirseniz, nihai ödülünüz yiyebileceğiniz bir omlet olmanız olabilir.
Ve hayatınızdaki çok temel bir etkinlik budur, ancak bu konuda düşündüğünüz şey aslında bir çevre ve siz bu
ortamdan geçmekte olan bir görevlisiniz ve bir şey öğrenmek zorunda olmadığınız bir görevi yerine getiriyorsunuz, çünkü
bunu zaten çok iyi biliyorsunuz .
Ancak aynı zamanda daha iyi bir omlet nasıl hazırlanacağınızı öğreneceğinizi veya
özellikle ilk omletinizi yaparsanız muhtemelen onu mahvettiğinizi öğreneceksiniz.
Ancak bundan öğrenirsiniz, çünkü hangi eylemlerin devletler ve yollar ve hayatta başka herhangi bir şey
için yol açtığını anlayacaksınız.
satım ve getiri pozitif veya negatif getiri anlamında piyasadan belirli geri bildirim alma.
Örneğin hisse senedi piyasasında işlem yapmak ve biliyorsunuz ki alım
Bu aynı zamanda yaşlanmaya başladığınız ortamda yer aldığınız bir ortam.
Araba sürmek, direksiyon simidini çevirebileceğiniz, kırabileceğiniz gibi hızlandırabileceğiniz ve çevreyle ilgili geribildirim
alabileceğiniz bir ortamdır ve bu geribildirimden birinin, sizi hızlandıracak bir
cezanın verildiği polis memuru olduğunun bilincindeyseniz, o karayolu üzerinde kabul edilebilir veya izin verilen hız
sınırının üstünde.
Ve bundan dolayı, bunun bir yapılması gereken şey olmadığını, çünkü olumsuz bir
ödüle götürdüğünü öğrenirsiniz.
Dolayısıyla ödüller, işlemin hemen bitiminde olmak zorunda değildir.
İşlem boyunca yolculuk boyunca sürebilirler.
Yani bunlar birkaç örnektir.
Ve ben, takviye öğrenmeyi düşünmenin en basit yolu, köpekleri eğitirken bir köpeği eğitmek gibi bazı
komutları vermek ve bu komutlara uyarsa ona bir bisküvi falan gibi bir erişim veriyorsun demektir
Eğer Abeles Kamaz değilse, bunun kötü bir köpek olduğunu söylüyorsun ya da
sadece ona bir zevk vermiyorsun.
gerektiğini, bazı devletlerde ve devletlerde alması gereken şeyleri öğrenir ve verdiğiniz komutlar olur.
Ve bu süreç boyunca belli komutların ne işe yaraması
Ve buna dayanarak, AI dünyasında tabii ki bazı ödüller elde edilecek.
Bu karmaşık değil.
Tedavileri vermek zorunda değilsin.
Sizinle birlikte bir bisküvi çorbası olması gerekmez, çünkü her seferinde bir artı bir
veya bir eksi koyarsanız, AI dünyasında kendimizi bu AI'ları yarattığımızda büyük bir avantaj oluşturuyor.
Bu yüzden onlara veriyoruz ödülleri gerçekten harika ödüller bunun için aslında sadece bir artı veya eksi
bir veya artı bir veya sıfır ya da bir şey var olmadığını onlara vermek düşünüyorlar veriyoruz ödüller.
Öyleyse hepsi hayali şeylerdir.
Fakat aynı zamanda muhteşem inanılmaz yapay zeka gibi şaşırtıcı bu yapay
zekayı, yalnızca gerçekten var olmadığımız ödülleri sunarak bu şaşırtıcı şeyleri yaratabiliriz.
Artı ve eksi bir şey ama aynı zamanda çıkış sonuçları maliyeti yok.
Gerçek dünyaya çok benzer.
Ve örneğin Dokes biliyorsunuz Ama burada ödüller sayısal ve sadece sayı.
bu resimlerde hemen hemen her yerde değil, tam olarak bildiğiniz robot köpek, robot köpeklerin bir
kısmını öğrendiğiniz takviye yoluyla eğitilir. Özellikle de sahip olduğunuz eski köpekleri öğrenebilirsiniz. oradaki bir algoritma.
Ve bunu akılda tutarak robot köpekler hakkında konuşabiliriz Bu örneği seviyorum,
Ve bu aslında önceden programlanmış ajanlar ile takviye öğrenme aracı arasındaki farkın iyi bir
örneğidir, bu yüzden size nasıl yürütülacağına önceden programlanmış bir robot köpeği olabilir.
Yani yazılımdaki köpek arkasındaki algoritmada OK diyeceksiniz, böylece yürümek için sol bacağınızı öne doğru sol ön
bacağınızı öne, daha sonra sırt sağ bacağını öne, sonra ön sağ bacağına ilerletirsin, sonra sırtın sol bacağını
ileri doğru hareket ettirin. ve bu eylemi tekrar edin ve biliyorsunuz ki yürüme
tanımı bu köpeğin içinde bir işlevdir.
Ve sonra nasıl duracağını ve bunun gibi şeyleri nasıl yapacağını biliyor olabilirsin.
Olanları öğrenmek için takviye yoluyla eğitilmiş bir robot köpekte, bunu önceden programlamıyorsunuz
demektir.
Köpeğe zor kodlanmış herhangi bir algoritma içermediğinden burada her şeyin en önemli
kavramı budur.
Bunun yerine gelecekte tartışacağımız şeylerin var.
Tamamın amacının şimdi örneğin odanın sonuna kadar bir şey bilmediğiniz yerden gelmek
olduğunu söyleyen bu takviye öğrenme algoritmasına sahipsiniz.
Ve alabileceğiniz bazı eylemler şunlardır.
Sağ ayağını hareket ettirebilirsin, sol ayağını hareket ettirebilirsin sağ arka ayağını hareket ettirebilirsin,
geri ayağınızı bırakırsınız böylece burada yapabileceğiniz tüm serbestlik dereceleri gibi hareket
edebilir, öyle hareket edebilirsin ki bunun bir listesi gibi alabileceğiniz eylemler ve ödülleriniz her adım attığınızda her
defasında bir artı bir tane elde edersiniz.
Bir eksiğiniz var, hepsine sahip.
Ve sonra sadece köpeği bırakıp kendi başına anlamaya bırakıyorlar.
Köpek ayağa kalkmaya çalışırsa düşer düşerse o zaman bunu düşündüğümü fark ederim ki düşmeye neden olan bu eylemi yapmamalıyım
çünkü her düşüşümde benim için iyi olmayan eksi bir tane olsun.
Ayağa kalkmasına yardımcı olan diğer hareketler de öyledir; rakamlar, deneylerin deneylerinin deneylerinin
rastgele deneyleriyle yapıldığını ve ardından sağ ön ayağını hareket ettirerek bir adım
atabileceğini ve artı bir puan aldığını fark etmesi gerektiğini anlamıştı. daha fazlasını yap.
Tamam, şimdi de bunun daha fazlasını ve daha azını yapması gerektiğini öğrenmesi için serin.
Ve bu öğrenme süreci boyunca, nasıl yürüdüğünü çabucak çabucak anlar.
başına düşündükleri köpekler aslında önceden programlanmış köpeklerden daha iyi yürüyebilirler, çünkü gerçekte hazırlanmış programlı şeylerden
gerçek hayvanlara bakarız ve ya kendi hayal gücünü nasıl kullanacağımızı
biliyorsun, buna karşılık bir takviye öğrenme köpek olabilir işleri kendi başına optimize edin.
Kendi
Ve AI'da bazen daha iyi sonuçlar elde edebilirsiniz.
Ve bu şekilde bu robotları eğitebilirler.
Aynı robot futbol oynamak için köpekler.
Futbol oynamak için normal bir köpeği eğitebilirsiniz, çünkü bütün yaklaşımı farklı olduğunu bilirsiniz.
Ve muhtemelen, normal bir köpek için eğitilmiş ya da evrimi sürecinde yapmış olduğunu
bildiğiniz bir şey değildir.
ne gibi hedefler taşıdıklarını anlattıkları sürece futbol oynamayı çok kolay anlayabilirler.
Robot köpekler, bir takviye öğrenme öğrenirken onlara, hangi hediyelerin
Takdir öğrenmenin nasıl işlediği budur.
Genel olarak, takviye öğrenmeyle ilgili hızlı bir genel bakış var.
Umarım sizi çok heyecanlandırır çünkü bir sonraki adıma geçmek için ön program çözümlerine kıyasla
tamamen farklı bir dünya olduğu için bir sonraki aşamada zorlu bir programla kodlanmış çözümler getirir.
Bu çok farklı.
Ve bundan daha çok konuşacağız.
sahibiz, bu nedenle bazı destek materyalleri edinmek isterseniz İşte size bakıp bakabileceğiniz harika bir makale.
Bu arada sizlere bazı ek kaynaklara
Tensör akışı ile basit takviye öğrenme denir.
On parçada var.
Bağlantı burada ve üzerinde tam tıklanabilir bağlantı bulacaksınız.
Arthur Giuliani'nin 2016 makalesindeki kaynaklarda bu dersi takip edebilir ve ayrıca bu
makaleden ek bilgi alabilirsiniz.
ama implantasyonlar kullandığınız ancak burada aynı anda birkaç yerden bir
şeyler toplayabileceğimiz akılda tutulması gerektiğini unutmayın. Bu derste yapacakları şeyler.
Ancak, bu makalede olduğu gibi bu derste olduğu gibi, farklı uygulama
Kesinlikle izlemeyi düşünüyorsanız harika makale sizi takip ediyor.
Hala durum böyle.
İlk bölümü kontrol edin ve biraz daha okumak isteyip istemediğinizi görünüp beğenmeyin bakın.
Ve daha sonra, bu öğretiye özgü bir sınır zorlaması var öğreniyoruz; burada Richard Sutton tarafından takviye
öğrenme adı verilen bir kağıt var.
aynı zamanda omlet örneği ve takviye öğrenmesinin uygulanabileceği diğer örnekler ve takviye öğrenmesinin genel bir genel
görünümü gibi bazı örneklerin öğrenilmesi için takviye hakkında biraz bilgi edinebilirsiniz.
Bir giriş, 1998 yılı kağıtları oldukça eskidir ancak
Bazı ilave okumalar arıyorsanız ve bu notta bu öğreticiyi tamamlayacağız.
Bir dahaki sefere seni görmek için sabırsızlanıyorum.
Ve o zamana kadar AI zevk.