WEBVTT 00:00.630 --> 00:03.170 Merhaba ve bu Python öğreticisine hoş geldiniz. 00:03.170 --> 00:03.500 Tamam. 00:03.510 --> 00:09.120 Şimdi uyguladığımız bir sonraki işleve yapay zekanın içinde olan 00:09.120 --> 00:11.470 derin sinir ağını eğiteceğiz. 00:11.490 --> 00:16.980 Böylece temel olarak propaganda ve geri yayın için tüm süreci yapacağız. 00:16.980 --> 00:19.140 Bu yüzden çıktısını alacağız. 00:19.200 --> 00:20.850 Hedefi alacağız. 00:20.890 --> 00:26.020 çıktısını karşılaştıracağız, sonra bu son hatayı yeni ağa geri yayacağız. 00:26.130 --> 00:28.410 Son hatayı hesaplamak için hedefin 00:28.680 --> 00:33.960 Ve önerilen degradeyi kullanarak, son hataya ne kadar katkıda bulunduklarına göre beklemek 00:33.960 --> 00:34.780 zorunda kalacaklar. 00:35.190 --> 00:39.030 Bütün bunları derin deniz piyadelerinden gelenlerin için yapalım. 00:39.030 --> 00:43.850 Bu iyi şeyler olacak, ancak diğerleri için endişelenmeyin bunu tekrar genişleteceğim. 00:44.160 --> 00:51.630 Bu yüzden, bu yeni fonksiyon öğrenme ve öğrenme fonksiyonu birkaç argüman almaya çağıracağız. 00:51.630 --> 00:57.350 Elbette ki sınıfın derecesinin nesnesinden bahsedecek olan ilk benlik. 00:57.510 --> 01:08.770 alacağız, daha sonra partimize, sonra bizim ödülümüze ve nihayet Arbat eyleme. 01:08.860 --> 01:15.570 Sonra toplu halimizi şu andaki durum için 01:15.590 --> 01:16.960 Öyleyse neden bunu alıyoruz. 01:16.970 --> 01:19.770 Muhtemelen bu serinin ne olduğunu fark ettiniz. 01:19.880 --> 01:26.350 Tabii ki bir geçiş bazında olan pazar karar sürecinin bir geçişidir. 01:26.360 --> 01:27.440 Öğrendin mi. 01:27.500 --> 01:30.420 Ve neden hepsini bir yığın halinde alıyoruz. 01:30.560 --> 01:36.200 Bunun nedeni, biliyorsun, geçişleri bir dizi en üstteki veya şimdiki eyalet sonraki durum 01:36.200 --> 01:39.630 güncel ödül ve güncel eyleme göre düşünmediğimizi hatırlıyorum. 01:39.650 --> 01:44.050 Basit işlev sayesinde bazı basit toplu işler hazırladık. 01:44.210 --> 01:48.430 Ve şimdi geçişlerimiz bu devlet için ilk toplu haldedir. 01:48.500 --> 01:53.520 Bir sonraki toplama ödülü için bir toplu iş ve eylem için bir toplu iş için ikinci bir toplu iş. 01:53.510 --> 01:59.090 Şimdi geçiş biçimimiz budur ve burada, ilk boyuta göre 01:59.090 --> 02:04.150 yaptığımız bu birleştirme sayesinde zaman açısından iyi hizalanmıştır. 02:04.160 --> 02:10.460 İşte bu noktada, şu anda önümüzdeki günlerde her bir devlet için bir parti topluluğunu bu 02:10.450 --> 02:15.400 eylemde izlemekteyiz ve bu deneyimi tekrarlama hünerini kullandığımız için hepsini yapıyoruz. 02:15.530 --> 02:18.580 Yani bu derin sinir ağımız bir şeyler öğrenebilir. 02:18.590 --> 02:24.190 Yalnızca kendiliğinden bir geçişi olsaydı, anında öğrenmenin ne olacağını hatırlayın. 02:24.260 --> 02:28.930 Veya eğer çok kısa bir hafıza öğrenmek istiyorsanız ve bu nedenle köstebek bir şey öğrenmez. 02:29.180 --> 02:35.690 Bu yüzden, bu toplulukları geçişlerimiz haline gelen hafızadan almamız ve sonuç olarak, giriş devletlerinin her bir 02:35.690 --> 02:40.940 devleti için farklı çıktılar elde edeceğiz ve bunu devletler ve sonraki Devletler için 02:41.160 --> 02:45.620 yapacağız, çünkü her ikisine de ihtiyacımız olacak kaybı hesaplamak için. 02:45.680 --> 02:51.860 Yakında, öğrenme algoritmasının kalbinde yer alan denge denklemini hatırlatacağım. 02:51.860 --> 02:57.120 Şimdi işe gidelim ve önce kutu devletinin çıktılarını alalım. 02:57.170 --> 03:04.740 çağıracağım ve elbette ki kendi kendine konuşmamızın hepsi o kadar kendi başlangıcınız demeyeceğim. 03:04.740 --> 03:07.670 Bu yüzden, ilk uygun çıktıları 03:07.740 --> 03:14.160 Hayır, çünkü model çıktılarımızı devletin giriş durumlarından elde etmek istiyoruz. 03:14.510 --> 03:19.110 Ve modelimiz aslında bir grup giriş durumu bekliyor. 03:19.310 --> 03:25.330 O halde hepsini girmek için şu anda bu devleti tamamen girebiliriz. 03:25.340 --> 03:31.550 Tam olarak, işkenceyle birlikte ağa giren devletleri, mükemmel olan parti 03:31.550 --> 03:35.080 için bu belirsiz boyutla başlattık. 03:35.180 --> 03:37.720 Artık hepsinin çıktılarını alıyoruz. 03:37.880 --> 03:45.680 bildiğimiz olası tüm eylemlerin çıktılarını alırsak başka bir teknik hüner var, ancak bu bizim istediğimiz değil. 03:45.860 --> 03:50.980 Ancak, o model durumunu iyi satarsak, 0 1 ve 2 03:50.990 --> 03:54.580 Biz sadece seçilen eylemlerle ilgileniyoruz. 03:54.740 --> 04:01.190 Şebeke tarafından her zaman oynamaya karar verilen eylemler ve aslında bunlarla 04:01.190 --> 04:09.320 ilgilenmek için yapılması gereken eylemler bu oyuncuyu bir araya getirdiğimiz toplama işlevini kullanmamız 04:09.320 --> 04:16.840 gerektiği için seçilmiş olan eylemi istiyoruz biz de bu eylemi buna ekliyoruz. 04:16.880 --> 04:23.600 Ve bu bölümde her seferinde devletin giriş durumlarının her biri için en iyi 04:23.600 --> 04:24.560 hareketi yapacağız. 04:24.830 --> 04:30.690 oynayan eylemi istemiyoruz ve bunu bu eylemden biriyle toplamakla birlikte alıyoruz. 04:30.840 --> 04:31.770 Seçilen eylemi 04:32.130 --> 04:33.390 Ama sonra dikkatli ol. 04:33.450 --> 04:40.190 Burada devlet bu sahte elmasları ve gres yığını içine girmiş ve bu bölümde yok. 04:40.190 --> 04:46.190 Backstay'ın var, çünkü burada Unsworth kullanıyorduk ama eylemler için herhangi bir kol 04:46.430 --> 04:52.880 sıkma işlemi yapmadık; Bache eyleminin devletin boyutuyla aynı olması için onu buraya eklemeliyiz. 04:53.150 --> 05:02.710 Böylece bir nokta ekleyip sağlığınızı buradan sıkacağız ve aslında sıfır değil, çünkü İman'a sıfır 05:03.200 --> 05:09.120 tepki devlet değil, biri de eylemlerin incelenmesine karşılık gelecektir. 05:09.370 --> 05:16.540 Ve nihayet burada yapmamız gereken son şey, bu sahte partiyi sıkmak zorunda kalmamız. 05:16.600 --> 05:18.010 Bunu neden yapmamız gerekiyor? 05:18.130 --> 05:20.130 Çünkü şimdi sinir ağı dışındayız. 05:20.200 --> 05:22.820 Çıktılarımız var, ancak onları geri istemiyoruz. 05:22.900 --> 05:24.080 Onları istiyoruz. 05:24.190 --> 05:26.260 Ve basit cevap basit vektör. 05:26.260 --> 05:31.540 Sinir ağı, sensörlerin toplu halde olmasını beklediğinden, sinir ağında 05:31.540 --> 05:34.880 çalışırken toplu halde çıktı bir vektör. 05:34.990 --> 05:40.510 çıktılarımız var ve derin öğrenmenin bir sonraki balun denkleminde bunları yığın halinde bulmamıza gerek kalmayacak. 05:40.510 --> 05:41.530 Ama şimdi bizim 05:41.530 --> 05:48.130 Bu yüzden burada öldürüyorum ve çıktılarımın basit biçimini geri almak için inanç boyutunu öldürüyorum. 05:48.160 --> 05:54.530 Bu yüzden sadece burada Dot ekliyorum ve sonra sıkacağım ve o zamandan beri eylemin geri kalanına karşılık gelen 05:54.540 --> 05:56.120 sahte laminasyonu öldürmek istiyorum. 05:56.250 --> 06:01.430 Peki, zaman aralığı motorunda dizin bir tane olduğundan burada bir tane ekliyorum. 06:01.560 --> 06:02.050 Tamam. 06:02.100 --> 06:05.480 Ve şimdi biz gidiyoruz bizim çıktılarımız var. 06:05.490 --> 06:05.910 TAMAM. 06:06.000 --> 06:11.100 Yerel değişken çıktısının atandığı ama asla kullanılmadığı konusunda küçük bir uyarı var. 06:11.190 --> 06:11.860 Bu iyi. 06:11.880 --> 06:13.510 Çok hızlı bir şekilde kullanacağız. 06:13.920 --> 06:15.540 Sonuçlarımız çıktı. 06:15.600 --> 06:23.660 Ve şimdi bir sonraki çıkışlarımızı almak istiyoruz Şu an için neden sonraki çıktılara ihtiyacımız olduğunu düşünüyor olabilirsiniz. 06:23.840 --> 06:29.160 Bunu anlamak için, burada, letak el kitabının bir parçası olan 06:29.180 --> 06:31.670 derin öğrenme algoritmasına geri dönmeliyiz. 06:31.850 --> 06:33.820 İşte tüm yayılım süreci. 06:33.860 --> 06:39.180 Başlangıçta tüm anahtar değerleri başlatıyorduk ve sonra her t'de. 06:39.440 --> 06:44.770 Peki, gidiyoruz, biz de seçkin eylem işlevi ile yaptıklarımız olan, sızarmış Max'le eylemi seçiyoruz. 06:44.870 --> 06:51.050 Daha sonra geçişi açtık ve görebildiğiniz gibi öngörüyü alıyoruz ve hedefi alıyoruz, sonuncusu 06:51.050 --> 06:52.120 da olabiliriz. 06:52.190 --> 06:54.330 Peki neden bir sonraki çıktıya ihtiyacımız var. 06:54.350 --> 07:01.640 Hedef, hedefin Gana'ya bir sonraki çıkışa artı istediğimizden eşit olması ve bundan sonra hedefin 07:01.640 --> 07:06.060 bir sonraki çıktısına ihtiyaç duyduğumuzdan hesaplamasına neden olur. 07:06.200 --> 07:07.790 Önce bunu hesaplayalım. 07:07.820 --> 07:14.060 Bir sonraki güncellemenin çok basit olmasını sağlamak için bir sonraki çıktı, toplu 07:14.060 --> 07:19.180 sonraki durum girdi olarak girildiğinde sinir ağımızın bir sonucu olacak. 07:19.190 --> 07:27.110 Çok basitçe, bizim sinir ağımız olan modelimizi alıyoruz ve bu sefer sinir 07:27.110 --> 07:33.020 ağı girişi, bir sonraki yığın toplanan sonraki devlet olacak. 07:33.200 --> 07:41.290 Fakat şimdi, erken algoritmaya geri dönüp dolaşmadığımızı hatırlayın. Bir sonraki çıkışın, tüm eylemlere göre bir 07:41.290 --> 07:45.530 sonraki durum için q değerlerinin azami olduğunu görebilirsiniz. 07:45.730 --> 07:51.790 Dolayısıyla bir sonraki çıktıyı elde etmek için bu q değerlerinin maksimumunu elde etmemiz gerekiyor ve bu 07:51.790 --> 07:52.720 nedenle burada yapacağım. 07:52.840 --> 08:00.550 Detach, modelin tüm çıktılarını çıkarmanızı sağlar çünkü bu partide birkaç durumumuz var Sonraki 08:00.550 --> 08:06.730 Durumlar, hafızamızın rasgele örneğinden alınan tüm geçişlerdeki tüm sonraki durumların 08:06.730 --> 08:07.620 toplu işidir. 08:07.840 --> 08:14.530 Bu yüzden hepsini ayırma işlevi kullanarak ayırıyorum ve sonra bu iki değerin maksimum değerini 08:14.530 --> 08:15.250 alıyorum. 08:15.340 --> 08:20.920 Ve bu iki değerin maksimumunu Eylem Eylemine göre aldığımızdan, 08:20.920 --> 08:23.080 eyleme göre olduğunu belirtmeliyiz. 08:23.080 --> 08:26.310 Ve bu eylem dizin biriyle temsil edildiğinden. 08:26.530 --> 08:32.770 Bir sonraki bölümü buraya koymalıyız ve sonra işaret değerlerini T artı 1 olarak 08:33.290 --> 08:41.140 kabul ettiğimizi belirtmeliyiz ki bu sonraki aşamadır ve sonraki durum 0 ile temsil edilir, çünkü dizin sıfırı 08:41.380 --> 08:47.370 devletlere karşılık gelir ve bu nedenle burada dizin 0 ile köşeli ayraç eklemeliyiz. 08:47.770 --> 08:54.400 Bu şekilde, dizin biriyle temsil edilen tüm eylemlere göre bir sonraki sıfırın 08:54.400 --> 09:01.490 temsil ettiği sonraki durumların anahtar değerlerinin maksimumunu alıyor ve şimdi sıradaki çıktılarımızı alıyoruz. 09:01.570 --> 09:02.860 Bunlar yeni bir takım. 09:02.870 --> 09:04.320 İşte o zaman uyarı yaptık. 09:04.320 --> 09:05.050 Fakat sorun değil. 09:05.080 --> 09:07.950 Hedefi hesaplamak için şimdi kullanacağız. 09:08.470 --> 09:12.510 Ve bu bilinen fonksiyonun bir sonraki adımı olan hedefin konuşması. 09:12.520 --> 09:13.210 İşte gidiyoruz. 09:13.220 --> 09:15.460 Hedef eşittir. 09:15.670 --> 09:18.220 Şimdi AI AI el kitabımıza geri dönelim. 09:18.400 --> 09:24.800 Hedef, artı gama kere çarpı sonraki çıktı küp değerlerinin ertesi günün maksimumu 09:24.800 --> 09:25.710 olanına eşittir. 09:25.930 --> 09:29.290 Bunu hesaplayabileceğimiz eylemlere göre. 09:29.340 --> 09:35.590 Dolayısıyla, Gamma'nın başlatıldığı bu gama ve benlik kendine eşittir. 09:35.590 --> 09:45.100 Burada bir değişkeni tanıyoruz Virgin Q Bir özne kendine Times'a sonraki çıktıları söylediğimiz gibi artı 09:45.100 --> 09:49.910 biz en iyi istemek istiyoruz istiyoruz musunuz. 09:49.940 --> 09:57.400 Burada toplu işler yapmaktayız, artı istediğiniz toplu iştir ve hedef budur. 09:57.520 --> 10:03.820 Bir sonraki hafıza gamma çarpımının bir örneğinde Artı ödül. 10:03.900 --> 10:04.480 Tamam. 10:04.480 --> 10:05.080 Mükemmel. 10:05.110 --> 10:07.100 Şimdi bizim çıktılarımız var. 10:07.180 --> 10:13.270 Ayrıca hedeflerimize sahibiz ve bu nedenle tahminin hatasını temsil eden kayıp 10:13.270 --> 10:14.260 kaybını hesaplayabiliriz. 10:14.500 --> 10:21.000 Diyelim ki son iki son söz konusu zamansal fark için elbette. 10:21.040 --> 10:28.720 Bu tekrar Q öğreniminin kalbinde ve bu eğitim bize Cunanan'yı daha da geliştiren 10:28.720 --> 10:30.330 salınıma eşit olacak. 10:30.520 --> 10:34.730 Yapay zeka için seçeceğimiz son işlev budur. 10:34.800 --> 10:38.640 Derin yeşil parkurdan gelenlerin için en son tavsiye ettiğim budur. 10:38.680 --> 10:43.280 Coonerty'yi uygulamak istersen peki bunu nasıl alacağız. 10:43.510 --> 10:50.380 Yine F tarafından temsil edilen işlevsel modülden bir işlev alacağız ve 10:50.380 --> 10:57.970 bu nedenle burada fonksiyonel modül f ördeklerimizi kullanacağız ve Hubble, Smoots L-1'in 10:57.970 --> 11:02.420 bunu sevdiği fonksiyon sayesinde elde edilebiliyor. 11:02.420 --> 11:03.850 Yani enter tuşuna basarak girin. 11:03.850 --> 11:07.910 Ve bu gerçekten derin öğrenme için tavsiye ettiğim en iyi kayıp fonksiyon. 11:07.930 --> 11:09.680 Gerçekten Culin'i geliştirir. 11:09.820 --> 11:12.670 Ancak bu bir işlev, bu yüzden bazı parantez ekliyorum. 11:12.850 --> 11:14.740 Ve şimdi daha basit bir şey yok. 11:14.830 --> 11:19.340 Girmemiz gereken argümanlar tahminler ve hedeflerdir. 11:19.420 --> 11:24.010 Elbette ki tahminler çıktılardır, çünkü bu sinir ağının çıktısıdır. 11:24.190 --> 11:27.600 Sinir ağı çıktısını hiçbir sinir ağı öngördüğü değildir. 11:27.730 --> 11:29.030 Tahmin budur. 11:29.260 --> 11:35.900 Yani burada ilk argüman çıktılar ve ikinci argüman tabii ki hedef. 11:36.100 --> 11:40.110 Almaya çalıştığımız şey zaten çok iyi hesaplanmış durumda. 11:40.150 --> 11:43.150 Doğrudan hedef girişi yapabiliriz. 11:43.150 --> 11:43.630 Mükemmel. 11:43.650 --> 11:48.200 Şimdi biz sadece biraz çayımız olduğunu söyledik. 11:48.220 --> 11:48.760 Oraya gidiyoruz. 11:48.760 --> 11:50.470 Şimdi uyarı kaybolmalıdır. 11:50.890 --> 11:51.420 Evet. 11:51.430 --> 11:52.110 Mükemmel. 11:52.180 --> 11:58.090 Ve şimdi, son hata sahibiyiz, üreticileri geribesleme hatalarını ağa geri getirebiliriz ve ağırlıkları stokastik 11:58.090 --> 12:03.230 düşüşe inişle güncelleyebiliriz ve tam olarak bir sonraki adımda yapacağımız şey budur. 12:03.490 --> 12:12.040 gibi yapmamız gereken şu ki optimizasyon aracımızı optimize ederek tekrar tanıttığımızı başlattık. 12:12.190 --> 12:14.850 Tabii ki tahmin edebileceğiniz 12:15.030 --> 12:21.430 Aslında Atom sınıfının bir nesnesi olan atom optimizeridir ve zaten 12:21.580 --> 12:23.720 modelimizin parametreleri ile donatılmıştır. 12:23.810 --> 12:31.480 Ve zaten 0 öğrenme oranı seçtik. 1'e indirmek için% 1 indirimli optimizerimiz hazır ancak 12:31.480 --> 12:37.150 şimdi mantıksal ve veri ağırlıklarında stokastik ızgarayı gerçekleştirmek için son hatada oynamamız gerekiyor. 12:37.180 --> 12:43.540 Savaşçılarla çalışırken ilk yapmamız gereken şey, döngünün her iterasyonunda yeniden 12:43.540 --> 12:44.150 başlatmaktır. 12:44.200 --> 12:50.620 yeniden başlatılması için iyileştiriciyi bir etkileşimden diğerine diğerine yeniden başlatmalıyız. 12:50.660 --> 12:53.310 Kümedeki kılavuzun alınması ve 12:53.350 --> 12:54.820 Ve her döngü döngüsü. 12:55.200 --> 12:59.410 Peki, sıfır olan aşağıdaki yöntemi kullanacağız. 12:59.940 --> 13:00.400 İşte başlıyoruz. 13:00.410 --> 13:05.180 Sıfır grad, çevrimin her iterasyonunda optimizer'i yeniden başlatır. 13:05.230 --> 13:07.300 O halde parantezi unutmayalım. 13:07.390 --> 13:08.180 Mükemmel. 13:08.200 --> 13:14.850 Ve şimdi yeniden başlatılıyor Optimize edicimiz ile geri yayılım gerçekleştirebiliriz. 13:15.190 --> 13:16.380 Ve bunu nasıl yapacağız. 13:16.540 --> 13:22.660 Peki bizleri yasalara götürüyoruz ve biz onu geri ağa yayacağız ve 13:22.660 --> 13:24.330 geri ağa yayacağız. 13:24.460 --> 13:33.190 Geriye doğru işlevi kullanmamız gerekir ve bu geriye doğru işlevin altındaki altçizgi değişkenlerini 13:33.220 --> 13:37.180 girmek ve doğruya eşitlemek için öneririz. 13:37.240 --> 13:40.990 Bunu yapmanızı öneririm, çünkü bu, geri yayılımı artıracaktır. 13:41.200 --> 13:46.420 Yazılı değişkenlerin doğru olması, bazı hafızayı boşaltmak ve belleği 13:46.420 --> 13:52.730 boşaltmamız gerektiği için, sonuncusu birkaç kez gidip, eğitim performansını kesinlikle artıracaktır. 13:52.900 --> 13:58.980 Son olarak, öğrenilen bu işlevin son adımı, geri yayılımına göre veri ağırlıklarına sahip olmaktır. 13:58.980 --> 14:02.570 Bu, ağırlığın hataya ne kadar katkıda bulunduğuna göre değişir. 14:02.800 --> 14:11.680 Bunu yapmak için yeniden optimizasyonda başlatılan iyileştiricimizi tekrar kullanırız ve adım işlevini kullanarak adım 14:12.250 --> 14:17.560 işlevini ve yalnızca bu kod satırıyla birlikte kullanırız. 14:17.560 --> 14:19.450 Bu, ağırlıkları güncelleyecektir. 14:19.480 --> 14:21.860 Ağırlıkları güncelleyen bu kod satırı. 14:21.910 --> 14:28.750 Hatayı sinir ağı ve bu kod satırı içine alan bu kod satırı, ağırlıkları güncellemek için 14:28.930 --> 14:31.510 optimize ediciyi kullanır ve devam eder. 14:31.510 --> 14:36.800 Tamamen bir öğrenme sinir ağı var bu yüzden tebrikler. 14:36.840 --> 14:42.320 Muhtemelen bu, tüm bu anlaşmazlığın ya da yarının en teknik ve zor kısmıydı. 14:42.450 --> 14:47.880 Fenerimin bazen kolaylıkla zorlanabileceğini ve sıkacağınızı ve sıkacağınızı biliyorum, ancak sonunda size çok 14:47.880 --> 14:54.900 işlevsel bir sinir ağı vereceğim ve bu nedenle kendine özgü bir model ve nihayetinde büyük bir 14:54.960 --> 14:56.580 yapay zeka sözü veriyorum. 14:56.580 --> 15:03.150 Şimdi, AI yeni durumu keşfedince açıkçası güncellenecek güncelleme fonksiyonu olacak sonraki 15:03.210 --> 15:07.170 adıma veya öğretmen ve modele geçelim. 15:07.170 --> 15:11.420 Böylece yeni devletin keşfedeceğini ve ardından ödülü alacağını biliyorsun. 15:11.520 --> 15:16.860 Görüntülenen eyleme bağlı olarak ve bu yeni durum, güncelleme işlevi ile bunu halledecek 15:16.860 --> 15:19.510 ve bunu bir sonraki öğreticide yapacaktır. 15:19.710 --> 15:21.000 O zamana kadar tadını çıkarın. 15:21.020 --> 15:21.300 BEN.