WEBVTT 00:00.710 --> 00:02.530 Herkese merhaba, tekrar hoş geldiniz. 00:02.540 --> 00:07.910 Bu derste, ortamımızı kuracağız ve kendi başınıza çözmek isteyenler için bu 00:07.910 --> 00:11.420 daha üst düzey genel bakışı tanıtmak istiyorum. 00:11.420 --> 00:14.270 Ve bu size tanıdık gelebilir, son derste bunu görmüştünüz. 00:14.270 --> 00:15.770 Eğer okuduysanız, özür dilerim. 00:15.770 --> 00:17.510 Çok hızlı bir şekilde üzerinden geçeceğiz. 00:17.840 --> 00:19.070 Her şey sırayla. 00:19.070 --> 00:24.320 Bu projede, çok fazla kütüphaneyi içe aktarmamız gerekmediği için mümkün olduğunca basit tutmayı 00:24.320 --> 00:25.430 hedefliyoruz. 00:25.430 --> 00:27.920 Temel olarak bunun için NumPy kullanacağız. 00:27.920 --> 00:33.260 NumPy'yi, genellikle numpy için ortak referans olan NP olarak içe aktarmamız yeterlidir. 00:33.260 --> 00:37.490 Ayrıca burada göreceğiniz gibi ortamımızı da ayarlamak istiyoruz. 00:37.490 --> 00:40.580 Ve genel bir bakış olarak bunu gerçekten hızlı bir şekilde tekrar gözden geçireceğiz. 00:40.610 --> 00:46.250 Q öğrenimimiz için ilk adım, postacının gezinmesi gereken bir ortam tanımlamak istiyoruz. 00:46.250 --> 00:50.210 Gerçekten yineleyebilmemiz ve üzerinden geçebilmemiz için bu ortamın kurulmasına ihtiyacımız var. 00:50.510 --> 00:55.580 Bu derste, çevre durumlardan, eylemlerden ve ödüllerden oluşacaktır. 00:55.580 --> 01:01.160 Durumlar ve eylemler Q öğrenme ajanı için girdilerdir, olası eylemler ajanlardır, çıktılar 01:01.160 --> 01:06.620 ise düşünebileceğimiz ve bu görüntüye temsilimiz olarak bakabileceğimiz durumlardır. 01:06.620 --> 01:11.870 Çevremizdeki eyaletler, bu örnek şehir olarak adlandırabileceğimiz şehir içindeki tüm olası konumlardır. 01:11.870 --> 01:17.840 Bu konumlardan bazıları siyah karelerimiz olacak olan şehir sınırlarıdır, diğer konumlar ise postacının şehir 01:17.840 --> 01:21.110 içinde seyahat etmek için kullanabileceği adalardır. 01:21.110 --> 01:22.580 Bunlar beyaz kareler olacak. 01:22.670 --> 01:27.020 Yeşil Kare, ürün paketleme ve sevkiyat alanını gösterir. 01:27.020 --> 01:31.520 Siyah ve yeşil kareler terminal durumlar olarak adlandıracağımız şeylerdir. 01:31.520 --> 01:36.050 Yani genel olarak, hedefimiz veya temsilcimizin hedefi, en kısa yolu kullanmak istiyoruz. 01:36.050 --> 01:41.870 Temsilcimizin ürün paketleme alanı, kavanoz, yeşil ve şehirdeki postacının seyahat etmesine izin verilen diğer 01:41.870 --> 01:45.260 tüm konumlar arasındaki en kısa yolu öğrenmesini istiyoruz. 01:49.360 --> 01:55.750 Yukarıdaki resimde, şehir içinde 121 olası eyalet veya konum bulunmaktadır. 01:55.780 --> 01:58.690 Bu durumlar 11'e 11'lik bir ızgara şeklinde düzenlenmiştir. 01:58.720 --> 02:02.400 Dolayısıyla her bir konum, satır ve sütun indeksi ile tanımlanabilir. 02:02.410 --> 02:04.510 Peki ilk adımımız ne olacak? 02:04.510 --> 02:07.870 Ve bu gerçekten sizlerin bunu nasıl tanımlayabileceğinizi düşünmeye başlamanızı istiyor. 02:08.380 --> 02:10.420 Çevremizi tanımlamamız gerekiyor. 02:10.420 --> 02:13.180 Bu, imajımıza ve ona nasıl yaklaşacağımıza dair iyi bir örnek. 02:13.180 --> 02:14.580 Peki bunu nasıl modelliyorsunuz? 02:14.590 --> 02:20.890 NumPy kullandığımızı unutmayın, bu nedenle bu sınırları tanımlamamız gerekir ve temsilimizi gördüğümüz 02:20.920 --> 02:27.310 gibi her durum ve eylem çifti için mevcut Q değerlerimizi tutmak için a3d numpy dizisini tanımlayabiliriz. 02:27.400 --> 02:32.440 Ve buna aşina olmayanlarınız için, ya da belki bu yeni ya da sadece bir tazeleme yapmak 02:32.440 --> 02:38.320 istiyorsanız, bu kurstaki i a z el kitabı son derece yararlıdır, şiddetle tavsiye edilir. 02:38.320 --> 02:40.080 Peki burada ne yapmamız gerekiyor? 02:40.090 --> 02:41.420 Aslında yapabiliriz. 02:41.440 --> 02:45.100 Biraz daha kolay görebilmemiz için bunu gerçekten hızlı bir şekilde genişletmeme izin verin. 02:45.100 --> 02:46.630 Bazı kod hücreleri eklememe izin verin. 02:46.630 --> 02:49.060 Üç boyutlu numpy dizimizi tanımlayacağız. 02:49.360 --> 02:51.070 Bunu nasıl yapacaksınız? 02:51.190 --> 02:56.590 Bu yüzden bazı seçeneklerimiz var, ancak en basit ve basit seçenek, buna ortam satırları 02:56.590 --> 02:57.370 diyelim. 02:59.820 --> 03:01.500 Rose ve 11'e ayarlayalım. 03:01.500 --> 03:02.640 11'e 11. 03:02.690 --> 03:06.960 Daha sonra bir ortam, alt çizgi sütunları da yapabiliriz. 03:08.890 --> 03:10.870 Ve bunu 11 olarak da ayarlayabiliriz. 03:11.200 --> 03:18.610 Son olarak, numpy'mizi ortam satırları, ortam sütunları ile eklememiz gerektiğinden Q değerlerimizi ayarlayabiliriz. 03:19.910 --> 03:30.560 Ve bunu NumPy sıfırlarına eşit Q değerleri olarak ayarlayabiliriz ve çevre satırlarımızı, çevre sütunlarımızı kullanmamız 03:30.920 --> 03:32.030 gerekir. 03:32.760 --> 03:40.260 Ve 3D numpy dizimiz, ortamımızla ayarlanmış 3D ortam temsilimiz var. 03:41.100 --> 03:41.760 Harika. 03:42.240 --> 03:46.500 Şimdi bu konuyu burada kapatacağız, ancak ortamınızı zaten kurmuş olduğunuz için bunu nasıl çözeceğinizi 03:46.500 --> 03:48.340 düşünmeye başlamanızı istiyorum. 03:48.360 --> 03:52.820 İpucu olarak yapmak isteyeceğiniz bir sonraki şey eylemlerinizi ayarlamaktır. 03:52.830 --> 03:55.620 Temsilcinizin çevre içinde hareket edebilmesi gerekir. 03:55.620 --> 03:57.330 Peki bunu nasıl temsil edersiniz? 03:57.330 --> 04:00.750 Bu problem için bunu nasıl yazardınız? 04:00.930 --> 04:01.950 Burada bırakalım. 04:01.950 --> 04:04.950 Bir sonraki videoda bu eylemleri tekrar gözden geçireceğiz. 04:05.100 --> 04:05.790 Harika. 04:05.970 --> 04:07.170 Bir sonraki videoda görüşmek üzere.