Herkese merhaba, tekrar hoş geldiniz.
Bu derste, ortamımızı kuracağız ve kendi başınıza çözmek isteyenler için bu
daha üst düzey genel bakışı tanıtmak istiyorum.
Ve bu size tanıdık gelebilir, son derste bunu görmüştünüz.
Eğer okuduysanız, özür dilerim.
Çok hızlı bir şekilde üzerinden geçeceğiz.
Her şey sırayla.
Bu projede, çok fazla kütüphaneyi içe aktarmamız gerekmediği için mümkün olduğunca basit tutmayı
hedefliyoruz.
Temel olarak bunun için NumPy kullanacağız.
NumPy'yi, genellikle numpy için ortak referans olan NP olarak içe aktarmamız yeterlidir.
Ayrıca burada göreceğiniz gibi ortamımızı da ayarlamak istiyoruz.
Ve genel bir bakış olarak bunu gerçekten hızlı bir şekilde tekrar gözden geçireceğiz.
Q öğrenimimiz için ilk adım, postacının gezinmesi gereken bir ortam tanımlamak istiyoruz.
Gerçekten yineleyebilmemiz ve üzerinden geçebilmemiz için bu ortamın kurulmasına ihtiyacımız var.
Bu derste, çevre durumlardan, eylemlerden ve ödüllerden oluşacaktır.
Durumlar ve eylemler Q öğrenme ajanı için girdilerdir, olası eylemler ajanlardır, çıktılar
ise düşünebileceğimiz ve bu görüntüye temsilimiz olarak bakabileceğimiz durumlardır.
Çevremizdeki eyaletler, bu örnek şehir olarak adlandırabileceğimiz şehir içindeki tüm olası konumlardır.
Bu konumlardan bazıları siyah karelerimiz olacak olan şehir sınırlarıdır, diğer konumlar ise postacının şehir
içinde seyahat etmek için kullanabileceği adalardır.
Bunlar beyaz kareler olacak.
Yeşil Kare, ürün paketleme ve sevkiyat alanını gösterir.
Siyah ve yeşil kareler terminal durumlar olarak adlandıracağımız şeylerdir.
Yani genel olarak, hedefimiz veya temsilcimizin hedefi, en kısa yolu kullanmak istiyoruz.
Temsilcimizin ürün paketleme alanı, kavanoz, yeşil ve şehirdeki postacının seyahat etmesine izin verilen diğer
tüm konumlar arasındaki en kısa yolu öğrenmesini istiyoruz.
Yukarıdaki resimde, şehir içinde 121 olası eyalet veya konum bulunmaktadır.
Bu durumlar 11'e 11'lik bir ızgara şeklinde düzenlenmiştir.
Dolayısıyla her bir konum, satır ve sütun indeksi ile tanımlanabilir.
Peki ilk adımımız ne olacak?
Ve bu gerçekten sizlerin bunu nasıl tanımlayabileceğinizi düşünmeye başlamanızı istiyor.
Çevremizi tanımlamamız gerekiyor.
Bu, imajımıza ve ona nasıl yaklaşacağımıza dair iyi bir örnek.
Peki bunu nasıl modelliyorsunuz?
NumPy kullandığımızı unutmayın, bu nedenle bu sınırları tanımlamamız gerekir ve temsilimizi gördüğümüz
gibi her durum ve eylem çifti için mevcut Q değerlerimizi tutmak için a3d numpy dizisini tanımlayabiliriz.
Ve buna aşina olmayanlarınız için, ya da belki bu yeni ya da sadece bir tazeleme yapmak
istiyorsanız, bu kurstaki i a z el kitabı son derece yararlıdır, şiddetle tavsiye edilir.
Peki burada ne yapmamız gerekiyor?
Aslında yapabiliriz.
Biraz daha kolay görebilmemiz için bunu gerçekten hızlı bir şekilde genişletmeme izin verin.
Bazı kod hücreleri eklememe izin verin.
Üç boyutlu numpy dizimizi tanımlayacağız.
Bunu nasıl yapacaksınız?
Bu yüzden bazı seçeneklerimiz var, ancak en basit ve basit seçenek, buna ortam satırları
diyelim.
Rose ve 11'e ayarlayalım.
11'e 11.
Daha sonra bir ortam, alt çizgi sütunları da yapabiliriz.
Ve bunu 11 olarak da ayarlayabiliriz.
Son olarak, numpy'mizi ortam satırları, ortam sütunları ile eklememiz gerektiğinden Q değerlerimizi ayarlayabiliriz.
Ve bunu NumPy sıfırlarına eşit Q değerleri olarak ayarlayabiliriz ve çevre satırlarımızı, çevre sütunlarımızı kullanmamız
gerekir.
Ve 3D numpy dizimiz, ortamımızla ayarlanmış 3D ortam temsilimiz var.
Harika.
Şimdi bu konuyu burada kapatacağız, ancak ortamınızı zaten kurmuş olduğunuz için bunu nasıl çözeceğinizi
düşünmeye başlamanızı istiyorum.
İpucu olarak yapmak isteyeceğiniz bir sonraki şey eylemlerinizi ayarlamaktır.
Temsilcinizin çevre içinde hareket edebilmesi gerekir.
Peki bunu nasıl temsil edersiniz?
Bu problem için bunu nasıl yazardınız?
Burada bırakalım.
Bir sonraki videoda bu eylemleri tekrar gözden geçireceğiz.
Harika.
Bir sonraki videoda görüşmek üzere.