Halo dan selamat datang kembali ke kursus tentang kecerdasan buatan.
Hari ini kita berbicara tentang hukuman hidup.
Baiklah jadi di sini kita memiliki semua persamaan Belman dan karena kita telah melalui kursus
ini, kita perlahan-lahan membuat semakin dan semakin kompleks sejauh ini kita telah menambahkan probabilitas ini di sini.
Dan kami juga telah menambahkan faktor diskon.
Sekarang kita akan melihat lebih detail di sisi pertanyaan di mana kita mendapat hadiahnya sekarang.
Ingat sebelumnya ketika kita berbicara tentang bagaimana pembelajaran penguatan bekerja, kita mengatakan bahwa kita memiliki
agen dan melakukan tindakan di lingkungan dan dalam pertukaran atau sebagai akibatnya ia mendapatkan keadaan baru
dan yang sekarang dalam dan hadiah untuk tindakan itu.
Sejauh ini dalam contoh kita, kita hanya mendapatkan hadiah di bagian paling akhir baik jika kita sampai ke garis
finish atau jika kita untuk agen berakhir di lubang api dia mendapat plus satu atau minus satu hadiah.
Tapi itu adalah pendekatan yang sangat sederhana untuk pembelajaran penguatan dan dalam skenario yang lebih realistis Anda mungkin akan memiliki
hadiah di sepanjang perjalanan, tidak hanya di akhir Anda mungkin memiliki hadiah di sepanjang perjalanan.
Misalnya jika itu adalah AI yang bermain game dan jika misalnya itu seperti menembak seseorang dalam kehancuran, ia mungkin mendapatkan poin
untuk membunuh musuh itu atau mungkin itu adalah permainan lain yang berbeda.
Jika ia menyalip mobil lain atau sesuatu seperti itu hanya karena aturan mainnya bukan
karena caranya menganalisis permainan, tetapi sebenarnya gim ini disusun sedemikian rupa sehingga memperkuat poin pemberiannya untuk melakukan
tindakan tertentu bahkan sebelum gim tersebut dimulai. lebih.
Jadi, Sinatras seperti itu sangat umum dan tidak hanya dalam permainan dan juga dalam kehidupan nyata dan itulah
mengapa kita akan memperkenalkan sesuatu yang mirip ke dalam contoh kita versi yang disederhanakan dari itu
tetapi tetap saja hadiah yang terus diberikan kepada agen sepanjang permainan bukan hanya di akhir dan cara
kita akan melakukannya adalah dengan melihat ubin lainnya.
Jadi saat ini kami hanya memiliki hadiah plus satu di ubin terakhir dan hadiah minus 1 di
ubin akhir lainnya firepit.
Tapi sekarang kita akan menambahkan hadiah di setiap saat.
Kami akan menambahkan hadiah yang sangat kecil akan menjadi minus 0. 04
Dan seperti yang Anda lihat itu negatif sehingga setiap kali agen bergerak dia akan mendapatkan hadiah negatif dan itulah yang
disebut penalti hidup karena di mana pun dia pergi dia akan selalu mendapatkan hadiah negatif ini
kecuali untuk ubin terakhir karena itulah akhir permainan.
Sehingga Anda dapat melihat hadiah bahkan di ubin ini adalah kegilaan atau teka-teki.
Tetapi itu tidak berarti bahwa dia mulai dengan hadiah itu.
Dia hanya mendapat hadiah ini.
Dan ini penting untuk diingat bahwa dia hanya mendapatkan hadiahnya ketika dia memasuki ubin jadi setiap kali dia berjanji akan melakukan sesuatu,
dia pergi ke sini maka dia akan mendapatkan hadiah ini minus 0. 04 dan kemudian dia kembali ke gaya ini dia akan mendapatkan
pikiran lain dan 0. 04 kata.
Dan semakin lama dia berjalan semakin dia mengumpulkan hadiah negatifnya dan karena itu merupakan insentif baginya
untuk menyelesaikan permainan lebih awal secepat mungkin.
Dan sekarang mari kita lihat bagaimana kebijakan kami atau bagaimana kebijakan agen akan berubah tergantung pada
nilai apa yang kami tetapkan untuk hadiah ini.
Jadi di sini ada empat lingkungan dan di masing-masing kita akan mengeksplorasi yang berbeda.
Kami tidak akan melakukan perhitungan.
Kami hanya akan memproyeksikan hasilnya dan Anda akan melihat bahwa secara intuitif mereka masuk akal.
Jadi di sini kita punya hadiah untuk tawaran langkah apa pun untuk memasuki keadaan apa pun.
Sama dengan nol.
Sama seperti apa yang telah kita lihat sebelumnya di sini hadiahnya akan menjadi 0 Mei. 0.
Untuk apa yang baru saja kita lakukan tadi, Anda tahu hadiahnya akan minus 0 5 atau tingkat pemberian penalti akan menjadi milikku adalah tembakan
terbuka sehingga jauh lebih tinggi Anda dapat melihatnya di sini lebih dari 10 kali lebih besar.
Dan di sini adalah Penhall yang hidup itu akan menjadi minus dua.
Jadi, bahkan lebih dari imbalan yang Anda dapatkan karena melompat atau bahkan lebih sedikit daripada imbalan yang Anda dapatkan dari agen karena
berakhir di lubang api.
Jadi mari kita lihat bagaimana tindakan atau kebijakan optimal untuk melewati lingkungan ini akan berubah tergantung
pada hadiah ini.
Jadi ini adalah kebijakan asli kami.
Dan seperti yang Anda ingat, kami memiliki dua keputusan yang sangat menarik dan bahkan sedikit aneh oleh
agen tetapi ini benar-benar masuk akal jika dia bisa hidup selama yang dia mau.
Jika Anda bisa berkeliling selama dia mau tanpa dihukum karena tetap hidup sangat
lama.
Dia kenapa tidak mengapa dia tidak pergi ke sudut sini ke dinding dan terus melakukan itu sampai itu
terjadi
Kebetulan dia pergi dengan cara ini dan kemudian dia akan berjalan di sekitar.
Dan hal yang sama di sini jauh lebih aman baginya untuk melompat ke tembok berharap salah satu dari
ini akan muncul pada akhirnya dan kemudian dia akan pergi ke garis finish pula karena dengan memilih dua tindakan ini dia tidak mengambil
risiko masuk ke lubang api .
Sekarang mari kita lihat apa yang terjadi jika kita menambahkan hadiah, imbalan negatif karena hanya menjadi hidup karena membuat langkah.
Pindah ke sini Anda dapat melihat bahwa keduanya secara instan berubah.
Sekarang agen itu tidak mau melompat ke tembok.
Dia lebih cenderung mengambil risiko ke firepit yang memiliki peluang 10 persen untuk melompat ke sini, tetapi dia akan
maju karena setiap kali dia datang untuk menonton di sini jika dia akan melakukannya di sini juga setiap kali dia
melompat ke sumur dia melakukan tindakan yang berakhir di negara bagian ini dengan peluang 80
persen.
Dan itu berarti peluang 80 persen Anda akan mendapatkan minus 0. 04 hadiah yang berarti bahwa banyak
waktu dia akan mendapatkan ini mengumpulkan hadiah negatif ini
Hal yang sama di sini jika dia melompat ke dinding menunggu saat itu ketika dia akan benar-benar
dipindahkan ke kanan.
Jika dia terus melakukan itu, dia akan mengakumulasikan hadiah negatif ini dan bahwa hasil dari itu
jika Anda melakukan perhitungan, Anda akan melihat bahwa hasil dari nilai yang diharapkan dari
pendekatan yang melompat ke dinding lebih buruk daripada mengambil risiko untuk maju. dan benar-benar berakhir di firepit.
Jadi dia mengubah keputusannya di dua blok ini sebagai gantinya bergerak maju dan di sini bergerak ke kiri bahkan tahu
ada risiko kebakaran firepit hanya karena sekarang semakin lama dia hidup semakin lama dia
akan mengumpulkan hukuman hidup ini di lingkungan berikutnya.
Sekarang kita meningkatkan Pouncey hidup ke jumlah yang lebih besar Meinzer koma lima dan mari kita lihat perubahan
apa di sini.
Jadi sekarang Anda bisa melihatnya dibandingkan dengan lingkungan ini.
Satu-satunya hal yang berubah di sini adalah panah ini menunjuk ke kanan.
Dan apa artinya itu adalah bahwa sekarang ini bukan lagi pilihan yang baik untuk agen atau sebenarnya juga tanda
panah ini menunjuk ke kiri dan hidung nozzle menunjuk ke atas.
Jadi sekarang bukan lagi ide yang baik bagi agen untuk berkeliling dari sini atau berkeliling sepanjang jalan karena jika dia salah
sepanjang jalan ya dia aman atau ada kemungkinan lebih kecil tidak ada kesempatan untuk
mendapatkan firepit.
Tetapi pada saat yang sama atau ada sedikit peluang akan terjadi.
Tetapi pada saat yang sama ia akan mengumpulkan cukup banyak hadiah negatif saat ia berjalan.
Jadi hanya saja jalannya terlalu panjang.
Sehingga memaksanya apakah dia ada di sini atau di sini untuk mengambil rute yang lebih pendek untuk sampai ke sini meskipun dia memiliki risiko
yang jauh lebih tinggi untuk masuk ke firepit karena begitu dia berakhir di alun-alun ada peluang 10
persen untuk sampai ke api. .
Menurut perhitungannya.
Hanya saja nilai yang diharapkan dari pendekatan ini lebih baik daripada nilai yang diharapkan untuk berkeliling hanya karena
kita telah meningkatkan hukuman hidup ini.
Dan akhirnya kita sampai pada contoh dengan hukuman hidup minus dua koma nol.
Jadi di sini saya mendorong Anda untuk memposting video sekarang setelah Anda melihat bagaimana kebijakan telah berubah saat kami
meningkatkan hukuman punt loading.
Saya mendorong Anda untuk menghentikan video dan berpikir sendiri apa yang akan terjadi dalam skenario ini.
Menurut Anda apa kebijakan optimal akan diberikan bahwa hukuman hidup begitu tinggi sehingga semua ini seharusnya video jika
Anda mau.
Dan sekarang saya akan langsung menunjukkan solusi kepada Anda sehingga dalam hal ini jika
Anda meningkatkan penalti menjadi minus 2. 0 begitu tinggi, ingat bahwa penalti di sini hanya minus 1. Begitu tinggi sehingga agen hanya ingin keluar dari
permainan dengan cara apa pun yang mungkin bahkan jika itu hanya dengan melompat ke lubang api.
Dia akan melakukannya.
Dia akan seperti setiap kali saya membuat langkah setiap kali saya berakhir di baru di negara Anda
atau setiap kali saya melakukan tindakan saya akhirnya mendapatkan hadiah minus dua.
Jadi apa gunanya mencoba sampai ke garis finish jika dari sini akan membawa saya dua langkah ekstra.
Saya hanya akan pergi ke sini dan kemudian langsung ke firepit
karena dengan cara itu hadiah saya akan menjadi kurang dari hadiah negatif akan menjadi seburuk dalam hal hanya membuat
langkah-langkah tambahan sehingga Anda dapat melihat bahwa menambahkan hidup ini hadiah dan tergantung pada nilai hadiah hidup yang
kami tambahkan hasilnya akan berbeda.
Dan agen akan memilih kebijakan yang berbeda dan pada dasarnya itulah bagaimana nilai hadiah dapat dimasukkan oleh persamaan
Belmont bahkan ketika itu tidak hanya di garis finish atau di akhir permainan tetapi
bahkan di sepanjang permainan.
Dan lagi, sekali lagi tidak harus pada setiap orang di setiap negara tergantung pada lingkungan
itu sendiri.
Mungkin diberikan kepada agen di negara bagian tertentu tidak di setiap negara tetapi dalam contoh sederhana kami,
kami hanya menggunakan hadiah di setiap negara bagian.
Untuk menggambarkan konsep ini, saya harap Anda menikmati tutorial hari ini.
Dan seperti yang Anda lihat, kami telah membuat persamaan Belman kami cukup canggih dan sekarang dapat diterapkan ke banyak
skenario yang berbeda dan saya tidak sabar untuk melihatnya di tutorial berikutnya.
Dan sampai saat itu menikmati aku.