Xin chào và chào mừng bạn trở lại khóa học về trí tuệ nhân tạo.
Hôm nay chúng ta đang nói về án phạt sống.
Được rồi.
Vì vậy, ở đây chúng tôi đã có phương trình bellman của chúng tôi.
Và khi trải qua khóa học này, chúng tôi đang dần làm cho nó ngày càng phức tạp hơn.
Cho đến nay, chúng tôi đã thêm các xác suất này vào đây.
Và chúng tôi cũng đã thêm yếu tố chiết khấu.
Bây giờ chúng ta sẽ xem xét chi tiết hơn ở phía này của phương trình mà chúng ta có phần thưởng.
Bây giờ, hãy nhớ lại trước đây khi chúng ta nói về cách hoạt động của việc học tăng cường, chúng ta đã nói
rằng chúng ta có một tác nhân và nó thực hiện các hành động trong môi trường và để đổi lại hoặc kết quả là nó có
được trạng thái mới mà hiện tại nó đang ở và phần thưởng cho hành động đó.
Chà, cho đến nay trong ví dụ của chúng ta, chúng ta chỉ nhận được phần thưởng cuối cùng, nếu chúng ta về
đích hoặc nếu chúng ta, đối với đặc vụ kết thúc trong hố lửa, anh ta được cộng một hoặc trừ một
phần thưởng.
Nhưng đó là một cách tiếp cận rất đơn giản để học tăng cường.
Và trong các tình huống thực tế hơn, bạn có thể sẽ có phần thưởng trong suốt cuộc hành trình, không chỉ ở
phần cuối.
Bạn có thể có phần thưởng trong suốt cuộc hành trình.
Ví dụ: nếu đó là một AI chơi trong một trò chơi và nếu chẳng hạn như bắn ai đó trong Doom, nó có thể nhận được điểm khi
giết kẻ thù đó hoặc có thể trong một trò chơi khác nếu nó vượt qua một chiếc xe khác hoặc một cái gì đó
tương tự cái đó.
Chỉ vì luật chơi, không phải vì cách phân tích trò chơi của nó.
Nhưng trên thực tế, trò chơi được cấu trúc theo cách củng cố điểm cộng cho việc thực hiện một số hành động nhất định
ngay cả trước khi trò chơi kết thúc.
Vì vậy, những tình huống như thế là rất phổ biến, không chỉ trong trò chơi và cả trong cuộc sống thực.
Và đó là lý do tại sao chúng tôi sẽ giới thiệu một cái gì đó tương tự vào ví dụ của chúng tôi, một
phiên bản đơn giản của điều đó, nhưng tuy nhiên, phần thưởng liên tục được trao cho nhân viên trong suốt trò chơi, không chỉ ở
phần cuối.
Và cách chúng ta sẽ làm là nhìn vào các ô khác.
Vì vậy, hiện tại chúng ta chỉ có phần thưởng cộng một ở ô cuối cùng và phần thưởng trừ đi một phần ở ô
cuối cùng khác, hố lửa.
Nhưng bây giờ chúng tôi sẽ thêm phần thưởng vào mỗi lần chúng tôi thêm một phần thưởng rất nhỏ, nó sẽ là -0. 04.
Và như bạn có thể thấy, nó tiêu cực.
Vì vậy, mỗi khi đại lý di chuyển, anh ta sẽ nhận được một phần thưởng âm.
Và đó là lý do tại sao nó được gọi là hình phạt sống, bởi vì bất kể anh ta đi đâu, anh ta sẽ luôn nhận được
phần thưởng âm này ngoại trừ những ô cuối cùng này, bởi vì đó là kết thúc của trò chơi.
Và vì vậy, ở đây bạn có thể thấy phần thưởng ngay cả trên ô này là -0. 04.
Nhưng điều đó không có nghĩa là anh ấy bắt đầu với phần thưởng đó.
Anh ta chỉ nhận được phần thưởng này.
Và điều này là quan trọng cần nhớ.
Anh ta chỉ nhận được phần thưởng này khi anh ta nhập một ô.
Vì vậy, bất cứ khi nào anh ta thực hiện một hành động, anh ta sẽ đến đây.
Sau đó anh ta sẽ nhận được phần thưởng -0 này. 04.
Và sau đó nếu anh ta quay lại ô này, anh ta sẽ nhận được -0 khác. 04 phần thưởng.
Và vì vậy anh ta càng đi bộ lâu, anh ta càng tích lũy được phần thưởng tiêu cực này.
Và do đó, đó là một động lực để anh ta kết thúc trận đấu sớm hơn, càng nhanh càng tốt.
Và vì vậy, bây giờ chúng ta hãy xem chính sách của chúng tôi hoặc chính sách đại lý sẽ thay đổi như thế nào
tùy thuộc vào giá trị mà chúng tôi đặt cho phần thưởng này.
Vì vậy, đây là bốn môi trường và trong mỗi môi trường, chúng ta sẽ khám phá một phần thưởng khác nhau.
Bây giờ, chúng ta sẽ không tính toán, chúng ta chỉ dự đoán kết quả và bạn sẽ thấy điều đó
một cách trực quan.
Chúng hoàn toàn có ý nghĩa.
Vì vậy, ở đây chúng tôi có phần thưởng cho bất kỳ bước nào hoặc bất kỳ phần thưởng nào cho việc vào bất kỳ trạng thái nào đều bằng không.
Giống như những gì chúng ta đã thấy ở đây, phần thưởng sẽ là -0. 04.
Những gì chúng tôi vừa giới thiệu.
Bây giờ ở đây, phần thưởng sẽ là -0. 5 hoặc hình phạt sống sẽ là -0. 5.
Cao hơn rất nhiều, bạn có thể thấy ở đây, lớn hơn gấp mười lần.
Và ở đây hình phạt sống sẽ là trừ hai.
Vì vậy, thậm chí nhiều hơn phần thưởng bạn nhận được khi nhảy, hoặc thậm chí ít hơn phần thưởng mà bạn hoặc người đại diện nhận được khi
kết thúc trong ống lửa.
Vì vậy, hãy cùng xem các hành động hoặc chính sách tối ưu để vượt qua môi trường này sẽ thay đổi như thế
nào tùy thuộc vào phần thưởng này.
Vì vậy, đây là chính sách ban đầu của chúng tôi.
Và như bạn có thể nhớ, chúng tôi đã có hai quyết định rất thú vị và thậm chí hơi kỳ quặc này
của người đại diện, nhưng hoàn toàn có ý nghĩa nếu anh ta có thể sống bao lâu tùy thích.
Nếu bạn có thể đi du lịch khắp nơi bao lâu anh ta muốn mà không bị phạt vì
sống rất lâu, anh ta tại sao không?
Tại sao anh ta không đi vào góc ở đây, vào bức tường và tiếp tục làm điều đó cho đến khi nó xảy ra?
Nó xảy ra như vậy là anh ta đi theo hướng này và sau đó anh ta sẽ đi vòng quanh.
Và điều tương tự ở đây.
Anh ta sẽ an toàn hơn nhiều khi nhảy vào tường với hy vọng cuối cùng một trong số này sẽ xuất hiện và
dù sao anh ta cũng sẽ về đích, bởi vì bằng cách chọn hai hành động này, anh ta sẽ không có nguy cơ sa
vào hố lửa.
Bây giờ chúng ta hãy xem điều gì sẽ xảy ra nếu chúng ta thêm một phần thưởng, một phần thưởng tiêu cực cho việc chỉ còn sống, cho việc thực hiện
một bước.
Đúng.
Bạn di chuyển.
Vì vậy, ở đây bạn có thể thấy rằng ngay lập tức hai điều này đã thay đổi.
Bây giờ, đặc vụ không muốn nhảy vào tường.
Anh ta có nhiều khả năng sẽ mạo hiểm đến vòi rồng hơn.
Có 10% cơ hội nhảy vào đây.
Nhưng anh ấy sẽ tiến về phía trước bởi vì mỗi lần anh ấy nhảy tường ở đây, nếu anh ấy cũng sẽ làm điều đó
ở đây.
Mỗi khi anh ta nhảy vào tường, anh ta thực hiện một hành động mà anh ta kết thúc ở trạng thái này với 80% cơ hội.
Và điều đó có nghĩa là nếu có 80% cơ hội, anh ta sẽ nhận được -0. 04 phần thưởng, có nghĩa là rất nhiều thời gian anh ta
sẽ nhận được điều này tích lũy phần thưởng âm này.
Điều tương tự ở đây.
Nếu anh ta nhảy vào tường chờ đợi thời điểm đó khi anh ta thực sự sẽ được di chuyển ngẫu nhiên sang bên phải, nếu
anh ta tiếp tục làm như vậy, anh ta sẽ tích lũy phần thưởng âm này và kết quả của
điều đó, nếu bạn thực hiện các phép tính, bạn sẽ thấy rằng kết quả của việc đó, giá trị mong đợi
của cách tiếp cận đó là nhảy vào tường còn tệ hơn việc chấp nhận rủi ro đi tiếp và thực sự kết thúc trong hố lửa.
Vì vậy, anh ta thay đổi quyết định của mình ở hai khối này để thay vào đó là tiến về phía trước và ở đây là di chuyển sang bên
trái, mặc dù có nguy cơ nhảy vào hố lửa, đơn giản bởi vì bây giờ anh ta càng sống lâu,
anh ta sẽ tích lũy hình phạt sống này càng lâu. trong môi trường tiếp theo.
Bây giờ chúng tôi đang tăng án phạt sống lên một con số lớn hơn, -0. 5, và hãy xem những gì thay đổi ở
đây.
Vì vậy, bây giờ bạn có thể thấy rằng so với môi trường này, điều duy nhất thay đổi ở đây là
mũi tên này hướng sang bên phải.
Và điều đó có nghĩa là bây giờ nó không còn là một lựa chọn tốt cho người đại diện nữa.
Ồ, ngoài ra, mũi tên này đang hướng sang trái và bây giờ đang hướng
lên trên.
Vì vậy, bây giờ không còn là một ý kiến hay cho người đại diện từ đây, hãy đi vòng quanh tất cả các con đường.
Bởi vì nếu anh ta đi khắp con đường, vâng, anh ta an toàn hơn.
Có ít cơ hội hơn là không có cơ hội đến được vòi rồng.
Nhưng đồng thời, nơi có ít cơ hội vào được ống lửa hơn, nhưng đồng thời,
anh ta sẽ tích lũy được một phần thưởng âm đáng kể khi anh ta đi vòng quanh.
Vì vậy, nó chỉ là con đường quá dài.
Vì vậy, điều đó buộc anh ta, cho dù anh ta ở đây hay ở đây, phải đi con đường ngắn hơn để đến
đây, mặc dù anh ta có nguy cơ chui vào hố lửa cao hơn nhiều, bởi vì ngay sau khi
anh ta kết thúc ở quảng trường, có 10% cơ hội theo tính toán của anh ta.
Nó chỉ là giá trị kỳ vọng của cách tiếp cận này tốt hơn giá trị kỳ vọng của việc đi vòng quanh đơn giản là
vì chúng tôi đã tăng hình phạt sống này.
Và cuối cùng, chúng ta đang lấy ví dụ với mức phạt sống là -2. 0.
Vì vậy, ở đây tôi khuyến khích bạn tạm dừng video vì bạn đã thấy chính sách đã thay đổi như thế nào
khi chúng tôi tăng hình phạt chung thân, tôi khuyến khích bạn tạm dừng video và tự suy nghĩ điều gì sẽ
xảy ra trong tình huống này?
Bạn nghĩ chính sách tối ưu sẽ được đưa ra là gì mà án phạt chung thân lại cao như vậy?
Vì vậy, tôi sẽ cho phép bạn tạm dừng video nếu bạn muốn và bây giờ tôi sẽ bắt đầu chỉ cho bạn giải pháp.
Vì vậy, trong trường hợp này, nếu bạn tăng mức phạt lên -2. 0, quá cao, hãy nhớ rằng hình phạt ở đây chỉ là
-1. 0.
Nó cao đến mức đặc vụ chỉ muốn thoát ra khỏi trò chơi bằng mọi cách có thể, ngay cả khi chỉ bằng
cách nhảy lên vòi phun lửa.
Anh ấy sẽ làm được.
Anh ấy sẽ giống như, mỗi khi tôi thực hiện một bước, mỗi khi tôi kết thúc ở trạng thái mới hoặc mỗi khi
tôi thực hiện một hành động, tôi sẽ nhận được phần thưởng trừ hai.
Vì vậy, cố gắng về đích có ích gì nếu từ đây tôi sẽ phải mất thêm hai bước nữa, tôi sẽ
đi đến đây và sau đó đi thẳng vào vòi rồng, bởi vì như vậy phần thưởng của
tôi sẽ ít hơn.
Phần thưởng tiêu cực sẽ không tệ như trong trường hợp chỉ thực hiện các bước bổ sung.
Vì vậy, bạn có thể thấy rằng việc thêm phần thưởng sống này và tùy thuộc vào giá trị của phần thưởng sống mà chúng tôi
đang thêm, kết quả sẽ khác nhau và đại lý sẽ chọn các chính sách khác nhau.
Và về cơ bản đó là cách giá trị phần thưởng có thể được kết hợp bởi phương trình Bellman, ngay cả khi nó không chỉ ở
vạch đích hoặc cuối trò chơi, mà thậm chí trong suốt trò chơi.
Và một lần nữa, một lần nữa, nó không nhất thiết phải ở mọi trạng thái đơn lẻ, tùy thuộc
vào chính môi trường.
Nó có thể được trao cho đại lý ở một số trạng thái cụ thể, không phải ở mọi trạng thái, nhưng trong
ví dụ đơn giản của chúng tôi, chúng tôi chỉ sử dụng phần thưởng ở mọi trạng thái nhất định để minh họa khái niệm này.
Vì vậy, tôi hy vọng bạn thích hướng dẫn ngày hôm nay.
Và như bạn có thể thấy, chúng tôi đã tạo ra phương trình bellman khá phức tạp và bây giờ nó có thể được
áp dụng cho nhiều trường hợp khác nhau.
Và tôi rất nóng lòng được gặp bạn trong bài hướng dẫn tiếp theo.
Và cho đến khi đó, hãy tận hưởng.
TÔI.