Xin chào và chào mừng bạn trở lại khóa học về Trí tuệ nhân tạo.
Trong hướng dẫn hôm nay, chúng ta sẽ nói về một phần bổ sung về điều đó.
Chúng tôi sẽ triển khai thuật toán ba C của chúng tôi.
Nó được gọi là trí nhớ ngắn hạn dài hạn hay ngắn hạn.
Vì vậy, chúng ta hãy xem xét những gì chúng ta có cho đến nay và sau đó chúng ta sẽ thảo luận về lý do tại sao chúng ta cần LST
và LSM là gì.
Cho đến nay chúng ta đã thảo luận về ba thuật toán C.
Chúng ta đã nói về cả ba chữ A trong A3 C và tất nhiên, chúng ta thấy rằng nó thực sự phức tạp hơn một
chút, phức tạp hơn nhiều so với những gì chúng ta có trên hình ảnh này.
Chúng ta thực sự có ba hoặc nhiều tác nhân đi qua môi trường và họ đang giao
tiếp với nhau, v.v.
Nhưng vì lý do đơn giản, đối với câu chuyện hôm nay, chúng ta sẽ chỉ minh họa mọi thứ với một tác
nhân duy nhất này.
Cuối cùng, chúng ta có phần diễn viên này, phần phê bình.
Vì vậy, về cơ bản, một khi chúng ta có một trạng thái, trạng thái đó đối với hình ảnh này sẽ đi qua một lớp phức hợp, sau
đó nó đi qua một lớp gộp, đi đến một lớp làm phẳng.
Và tại thời điểm này, chúng ta có các giá trị hoặc số sau đó được truyền qua mạng và chúng đi
vào các lớp ẩn.
Và sau đó là đầu ra, chúng tôi nhận được chính sách hoặc phần tác nhân và họ nhận được giá trị của nhà nước
hoặc chúng tôi nhận được phần phê bình.
Và những gì chúng ta sẽ làm hôm nay là chúng ta sẽ nói về phần ẩn này.
Vì vậy, trong các lớp ẩn, chúng tôi thực sự có thể đưa nó lên cấp độ tiếp theo và chúng tôi có thể thêm một sửa đổi.
Và chúng tôi đã thấy rằng thuật toán tồn tại nhiều sửa đổi.
Chúng tôi đã thấy một trong số họ.
Chúng tôi nhận thấy rằng trong một số trường hợp, bạn có thể có phần chính này của mạng, phần này là riêng lẻ cho mọi
đại lý hoặc bạn có thể chia sẻ phần chính này của mạng.
Và đó là những gì chúng tôi thấy rằng trong những lần thử nghiệm trực giác trước đây, chúng tôi đã có một phần mạng được chia sẻ.
Mạng này được chia sẻ giữa các đại lý.
Và như Adlon sẽ cho bạn biết nhiều hơn trong các hướng dẫn thực tế, điều đó thực sự hữu ích với thử thách
đột phá.
Và có rất nhiều cách khác mà bạn có thể sửa đổi thuật toán, rất nhiều bổ sung khác
có thể được thực hiện.
Và một trong số chúng mà chúng ta sẽ thảo luận, bởi vì chúng ta
thực sự sẽ có nó trong một bộ hướng dẫn thực tế ở đây trước khi bạn nhấn vào các lớp, mà bạn có thể thêm là một
lớp lshtm, một lớp mạng thần kinh, cho phép thuật toán của bạn , điều này cho phép thuật toán có bộ nhớ, cho phép thuật toán ghi nhớ những gì
đã xảy ra trước đó.
Và chúng ta sẽ nói chi tiết hơn về Lshtm ngay bây giờ.
Nhưng về cơ bản, bạn có thể thêm một lớp bổ sung ở đây, đó là lớp danh sách và nâng cao thuật toán của bạn với một
số bộ nhớ bổ sung cho một tính năng khác.
Và những gì bạn thực sự sẽ thấy trong vật liệu fractal là chúng tôi thậm chí không cần bất kỳ lớp ẩn
nào sau lớp cuối cùng, vì vậy bạn sẽ thấy điều đó trước khi triển khai.
Anh ấy có lớp làm phẳng ngay lập tức.
Sau đó, anh ấy có lớp hệ thống.
Vì vậy, về cơ bản hộp này đại diện cho lớp lshtm.
Và sau đó ngay lập tức bạn đã có đầu ra.
Vì vậy, anh ta thậm chí không cần bất kỳ, bất kỳ lớp ẩn nào khác sau đó, đơn giản vì đó là
sức mạnh mà lớp lshtm thêm vào thuật toán.
Và một lần nữa, thuật toán hoặc kiến trúc của mạng nơ-ron của bạn, đó là một thứ rất riêng lẻ.
Đó là một sở thích cá nhân, đó là một thứ rất sáng tạo.
Vì vậy, bạn có thể muốn có hai lớp, bạn có thể có một lớp phân tích và sau đó vài lớp như năm lớp ẩn
trong danh sách.
Điều đó hoàn toàn tùy thuộc vào bạn và để bạn thử nghiệm và khám phá.
Nhưng đây là những gì chúng tôi nghĩ ra trong các hướng dẫn thực hành.
Vì vậy, bạn sẽ thấy rằng chúng ta có một lớp phẳng, một lớp phẳng, và sau đó chúng ta có một lớp lsd1 và sau
đó là đầu ra.
Vì vậy, bây giờ chúng ta đã nói về lớp này rất nhiều, lớp danh sách này là gì?
Vâng, lớp lshtm bổ sung bộ nhớ mang lại một tính năng như cho phép mạng nơ-ron có bộ nhớ về những gì
đã xảy ra trong các lần lặp trước.
Và nó thường được ký hiệu hoặc hiển thị bằng một biểu tượng giống như thế này.
Đây là chúng tôi chỉ mới bắt đầu và tôi chỉ đặt nó ở đây.
Tôi biết nó trông rất quanh co, nhưng tôi đặt nó ở đây để bạn có thể thấy khi chúng ta thảo luận thêm về hình ảnh này, bạn có thể
thấy những gì đang xảy ra.
Vì vậy, kết quả đầu ra của lớp này đi vào đây và đó là của chúng ta nên đây là toàn bộ lớp sẽ đi vào đây.
Vì vậy, nó là một vectơ của các giá trị.
X là một giá trị vectơ đi vào bánh sandwich.
Chúng ta sẽ chỉ thảo luận về vấn đề này ngay bây giờ và sau đó như một đầu ra, bạn sẽ nhận được một vectơ khác, là đoạn nối
của các cửa hàng này hoặc một số bằng cách nào đó nó liên kết với mạng.
Trong trường hợp của chúng tôi với tư cách là đầu ra, bạn nhận được cái này và bạn nhận được cái này.
Vì vậy, chúng ta hãy xem xét điều này một cách chi tiết hơn.
Vì vậy, chúng tôi sẽ chỉ tập trung vào phần này.
Trên thực tế, chúng ta sẽ, như bạn có thể nhận thấy bởi các chữ cái ở kích thước này, chúng
ta sẽ lật nó sang một bên.
Vì vậy, như thế và toàn bộ như mớ bòng bong này chỉ để nhắc lại thực tế rằng mặc dù trông như thế này, nhưng điều
thực sự đang xảy ra là một lớp giá trị, một toàn bộ vectơ giá trị đang ở trong
đây.
Có điều gì đó đang xảy ra, mà chúng ta sẽ thảo luận về điều này ngay bây giờ và sau đó.
Toàn bộ thung lũng vector đang diễn ra ở đây.
Vì vậy, đây là lớp.
Nó không chỉ là một phần tử của nó mà là chính lớp.
Vì vậy, chúng ta hãy quay trở lại một lần nữa.
Chỉ để nhắc lại, lớp đi vào lớp này.
Có điều gì đó xảy ra, lớp xuất hiện.
Vì vậy, đó là hệ thống chỉ là ở phía của nó.
Vì vậy, nó chỉ dễ dàng hơn để thảo luận về điều này.
Và đó là cách đại diện thông thường.
Được rồi.
Giờ thì chúng ta đã đồng ý tại sao lại có hình ảnh này và chúng ta sẽ tiến hành điều này như thế nào?
Hãy bắt đầu đào sâu vào tình huống này hơn một chút.
Vậy điều gì xảy ra bên trong lớp hơi nước?
Vì vậy, đây là những gì nó trông như thế này.
Và tất nhiên, điều này trông rất phức tạp.
Và chúng tôi chắc chắn sẽ không xem xét tất cả những điều này ngay bây giờ đơn giản vì có khá nhiều điều để thảo luận về
những điều này.
Điểm là, hoạt động là một hoạt động khôn ngoan của lớp và chỉ là có rất nhiều thứ đang diễn ra hoặc rất nhiều chi tiết phức tạp
mà chúng ta sẽ không đi sâu vào vì nếu không nó sẽ làm hỏng khóa học này.
Và đây không phải là mục đích không nói về thân cây ở đây.
Chúng tôi sẽ chỉ sử dụng từng chất đàn hồi.
Và nếu bạn muốn tìm hiểu thêm về Tams, bạn có thể truy cập blog Christopher Olas tại đây.
Anh ấy có một mô tả tốt về tất cả các gốc hoặc chúng tôi cũng nói về LCMS trong độ tuổi học sâu của chúng tôi.
Tất nhiên bạn có thể kiểm tra nó ở đó.
Chúng tôi cũng có cả một phần về mạng nơ-ron lặp lại và nguồn gốc.
Vì vậy, về cơ bản đây là phần bên trong của LCM và những gì xảy ra giống như lớp đi vào.
Vì vậy, chúng ta sẽ nói về vấn đề này, ở cấp độ trực quan, ở cấp độ nội bộ rất cơ bản.
Chỉ là, những gì sắp xảy ra là đủ để chúng ta hiểu điều gì xảy ra, tại sao lại có trí
nhớ, và để bạn cũng có thể hiểu rõ hơn về những gì Alan đang nói khi anh ấy thực hiện điều này.
Vì vậy, một lớp đi vào tất cả những thứ này, một cái gì đó về cơ bản sẽ diễn ra ở đây.
Lớp đi ra ngoài.
Những gì chúng ta cần thực sự thấy là có những phần này, thực sự có các đầu vào bổ sung vào
lớp này.
Vì vậy, hãy nhớ điều này thường là bạn có đầu vào từ lớp trước, sau đó là lớp này và sau đó bạn có
đầu ra.
Nếu bạn nghĩ về hình ảnh mà chúng ta đã có trước đây, mạng lưới bình thường, không phải, không nằm ở phía bên của nó, giống như
từ trái sang phải, không phải từ trên xuống dưới lên trên, nhưng với thân cây vani, bạn thực sự có
nhiều đầu vào hơn.
Vì vậy, tôi biết nó ngày càng phức tạp hơn, nhưng những điều này ít nhất chúng ta có thể hiểu được chúng.
Vì vậy, đây là ô bộ nhớ của bạn, đây là chìa khóa, và đây là những gì bạn sẽ nghe Adlon nói về.
Vì vậy, ô nhớ là một cái gì đó được lưu trong hệ thống.
Vì vậy, những đầu vào này và những đầu ra này, chúng thực sự ở đây.
Những gì bạn đang xem là trục thời gian.
Vì vậy, điều này được làm sáng tỏ trong thời gian.
Vì vậy, trong một lần lặp cụ thể, điều này xảy ra, nhưng sau đó giá trị này được lấy từ quá khứ và giá trị này được chuyển vào
các giá trị này.
Những giá trị này được lấy từ quá khứ và những giá trị này được truyền lại cho tương lai và chúng truyền tải tốt như
thế nào thông qua cách hoạt động của nhóm LHS.
Vì vậy, không cần quá lo lắng về những gì đang xảy ra ở đây, tất cả những gì chúng ta
cần hiểu là lớp sẽ đi vào và ở đây chúng ta đã có một giá trị đến từ quá khứ, được lưu trữ bên trong lshtm.
Bên trong bộ nhớ dài hạn, ngắn hạn.
Chúng tôi có ô nhớ này và bất kỳ giá trị nào ở đây trước đây, nó chỉ nằm ở đây.
Bạn có thể thấy.
Nó chỉ đi qua nó chảy qua một cách tự do, ngoại trừ những hoạt động khôn ngoan ở điểm này, nơi nó có thể được đóng
lại hoặc có thể thêm thứ gì đó vào nó.
Nhưng bất kể điều đó, nó chỉ là một số giá trị tự do chảy qua.
Vì vậy, về cơ bản nó được chuyển sang thời điểm tiếp theo, thời điểm tiếp theo.
Vì vậy, bạn có thể nghĩ về nó như một bộ nhớ giống như ổ đĩa flash hoặc thứ gì đó tương tự
như ô này có.
Và vì vậy nó chỉ nhớ giá trị trước đây mà nó ở đây.
Và sau đó nó có thể sử dụng điều đó để làm để thêm vào nó hoặc đọc từ giá trị đó, v.v.
Và giá trị này là trạng thái ẩn, chính là như vậy, do đó chữ H và trạng thái ẩn về cơ bản là một giá trị khác đến
từ quá khứ và sau đó được sử dụng bên trong hệ thống.
Và như bạn có thể thấy ở phần cuối, sau khi tất cả những điều này xảy ra, những gì bạn nhận được là bạn nhận được một lớp
xuất hiện và đúng như vậy.
Vì vậy, bạn nhận được giá trị này xuất hiện và nó là giá trị tương tự được chuyển về phía trước.
Vì vậy, về cơ bản nhóm LLS ghi nhớ hai điều.
Có một giá trị không đổi giống như nằm trong lshtm có thể được thay đổi như thế này.
Có một ổ đĩa flash giống như một giá trị không đổi.
Vì vậy, ô bộ nhớ và vì vậy bạn có thể, bạn có thể thoải mái lưu trữ một thứ gì đó trong không gian đó, trong
bộ nhớ đó, và nó sẽ được truyền lại cho tương lai.
Vì vậy, bất cứ khi nào trong lần lặp tiếp theo, giống như thuật toán ở trong một môi trường, nó nhìn thấy điều gì đó, làm điều
gì đó, v.v.
Và sau đó trong nhóm, bạn có thể lưu trữ một giá trị nhất định và sau đó nó sẽ ghi nhớ giá trị này ngay cả khi
nó ở trạng thái tiếp theo.
Và giá trị khác sẽ nhớ nó sẽ nhớ kết quả trước đó của nó, nó sẽ tự động ghi nhớ
kết quả trước đó của nó.
Vì vậy, đầu ra đi đến đây và đi tới đây.
Vì vậy, về cơ bản đó là mức rất, rất, rất cao của những gì xảy ra trong LSM.
Một lần nữa, nếu bạn muốn biết thêm chi tiết, bạn có thể tìm thấy rất nhiều tài nguyên.
Và ở giai đoạn này, chúng ta không cần phải đi sâu vào chi tiết về tất cả những thứ này.
Chúng ta chỉ cần hiểu ô nhớ là gì, ô nhớ ẩn là gì, trạng thái ẩn là gì
và chúng tạo điều kiện như thế nào.
Bộ nhớ cho danh sách.
Và câu hỏi đặt ra là, bây giờ chúng ta đã có một cái nhìn tổng quát về tất cả những điều này để củng
cố hoặc củng cố kiến thức này hoặc đại loại là đưa ra lý do cho kiến thức này, chúng ta hãy đặt câu hỏi, tại sao
chúng ta cần trí nhớ?
Tại sao chúng ta cần bộ nhớ trong a3c hoặc các thuật toán khác?
Vâng, hãy xem ví dụ của chúng tôi, thách thức mà chúng tôi đang thực hiện trong phần này.
Vì vậy, thách thức là đột phá.
Và điều gì xảy ra trong đột phá?
Chà, thật tuyệt vời, bạn đã có môi trường này, những khối nhỏ mà bạn cần phải phá hủy bằng quả
bóng nhỏ này.
Và bạn cần đảm bảo rằng đây là loại vợt hoặc nền tảng tương tự của bạn đang di chuyển xung quanh.
Và nó phải bất cứ khi nào quả bóng bay, nó phải bắt được quả bóng và nó sẽ bật ra khỏi bệ và quay trở lại và đánh
nó hoặc bật ra khỏi các bức tường và quay trở lại, đánh một khối và quay trở lại.
Và đó là bản chất của những gì bạn cần hoàn thành.
Nhưng bây giờ chúng ta hãy nhìn vào quả bóng này giống như tưởng tượng bạn là một thuật toán an, an, a3c, bạn hoặc một tác nhân bên trong một trong những
tác nhân đó bên trong a3c, bạn thấy hình ảnh này?
Bạn rút ra được gì từ đây?
Hành động của bạn ở đây là gì?
Từ đây?
Vì vậy, bạn có thể thấy quả bóng đang bay, phải không?
Vì vậy, nó đã bay, phải không.
Vì vậy, nó đang đi đâu đó và có thể nó đang bay về phía bạn.
Đúng.
Bạn có thể đưa ra kết luận này không?
Bạn có thể đoán trước rằng nó đang tiến về phía bạn không?
Bạn có thể có thể.
Và có lẽ bạn đang ở đúng vị trí để bắt bóng.
Nhưng điều gì sẽ xảy ra nếu quả bóng thực sự không bay theo hướng đó?
Cái gì đang bay vậy?
Điều gì sẽ xảy ra nếu nó bay theo hướng đó?
Vấn đề là, từ một hình ảnh này, bạn không thể biết nó đang bay theo hướng nào bởi vì bạn không biết
nó đã ở đâu trong thời điểm trước đó.
Vì vậy, nếu nó ở đây, thì nó đang bay cái này.
Vì vậy, nếu bạn đã có nếu bạn biết khoảnh khắc trước đó đúng lúc, nếu bạn biết rằng nó ở đây thì bạn đang ở đây,
bây giờ bạn biết đấy, đây là một con người.
Bạn chỉ cần vẽ một đường thẳng từ hai cái này và bạn sẽ giống như, Ồ, thật tuyệt, vì vậy nó sẽ đi theo hướng này.
Nhưng nếu bạn biết nó ở đây, bạn sẽ vẽ một đường thẳng tới những khán đài này theo hướng này.
Hơn nữa, hãy nhìn vào điều này.
Nó có thể đã thực sự ở một nơi nào đó giống như ở đây.
Có thể nó đang đi lên, có thể nó thực sự đi theo hướng đó.
Vì vậy, có lẽ nó đã ở đây và tôi đã đi lên.
Vì vậy, chỉ từ một hình ảnh đó là rất khó.
Nó thực sự không thể.
Nó giống như hình học không thể nói quả bóng đang bay theo hướng nào.
Và đó là lý do tại sao lần cuối cùng bộ nhớ thực sự thực sự giúp ích cho thuật toán mà không cần bộ nhớ, bạn vẫn có
thể làm tốt công việc, nhưng nó có thể giống như phỏng đoán hoặc, bạn biết đấy,
hãy tìm những cách khác để hiểu về vị trí, nhưng với sự quý trọng của chỉ một kỷ niệm.
Vì vậy, nếu chúng ta quay trở lại ngay cả với một giá trị đó, thì, đó là loại giống như kết quả của
giá trị trước đó hoặc có thể bạn có thể lưu trữ nó ở đây hoặc dựa trên giá trị này, như dựa trên
thông tin mà nó nhận được từ thời điểm trước đó.
Vì vậy, hãy nói từ những gì đã xảy ra ở đây, vì vậy đó là nơi bóng của bạn trước đây.
Vì vậy, bạn có thể truyền thông tin về môi trường từ thời điểm trước đó qua đây, rồi bây giờ
bạn có nó.
Giờ đây, bạn không chỉ có thông tin của mình từ hình ảnh, nếu chúng ta quay lại xa hơn nữa, bạn sẽ
nhớ thông tin đó từ hình ảnh.
Chà, đây là sự diệt vong, nhưng chúng tôi thực sự đang làm việc với thông tin đột phá từ
hình ảnh đến đây, đây, đây, biến thành những giá trị phẳng này.
Và đó là thông tin từ hình ảnh đi vào hệ thống.
Và bây giờ đột nhiên, như bạn nhớ đến từ không phải từ đâu đó, mà là từ thời điểm
trước đó.
Vì vậy, đó là lý do tại sao bạn không thể thực sự chứng minh là đến từ hoàn toàn, mà là từ quả bóng và từ trái
phải.
Nó thực sự chỉ là nó chỉ nằm trong lớp lshtm.
Bạn có thông tin đó chỉ thông qua kiến trúc của hệ thống.
Bạn có thông tin về những gì đã xảy ra trước đó.
Và vì vậy, chúng tôi quay trở lại rằng thông tin ở đây giúp bạn đưa ra quyết định phải làm gì, giúp thuật toán đưa ra quyết
định và bây giờ đột nhiên nó biết rằng, ồ, được rồi.
Vì vậy, quả bóng thực sự đang nằm trong hoặc giả sử nó đang bay theo hướng này hoặc theo hướng này.
Vì vậy, tôi đang ở đúng nơi, vì vậy tôi nên gắn bó quanh đây.
Quả bóng đang đến theo hướng của tôi.
Hoặc nếu nó nhận ra rằng quả bóng đang bay ở đó, nó nên bắt đầu di chuyển sang trái,
vì nếu nó đợi lâu hơn một chút, sẽ quá muộn và nó sẽ trượt bóng.
Vì vậy, về cơ bản đó là cách lớp lshtm thực sự giúp ích trong thuật toán này và đó chính xác là những gì chúng ta
sẽ thấy khi bạn thực hiện các hướng dẫn thực tế với Adland.
Vậy là xong.
Đó là cách hoạt động của nhóm này.
Và chỉ cần một lưu ý bổ sung, như chúng tôi đã đề cập ở phần đầu, Ellis Times không cần thiết 100%.
Chúng không hoàn chỉnh giống như chúng không hoàn toàn gắn liền với thuật toán này.
Bạn có thể muốn có chúng trong đó, thuật toán a3c.
Bạn có thể không muốn có chúng tùy thuộc vào tình huống, tùy thuộc vào kiến trúc bạn chọn.
Có rất nhiều bổ sung và chúng ta đã thảo luận về việc bổ sung hoặc sửa đổi trong đó mạng nơ-ron được chia sẻ giữa
các tác nhân hoặc không được chia sẻ giữa các tác nhân hay không.
Bây giờ dù sao.
Lshtm có một cái khác mà bạn sẽ thấy trong các hướng dẫn thực tế, nơi chúng tôi thêm entropy, được tính toán trong suốt thời gian
mất chính sách và Adlon sẽ hướng dẫn bạn thực hiện điều đó.
Vì vậy, về cơ bản có rất nhiều sửa đổi khác nhau có thể xảy ra trong một thuật toán.
Chỉ cần nhớ rằng nó phụ thuộc vào.
Những gì bạn muốn đạt được.
Và đó cũng là thứ khuyến khích bạn khám phá nếu bạn định triển khai nhiều thứ
này và thử các thuật toán khác nhau.
Chúng tôi đã thảo luận về một số vấn đề và có thể bạn có thể tìm thấy một số sửa đổi bổ sung mà bạn có thể
quan tâm.
Hoặc có thể khi bạn đang xem những hướng dẫn này, có thể sau đó nhiều sửa đổi đã được đưa ra
rất thú vị.
Vì vậy, chắc chắn đó là thứ mà bạn có thể xem xét và điều đó có thể nâng cao hơn nữa kiến thức của bạn
về trí tuệ nhân tạo và cách tạo ra các thuật toán này.
Và trên lưu ý đó, tôi hy vọng bạn thích bài hướng dẫn hôm nay và tôi mong bạn sẽ được gặp bạn lần sau.
Cho đến lúc đó, hãy tận hưởng.
TÔI.