WEBVTT

00:00.300 --> 00:02.340
Xin chào và chào mừng đến với hướng dẫn này.

00:02.370 --> 00:02.790
Được rồi.

00:02.790 --> 00:08.070
Vì vậy, chúng tôi sẽ bắt đầu với tệp đầu tiên của mô hình của chúng tôi và tệp quan trọng nhất được mô

00:08.070 --> 00:08.910
hình trên PI.

00:08.910 --> 00:13.950
Và đây là trong tệp này, chúng tôi sẽ triển khai bộ não của toàn bộ mô hình, bạn biết đấy, bộ não

00:13.950 --> 00:15.780
ở trung tâm của mô hình a3c.

00:15.780 --> 00:21.270
Vì vậy, trong tệp này, chúng tôi sẽ tạo mạng nơ-ron, tất nhiên sẽ chứa một số mạng nơ-ron phức hợp,

00:21.270 --> 00:25.470
vì tất nhiên, chúng tôi vẫn đang thực hiện một số nghiên cứu củng cố sâu.

00:25.470 --> 00:27.600
Vì vậy, AI của chúng ta vẫn sẽ có mắt.

00:27.600 --> 00:33.090
Và bên trong mạng nơ-ron này, chúng tôi sẽ tích hợp mọi thứ liên quan đến mô hình phê bình tích cực.

00:33.090 --> 00:34.440
Và có một phần thưởng.

00:34.440 --> 00:38.010
Như tôi đã nói với bạn, chúng tôi đang triển khai một trong ba mô hình C mạnh mẽ nhất.

00:38.010 --> 00:43.050
Và điều khiến nó trở nên mạnh mẽ là nó sẽ chứa một bản ghi của mạng nơ-ron và chính xác hơn là

00:43.050 --> 00:48.330
trong bộ nhớ dài hạn, ngắn hạn, để chúng ta có thể tìm hiểu các thuộc tính thời gian của những gì đang diễn ra

00:48.330 --> 00:49.140
trong trò chơi.

00:49.140 --> 00:54.300
Đó thực sự là các thuộc tính thời gian của đầu vào để các dự đoán có thể tốt hơn nữa.

00:55.050 --> 00:55.950
Vậy là xong.

00:55.950 --> 01:01.320
Chúng tôi đang triển khai một mô hình rất mạnh mẽ kết hợp cơ bản tất cả các mạng nơ-ron mà chúng tôi đã thấy

01:01.320 --> 01:02.490
trong khóa học học sâu.

01:02.490 --> 01:07.980
Đó là mạng nơ-ron nhân tạo, mạng nơ-ron tích tụ và mạng nơ-ron tuần hoàn.

01:07.980 --> 01:12.870
Và trung tâm của tất cả các mạng này, tất nhiên, có mô hình a3c sẽ làm cho AI trở

01:12.900 --> 01:13.920
nên rất mạnh mẽ.

01:14.100 --> 01:15.120
Vì vậy, chúng ta hãy làm điều này.

01:15.120 --> 01:18.210
Hãy tấn công mô hình này và thực hiện nó.

01:18.210 --> 01:24.000
Vì vậy, chúng ta sẽ bắt đầu bằng cách tạo ra hai hàm chỉ là một số hàm sẽ quan tâm đến cách chúng ta có thể

01:24.000 --> 01:28.170
khởi tạo trọng số bởi vì chúng ta sẽ có một số mạng nơ-ron và do đó chúng ta

01:28.170 --> 01:29.070
sẽ có trọng số.

01:29.070 --> 01:34.770
Và chúng tôi chỉ muốn tạo hai chức năng này trước để chúng tôi đã có một công cụ để tích

01:34.770 --> 01:38.040
hợp rất dễ dàng bên trong toàn bộ mô hình, mạng nơ-ron.

01:38.040 --> 01:42.400
Vì vậy, hai hàm này sẽ được khởi tạo cột chuẩn hóa.

01:42.450 --> 01:49.260
Về cơ bản, đó là một hàm không chỉ có thể khởi tạo một số trọng lượng mà còn thiết lập một phương sai cụ thể của một

01:49.260 --> 01:50.250
hàng chục trọng lượng.

01:50.250 --> 01:52.740
Vì vậy, đó chính xác là những gì chúng tôi sắp triển khai ngay bây giờ.

01:52.740 --> 01:57.630
Và sau đó chúng ta sẽ triển khai một hàm thứ hai, đây sẽ là các trọng số trong chức năng CNTT, và về

01:57.630 --> 02:01.230
cơ bản điều đó sẽ khởi tạo các trọng số theo cách tối ưu cho việc học.

02:01.680 --> 02:02.190
Được rồi.

02:02.190 --> 02:08.040
Và sau khi thực hiện xong hai hàm này, chúng ta sẽ bắt đầu triển khai mạng nơ-ron.

02:08.070 --> 02:08.880
Vì vậy, chúng ta hãy làm điều đó.

02:08.880 --> 02:11.940
Hãy nhanh chóng thực hiện hai chức năng này.

02:11.940 --> 02:14.190
Vì vậy, tôi bắt đầu với def ở đây.

02:14.190 --> 02:18.390
Sau đó, tôi sẽ cung cấp tên của chức năng này được chuẩn hóa.

02:18.690 --> 02:23.570
Gạch dưới cột, gạch dưới, khởi tạo nó.

02:24.570 --> 02:25.380
Chúng ta bắt đầu.

02:25.380 --> 02:28.690
Và chức năng này sẽ chỉ cần hai đầu vào.

02:28.710 --> 02:35.730
Đầu tiên sẽ là trọng số chúng ta muốn khởi tạo và độ lệch chuẩn, vì như tôi vừa nói, chúng ta muốn

02:35.730 --> 02:40.080
đặt một phương sai cụ thể cho trọng số tensor của chúng ta.

02:40.080 --> 02:44.760
Và nếu bạn muốn hiểu tại sao chúng ta phải làm điều này, đó là bởi vì, bạn biết đấy, khi chúng ta tạo

02:44.760 --> 02:50.070
ra mạng nơ-ron, sẽ có tác nhân và nhà phê bình theo mô hình ba chữ C, và chúng ta sẽ tạo ra hai mạng riêng biệt,

02:50.070 --> 02:53.610
được kết nối hoàn toàn. các lớp, một cho diễn viên và một cho nhà phê bình.

02:53.610 --> 02:59.910
Và hai lớp được kết nối đầy đủ này sẽ có trọng số, và chúng tôi sẽ thiết lập độ lệch chuẩn cho mỗi nhóm

02:59.910 --> 03:01.620
trong hai nhóm trọng số này.

03:01.620 --> 03:05.520
Và vì vậy những gì chúng tôi sẽ làm là chúng tôi sẽ thiết lập một độ lệch chuẩn nhỏ cho diễn viên.

03:05.520 --> 03:12.510
Nó sẽ là khoảng 0. Tôi nghĩ là 01 và một độ lệch chuẩn lớn đối với nhà phê bình, sẽ là khoảng một.

03:12.510 --> 03:18.510
Vì vậy, đó là lý do tại sao chúng tôi tạo ra hàm này, để chúng tôi có thể rất dễ dàng thiết lập độ lệch chuẩn cho các trọng

03:18.510 --> 03:21.750
số mà chúng tôi sẽ khởi tạo sau này cho tác nhân và nhà phê bình.

03:21.750 --> 03:23.070
Đó là lý do tại sao chúng tôi đang làm điều này.

03:23.280 --> 03:28.710
Vì vậy, bây giờ chúng ta sẽ chỉ đặt một giá trị mặc định, nhưng điều này sẽ thay đổi sau đó khi chúng ta khởi tạo

03:28.710 --> 03:29.400
các trọng số.

03:29.400 --> 03:31.830
Vì vậy, chúng ta hãy chọn như vậy cho 1. 0.

03:32.070 --> 03:32.760
Được rồi.

03:32.760 --> 03:36.960
Và bây giờ chúng tôi đã sẵn sàng để xác định những gì bên trong chức năng này.

03:37.170 --> 03:41.790
Vì vậy, những gì chúng ta sẽ chuẩn bị đầu tiên là đầu ra mà chúng ta sẽ gọi ra.

03:41.790 --> 03:45.870
Vì vậy, biến out này là những gì sẽ được trả về bởi hàm này.

03:46.140 --> 03:50.100
Và trước tiên, những gì chúng ta sẽ làm là khởi tạo nó.

03:50.100 --> 03:56.700
Vì vậy, như bạn đã hiểu, đầu ra này sẽ là một khối lượng hàng chục sẽ có độ lệch chuẩn cụ thể.

03:56.700 --> 04:01.830
Nhưng trước khi chúng ta quan tâm đến việc thiết lập độ lệch chuẩn, chúng ta chỉ muốn khởi tạo nó và sau

04:01.830 --> 04:06.420
đó chúng ta sẽ thiết lập độ lệch chuẩn ở đây, là đối số là đầu vào của hàm này.

04:06.600 --> 04:10.590
Vì vậy, khi khởi tạo các trọng số nhạy cảm của nó, bạn có thể biết cách thực hiện.

04:10.590 --> 04:11.730
Chúng tôi đã làm điều đó.

04:11.970 --> 04:21.390
Chúng ta sẽ sử dụng thư viện ngọn đuốc của mình và từ thư viện lưu trữ, chúng ta sẽ sử dụng hàm Rand M sẽ khởi

04:21.390 --> 04:27.150
tạo một tensor ngọn đuốc với trọng lượng ngẫu nhiên tuân theo phân phối chuẩn.

04:27.330 --> 04:30.900
Vì vậy, đó là lý do tại sao nó được gọi là run NW và là bình thường.

04:30.930 --> 04:36.240
Và bây giờ những gì chúng ta chỉ cần nhập là số phần tử mà tensor này sẽ chứa.

04:36.240 --> 04:41.520
Và số phần tử này tất nhiên là số trọng lượng vì chúng ta đang thực sự khởi tạo một tensor cho

04:41.520 --> 04:43.050
những trọng số này ở đây.

04:43.080 --> 04:47.490
Và do đó, để có được số phần tử này, chúng ta có thể chỉ cần lấy trọng số của mình.

04:48.490 --> 04:53.320
Và thêm dấu chấm để có kích thước bằng dấu ngoặc đơn.

04:53.320 --> 05:00.520
Và điều này sẽ cung cấp số phần tử trong các trọng số để nó sẽ tạo ra một tenxơ ngọn đuốc có cùng một số phần tử của

05:00.520 --> 05:05.260
tất cả các trọng số và nó sẽ được khởi tạo với các trọng số ngẫu nhiên theo

05:05.260 --> 05:06.160
phân phối chuẩn.

05:06.760 --> 05:07.240
Được rồi.

05:07.240 --> 05:11.380
Và bây giờ là lúc để thiết lập độ lệch chuẩn mà chúng ta muốn có.

05:11.380 --> 05:13.360
Đó là độ lệch chuẩn ở đây.

05:13.360 --> 05:16.720
Vì vậy, những gì chúng ta sẽ làm bây giờ là một bình thường hóa đơn giản.

05:16.720 --> 05:21.250
Chúng tôi có một bó đuốc có trọng lượng và bây giờ chúng tôi muốn bình thường hóa nó.

05:21.370 --> 05:25.600
Và do đó, để chuẩn hóa nó, chúng ta chỉ cần viết một phép tính rõ ràng.

05:25.600 --> 05:34.930
Và những gì chúng ta cần làm ở đây là lấy kết quả đầu ra, sau đó cập nhật nó bằng cách nhân nó với

05:34.930 --> 05:40.960
độ lệch chuẩn mà chúng ta muốn chia cho tổng mà tôi vừa đề cập.

05:40.960 --> 05:44.830
Và do đó, để có được tổng này, chúng ta sẽ sử dụng hàm căn bậc hai bằng đèn pin.

05:44.830 --> 05:50.410
Và vì vậy đó là những gì tôi đang sử dụng ở đây theo hướng xiên đó hoặc DT Đó là hàm căn bậc hai.

05:50.530 --> 05:55.900
Và bên trong, chúng ta sẽ nhập căn bậc hai, một số trọng số của vectơ của chúng ta.

05:55.900 --> 06:03.430
Và vì vậy chúng tôi lấy đầu ra của mình, sau đó chúng tôi sử dụng hàm lũy thừa mà chúng tôi nhập vào vì chúng tôi

06:03.430 --> 06:05.200
muốn lấy bình phương của tổng.

06:05.710 --> 06:08.530
Và sau đó chúng tôi lấy, do đó, là tổng.

06:08.830 --> 06:16.060
Và bên trong, chúng ta sẽ chỉ định chỉ mục của cột có chứa trọng số là một tính tổng.

06:16.720 --> 06:22.660
Và sau đó lấy các trọng số này một cách riêng biệt vì chúng ta muốn tổng hợp chúng tốt.

06:22.660 --> 06:29.350
Chúng tôi sử dụng phần mở rộng về điểm số như một hàm của kết quả đầu ra của chúng tôi.

06:29.380 --> 06:29.740
Được rồi.

06:29.740 --> 06:36.550
Vì vậy, điều này sẽ nhận được trọng lượng của alt, cho đến nay được khởi tạo như một trọng lượng nhạy cảm.

06:36.550 --> 06:38.110
Vì vậy, đó nhận được tất cả các trọng lượng này.

06:38.110 --> 06:43.720
Chúng tôi lấy tổng bình phương và sau đó chúng tôi lấy căn bậc hai để áp dụng chuẩn hóa.

06:43.720 --> 06:50.260
Và thực tế là chúng ta có độ lệch chuẩn này ở tử số sẽ đảm bảo rằng có thể viết nó ở

06:50.260 --> 06:50.770
đây.

06:51.790 --> 06:58.540
Phương sai của alts sẽ bằng bình phương của độ lệch chuẩn.

06:58.660 --> 07:05.860
Công thức này ở đây sẽ đảm bảo rằng hàng chục trọng số mà chúng ta đã khởi tạo này sẽ có phương sai

07:05.860 --> 07:10.570
bằng bình phương của độ lệch chuẩn mà chúng ta nhập vào làm đối số.

07:10.960 --> 07:17.890
Và đó là cách chúng tôi có thể thiết lập độ lệch chuẩn cụ thể cho tác nhân và nhà phê bình trong tương lai mà chúng tôi sẽ sớm

07:17.890 --> 07:18.540
đưa ra.

07:18.550 --> 07:24.130
Và chúng tôi sẽ chọn độ lệch chuẩn nhỏ cho diễn viên và độ lệch chuẩn lớn cho nhà phê bình.

07:24.130 --> 07:27.070
Và chúng ta sẽ thực hiện điều này rất dễ dàng nhờ chức năng này.

07:27.580 --> 07:28.060
Được rồi.

07:28.060 --> 07:30.400
Và vì vậy bây giờ chúng tôi chỉ có một việc phải làm.

07:30.400 --> 07:38.140
Tất nhiên, còn lại nó để trả về kết quả đầu ra hiện đã được chuẩn hóa với độ lệch chuẩn cụ thể này.

07:38.770 --> 07:39.220
Được rồi.

07:39.220 --> 07:40.240
Rất hoàn hảo.

07:40.240 --> 07:42.590
Đó là chức năng đầu tiên chúng tôi phải thực hiện.

07:42.610 --> 07:47.210
Đó là công cụ đầu tiên mà chúng tôi sẽ rất vui khi sử dụng để tạo ra bộ não a3c.

07:47.230 --> 07:49.180
Chúng tôi có một chức năng nữa để thực hiện ngay bây giờ.

07:49.210 --> 07:54.610
Nó sẽ là trọng số trong chức năng này, và đó chỉ là một chức năng mà tôi sẽ nhắc nhở khởi tạo

07:54.610 --> 07:56.980
trọng số để làm cho việc học được tối ưu.

07:57.280 --> 07:59.410
Vì vậy, chúng ta hãy làm điều này trong hướng dẫn tiếp theo.

07:59.410 --> 08:00.640
Và cho đến khi đó, hãy tận hưởng.

08:00.640 --> 08:01.180
TÔI.