WEBVTT

00:02.310 --> 00:04.620
Luka: Xin chào mọi người và chào mừng trở lại.

00:04.620 --> 00:05.453
Trong video

00:05.453 --> 00:07.710
này, chúng ta sẽ nói về ChatGPT và

00:07.710 --> 00:11.370
cách sử dụng nó để thực hiện cùng một thuật toán cho Doom

00:11.370 --> 00:13.350
mà chúng ta sẽ sử dụng trong khóa

00:13.350 --> 00:16.290
học, Q-learning sâu tích chập.

00:16.290 --> 00:17.790
Vì vậy, trong vài phút

00:17.790 --> 00:22.440
tới, chúng ta sẽ đi qua con đường mà tôi thực sự đã chỉ và yêu cầu

00:22.440 --> 00:26.190
ChatGPT để chúng tôi lấy mô hình của mình.

00:26.190 --> 00:29.580
Vì vậy, hãy để tôi giúp bạn hiểu tôi đã làm như thế nào và tại

00:29.580 --> 00:33.720
sao tôi lại thực hiện một số lời nhắc nhất định theo cách tôi đã làm.

00:33.720 --> 00:38.460
Vì vậy, lời nhắc ban đầu được tạo ra khá tốt từ phía tôi.

00:38.460 --> 00:39.293
Tôi nói: "Bạn

00:39.293 --> 00:41.527
là Chuyên gia máy học cao cấp" với

00:41.527 --> 00:43.717
nhiều năm kinh nghiệm làm việc trong

00:43.717 --> 00:47.550
các dự án "áp dụng máy học vào mô phỏng và người máy. Đây là phần đầu tiên, thiết lập sân khấu, giao

00:47.550 --> 00:48.750
vai cho họ.

00:48.750 --> 00:51.330
Vì vậy, về cơ bản, không gian vectơ của

00:51.330 --> 00:55.410
toàn bộ ChatGPT sẽ được nhắc nhiều hơn về các chủ đề học máy.

00:55.410 --> 00:59.310
Bây giờ tôi muốn đưa vào bối cảnh của mình, Doom.

00:59.310 --> 01:04.310
Và trên thực tế, làm thế nào để đạt được điểm đó, tôi đã nói, "Được rồi,

01:04.500 --> 01:06.600
tôi đã thuê bạn để giúp tôi" triển

01:06.600 --> 01:08.887
khai thuật toán Convolutional

01:08.887 --> 01:12.457
Deep Q-Learning "cho môi trường Doom.

01:12.457 --> 01:14.407
"Mục tiêu là có" một thuật toán học

01:14.407 --> 01:15.337
tăng cường đầy đủ

01:15.337 --> 01:18.457
chức năng "có thể chơi Doom, một môi trường trò chơi.

01:18.457 --> 01:22.327
"Tôi đã triển khai các lớp "trải nghiệm và xử

01:22.327 --> 01:24.187
lý bộ nhớ và hình ảnh.

01:24.187 --> 01:27.903
"Tôi sẽ cung cấp cho bạn điều đó" để bạn có thể kết hợp điều

01:28.777 --> 01:30.337
đó vào mã cuối cùng.

01:30.337 --> 01:34.800
Điều này thực sự quan trọng, mà hầu hết mọi người bỏ lỡ.

01:34.800 --> 01:37.893
Bạn cần có cách nào đó để nói với anh ấy hoặc

01:38.790 --> 01:42.120
nói với ChatGPT rằng bạn đã có thứ gì đó và bạn muốn

01:42.120 --> 01:43.860
sử dụng mã đó trong lần triển

01:43.860 --> 01:45.720
khai cuối cùng.

01:45.720 --> 01:50.720
Vì vậy, nếu tôi không cung cấp ngữ cảnh này, thì nó sẽ tạo ra

01:50.910 --> 01:54.390
một số mã, một số triển khai Q-learning

01:54.390 --> 01:57.240
tích chập sâu sẽ không xem xét việc

01:57.240 --> 02:01.140
sử dụng experience_replay và chức năng xử lý

02:01.140 --> 02:04.080
hình ảnh của chúng tôi, nhưng chúng

02:04.080 --> 02:06.330
tôi muốn điều đó.

02:06.330 --> 02:07.323
Vì vậy, sau đó tôi

02:08.250 --> 02:10.537
tiếp tục nói: "Mục tiêu của bạn là triển

02:10.537 --> 02:14.107
khai giải pháp đầy đủ bằng Python, "Torch for model" và

02:14.107 --> 02:16.717
tối ưu hóa mã để được thực thi trong Google

02:16.717 --> 02:21.187
Colab "để sinh viên xem qua mã" có thể thực thi những mã đó mà không cần

02:21.187 --> 02:23.167
máy tính mạnh như vậy. Về cơ bản, điều này

02:23.167 --> 02:28.167
cho ChatGPT biết định dạng của giải pháp

02:28.260 --> 02:33.060
cuối cùng mà bạn muốn có là gì.

02:33.060 --> 02:35.190
Và cuối cùng, "đặt câu hỏi làm rõ nếu

02:35.190 --> 02:37.200
cần" sẽ cung cấp thêm ngữ cảnh.

02:37.200 --> 02:40.050
Và "Ơ, nếu bạn không biết", nếu bạn không

02:40.050 --> 02:42.060
có đủ ngữ cảnh, hãy hỏi tôi. Và cuối cùng, hỏi, "Hiểu chưa? Tôi muốn xác nhận rằng nó đã nhận được.

02:42.060 --> 02:44.197
Đây là một cách thông minh để cho phép nó phản ánh về điều

02:44.197 --> 02:47.580
này và không nghiêm ngặt tạo ra các lời nhắc tiếp theo, câu trả lời tiếp theo.

02:47.580 --> 02:49.737
Nếu bạn không làm điều này,

02:50.640 --> 02:53.730
nếu bạn không hỏi “Hiểu chưa? " hoặc "Xóa? hay “Bạn có hiểu không? " hoặc đại loại như

02:53.730 --> 02:58.730
vậy, nó sẽ hoàn toàn bỏ qua một

03:00.210 --> 03:05.210
số phần và bắt đầu tạo.

03:05.820 --> 03:07.230
Vì bạn có giới hạn về số lượng mã thông

03:07.230 --> 03:09.090
báo bạn có trong câu hỏi

03:09.090 --> 03:12.780
và trong câu trả lời, nên bạn muốn phá vỡ giới

03:12.780 --> 03:16.020
hạn đó để có thể làm mới số lượng mã thông báo mà bạn có thể tạo.

03:16.020 --> 03:18.240
Vì vậy, câu trả lời đầu tiên

03:18.240 --> 03:20.760
là: "Tôi hiểu nhiệm vụ.

03:20.760 --> 03:22.980
"Tôi sẽ làm chính xác những gì tôi sẽ yêu cầu.

03:22.980 --> 03:26.310
"Nhưng trước khi tiếp tục, tôi có một vài câu hỏi. Và đây là nơi "nếu bạn có bất kỳ câu hỏi nào, hãy hỏi tôi",

03:26.310 --> 03:28.610
nó đã hỏi tôi những câu hỏi khá hay.

03:29.820 --> 03:32.377
Trước hết, bạn có môi trường tùy chỉnh hay bạn sử dụng

03:32.377 --> 03:33.607
thứ gì đó đã có sẵn?

03:33.607 --> 03:36.697
Vì vậy, OpenAI, VizDoom và những thứ tương tự.

03:36.697 --> 03:39.600
Sau đó, chúng tôi chuyển sang phần giống

03:39.600 --> 03:43.980
như, có bất kỳ chỉ số hiệu suất cụ thể nào mà bạn muốn tôi

03:43.980 --> 03:45.750
theo dõi không?

03:45.750 --> 03:49.200
Có yêu cầu về chính mô hình không?

03:49.200 --> 03:51.240
Phiên bản nào của Python và PyTorch?

03:51.240 --> 03:53.883
Và cuối cùng, có ràng buộc cụ thể

03:54.750 --> 03:56.850
nào về thời hạn không?

03:56.850 --> 03:58.950
Đây hầu hết là từ các kế hoạch kinh doanh mà

03:58.950 --> 04:00.783
nó đã được đào tạo, nhưng đối với nó,

04:01.800 --> 04:05.850
nó không thực sự như vậy, như thế này không liên quan đến nó, nhưng không sao.

04:05.850 --> 04:08.223
Tôi cung cấp: "Vâng, tôi sẽ sử dụng OpenAI Gym và

04:09.180 --> 04:10.140
đây là cách tải nó. Đây là từ khóa học.

04:10.140 --> 04:12.990
Tôi nói, được, làm theo phần thưởng trung bình,

04:12.990 --> 04:17.160
không có yêu cầu cụ thể, hãy sáng tạo miễn là nó hoạt động, sử dụng

04:17.160 --> 04:19.803
các mô hình hoặc phiên bản mới nhất của thư

04:20.970 --> 04:23.283
viện và thời hạn là gì.

04:24.150 --> 04:25.177
Tôi chỉ viết "CÀNG SỚM CÀNG TỐT".

04:25.177 --> 04:30.177
Ngoài ra, đây là những lớp tôi đã đề cập.

04:30.480 --> 04:31.713
Vì vậy, tôi chỉ dán các lớp mà chúng tôi có trong khóa học.

04:33.000 --> 04:35.133
Vì vậy, trải nghiệm

04:36.030 --> 04:40.953
phát lại, mọi thứ, và cuối cùng, bộ nhớ phát

04:42.120 --> 04:46.320
lại, xử lý hình ảnh, thế là xong.

04:46.320 --> 04:48.090
Và với điều này, tôi xây dựng ngữ cảnh,

04:48.090 --> 04:49.797
và bây giờ nó bắt đầu tạo ra.

04:51.150 --> 04:54.120
Vì vậy, nó tạo ra mã.

04:54.120 --> 04:57.000
Về cơ bản, nó bắt đầu bằng cách xử

04:57.000 --> 05:00.720
lý trước hình ảnh, sau đó tạo ra mạng Q sâu,

05:00.720 --> 05:04.773
khá giống với những gì chúng tôi có.

05:05.790 --> 05:06.623
Sau đó, nó bắt đầu

05:07.681 --> 05:10.230
bằng cách khởi tạo mã đó và sau đó đào tạo mã.

05:10.230 --> 05:13.530
Tất cả mọi thứ cho đến nay đã làm việc, và sau đó nó phá vỡ ở đây.

05:13.530 --> 05:15.753
Nếu bạn muốn tiếp tục tạo

05:16.590 --> 05:21.363
ra thứ gì đó lâu hơn, tôi chỉ cần viết "tiếp tục".

05:22.560 --> 05:25.110
Và nó nói, "Tiếp tục? Vâng, chắc chắn. Nó tiếp tục tạo và bam, chúng

05:25.110 --> 05:27.513
ta có mã đầy đủ.

05:29.070 --> 05:31.983
Tuyệt vời.

05:32.910 --> 05:34.863
Nó nêu cách sử dụng, tần

05:36.000 --> 05:40.350
suất, những gì cần thay đổi và những thứ tương tự.

05:40.350 --> 05:43.950
Nó cũng giúp tôi với điều này.

05:43.950 --> 05:46.110
Và để tôi đưa bạn đến với Google Colab của tôi.

05:46.110 --> 05:49.530
Vì vậy, tôi đã bắt đầu bằng cách dán mã

05:49.530 --> 05:51.840
vào đây, dán chức năng tiền xử lý của chúng tôi.

05:51.840 --> 05:55.020
Tôi sẽ chuyển sang các thay đổi trong chức năng tiền xử lý này

05:55.020 --> 05:55.853
sau giây lát.

05:57.060 --> 06:00.750
Sau đó, tôi đã dán phát lại trải nghiệm này, một

06:00.750 --> 06:02.793
số cài đặt từ phía tôi.

06:03.720 --> 06:05.940
Chúng tôi sẽ giải thích điều này trong giây lát.

06:05.940 --> 06:09.630
Tôi đã chơi với mã đào tạo và mạng Q sâu của anh ấy.

06:09.630 --> 06:13.053
Vì vậy, chắc chắn có nhiều cách để cải thiện điều này.

06:14.040 --> 06:16.290
Đặc biệt nếu bạn có môi trường địa phương, nó sẽ hoạt động.

06:16.290 --> 06:18.720
Nếu bạn đang sử dụng cái này trong Google Colab, nó có thể bị hỏng.

06:18.720 --> 06:19.553
Vì vậy, hãy để tôi đưa bạn đến đó.

06:20.970 --> 06:24.843
Vì vậy, tôi đã làm điều đó, và tôi đã gặp lỗi.

06:25.740 --> 06:29.163
Tôi nói, "Này, mã ban đầu của tôi mà nó cung cấp không hoạt động.

06:30.150 --> 06:31.833
Tôi vừa dán mã, thông báo

06:32.790 --> 06:37.790
lỗi này và nói: "Tôi không thể thay đổi kích thước hình ảnh. Và nếu bạn xem mã của chúng tôi từ khóa học, nó yêu cầu thay

06:38.430 --> 06:41.640
đổi kích thước hình ảnh bằng mã này.

06:41.640 --> 06:45.810
Nhưng phiên bản mới hơn của SciPy thực sự đã loại bỏ điều này.

06:45.810 --> 06:49.440
Vì vậy, nó nói, "Ồ, vâng," có vẻ như cái này

06:49.440 --> 06:50.840
có thể đã bị xóa. "Đây là phiên bản mới với Gối.

06:51.750 --> 06:54.240
Và trên thực tế, nó không yêu cầu điều đó.

06:54.240 --> 06:58.110
Về cơ bản, nó đã viết lại toàn bộ lớp

06:58.110 --> 07:03.110
hình ảnh tiền xử lý bằng Gối thay vì SciPy.

07:03.810 --> 07:06.600
Vì vậy, tôi đã sử dụng nó, và nó thực sự hoạt động.

07:06.600 --> 07:10.440
Và sau đó tôi nói, "Được rồi, "Tôi gặp sự cố với Môi

07:10.440 --> 07:13.200
trường khi sử dụng Google Colab.

07:13.200 --> 07:17.310
“Giải quyết như thế nào? Đây là lỗi. Và nó nói, "Ồ, vâng, xin lỗi.

07:17.310 --> 07:18.663
"Có vẻ như môi trường đặc biệt này không hoạt động.

07:19.537 --> 07:21.637
"Dưới đây là những gì bạn làm.

07:21.637 --> 07:25.200
"Về cơ bản, bạn cài đặt và thực hiện việc này. Tôi gặp một lỗi, một lỗi khác.

07:25.200 --> 07:27.360
Và lỗi này thực sự chỉ ra rằng

07:27.360 --> 07:32.260
không tìm thấy kết xuất trong phiên bản cụ thể này.

07:33.270 --> 07:36.723
Và nó nói, "Được rồi, hãy cài đặt phiên bản này. Tôi đã làm. Một lỗi khác.

07:37.620 --> 07:41.283
Và nó nói, "Ồ, vâng, vâng, "Google Colab không hỗ trợ kết xuất,

07:42.990 --> 07:44.227
thư viện OpenGL," có nghĩa

07:44.227 --> 07:47.257
là, đối với chúng tôi, chúng tôi cần làm, thay vì Google

07:47.257 --> 07:50.160
Colab, một thứ khác cho mục

07:50.160 --> 07:52.087
đích trực quan hóa.

07:52.087 --> 07:55.657
Về cơ bản, nó hướng dẫn tôi từng bước một, hướng dẫn những

07:55.657 --> 07:56.917
việc cần làm, cách

07:56.917 --> 07:59.880
thay đổi điều đó và những thứ tương tự.

07:59.880 --> 08:02.580
Và nếu bạn làm điều này cục bộ, bạn sẽ giải quyết được vấn đề.

08:02.580 --> 08:04.350
Nhưng về cơ bản, điều

08:04.350 --> 08:09.350
này hiện đang dạy bạn cách sử dụng ChatGPT đúng cách.

08:11.850 --> 08:14.280
Giống như, ngay tại đây, bạn đã thấy rằng tôi mắc một số lỗi,

08:14.280 --> 08:17.040
tôi đã nhắc nhở những lỗi đó, v.v.

08:17.040 --> 08:18.457
Và bây giờ, bạn

08:18.457 --> 08:23.457
có, giống như, nếu bạn cuộn lại, bạn có mã hoạt động

08:24.270 --> 08:26.760
đầy đủ với mạng Q sâu, với

08:26.760 --> 08:27.870
mã đào tạo,

08:27.870 --> 08:31.350
và bạn có thể yêu cầu nó tạo mã kiểm

08:31.350 --> 08:34.500
tra, và nó sẽ làm được.

08:34.500 --> 08:37.440
Tuyệt vời, phải không?

08:37.440 --> 08:38.820
À chính nó đấy.

08:38.820 --> 08:42.450
Đây là cách sử dụng ChatGPT để giải quyết deep Q hoặc

08:42.450 --> 08:45.120
mạng Q sâu tích chập cho Doom.

08:45.120 --> 08:47.200
Cảm ơn. Hãy tận hưởng khóa học!