WEBVTT

00:02.310 --> 00:04.620
ลูก้า: สวัสดีทุกคน และยินดีต้อนรับกลับมา

00:04.620 --> 00:05.453
ในวิดีโอนี้

00:05.453 --> 00:07.710
เราจะพูดถึง ChatGPT และวิธีการใช้อัลกอริทึมเดียวกันกับ

00:07.710 --> 00:16.290
Doom ที่เราจะใช้ในหลักสูตร นั่นก็คือ Convolutional Deep Q-learning

00:16.290 --> 00:17.790
ในอีกสองสามนาทีข้างหน้า

00:17.790 --> 00:22.440
เราจะเดินไปตามทางที่ผมชี้ไปจริงๆ และขอ ChatGPT

00:22.440 --> 00:26.190
ให้เราไปรับแบบจำลองของเรา

00:26.190 --> 00:29.580
ดังนั้น ให้ฉันช่วยให้คุณเข้าใจว่าฉันทำได้อย่างไร

00:29.580 --> 00:33.720
และทำไมฉันถึงทำตามคำแนะนำบางอย่างในแบบที่ฉันทำ

00:33.720 --> 00:38.460
ดังนั้นข้อความแจ้งเริ่มต้นจึงได้รับการออกแบบมาอย่างดีจากจุดสิ้นสุดของฉัน

00:38.460 --> 00:41.527
ฉันพูดว่า: "คุณเป็นผู้เชี่ยวชาญด้านแมชชีนเลิร์นนิงอาวุโส"

00:41.527 --> 00:43.717
ด้วยประสบการณ์หลายปีในการทำงานในโครงการ

00:43.717 --> 00:48.750
"การนำแมชชีนเลิร์นนิงไปประยุกต์ใช้กับการจำลองและหุ่นยนต์ นี่เป็นส่วนแรก การจัดฉาก การให้บทบาทแก่พวกเขา

00:48.750 --> 00:51.330
โดยพื้นฐานแล้ว พื้นที่เวกเตอร์ของ ChatGPT

00:51.330 --> 00:55.410
ทั้งหมดจะได้รับพร้อมท์เพิ่มเติมเกี่ยวกับหัวข้อแมชชีนเลิร์นนิง

00:55.410 --> 00:59.310
ตอนนี้ฉันต้องการนำบริบทของฉันมาใช้ Doom

00:59.310 --> 01:04.310
และที่จริง ฉันจะไปถึงจุดนั้นได้อย่างไร ฉันพูดว่า "โอเค ฉันจ้างคุณมาช่วยฉัน

01:04.500 --> 01:08.887
"โดยใช้อัลกอริทึม Convolutional Deep Q-Learning" สำหรับสภาพแวดล้อม

01:08.887 --> 01:12.457
Doom

01:12.457 --> 01:15.337
"เป้าหมายคือการมี "อัลกอริธึมการเรียนรู้การเสริมแรงที่ทำงานได้อย่างสมบูรณ์"

01:15.337 --> 01:18.457
ที่สามารถเล่น Doom ซึ่งเป็นสภาพแวดล้อมของเกมได้

01:18.457 --> 01:24.187
"ฉันได้ใช้คลาส" สำหรับประสบการณ์_เล่นซ้ำและหน่วยความจำและการประมวลผลภาพ

01:24.187 --> 01:30.337
"ฉันจะให้คุณ" เพื่อให้คุณสามารถรวมไว้ในรหัสสุดท้าย

01:30.337 --> 01:34.800
สิ่งนี้สำคัญมากซึ่งคนส่วนใหญ่คิดถึง

01:34.800 --> 01:45.720
คุณต้องมีวิธีบอกเขาหรือบอก ChatGPT ว่าคุณมีบางอย่างอยู่แล้วและคุณต้องการใช้รหัสนั้นในการติดตั้งใช้งานขั้นสุดท้าย

01:45.720 --> 01:50.720
ดังนั้นหากฉันไม่ได้ให้สิ่งนี้เป็นบริบท มันจะสร้างโค้ดบางส่วน

01:50.910 --> 01:54.390
การใช้งาน Q-learning เชิงลึกแบบ Convolutional

01:54.390 --> 01:57.240
ที่จะไม่พิจารณาใช้ experience_replay

01:57.240 --> 02:06.330
และฟังก์ชันการประมวลผลภาพของเรา แต่เราต้องการสิ่งนั้น

02:06.330 --> 02:07.323
ดังนั้นฉันจึงพูดต่อไปว่า:

02:08.250 --> 02:10.537
"เป้าหมายของคุณคือการนำโซลูชันเต็มรูปแบบไปใช้

02:10.537 --> 02:14.107
Python, "Torch for model" และเพิ่มประสิทธิภาพโค้ดที่จะดำเนินการใน

02:14.107 --> 02:16.717
Google Colab "เพื่อให้นักเรียนที่ผ่านโค้ด"

02:16.717 --> 02:23.167
สามารถดำเนินการเหล่านั้นได้โดยไม่ คอมพิวเตอร์ที่แข็งแกร่งมาก

02:23.167 --> 02:23.167
นี่เป็นการบอก

02:23.167 --> 02:33.060
ChatGPT ว่ารูปแบบโซลูชันขั้นสุดท้ายที่คุณต้องการมีเป็นอย่างไร

02:33.060 --> 02:35.190
และสุดท้าย "ถามคำถามที่ชัดเจนหากจำเป็น"

02:35.190 --> 02:37.200
จะให้บริบทเพิ่มเติม

02:37.200 --> 02:40.050
และ "เอ๊ะ ถ้าคุณไม่รู้ "ถ้าคุณไม่มีบริบทเพียงพอ

02:40.050 --> 02:42.060
โปรดถามฉัน และสุดท้ายก็ถามว่า "เข้าใจไหม? ฉันต้องการยืนยันว่าได้รับ

02:42.060 --> 02:44.197
นี่เป็นวิธีที่ชาญฉลาดในการปล่อยให้มันสะท้อนสิ่งนี้และไม่เคร่งครัดในการสร้างคำแนะนำถัดไป

02:44.197 --> 02:47.580
คำตอบถัดไป

02:47.580 --> 02:49.737
ถ้าไม่ทำนี่ถ้าไม่ถามว่า

02:50.640 --> 02:53.730
"เข้าใจไหม? " หรือ "เคลียร์? หรือ "เข้าใจไหม? " หรืออะไรทำนองนั้น

02:53.730 --> 03:05.210
มันจะละเว้นบางส่วนโดยสิ้นเชิงและเริ่มสร้าง

03:05.820 --> 03:09.090
เนื่องจากคุณมีขีดจำกัดของจำนวนโทเค็นที่คุณมีในคำถามและในคำตอบ

03:09.090 --> 03:16.020
คุณจึงต้องการยกเลิกเพื่อให้คุณสามารถรีเฟรชจำนวนโทเค็นที่คุณสามารถสร้างได้

03:16.020 --> 03:20.760
คำตอบแรกคือ: "ฉันเข้าใจงานแล้ว

03:20.760 --> 03:22.980
“ฉันจะทำตามที่ฉันขอจริงๆ

03:22.980 --> 03:26.310
“แต่ก่อนที่ฉันจะดำเนินการต่อ ฉันมีคำถามสองสามข้อ และนี่คือที่ซึ่ง "หากคุณมีคำถามใดๆ ถามฉัน"

03:26.310 --> 03:28.610
มันถามคำถามที่ดีทีเดียว

03:29.820 --> 03:33.607
ก่อนอื่น คุณมีสภาพแวดล้อมที่กำหนดเองหรือคุณใช้บางอย่างที่มีอยู่แล้วหรือไม่

03:33.607 --> 03:36.697
ดังนั้น OpenAI, VizDoom และอะไรทำนองนั้น

03:36.697 --> 03:39.600
จากนั้นเราจะไปที่สิ่งที่ชอบมากขึ้น

03:39.600 --> 03:45.750
มีเมตริกประสิทธิภาพใดที่คุณต้องการให้ฉันติดตามหรือไม่

03:45.750 --> 03:49.200
มีข้อกำหนดเกี่ยวกับตัวแบบหรือไม่?

03:49.200 --> 03:51.240
Python และ PyTorch เวอร์ชันใด

03:51.240 --> 03:56.850
และสุดท้าย มีข้อ จำกัด ใด ๆ เกี่ยวกับกำหนดเวลาหรือไม่?

03:56.850 --> 03:58.950
นี่มาจากแผนธุรกิจส่วนใหญ่ที่มันถูกฝึกมา

03:58.950 --> 04:00.783
แต่สำหรับมัน มันไม่เชิง

04:01.800 --> 04:05.850
แบบนี้ไม่เกี่ยวข้องกับมัน แต่ก็โอเค

04:05.850 --> 04:10.140
ฉันระบุ: "ใช่ ฉันจะใช้ OpenAI Gym และนี่คือวิธีโหลด

04:10.140 --> 04:10.140
นี้มาจากหลักสูตร

04:10.140 --> 04:12.990
ฉันตอบว่า โอเค ทำตามรางวัลโดยเฉลี่ย

04:12.990 --> 04:23.283
ไม่มีข้อกำหนดเฉพาะ มีความคิดสร้างสรรค์ตราบเท่าที่ยังใช้งานได้ ใช้โมเดลหรือเวอร์ชันล่าสุดของไลบรารี่ และกำหนดเส้นตายเมื่อใด

04:24.150 --> 04:25.177
ฉันเพิ่งเขียนว่า "โดยเร็วที่สุด"

04:25.177 --> 04:30.177
นอกจากนี้ นี่คือชั้นเรียนเหล่านี้ที่ฉันกล่าวถึง

04:30.480 --> 04:31.713
ก็เลยแปะวิชาที่เราลงคอร์สไว้

04:33.000 --> 04:35.133
ดังนั้นสัมผัสประสบการณ์การเล่นซ้ำ

04:36.030 --> 04:40.953
ทุกอย่าง และสุดท้าย เล่นซ้ำหน่วยความจำ การประมวลผลภาพ

04:42.120 --> 04:46.320
แค่นั้น

04:46.320 --> 04:48.090
และด้วยเหตุนี้ ฉันจึงสร้างบริบท

04:48.090 --> 04:49.797
และตอนนี้ก็เริ่มสร้าง

04:51.150 --> 04:54.120
มันจึงสร้างรหัสขึ้นมา

04:54.120 --> 04:57.000
โดยพื้นฐานแล้วเริ่มต้นด้วยการประมวลผลภาพล่วงหน้า

04:57.000 --> 05:04.773
จากนั้นจึงสร้าง Deep Q-network ซึ่งค่อนข้างคล้ายกับที่เรามี

05:05.790 --> 05:06.623
จากนั้นจึงเริ่มต้นด้วยการเริ่มต้นสิ่งนั้น

05:07.681 --> 05:10.230
จากนั้นจึงฝึกโค้ด

05:10.230 --> 05:13.530
ทุกอย่างทำงานจนถึงตอนนี้แล้วมันก็พังที่นี่

05:13.530 --> 05:15.753
หากคุณต้องการสร้างผลงานต่อไป

05:16.590 --> 05:21.363
ฉันเพิ่งเขียนว่า "ดำเนินการต่อ"

05:22.560 --> 05:25.110
และมันบอกว่า "ไปต่อ? ใช่แน่นอน มันยังคงสร้างต่อไป และแบม

05:25.110 --> 05:27.513
เรามีรหัสเต็มแล้ว

05:29.070 --> 05:31.983
อัศจรรย์.

05:32.910 --> 05:34.863
มันบอกวิธีใช้ ความถี่

05:36.000 --> 05:40.350
สิ่งที่ต้องเปลี่ยน และอื่นๆ

05:40.350 --> 05:43.950
มันช่วยฉันในเรื่องนี้เช่นกัน

05:43.950 --> 05:46.110
และให้ฉันพาคุณไปที่ Google Colab ของฉัน

05:46.110 --> 05:49.530
ดังนั้นฉันจึงเริ่มต้นด้วยการวางโค้ดที่นี่

05:49.530 --> 05:51.840
วางฟังก์ชันการประมวลผลล่วงหน้าของเรา

05:51.840 --> 05:55.853
ฉันจะข้ามไปยังการเปลี่ยนแปลงในฟังก์ชันการประมวลผลล่วงหน้านี้ในอีกไม่กี่วินาที

05:57.060 --> 06:02.793
จากนั้น ฉันวางประสบการณ์นี้เล่นซ้ำ การติดตั้งบางส่วนจากจุดสิ้นสุดของฉัน

06:03.720 --> 06:05.940
เราจะอธิบายเรื่องนี้ในอีกสักครู่

06:05.940 --> 06:09.630
ฉันเล่นกับ Q-network และรหัสการฝึกอบรมที่ลึกซึ้งของเขา

06:09.630 --> 06:13.053
ดังนั้นจึงมีวิธีที่จะปรับปรุงสิ่งนี้ได้อย่างแน่นอน

06:14.040 --> 06:16.290
โดยเฉพาะอย่างยิ่งถ้าคุณมีสภาพแวดล้อมในท้องถิ่น มันจะทำงาน

06:16.290 --> 06:18.720
หากคุณใช้สิ่งนี้ใน Google Colab อาจใช้งานไม่ได้

06:18.720 --> 06:19.553
ดังนั้นให้ฉันพาคุณไปที่

06:20.970 --> 06:24.843
ดังนั้นฉันจึงทำมัน และฉันได้รับข้อผิดพลาด

06:25.740 --> 06:29.163
ฉันพูดว่า "เฮ้ รหัสเริ่มต้นของฉันที่ให้ไว้ใช้งานไม่ได้

06:30.150 --> 06:31.833
ฉันเพิ่งวางโค้ด ข้อความแสดงข้อผิดพลาดนี้

06:32.790 --> 06:41.640
และแจ้งว่า "ฉันไม่สามารถปรับขนาดรูปภาพได้ และถ้าคุณดูโค้ดของเราจากหลักสูตร มันต้องปรับขนาดรูปภาพด้วยสิ่งนี้

06:41.640 --> 06:45.810
แต่เวอร์ชันใหม่ของ SciPy กำลังลบสิ่งนี้อยู่

06:45.810 --> 06:50.840
มันเลยบอกว่า "อ๋อ ช่าย" ดูเหมือนว่านี่อาจถูกลบไปแล้ว

06:50.840 --> 06:50.840
"นี่คือเวอร์ชั่นใหม่พร้อมหมอน

06:51.750 --> 06:54.240
และจริงๆแล้ว มันไม่ได้ต้องการแบบนั้น

06:54.240 --> 06:58.110
โดยพื้นฐานแล้วจะเขียนคลาสภาพก่อนการประมวลผลใหม่ทั้งหมดด้วย

06:58.110 --> 07:03.110
Pillow แทน SciPy

07:03.810 --> 07:06.600
ดังนั้นฉันจึงใช้มัน และมันใช้งานได้จริง

07:06.600 --> 07:10.440
จากนั้นฉันก็พูดว่า "ตกลง" ฉันมีปัญหากับ Environment

07:10.440 --> 07:13.200
โดยใช้ Google Colab

07:13.200 --> 07:17.310
“จะแก้ยังไง? นี่คือข้อผิดพลาด และพูดว่า "โอ้ใช่ขอโทษ

07:17.310 --> 07:18.663
"ดูเหมือนว่าสภาพแวดล้อมเฉพาะนี้ไม่ได้ผล

07:19.537 --> 07:21.637
“นี่คุณทำอะไร

07:21.637 --> 07:25.200
"โดยพื้นฐานแล้วคุณติดตั้งและทำสิ่งนี้ ฉันพบข้อผิดพลาด ข้อผิดพลาดอื่น

07:25.200 --> 07:32.260
และข้อผิดพลาดนี้ระบุว่าไม่พบการเรนเดอร์ในเวอร์ชันเฉพาะนี้

07:33.270 --> 07:36.723
และมันบอกว่า "เอาล่ะ ติดตั้งเวอร์ชันนี้ ฉันทำ. ข้อผิดพลาดอื่น

07:37.620 --> 07:41.283
และบอกว่า "โอ้ ใช่ ใช่ "Google Colab ไม่รองรับการเรนเดอร์ไลบรารี OpenGL" ซึ่งหมายความว่า สำหรับเราแล้ว

07:42.990 --> 07:44.227
เราต้องทำสิ่งอื่นแทน Google Colab

07:44.227 --> 07:52.087
เพื่อวัตถุประสงค์ในการแสดงภาพ

07:52.087 --> 07:56.917
และโดยพื้นฐานแล้ว มันทำให้ฉันมีขั้นตอนทีละขั้นตอน ซึ่งนำไปสู่สิ่งที่ต้องทำ

07:56.917 --> 07:59.880
วิธีเปลี่ยนแปลงสิ่งนั้น และอะไรทำนองนั้น

07:59.880 --> 08:02.580
และถ้าคุณทำสิ่งนี้ในท้องถิ่น คุณจะแก้ปัญหาได้

08:02.580 --> 08:04.350
แต่โดยพื้นฐานแล้วตอนนี้กำลังสอนวิธีใช้

08:04.350 --> 08:09.350
ChatGPT อย่างถูกต้อง

08:11.850 --> 08:14.280
เช่น ตรงนี้ คุณเห็นว่าฉันพบข้อผิดพลาด ฉันแจ้งข้อผิดพลาดเหล่านั้น

08:14.280 --> 08:17.040
และอื่นๆ

08:17.040 --> 08:18.457
และตอนนี้ คุณมี

08:18.457 --> 08:26.760
เช่น หากคุณเลื่อนย้อนกลับ คุณมีรหัสที่ใช้งานได้เต็มรูปแบบพร้อมเครือข่าย Q เชิงลึก

08:26.760 --> 08:27.870
พร้อมรหัสการฝึกอบรม

08:27.870 --> 08:31.350
และคุณสามารถไปขอให้สร้างรหัสทดสอบ

08:31.350 --> 08:34.500
และมันก็จะทำ

08:34.500 --> 08:37.440
น่าทึ่งใช่มั้ย

08:37.440 --> 08:38.820
แค่นั้นแหละ

08:38.820 --> 08:42.450
นี่คือวิธีใช้ ChatGPT เพื่อแก้ปัญหา deep Q หรือ convolutional

08:42.450 --> 08:45.120
deep Q-network สำหรับ Doom

08:45.120 --> 08:47.200
ขอบคุณ. สนุกกับหลักสูตร!