WEBVTT 00:00.150 --> 00:02.580 Xin chào và chào mừng bạn trở lại khóa học về học sâu. 00:02.610 --> 00:03.040 Được rồi. 00:03.060 --> 00:05.050 Hôm nay chúng ta đang nói về chức năng kích hoạt. 00:05.070 --> 00:06.600 Hãy đi thẳng vào nó. 00:06.780 --> 00:08.130 Vì vậy, đây là nơi chúng tôi đã dừng lại. 00:08.130 --> 00:11.820 Trước đây, chúng ta đã nói về cấu trúc của một tế bào thần kinh. 00:11.820 --> 00:13.200 Vì vậy, nó ở giữa. 00:13.200 --> 00:19.500 Chúng tôi biết rằng nó có một số đầu vào, giá trị đi vào, nó có một số trọng số, sau đó nó cộng trọng số, tính toán 00:19.800 --> 00:23.640 trọng số một số đầu vào đó và sau đó áp dụng chức năng kích hoạt. 00:23.640 --> 00:28.440 Và trong bước ba, nó truyền tín hiệu cho nơ-ron tiếp theo. 00:28.440 --> 00:29.700 Và đó là những gì chúng ta đang nói đến ngày hôm nay. 00:29.700 --> 00:32.790 Chúng ta đang nói về giá trị sẽ được vượt qua. 00:32.790 --> 00:35.610 Vì vậy, chúng tôi đang nói về chức năng kích hoạt đang được áp dụng. 00:36.210 --> 00:39.180 Vậy chúng ta có những lựa chọn nào cho chức năng kích hoạt? 00:39.180 --> 00:43.290 Chà, chúng ta sẽ xem xét bốn loại chức năng kích hoạt khác nhau mà bạn có thể chọn. 00:43.320 --> 00:47.190 Tất nhiên, có nhiều loại chức năng kích hoạt khác nhau, nhưng đây là những chức năng chủ yếu mà bạn 00:47.190 --> 00:50.040 sẽ được nghe nói đến và chúng tôi sẽ sử dụng trong khóa học này. 00:50.130 --> 00:53.010 Vì vậy, đây là hàm ngưỡng. 00:53.010 --> 00:53.990 Đây là những gì nó trông như thế này. 00:54.000 --> 00:58.710 Vì vậy, trên trục x, bạn có tổng trọng số của các đầu vào. 00:58.710 --> 01:03.690 Trên trục y, bạn chỉ có các giá trị từ 0 đến 1. 01:03.690 --> 01:12.330 Và về cơ bản, hàm ngưỡng là một loại hàm rất đơn giản, trong đó nếu giá trị nhỏ 01:12.750 --> 01:16.620 hơn 0, thì hàm ngưỡng chuyển về 0. 01:16.650 --> 01:22.860 Nếu giá trị lớn hơn 0 hoặc bằng 0, thì hàm ngưỡng chuyển sang giá trị một. 01:22.860 --> 01:30.090 Vì vậy, về cơ bản nó giống như, có, không có loại chức năng, rất, rất đơn giản, rất giống 01:30.090 --> 01:33.420 loại chức năng cứng nhắc hoặc có hoặc không. 01:33.420 --> 01:34.500 Không có lựa chọn nào khác. 01:34.800 --> 01:35.430 Vậy là xong. 01:35.460 --> 01:36.090 Đó là cách nó hoạt động. 01:36.090 --> 01:37.230 Chức năng rất đơn giản. 01:37.230 --> 01:39.930 Hãy chuyển sang một cái gì đó phức tạp hơn một chút. 01:39.930 --> 01:45.930 Bây giờ, hàm sigmoid, công thức rất thú vị mà chúng ta có ở đây. 01:45.930 --> 01:52.380 Bạn sẽ thấy ngay bây giờ có một chia cho một cộng với E thành lũy thừa của trừ X, trong 01:52.380 --> 01:58.200 khi trong trường hợp này, tất nhiên, x là giá trị của tổng các tổng có trọng số. 01:58.380 --> 02:02.520 Và đúng vậy, đây là hình dạng của sigmoid. 02:02.520 --> 02:08.640 Đó là một hàm được sử dụng trong hồi quy logistic, nếu bạn nhớ lại, từ khóa học máy 02:08.640 --> 02:09.220 học. 02:09.240 --> 02:14.820 Vì vậy, những gì tốt về chức năng này là nó mượt mà, không giống như chức năng ngưỡng. 02:14.820 --> 02:21.630 Cái này không có những đường gấp khúc đó trong đường cong của nó và do đó nó chỉ đẹp và mượt mà, tiến triển dần dần. 02:21.630 --> 02:26.280 Vì vậy, bất cứ điều gì dưới 0 cũng giống như giảm xuống trên 0. 02:26.280 --> 02:29.850 Nó có vẻ gần đúng với một. 02:29.850 --> 02:36.720 Và hàm sigmoid này rất hữu ích trong lớp cuối cùng, trong lớp đầu ra, đặc biệt khi bạn đang cố gắng 02:36.930 --> 02:38.850 dự đoán các xác suất. 02:38.850 --> 02:40.620 Và chúng ta sẽ thấy điều đó trong suốt khóa học này. 02:40.950 --> 02:43.050 Và sau đó chúng ta có chức năng chỉnh lưu. 02:43.050 --> 02:50.160 Chức năng chỉnh lưu, ngay cả khi nó có một đường gấp khúc, là một trong những chức năng phổ biến nhất đối với mạng nơ-ron 02:50.160 --> 02:50.850 nhân tạo. 02:50.850 --> 02:53.790 Vì vậy, nó đi tất cả các cách để không. 02:53.790 --> 02:55.020 Nó là số không. 02:55.020 --> 03:01.560 Và sau đó nó dần dần tiến triển khi giá trị đầu vào cũng tăng theo. 03:01.560 --> 03:03.300 Và chúng ta sẽ thấy điều đó trong suốt khóa học. 03:03.300 --> 03:07.830 Chúng ta sẽ thấy điều đó trong các hướng dẫn trực giác khác và chúng ta cũng sẽ thấy rằng cách chúng ta 03:07.830 --> 03:13.320 sử dụng chức năng này trong khía cạnh thực tế của khóa học và tôi sẽ bình luận thêm về điều này trong một vài slide kể từ bây giờ. 03:13.320 --> 03:18.630 Vì vậy, chỉ cần nhớ rằng hàm Rectifier là một trong những hàm được sử dụng nhiều nhất trong mạng nơron nhân tạo. 03:18.750 --> 03:22.680 Và cuối cùng, chúng tôi có một chức năng nữa mà bạn có thể sẽ nghe nói đến. 03:22.680 --> 03:24.990 Đó là hàm tiếp tuyến hypebol. 03:25.020 --> 03:32.340 Nó rất giống với hàm sigmoid, nhưng ở đây hàm tiếp tuyến hyperbolic đi xuống dưới 0, vì vậy các giá trị 03:32.340 --> 03:39.450 đi từ 0 đến 1 hoặc xấp xỉ bằng một và đi từ 0 đến -1 ở phía bên kia. 03:39.450 --> 03:42.090 Và điều đó có thể hữu ích trong một số ứng dụng. 03:42.090 --> 03:45.690 Vì vậy, chúng tôi sẽ không đi sâu vào từng chức năng này. 03:45.690 --> 03:51.270 Tôi chỉ muốn cho bạn biết về họ để bạn biết họ trông như thế nào và họ được gọi là gì. 03:51.600 --> 04:00.870 Nếu bạn muốn đọc thêm, hãy xem bài báo này của Xavier Claret mà bạn đã viết có tên là A Deep 04:01.770 --> 04:05.520 Space Rectifier Neural Networks, bài báo năm 2011. 04:05.520 --> 04:14.850 Và ở đó bạn sẽ tìm hiểu chính xác tại sao chức năng Rectifier lại là một chức năng có giá trị như vậy, tại sao nó lại được sử dụng 04:14.850 --> 04:16.140 phổ biến như vậy. 04:16.140 --> 04:20.580 Nhưng tuy nhiên, hiện tại, bạn không thực sự cần biết tất cả những điều đó. 04:20.580 --> 04:22.350 Hiện tại, chúng tôi sẽ bắt đầu áp dụng chúng. 04:22.350 --> 04:24.090 Chúng tôi chỉ bắt đầu sử dụng chúng ngày càng nhiều hơn và nhiều hơn nữa. 04:24.090 --> 04:31.230 Và vì vậy khi bạn cảm thấy thoải mái với khía cạnh thực tế của mọi thứ, thì bạn có thể tham khảo bài báo này và 04:31.230 --> 04:37.080 sau đó bạn sẽ có thể ngâm mình trong kiến thức đó nhanh hơn và nó sẽ có ý nghĩa hơn nhiều. 04:37.320 --> 04:41.610 Nhưng chỉ cần ghi nhớ điều này rằng khi bạn đã sẵn sàng, khi bạn cảm thấy rằng bạn đã sẵn sàng, thì bạn có 04:41.610 --> 04:44.820 thể tham khảo bài báo này và nhận được một số kiến thức quý giá từ đó. 04:45.360 --> 04:53.040 Vì vậy, chỉ để tóm tắt lại, chúng ta có chức năng kích hoạt ngưỡng trông giống như thế này, chức năng kích hoạt 04:53.040 --> 04:55.170 sigmoid trông giống như thế này. 04:55.500 --> 04:59.880 Chúng ta có hàm chỉnh lưu và chúng ta có hàm tiếp tuyến hypebol. 05:00.320 --> 05:04.940 Và bây giờ để kết thúc hướng dẫn này, chúng ta hãy nhanh chóng thực hiện một vài bài tập. 05:04.940 --> 05:09.050 Vì vậy, chúng tôi sẽ chỉ làm hai bài tập nhanh để giúp kiến thức đó đi sâu vào. 05:09.050 --> 05:14.480 Đầu tiên là chúng ta có một ví dụ ở đây về mạng nơ-ron chỉ với một nơ-ron. 05:14.480 --> 05:15.890 Và ngay sau đó là lớp đầu ra. 05:15.890 --> 05:21.860 Và câu hỏi đặt ra là, giả sử rằng biến phụ thuộc của bạn là nhị phân, vì vậy nó hoặc là 0, bạn 05:21.890 --> 05:23.600 sẽ sử dụng hàm ngưỡng nào? 05:23.600 --> 05:31.400 Vì vậy, trong số những cái mà chúng ta đã thảo luận, chúng ta có hàm ngưỡng, hàm sigmoid, hàm 05:31.400 --> 05:37.760 Rectifier và chúng ta có hàm tiếp tuyến hyperbol ở dạng vai trò của chúng. 05:37.760 --> 05:43.070 Bạn có thể sử dụng cái nào cho biến nhị phân? 05:44.300 --> 05:49.250 Vì vậy, câu trả lời ở đây là có hai lựa chọn mà chúng ta có thể tiếp cận vấn đề này. 05:49.250 --> 05:55.010 Vì vậy, số một là hàm kích hoạt ngưỡng bởi vì chúng tôi biết rằng nó nằm giữa 0 và 1 và nó cung cấp cho bạn một số 0 05:55.010 --> 05:58.640 dưới các giá trị nhất định và sau đó ngược lại, nó cung cấp cho bạn một số. 05:58.640 --> 06:00.020 Vì vậy, nó chỉ có thể cung cấp cho bạn hai giá trị. 06:00.020 --> 06:09.950 Nó hoàn toàn phù hợp, hoàn toàn phù hợp với yêu cầu này, và do đó bạn chỉ có thể nói Y bằng hàm ngưỡng của 06:09.950 --> 06:13.700 tổng trọng số của bạn, và thế là xong. 06:13.700 --> 06:19.520 Và trong trường hợp thứ hai, bạn có thể sử dụng hàm kích hoạt sigmoid, nó thực sự cũng nằm giữa 0 và 06:19.520 --> 06:21.620 1, chỉ những gì chúng ta cần. 06:21.620 --> 06:25.550 Nhưng đồng thời bạn muốn chỉ là con số không, phải không? 06:25.550 --> 06:33.470 Vì vậy, đó không phải là chính xác những gì chúng tôi cần, nhưng trong trường hợp này, những gì bạn có thể 06:33.500 --> 06:37.370 sử dụng nó là xác suất y là có hoặc không. 06:37.370 --> 06:40.010 Vì vậy, chúng tôi muốn y bằng không. 06:40.010 --> 06:49.100 Nhưng thay vào đó chúng ta sẽ nói rằng hàm sigmoid, hàm kích hoạt sigmoid cho chúng ta biết liệu nó có cho chúng ta biết 06:49.100 --> 06:51.770 xác suất Y bằng một hay không. 06:51.770 --> 06:59.060 Vì vậy, về cơ bản bạn càng gần đến đỉnh, càng có nhiều khả năng rằng đây thực sự là một hoặc một có hơn 06:59.060 --> 06:59.960 là không. 07:00.620 --> 07:04.610 Và đúng vậy, điều đó rất giống với cách tiếp cận hồi quy logistic. 07:04.700 --> 07:07.430 Và đó chỉ là hai ví dụ. 07:07.580 --> 07:09.170 Nếu bạn có một biến nhị phân. 07:09.860 --> 07:12.740 Và bây giờ chúng ta hãy xem xét một ứng dụng thực tế khác. 07:12.740 --> 07:17.150 Hãy xem tất cả điều này sẽ diễn ra như thế nào nếu chúng ta có một mạng nơ-ron như thế này. 07:17.150 --> 07:20.360 Vì vậy, trong lớp đầu vào đầu tiên, chúng ta có một số đầu vào. 07:20.930 --> 07:26.000 Chúng được chuyển đến lớp ẩn đầu tiên của chúng tôi và sau đó một chức năng kích hoạt được áp dụng. 07:26.000 --> 07:30.620 Và thông thường những gì bạn sẽ áp dụng ở đây và những gì bạn sẽ thấy trong suốt khóa học này là chúng tôi sẽ 07:30.620 --> 07:32.450 áp dụng chức năng kích hoạt bộ chỉnh lưu. 07:32.660 --> 07:34.430 Vì vậy, nó sẽ giống như một cái gì đó. 07:34.430 --> 07:40.940 Chúng tôi áp dụng chức năng kích hoạt Bộ chỉnh lưu và sau đó từ đó các tín hiệu sẽ được chuyển đến lớp đầu 07:40.940 --> 07:46.730 ra nơi áp dụng chức năng kích hoạt sigmoid và đó sẽ là đầu ra cuối cùng của chúng tôi và 07:46.730 --> 07:48.950 có thể dự đoán xác suất chẳng hạn. 07:48.950 --> 07:54.110 Vì vậy, sự kết hợp này sẽ khá phổ biến khi trong các lớp ẩn chúng ta áp dụng chức 07:54.290 --> 07:58.580 năng chỉnh lưu, và sau đó trong lớp đầu ra chúng ta áp dụng hàm sigmoid. 07:58.580 --> 07:59.720 Vậy là xong. 07:59.750 --> 08:01.340 Hy vọng bạn thích hướng dẫn ngày hôm nay. 08:01.340 --> 08:06.440 Bây giờ bạn đã khá thành thạo với bốn loại chức năng kích hoạt khác nhau và bạn sẽ có được một 08:06.440 --> 08:09.350 số kinh nghiệm thực tế với chúng trong suốt khóa học này. 08:09.350 --> 08:14.870 Chúng tôi sẽ sử dụng chúng ở khắp mọi nơi, vì vậy bạn sẽ làm quen với chúng một cách khá thân mật và bạn 08:14.870 --> 08:16.280 sẽ khá thoải mái với chúng. 08:16.280 --> 08:22.160 Nhưng hiện tại, đây là kiến thức mà bạn cần phải nâng cao và hiểu những gì sẽ xảy ra sâu hơn 08:22.160 --> 08:23.420 trong khóa học này. 08:23.690 --> 08:26.840 Và trên ghi chú đó, tôi mong được gặp bạn lần sau. 08:26.840 --> 08:28.700 Cho đến lúc đó, hãy tận hưởng việc học sâu.