Xin chào và chào mừng bạn trở lại khóa học về Học sâu.
Hôm nay chúng ta đang nói về Revolut, là một đơn vị tuyến tính được chỉnh lưu và đây là một bước
bổ sung ở trên cùng của bước tích chập của chúng ta.
Vì vậy, nó không phải là một bước tiến lớn riêng biệt.
Đó là một bước nhỏ.
Về cơ bản đó là bước B.
Và điều gì đang xảy ra ở đây?
Chà, chúng tôi có hình ảnh đầu vào của chúng tôi.
Chúng tôi có lớp tích chập của chúng tôi, mà chúng tôi đã thảo luận.
Và trên hết, chúng tôi sẽ áp dụng chờ nó, chức năng Chỉnh lưu yêu thích của chúng tôi.
Và bạn đã quen thuộc với chức năng Rectifier từ phần trước về mạng nơ-ron nhân
tạo.
Và trong SO của chúng tôi, đôi khi các tác giả hoặc người hướng dẫn tách tích chập và chỉnh lưu thành hai bước riêng biệt trong các ví dụ của
chúng tôi, chúng tôi chỉ coi chúng là một bước tiến lớn duy nhất cho sự tiến hóa thứ hai so với
Chỉnh lưu.
Và lý do tại sao chúng tôi áp dụng Bộ chỉnh lưu là vì chúng tôi muốn tăng tính không tuyến tính trong hình ảnh của
chúng tôi hoặc trong mạng của chúng tôi, trong mạng nơ-ron phức hợp của chúng tôi.
Và Rectifier hoạt động như bộ lọc hoặc truy cập, chức năng đó phá vỡ tuyến tính.
Và lý do tại sao chúng tôi muốn tăng tính phi tuyến tính trong mạng của mình là vì bản thân hình ảnh có tính phi tuyến tính
cao, đặc biệt nếu bạn đang nhận ra các đối tượng khác nhau bên cạnh nhau hoặc chỉ trên nền và những
thứ tương tự.
Giống như hình ảnh sẽ có rất nhiều phần tử phi tuyến và sự chuyển đổi giữa các pixel, các pixel liền
kề thường sẽ là phi tuyến.
Đó là bởi vì có đường viền, có màu sắc khác nhau, nó khác nhau, có các yếu tố khác nhau trong hình
ảnh của bạn.
Và đồng thời, khi chúng tôi áp dụng một phép toán học như tích chập và chạy phát hiện đối tượng địa lý này
để tạo bản đồ đối tượng địa lý của mình, chúng tôi có nguy cơ tạo ra một thứ gì đó tuyến tính và do đó chúng
tôi cần phải chia nhỏ tuyến tính.
Vì vậy, chúng ta hãy xem một ví dụ.
Đây là một hình ảnh, một hình ảnh gốc.
Bây giờ, khi chúng tôi áp dụng bộ phát hiện tính năng cho hình ảnh này, chúng tôi nhận được một cái gì đó như thế này.
Vì vậy, bạn có thể thấy ở đây rằng màu đen là tiêu cực.
Màu trắng là các giá trị tích cực.
Chà, khi bạn áp dụng bộ phát hiện tính năng cho một hình ảnh giống như một hình ảnh thích hợp, không chỉ có số không và số một, mà có rất nhiều giá
trị khác nhau và bạn áp dụng, như chúng ta đã thấy trước đây, nếu các bộ phát hiện trong tương lai có thể có
các giá trị âm trong chính chúng, đôi khi bạn sẽ nhận được các giá trị âm và đây là các giá trị màu đen của chúng là âm,
các giá trị trắng là dương.
Và những gì một hàm đơn vị tuyến tính được điều chỉnh làm là nó loại bỏ tất cả những gì bên phải màu đen dưới 0, nó biến
thành không.
Và do đó, nó biến thành thế này.
Đúng.
Và vì vậy, thật khó để biết chính xác lợi ích là gì nếu xét về bốn lợi ích trong việc chia nhỏ
tuyến tính.
Tôi sẽ cố gắng giải thích.
Tôi sẽ cố gắng đưa ra một ví dụ trên hình ảnh này.
Nhưng vào cuối ngày, đây là một khái niệm rất toán học.
Và chúng tôi sẽ phải đi vào rất nhiều phép toán để thực sự giải thích những gì đang xảy ra.
Nhưng chúng ta hãy thử chúng ta hãy xem xét.
Vì vậy, ví dụ, chúng ta hãy nhìn vào tòa nhà này ở đây, phải không?
Vì vậy, đây là một tòa nhà của riêng mình.
Sau đó, bạn có thể thấy cái bóng này, phần đen này, cái bóng này ở đây.
Chà, bạn có thể thấy rằng nó có màu trắng, sự phản chiếu của ánh sáng, sau đó là màu
xám, rồi tối dần rồi lại tối hơn.
Đúng?
Vì vậy, và khi chúng tôi lấy nó ra, chúng tôi sẽ loại bỏ phần màu đen đó.
Vì vậy, hãy nghĩ về nó về độ tuyến tính, phải không?
Vì vậy, có vẻ như khi bạn chuyển từ màu trắng sang màu xám, bước tiếp theo sẽ là màu đen, phải không?
Bước tiếp theo sẽ là màu đen.
Đó là một sự phát triển tuyến tính từ sáng đến tối.
Và do đó, đây giống như một tình huống tuyến tính.
Khi bạn lấy ra màu đen, bạn phá vỡ tuyến tính.
Hãy thử một cái khác.
Hãy xem ở đây.
Và đồng thời, nó vẫn là tòa nhà đó, phải không?
Nó không giống như bạn là bạn không giống như bạn đang trộn hai tòa nhà vào nhau.
Nhưng đó là thứ yếu.
Điểm chính là phá vỡ tuyến tính.
Vì vậy, chúng ta hãy xem ở đây.
Điều tương tự.
Vì vậy, bạn thấy trắng, xám, đen, xám, trắng.
Và khi bạn chia tay nó, bạn không còn như vậy nữa, phải không?
Bạn không có sự tiến triển đó, sự tiến triển dần dần mà bạn có giống như một sự thay đổi đột ngột và điều đó giúp
đưa sự không tuyến tính vào hình ảnh của bạn.
Vì vậy, đó là một lời giải thích rất thô thiển, giống như cách giải thích trên ngón tay hơn là kỹ
thuật.
Nhưng hy vọng nó sẽ giúp bạn hiểu rõ hơn một chút về những gì chúng ta đang nói ở đây.
Vì vậy, ở đây một lần nữa, bạn có thể thấy Xám trắng là một ví dụ tốt hơn.
Ngay cả khi bạn nhìn thấy sáng, tối hơn, tối hơn, tối hơn, tối hơn, tối hơn, tối hơn.
Vì vậy, phần này trông giống như nó tuyến tính.
Sau đó bạn chia nhỏ nó ra như vậy.
Ừm, một lần nữa.
Vì vậy, đây là một lời giải thích rất thô.
Nó không hoàn toàn hoàn hảo, nhưng ít nhất nó cũng cung cấp cho bạn một số ý tưởng về những gì đang xảy ra.
Nhưng nếu bạn muốn tìm hiểu thêm, luôn có một tờ báo tốt.
Luôn luôn có một tờ giấy.
Công cụ này là của Keiko đến từ Đại học California, và nó được gọi là Hiểu mạng nơ-ron
hợp hiến bằng mô hình toán học.
Và về cơ bản, họ là người trả lời cho các câu hỏi và bạn chỉ cần xem câu hỏi đầu tiên.
Và câu hỏi là tại sao không?
Chức năng kích hoạt phi tuyến là cần thiết ở đầu ra bộ lọc của tất cả các lớp trung gian.
Vì vậy, kiểu đó giải thích nó chi tiết hơn một chút, cả về trực giác và chủ yếu là về
toán học.
Vì vậy, đó là một bài báo thú vị, nơi bạn có thể có thêm một số thông tin bổ sung về chủ đề này.
Và nếu bạn thực sự muốn tìm hiểu và khám phá một số nội dung thú vị ở đây, thì có một bài báo khác mà bạn
có thể quan tâm.
Nó được gọi là Delving Deep into Rectifier, vượt qua hiệu suất cấp 11 của con người về phân loại hình ảnh và mạng.
Và ở đây, các tác giả tới đây và những người khác từ Microsoft Research, họ đề xuất một loại hàm
đơn vị tuyến tính chỉnh lưu khác.
Họ đề xuất hàm tuyến tính được điều chỉnh tham số, bạn thấy ở đây bên phải và họ lập
luận rằng nó mang lại kết quả tốt hơn mà không làm giảm hiệu suất.
Rất thú vị, hãy đọc nếu bạn muốn tìm hiểu sâu hơn về chủ đề này, và đó là tất cả cho ngày hôm nay.
Layer mới thực sự khá đơn giản, khá đơn giản, chỉ cần áp dụng chức năng Rectifier.
Và tôi mong được gặp bạn lần sau.
Cho đến lúc đó, hãy tận hưởng việc học sâu.