Xin chào và chào mừng bạn trở lại với khóa học về Học sâu ngày hôm nay.
Chúng tôi đang nói về Max pooling và chúng tôi có một số trang trình bày rất thú vị sắp ra mắt và thậm chí là
một bất ngờ đặc biệt ở cuối hướng dẫn.
Vậy hãy bắt đầu.
Câu hỏi đầu tiên là gộp là gì và tại sao chúng ta cần nó?
Vâng, để trả lời câu hỏi đó, chúng ta hãy xem những hình ảnh này.
Trên ba hình ảnh này, chúng ta có một con báo gêpa.
Trên thực tế, nó giống hệt báo gêpa trên hình ảnh đầu tiên.
Hình ảnh được đặt đúng vị trí.
Con báo đang nhìn thẳng vào bạn.
Trên hình ảnh thứ hai, nó bị xoay một chút và hình ảnh thứ ba bị bóp méo một chút.
Và vấn đề ở đây là chúng tôi muốn mạng lưới thần kinh có thể nhận ra báo gêpa trong mọi
hình ảnh này.
Trên thực tế, đây chỉ là một con báo gêpa.
Điều gì sẽ xảy ra nếu chúng ta có nhiều loài báo gêpa khác nhau?
Đây là một con báo gêpa.
Đây là một con báo.
Đây là một con báo khác.
Đây là một con báo gêpa, đây là một con báo gêpa và đây là một con báo gêpa.
Và chúng tôi muốn mạng lưới thần kinh nhận ra tất cả những con báo đốm này là báo gêpa.
Và làm thế nào nó có thể làm được điều đó nếu tất cả họ đều đang nhìn về các hướng khác nhau?
Tất cả chúng đều nằm trong các phần khác nhau của hình ảnh.
Họ giống như khuôn mặt của họ được định vị ở các phần khác nhau của hình ảnh.
Ai đó ở bên tay phải, ai đó ở góc trái, ai đó ở giữa.
Tất cả chúng đều khác nhau một chút.
Kết cấu là một chút khác nhau, ánh sáng là một chút khác nhau.
Có rất nhiều khác biệt nhỏ.
Và vì vậy, nếu mạng lưới thần kinh tìm kiếm chính xác một đặc điểm nào đó, chẳng hạn,
một đặc điểm nổi bật của loài báo gêpa là những giọt nước mắt trên mặt nó chảy ra từ mắt hoặc những bóng tối trông giống như nước
mắt, kết cấu, mô hình đó là đi từ mắt của nó xuống.
Nó có kích thước bằng cái mũi của nó.
Nó trông giống như những giọt nước mắt.
Đó là một đặc điểm khác biệt của báo gêpa.
Nhưng nếu nó đang tìm kiếm đặc điểm mà nó đã học được từ một số loài báo ở một vị trí chính xác hoặc ở hình dạng hoặc hình thức
hoặc kết cấu chính xác, nó sẽ không bao giờ tìm thấy những con báo gêpa khác.
Vì vậy, chúng ta phải đảm bảo rằng mạng nơ-ron của chúng ta có một thuộc tính gọi là Spatial Invariance, nghĩa là nó không quan
tâm đến vị trí của các đối tượng địa lý, không quan tâm đến phần nào của hình ảnh, bởi vì chúng ta đã chụp điều đó được xem
xét với bản đồ của chúng tôi, với po của chúng tôi, với lớp phức hợp của chúng tôi.
Nhưng không cần quan tâm nếu các đối tượng địa lý có hơi nghiêng một chút, nếu các đối tượng địa lý có kết cấu hơi khác một
chút, nếu các đối tượng địa lý gần hơn một chút hoặc nếu các đối tượng địa lý xa hơn một chút so với tương đối với
nhau.
Vì vậy, nếu bản thân đối tượng có một chút méo mó, mạng nơ-ron của chúng ta phải có một số mức độ linh hoạt để
có thể vẫn tìm thấy đối tượng đó và đó là tất cả những gì về tổng thể.
Vì vậy, chúng ta hãy xem xét cách hoạt động của gộp.
Đây là bản đồ tính năng của chúng tôi.
Vì vậy, chúng tôi đã thực hiện tích chập của mình và chúng tôi đã hoàn thành phần đó và bây giờ chúng tôi đang làm việc với lớp tích
chập.
Bây giờ chúng ta sẽ áp dụng gộp.
Vì vậy, làm thế nào nó hoạt động?
Chúng tôi sẽ áp dụng tổng hợp tối đa.
Có một số kiểu gộp khác nhau có thể áp dụng là gộp chung, gộp tối đa, một số gộp và chúng tôi sẽ
bình luận về những kiểu đó ở cuối hướng dẫn này.
Nhưng hiện tại chúng tôi chỉ đang áp dụng tổng hợp tối đa.
Vì vậy, chúng tôi lấy một hộp có hai x hai pixel như vậy và lặp lại, nó không nhất thiết phải là hai x hai.
Bạn có thể chọn bất kỳ kích thước của hộp.
Và một lần nữa, chúng tôi sẽ nhận xét về điều đó vào cuối thời gian dùng thử và bạn đặt nó ở
góc trên cùng bên trái và bạn tìm thấy giá trị lớn nhất trong ô đó.
Và sau đó bạn chỉ ghi lại giá trị đó và bạn bỏ qua ba giá trị còn lại.
Vì vậy, trong hộp của bạn, bạn có bốn giá trị, bạn chỉ bỏ qua ba giá trị, bạn chỉ giữ một giá trị tối đa, trong trường
hợp này là một giá trị.
Sau đó, bạn di chuyển ô của mình sang bên phải một bước, bạn chọn lại bước một lần nữa.
Vì vậy, ở đây chúng tôi chọn một trong hai bước và đó là những gì bạn thường chọn.
Bạn có thể chọn một sải chân, bạn có thể chọn.
Vì vậy, có các hộp chồng lên nhau.
Bạn có thể chọn bất kỳ kiểu sải chân nào mà bạn thích, thậm chí là ba sải chân nếu bạn muốn.
Nhưng chúng tôi đang chọn một trong hai bước ở đây, và đó là những gì thường được sử dụng.
Và sau đó bạn lặp lại, lặp lại quá trình.
Bạn ghi mức tối đa ở đây.
Nếu bạn vượt qua và không thành vấn đề, bạn cứ tiếp tục làm những gì bạn đang làm.
Vì vậy, bạn vẫn ghi giá trị lớn nhất ở đây, không ở đây, tối đa là bốn ở đây tối đa là hai
ở đây tối đa là 10102 và sau đó là một.
Vì vậy, như bạn có thể thấy, một vài điều đã xảy ra.
Trước hết, chúng ta vẫn có thể bảo toàn các tính năng, phải không?
Các số tối đa mà chúng đại diện bởi vì chúng ta biết cách hoạt động của lớp tích chập.
Chúng tôi biết rằng các số lớn nhất hoặc bit lớn trong bản đồ đối tượng địa lý của bạn mà chúng đại diện cho nơi bạn
thực sự tìm thấy điểm tương đồng gần nhất với đối tượng địa lý.
Nhưng bằng cách gộp các tính năng này lại, trước hết, chúng tôi loại bỏ 75% thông tin.
Đó không phải là tính năng cũng không phải là những thứ quan trọng mà chúng tôi đang tìm kiếm vì chúng tôi đang bỏ
qua ba pixel trong số bốn pixel, vì vậy chúng tôi chỉ giữ lại 25%.
Và sau đó cũng bởi vì chúng tôi đang sử dụng tối đa các pixel hoặc các giá trị mà chúng tôi.
Do đó, chúng tôi sẽ tính đến bất kỳ sự biến dạng nào.
Vì vậy, ví dụ, hai hình ảnh, ví dụ, những giọt nước mắt của con báo gêpa.
Trong một hình ảnh có một chút ở bên trái hoặc một chút được xoay sang bên trái.
Và một cái khác.
Có một chút và có cách chúng được cho là như thế nào hoặc chúng ta thích như thế nào nếu chúng ta
lấy một cái làm cơ sở và sau đó cái kia xoay sang trái, tính năng gộp chung sẽ giống hệt
nhau.
Vì vậy, bạn có thể thấy ở đây nếu chúng ta đang nói về những kẻ gian lận, cổ vũ.
Sau đó, hãy nói rằng đây là bốn và đây là nơi nó đã ở đây.
Sau đó, nếu nó được xoay một chút.
Vì vậy, ví dụ, bốn kết thúc ở đây, sau đó khi chúng tôi thực hiện gộp chúng tôi vẫn sẽ nhận được cùng một bản
đồ đối tượng địa lý được gộp chung.
Và đó là nguyên tắc đằng sau nó.
Đó là một lời giải thích rất thô, một lần nữa, giải thích trực quan, nhưng đó là điểm chung của
việc chúng tôi vẫn có thể bảo toàn các tính năng và hơn thế nữa là giải thích cho các biến dạng có thể có của chúng về không gian hoặc kết
cấu hoặc các loại biến dạng khác.
Và ngoài tất cả những điều đó, chúng tôi đang giảm kích thước.
Vì vậy, có một lợi ích khác.
Vì vậy, chúng tôi đã bảo tồn các tính năng, chúng tôi đang giới thiệu các tính năng bất biến
trong không gian, chúng tôi đang giảm kích thước xuống 75%, rất lớn, điều này thực sự sẽ giúp chúng tôi về mặt xử lý.
Và hơn nữa, một lợi ích khác của việc gộp chung là chúng ta đang giảm số lượng tham số.
Vì vậy, chúng tôi giảm 75% một lần nữa.
Chúng tôi đang giảm số lượng các tham số sẽ đi vào các lớp cuối cùng của mạng nơ-ron và
do đó chúng tôi đang ngăn chặn việc trang bị quá mức.
Đó là một lợi ích rất quan trọng của việc tổng hợp mà chúng tôi đang xóa thông tin.
Và đó là một điều tốt.
Đó là một điều tốt vì theo cách đó, mô hình của chúng tôi sẽ không thể phù hợp với thông tin đó bởi vì đặc biệt là vì
thông tin đó không liên quan.
Hãy nhớ rằng, giống như ngay từ đầu chúng ta đã nói đến ngay cả đối với con người chúng ta là con
người, điều quan trọng là phải nhìn thấy chính xác các tính năng hơn là tất cả những tiếng ồn khác đang phát ra trong mắt chúng ta.
Điều tương tự đối với mạng nơ-ron.
Họ bỏ qua thông tin không quan trọng không cần thiết, chúng tôi đang giúp ngăn chặn việc trang bị quá mức.
Vì vậy, họ sẽ đi.
Đó là những gì tổng hợp là về.
Và câu hỏi ở đây là tất nhiên, tại sao?
Tại sao Max Pooling, đúng.
Có rất nhiều kiểu gộp khác nhau và tại sao astride lại cố gắng giải thích tại sao kích thước 2 x 2 pixel
lại có nhiều thứ như vậy.
Và trên lưu ý đó, tôi muốn giới thiệu với bạn bài báo nghiên cứu đáng yêu này có tên Đánh giá
hoạt động gộp trong kiến trúc hợp hiến để nhận dạng đối tượng của Dominic Scherrer từ Đại
học Bonn.
Có một liên kết, và cái hay của bài báo này là nó rất, rất đơn giản, rất dễ hiểu.
Vì vậy, nếu bạn chưa bao giờ đọc một bài báo nghiên cứu trước đây, bạn muốn thử xem nó như thế nào?
Đây là một nơi tuyệt vời để bắt đầu.
Nó rất ngắn, chỉ mười trang, rất dễ đọc.
Và thêm vào đó, lợi ích bổ sung là bây giờ chúng ta đã thảo luận về tích chập và tổng hợp, bạn sẽ hoàn toàn
thoải mái với mọi thứ mà họ đang nói đến trong bài báo này.
Và bạn đây là một cách tuyệt vời để thực sự củng cố kiến thức của bạn.
Vì vậy, tôi thực sự khuyên bạn nên kiểm tra tờ giấy này.
Tôi sẽ dành 20 phút để đọc nó và bạn thậm chí có thể bỏ qua phần hai, được gọi là công việc liên quan.
Nếu nó cảm thấy hơi xa vời hoặc xa lạ.
Chỉ cần không đọc phần đó.
Chỉ cần đi thẳng đến từ phần một đến phần ba.
Và một điều mà bạn cần biết về bài báo này, họ nói về một khái niệm được gọi là lấy mẫu phụ trong đó
lấy mẫu phụ về cơ bản là tổng hợp trung bình.
Vì vậy, hãy nhớ cách chúng tôi đã ở đây, chúng tôi đã tận dụng tối đa.
Vì vậy, trong ô vuông của chúng tôi, chúng tôi đã lấy giá trị lớn nhất.
Có một khái niệm được gọi là gộp chung hoặc một số gộp.
Một số tổng hợp bạn chỉ là một số trong những giá trị này lên tổng hợp trung bình hoặc tổng hợp có nghĩa là?
Bạn lấy giá trị trung bình của tất cả những thứ này và lấy mẫu phụ giống như một cách tổng quát của tổng hợp
trung bình.
Đó là một kiểu tiếp cận tổng quát hơn để lấy giá trị trung bình của các giá trị này.
Và bạn có thể đọc thêm một chút về nó trong bài báo, nhưng nếu không, hãy nghĩ nó là tổng số trung bình khi
bạn đang đọc bài báo đó.
Và đó là nơi bạn có thể nhận được một số thông tin bổ sung về chủ đề này.
Và bây giờ chúng ta hãy tóm tắt lại chúng ta đã đi đến đâu?
Vì vậy, có hình ảnh đầu vào của chúng tôi.
Sau đó, chúng tôi áp dụng phép toán tích chập và chúng tôi nhận được lớp tích chập.
Và bây giờ đối với mỗi bản đồ đối tượng mà chúng tôi nhận được, chúng tôi đã áp dụng lớp gộp.
Vì vậy, chúng tôi đã có, chúng tôi đã thực hiện hai bước tích hợp và gộp lại, và bây giờ chúng tôi sẽ làm một điều gì đó rất thú
vị, một điều gì đó thú vị.
Chúng tôi sẽ thử nghiệm điều này.
Vì vậy, đây là ảnh chụp màn hình tôi chụp từ một công cụ do Adam Harley tạo ra từ khi anh ấy còn học tại Đại học Khoa học Máy tính Ryerson và
bây giờ anh ấy đang ở Carnegie Mellon, tôi nghĩ, đang làm tiến sĩ và một công cụ tuyệt
vời.
Vì vậy, chúng ta hãy mở ra.
Hãy xem để bạn có thể tìm thấy nó.
Bạn thực sự không thể tìm thấy nó thông qua Google.
Bạn phải biết URL.
Nó chỉ là khó tìm.
Thông qua Google vì không có văn bản nào ở đây.
SC Chà, chỉ URL này.
CS Dot Ryerson Dossier và cuối cùng là nội dung này.
Và về cơ bản đây chính xác là những gì chúng tôi đang làm.
Nhưng hãy hình dung.
Vì vậy, ở đây bạn cần phải vẽ một số.
Vì vậy, giả sử tôi vẽ số bốn và công cụ này sẽ đặt số bốn ở đây.
Đó là hình ảnh của bạn trong bước đầu tiên của chúng tôi.
Sau đó, đây là bước tích chập, phải không?
Và đây là bước gộp.
Và nhân tiện, gộp chung còn được gọi là downampling.
Vì vậy, gộp và lấy mẫu xuống là những thứ giống nhau.
Vì vậy, bạn có thể thấy nó được áp dụng tích chập, sau đó nó được áp dụng gộp và bạn có thể thấy nó hoạt động chính xác như thế nào.
Vì vậy, bạn có thể xem nó đã áp dụng loại chập nào hoặc loại bộ lọc nào nó áp dụng, chúng trông như
thế nào.
Bạn có thể thấy những tính năng mà nó đang tìm kiếm và sau đó nó được áp dụng, gộp lại, vì vậy nó sẽ giảm kích
thước.
Và bạn có thể thấy ở đây rằng điều này là quan trọng, phải không?
Vì vậy, bạn có thể thấy rằng đây là hình ảnh liên quan và đây là hình ảnh gộp lại và bạn vẫn có thể thấy các tính năng
tương tự.
Nó chỉ là ít thông tin hơn, nhưng tính năng tương tự, phải không?
Các tính năng được giữ nguyên.
Đó là phần quan trọng.
Và hơn nữa, nếu bạn biết, nếu bốn cái của chúng ta giống như xoay một chút sang một bên,
nó vẫn có thể chọn các lớp gộp lại rất giống nhau.
Và sau đó nó có nhiều lớp hơn.
Chúng tôi vẫn chưa nói về điều đó.
Vì vậy, sau đó nó có một lớp tích tụ phức tạp khác ở đây mà chúng ta thực sự sẽ không có, và sau đó nó có một lớp tổng hợp
khác, nhưng về cơ bản nó chỉ lặp lại quá trình tương tự.
Và sau đó, đây là những gì chúng ta sẽ nói sâu hơn trong khóa học là có các lớp được kết
nối đầy đủ, v.v., nhưng bạn chắc chắn có thể chơi với điều đó.
Vì vậy, nếu tôi xóa mà bạn thích, nếu tôi rút ra số bảy, bạn sẽ thấy rằng nó thực sự cho bạn biết dự đoán
có phải đây là số bảy và đoán thứ hai, khả năng thứ hai là ba.
Vì vậy, bạn có thể vẽ cho nó một số điều khó khăn và xem liệu nó có thể chọn được chúng hay không.
Vì vậy, giả sử nếu tôi vẽ một cái gì đó trông giống như một số 0, nhưng nó không phải là một số 0
hoàn thành, nó có nhặt nó lên bây giờ lần này không.
Nó trông giống như một số chín đối với hình ảnh.
Nếu tôi thích kết thúc như vậy thì sao?
Vì vậy, bây giờ nó cho rằng đó là số 0 hoặc số chín và bạn có thể thấy ở đó điều gì đang thắp sáng số 0 hoặc số chín.
Nhưng chúng ta sẽ nói về phần đó sâu hơn.
Hãy làm một cái nữa.
Hãy nói like like tám.
Tôi nghĩ rằng số tám là khá khó khăn cho điều này bây giờ chọn một tám, vì vậy bạn có thể thấy rằng đó là tám.
Và sau đó, nó không còn được nhận ra nữa.
Các điểm dừng có ý nghĩa đối với con người chúng ta, phải không?
Những tính năng này mà nó đang hoạt động, nhưng đồng thời nó cũng nhận ra một cách chính xác rằng đó là một
số tám.
Vâng, vì vậy chắc chắn chơi xung quanh đó.
Bạn có thể vẽ một khuôn mặt cười, xem điều gì sẽ xảy ra sau đó.
Nó trông giống như một số ba đối với công cụ này, bởi vì công cụ này rõ ràng chỉ được đào tạo trên các chữ số
từ 0 đến 9.
Vì vậy, nó phải nhận ra một cái gì đó trong số những cái đó và nó nhận ra ba.
Nó giống như trong cuộc sống khi bạn nhìn thấy một thứ gì đó giống như một loại trái cây mà
bạn chưa từng thấy trước đây, như mãng cầu hay một thứ gì đó.
Và bạn nghĩ rằng nó giống như một quả lê bởi vì bạn chưa bao giờ thực sự nhìn thấy nó trước đây.
Bạn không biết phải phân loại nó như thế nào.
Điều tương tự ở đây.
Vì vậy, nó không thực sự được đào tạo trên khuôn mặt cười.
Và đó là lý do tại sao nó nghĩ đó là một cái cây.
Đó là một ba.
Vậy là xong.
Đó là một công cụ rất mạnh mẽ, mạnh mẽ.
Nó sẽ hữu ích cho bạn để chơi xung quanh nó.
Và trên thực tế, khi bạn đưa chuột lên một pixel pixel, nó sẽ hiển thị cho bạn nơi phát hiện tính năng đã
lấy pixel đó để bạn có thể biết pixel này đến từ đâu.
Và cũng để bạn có thể thấy bộ lọc giống như đi qua hình ảnh như thế nào, chính xác là cách chúng ta đã nói trong
khóa học.
Và ở đây bạn có thể thấy bạn có thể thấy gộp, bạn có thể thấy rằng việc gộp được thực hiện
với việc gộp được thực hiện với một kích thước hình vuông nhỏ là hai x hai.
Và bạn có thể thấy rằng đó là một bước tiến của hai, giống như chúng ta đã thảo luận trong hướng dẫn ngày hôm nay.
Vì vậy, chúng ta bắt đầu, chơi một vòng với điều đó và tôi hy vọng bạn thích phiên hôm nay.
Tôi mong được gặp bạn lần sau.
Và cho đến lúc đó, hãy tận hưởng việc học sâu.