Những gì Allison nên biết.
Internet là gì?
Internet là mạng máy tính khổng lồ.
Một cái đang trở nên thực sự lớn bây giờ.
Ý bạn là gì, đó là.
Làm thế nào để một.
Bạn viết gì cho nó?
Thích thư?
Không.
Được rất nhiều người sử dụng và giao tiếp.
Tôi đoán họ có thể giao tiếp với các nhà văn và nhà sản xuất của NBC.
Alison, bạn có thể giải thích Internet là gì không?
Điều đó thật tuyệt vời làm sao?
Chỉ hơn 20 năm trước, mọi người thậm chí còn không biết Internet là gì.
Và ngày nay chúng ta thậm chí không thể tưởng tượng cuộc sống của mình mà không có nó.
Chào mừng bạn đến với khóa học học sâu từ A đến Z.
Tên tôi là Kiera Ramco và cùng với người đồng hướng dẫn, đang tụ tập trên Pontymister.
Chúng tôi rất vui mừng khi có bạn tham gia và hôm nay chúng tôi sẽ cung cấp cho bạn tổng quan
nhanh về học sâu là gì và tại sao nó lại được ưa chuộng ngay bây giờ.
Vậy hãy bắt đầu.
Tại sao chúng ta lại xem clip đó?
Và bức ảnh này là gì ở đây?
À, clip đó là của năm 1994.
Đây là một bức ảnh của máy tính từ năm 1980.
Và lý do tại sao chúng ta nghiên cứu sâu hơn về lịch sử một chút là bởi vì mạng nơ-ron, cùng với học
sâu, đã xuất hiện từ khá lâu, và chúng chỉ mới bắt đầu phát triển và tác động đến thế giới
ngay bây giờ.
Nhưng nếu bạn nhìn lại những năm tám mươi, bạn sẽ thấy rằng mặc dù chúng được phát
minh ra từ những năm sáu mươi và bảy mươi, nhưng chúng thực sự bắt kịp xu hướng hoặc trở thành cơn gió trong những năm tám mươi.
Vì vậy, mọi người bắt đầu nói về chúng rất nhiều.
Đã có rất nhiều nghiên cứu trong lĩnh vực đó và mọi người đều nghĩ rằng học sâu hoặc mạng
nơ-ron là thứ mới này sẽ tác động đến thế giới, sẽ thay đổi mọi thứ, nó sẽ giải quyết tất cả các
vấn đề của thế giới.
Và sau đó nó dần chết đi trong thập kỷ tiếp theo.
Vậy chuyện gì đã xảy ra?
Tại sao mạng nơ-ron không tồn tại và không thay đổi thế giới?
Đó là lý do cho điều đó, rằng họ không đủ giỏi, họ không giỏi dự đoán mọi thứ
và không giỏi mô hình hóa và về cơ bản không phải là một phát minh tốt.
Hoặc là có một lý do khác?
Thật ra, lý do và lý do đang ở phía trước chúng ta, đó là thực tế
là công nghệ hồi đó không đạt tiêu chuẩn phù hợp để tạo điều kiện cho mạng nơ-ron.
Để mạng nơ-ron và học sâu hoạt động hiệu quả, bạn cần hai điều.
Bạn cần dữ liệu, và bạn cần nhiều dữ liệu, và bạn cần sức mạnh xử lý.
Bạn cần máy tính mạnh để xử lý dữ liệu đó và tạo điều kiện thuận lợi cho mạng nơ-ron.
Vì vậy, chúng ta hãy xem xét làm thế nào.
Dữ liệu hoặc lưu trữ dữ liệu đã phát triển trong nhiều năm, và sau đó chúng ta sẽ xem xét công nghệ đã phát triển như thế nào.
Vì vậy, ở đây chúng ta đã có ba năm, 1956, 1980, 2017.
Làm thế nào để lưu trữ nhìn lại vào năm 1956?
À, có một ổ cứng, và ổ cứng đó chỉ cần đợi năm lần là có ổ cứng megabyte.
Đó là năm megabyte ngay đó trên chiếc xe nâng có kích thước bằng một căn phòng nhỏ.
Đó là một ổ cứng được vận chuyển đến một vị trí khác trên máy bay.
Và đó là những gì lưu trữ trông giống như vào năm 1956, bạn phải trả một công ty phải trả hai nghìn rưỡi
đô la trong số ngày đó để thuê ổ cứng đó để thuê nó, chứ không phải mua nó để thuê nó trong một
tháng.
Năm 1980, tình hình được cải thiện một chút.
Vì vậy, ở đây chúng tôi có một ổ cứng 10 megabyte với giá 3 nghìn rưỡi vẫn còn rất đắt và chỉ
10 megabyte.
Vì vậy, đó giống như một bức ảnh ngày nay.
Và hôm nay vào năm 2017, chúng tôi đã có thẻ SD 256 gigabyte với giá 150 đô la, có thể vừa với ngón tay của bạn.
Và nếu bạn đang xem video này một năm sau hoặc như năm 2019 hoặc 2025, có lẽ bạn đang cười một mình vì
lúc đó bạn có dung lượng lưu trữ thậm chí còn mạnh hơn.
Nhưng tuy nhiên, vấn đề vẫn tồn tại.
Vì vậy, nếu chúng tôi so sánh những thứ này trên diện rộng và chúng tôi đã xem xét giá cả
và kích thước chỉ là khả năng của bất kỳ thứ gì đang thịnh hành vào thời điểm đó.
Vì vậy, từ năm 1956 đến năm 1980, công suất tăng khoảng gấp đôi và sau đó nó tăng lên khoảng 25.600 lần.
Và độ dài của thời kỳ, nó không khác nhau.
Như vậy từ năm 1956 đến năm 1982, 24 năm từ năm 1980 đến năm 2017 là 37 năm.
Vì vậy, không phải là sự gia tăng nhiều về thời gian, mà là một bước nhảy vọt trong tiến bộ công nghệ.
Và điều đó chứng tỏ rằng đây không phải là một xu hướng tuyến tính.
Đây là một sự phát triển theo cấp số nhân trong công nghệ.
Và nếu chúng ta thêm vào đó để tính đến giá cả và kích thước, nó sẽ tăng lên hàng triệu USD.
Và ở đây chúng ta thực sự có một biểu đồ trên thang logarit.
Vì vậy, nếu chúng tôi vẽ biểu đồ chi phí ổ cứng trên mỗi gigabyte, bạn sẽ thấy nó giống như thế này.
Hiện tại, chúng tôi đang tiến rất nhanh đến con số 0.
Bạn có thể nhận được dung lượng lưu trữ trên Dropbox và Google Drive, không tốn bất kỳ chi phí nào, dung lượng lưu trữ
trên đám mây và điều đó sẽ tiếp tục.
Và trên thực tế, trong những năm qua, điều này sẽ còn tiến xa hơn nữa.
Hiện tại, các nhà khoa học đang xem xét việc sử dụng DNA để lưu trữ.
Và ngay bây giờ nó khá đắt.
Chi phí 7.000 đô la để tổng hợp hai megabyte dữ liệu và sau đó là 2000 đô la khác để đọc nó.
Nhưng kiểu đó nhắc bạn toàn bộ tình huống này của ổ cứng và máy bay, rằng điều này sẽ được giảm
thiểu rất, rất nhanh với đường cong hàm mũ này 10 đến 10 năm kể từ bây giờ, 20 năm nữa,
mọi người sẽ sử dụng DNA lưu trữ nếu chúng ta đi xuống theo hướng này.
Và đây là một số số liệu thống kê xung quanh điều đó.
Vì vậy, bạn có thể khám phá nó thêm, có thể tạm dừng điều này, tạm dừng video nếu bạn muốn đọc thêm một chút về
điều này.
Đây là từ thiên nhiên dot com.
Và về cơ bản, bạn có thể lưu trữ tất cả dữ liệu của thế giới chỉ trong một kilôgam, một kilôgam lưu trữ DNA hoặc bạn
có thể lưu trữ khoảng 1 tỷ terabyte dữ liệu trong một gam lưu trữ DNA.
Vì vậy, đó chỉ là một cái gì đó để cho thấy chúng ta đang tiến bộ nhanh như thế nào và đây là lý do tại sao
học sâu đang phát triển khi cuối cùng chúng ta đang ở giai đoạn mà chúng ta có đủ dữ liệu để đào tạo các mô hình
siêu hay, siêu tinh vi.
Hồi đó vào những năm 80 khi lần đầu tiên nó được phát minh, mọi chuyện không phải như vậy.
Và điều thứ hai chúng ta nói đến là khả năng xử lý.
Vì vậy, ở đây chúng ta lại có một đường cong hàm mũ trên thang log.
Nó không được miêu tả một cách lý tưởng ở đây, nhưng ở bên phải bạn có thể thấy đó là một thang đo nhật ký và đây là cách máy
tính đã phát triển.
Vì vậy, một lần nữa, vui lòng tạm dừng trang trình bày này.
Đây được gọi là Định luật Moore.
Chắc hẳn bạn đã từng nghe về khả năng xử lý của máy tính đã phát triển nhanh như thế nào.
Ngay bây giờ, chúng ta đang ở đâu đó ở đây, nơi một chiếc máy tính trung bình có thể mua
với giá 1000 đô la, suy nghĩ bằng tốc độ não của một con chuột, và từ 25 sẽ là tốc độ của con người hoặc tuổi 23.
Và sau đó vào năm 2050 hoặc 2045, nó sẽ vượt qua tất cả con người cộng lại.
Vì vậy, về cơ bản chúng ta đang bước vào kỷ nguyên của những chiếc máy tính cực kỳ mạnh mẽ, có thể xử
lý mọi thứ nhanh hơn những gì chúng ta có thể tưởng tượng.
Và đó là những gì đang tạo điều kiện cho học sâu.
Vì vậy, tất cả những điều này đưa chúng ta đến câu hỏi học sâu là gì?
Toàn bộ tình huống mạng nơ-ron này là gì?
Điều gì đang xảy ra?
Chúng ta đang nói về cái gì ở đây?
Và chắc hẳn bạn đã từng nhìn thấy một bức tranh, một cái gì đó như thế này, vì vậy chúng ta hãy đi sâu vào nó.
Học sâu là gì?
Quý ông ở đây, Jeffrey Hinton, được biết đến là cha đỡ đầu của Deep.
Học hỏi, và ông đã nghiên cứu về học sâu vào những năm 80.
Và anh ấy đã làm rất nhiều và rất nhiều công việc, rất nhiều bài báo nghiên cứu mà anh ấy đã xuất bản trên Deep Learning.
Hiện anh ấy đang làm việc tại Google.
Vì vậy, rất nhiều điều mà chúng ta sẽ nói đến thực sự đến từ Geoffrey Hinton, và bạn có thể thấy
rất nhiều điều.
Anh ấy có khá nhiều video trên YouTube.
Anh ấy giải thích mọi thứ rất tốt.
Vì vậy, tôi thực sự khuyên bạn nên kiểm tra chúng.
Và vì vậy, ý tưởng đằng sau việc học sâu là xem xét bộ não con người và sẽ có khá nhiều khoa
học thần kinh xuất hiện trong các hướng dẫn này.
Và những gì chúng tôi đang cố gắng làm ở đây là bắt chước cách bộ não con người vận hành.
Và chúng tôi không biết nhiều điều đó.
Bạn không biết mọi thứ về bộ não con người, nhưng số lượng ít ỏi mà chúng tôi biết, chúng tôi
muốn bắt chước nó và tái tạo nó.
Và tại sao lại như vậy?
Chà, bởi vì bộ não con người dường như là một trong những công cụ mạnh mẽ nhất trên hành tinh này để học,
để học, học các kỹ năng thích ứng và sau đó áp dụng chúng.
Và nếu máy tính có thể sao chép điều đó, thì chúng ta có thể tận dụng những gì chọn lọc tự nhiên đã quyết định cho chúng
ta.
Tất cả những loại thuật toán mà nó đã quyết định là tốt nhất.
Chúng tôi sẽ tận dụng điều đó.
Tại sao phải phát minh lại xe đạp?
Đúng.
Vì vậy, chúng ta hãy xem cách này hoạt động ở đây.
Chúng tôi có một số tế bào thần kinh.
Vì vậy, đây là những tế bào thần kinh đã được bôi lên kính và sau đó được nhìn dưới kính hiển vi để
tạo màu.
Và bạn có thể thấy chúng trông như thế nào.
Vì vậy, chúng giống như một cơ thể, chúng có những nhánh này và chúng có như những cái đuôi, v.v.
Vì vậy, bạn có thể nhìn thấy chúng.
Chúng có giống như một hạt nhân bên trong ở giữa.
Và đó về cơ bản đó là những gì một tế bào thần kinh trông như thế nào trong não người.
Có khoảng 100 tỷ tế bào thần kinh hoàn toàn.
Vì vậy, đây là những tế bào thần kinh riêng lẻ.
Đây thực sự là những tế bào thần kinh vận động vì chúng lớn hơn, dễ nhìn hơn.
Nhưng tuy nhiên, có 100 tỷ tế bào thần kinh trong não người và mỗi tế bào thần kinh được kết nối với
khoảng một nghìn người hàng xóm của nó.
Vì vậy, để cung cấp cho bạn một bức tranh, đây là những gì nó trông như thế này.
Đây là một phần thực tế của bộ não con người.
Và đây là tiểu não, là phần não của bạn ở phía sau.
Nó chịu trách nhiệm giống như ma trận và giữ cân bằng của bạn và một số khả năng ngôn ngữ và những thứ tương tự.
Vì vậy, điều này chỉ để cho thấy có bao nhiêu, có bao nhiêu tế bào thần kinh.
Chúng giống như hàng tỷ tỷ tỷ tỷ tế bào thần kinh đều được kết nối trong não của bạn.
Vì vậy, nó không giống như chúng ta đang nói về năm hoặc 500 hoặc 1000 hoặc một triệu.
Đây là hàng tỷ tế bào thần kinh trong đó.
Và đúng vậy, đó là những gì chúng tôi sẽ cố gắng tạo lại.
Vậy làm cách nào để tạo lại điều này trong máy tính?
Chà, chúng tôi tạo ra một cấu trúc nhân tạo gọi là mạng nơ-ron nhân tạo, nơi chúng tôi có các nút hoặc nơ-ron và chúng tôi sẽ có
một số nơ-ron cho các giá trị đầu vào.
Vì vậy, đây là những giá trị mà bạn biết về một tình huống nhất định.
Vì vậy, chẳng hạn, bạn đang lập mô hình một cái gì đó, bạn muốn dự đoán một cái gì đó,
bạn sẽ luôn có một số đầu vào, một cái gì đó để bắt đầu dự đoán của bạn.
Sau đó, đó được gọi là lớp đầu vào, sau đó bạn có đầu ra.
Vì vậy, đó là giá trị mà bạn muốn dự đoán hoặc liệu đó là điều bất ngờ, cho dù đó là một người nào
đó sẽ rời khỏi ngân hàng hoặc ở lại ngân hàng, đây có phải là một giao dịch gian lận không?
Đây có phải là một giao dịch thực sự?
Và như thế.
Vì vậy, đó sẽ là lớp đầu ra.
Và ở giữa chúng ta sẽ có một lớp ẩn.
Vì vậy, như bạn có thể thấy trong não của bạn, bạn có rất nhiều tế bào thần kinh.
Vì vậy, một số thông tin sẽ đến qua mắt, tai, mũi của bạn.
Vì vậy, bạn về cơ bản là các giác quan của bạn.
Và sau đó nó không chỉ đi ngay đến đầu ra mà bạn có.
Kết quả là đi qua tất cả hàng tỷ tỷ tỷ tỷ tế bào thần kinh này trước khi nó đi đến
đầu ra.
Và đây là toàn bộ khái niệm đằng sau nó mà chúng tôi sẽ mô hình hóa bộ não.
Vì vậy, chúng ta cần các lớp ẩn này ở đó trước khi xuất.
Vì vậy, các lớp đầu vào, tế bào thần kinh kết nối với tế bào thần kinh lớp ẩn, tế bào thần kinh lớp ẩn kết
nối với giá trị đầu ra.
Và đây là điều này khá tuyệt.
Nhưng tất cả những điều này là về cái gì?
Học sâu ở đây là ở đâu?
Tại sao nó được gọi là học sâu?
Không có gì sâu trong đây.
Chà, đây giống như một lựa chọn mà người ta có thể gọi là học nông.
Không có nhiều thực sự xảy ra.
Nhưng tại sao nó được gọi là học sâu?
Chà, bởi vì sau đó chúng ta đưa điều này lên cấp độ tiếp theo.
Chúng tôi tách nó ra xa hơn nữa.
Và chúng ta không chỉ có một lớp ẩn.
Chúng tôi có rất nhiều và rất nhiều và rất nhiều lớp ẩn, và sau đó chúng tôi kết nối mọi thứ.
Cũng giống như trong bộ não con người, chúng ta kết nối mọi thứ, mọi thứ liên kết với nhau.
Và đó là cách các giá trị đầu vào được xử lý thông qua tất cả các lớp ẩn này, giống như trong não
người.
Sau đó, chúng ta có một giá trị đầu ra và bây giờ chúng ta đang nói đến việc học sâu.
Vì vậy, đó là những gì mà học sâu là tất cả về một mức độ rất trừu tượng.
Trong các hướng dẫn tiếp theo, chúng ta sẽ mổ xẻ và đi sâu vào học sâu, và khi kết thúc phần
này, bạn sẽ biết học sâu là gì và bạn sẽ biết cách áp dụng nó trong các dự án của mình.
Siêu vui mừng về Khan này.
Chờ để bắt đầu và tôi mong được gặp bạn trong phần hướng dẫn tiếp theo.
Cho đến lúc đó, hãy tận hưởng việc học sâu.