WEBVTT 00:00.330 --> 00:07.100 Bună ziua și bun venit la cel de-al treilea modul de discurs al mării H-3 ca agenți critici activi sincroni. 00:07.200 --> 00:11.850 Și acum pot să spun cu adevărat bun venit în învățarea mașinilor de stat. 00:12.180 --> 00:16.560 Ei bine, atunci spun acest lucru pentru că poate că unii dintre voi vor lua cursul într-unul 00:16.590 --> 00:20.080 până la doi ani, dar la vremea asta spun acest lucru în 2017. 00:20.190 --> 00:25.410 Ei bine, sunteți pe punctul de a lucra la unul dintre cele mai puternice modele de inteligență artificială, dar există 00:25.410 --> 00:28.780 mai multe lucruri care nu sunt singurele lucruri speciale despre acest modul. 00:28.830 --> 00:35.280 Nu numai că vom lucra cu cel mai puternic model, dar vom implementa 00:35.280 --> 00:42.630 cea mai puternică versiune a acestui algoritm, cea mai optimizată versiune implementată a modelului A-380, 00:42.990 --> 00:47.030 deoarece vă puteți imagina că există inima algoritmul. 00:47.190 --> 00:50.880 Dar, atunci există o mulțime de instrumente pe care le putem folosi pentru a optimiza întregul model. 00:50.970 --> 00:55.110 Și nu numai că veți avea inima drumului prin algoritm, dar veți 00:55.110 --> 00:59.450 implementa, de asemenea, toate aceste instrumente în jurul acestuia pentru a face modelul super-puternic. 00:59.670 --> 01:01.490 Și de ce am vrut să fac asta? 01:01.590 --> 01:03.110 Ei bine, asta din două motive. 01:03.120 --> 01:06.210 Primul motiv este că ne apropiem de sfârșitul discursului. 01:06.210 --> 01:10.770 Acest curs este cel mai înalt nivel dintre cele trei cursuri și se vor ocupa de AI. 01:10.870 --> 01:14.340 Acum cred că sunteți pregătit să-l duceți la nivelul următor. 01:14.400 --> 01:19.230 Iar al doilea motiv este că rezolvarea pauzei este de fapt o provocare superbă. 01:19.230 --> 01:24.270 Amintiți-vă în filmul promoțional pe care am vrut să-l dezvăluiți ca primul modul pentru că am crezut că 01:24.270 --> 01:29.410 va fi cea mai ușoară provocare, dar deloc a fost cea mai dificilă provocare și modul mai ușor de 01:29.400 --> 01:36.060 a explica acest lucru este că, bine în doom, monștrii sunt mari și, prin urmare, mai ușor de detectat și, prin urmare, mai ușor 01:36.060 --> 01:37.620 de ucis sau de evitat. 01:37.830 --> 01:44.160 Dar în Breakout avem această minge mică pe care ochiul trebuie să o detecteze și pentru că ochiul va avea în 01:44.160 --> 01:44.810 continuare ochi. 01:44.800 --> 01:47.670 Voi încă vom face o învățătură profundă de întărire. 01:47.910 --> 01:53.340 Deci, de fapt, este foarte provocator și de aceea nu avem de ales. 01:53.340 --> 01:59.080 Cea mai puternică versiune a lui A-3 văd acum de ce spun că aceasta este cea mai puternică versiune. 01:59.120 --> 02:00.350 Pentru un motiv anume. 02:00.350 --> 02:05.270 Nu e ca și cum aș spune că voi pune în aplicare cea mai puternică versiune a modelului A-380. 02:05.460 --> 02:06.420 Nu e asta. 02:06.540 --> 02:11.550 Motivul pentru care spun acest lucru este că versiunea pe care urma să o implementăm și acest 02:11.550 --> 02:18.090 lucru este ceva special pe care o vom face este de fapt o versiune a celor 3 C care a fost implementată de 02:18.240 --> 02:23.910 cineva, dar corectată de unul dintre cei mai influenți oameni in masina de invatare astazi care se intampla sa fie 02:23.910 --> 02:24.810 creatorul tortei Pi. 02:24.810 --> 02:27.330 Numele lui este Dan Pashka. 02:27.710 --> 02:28.840 Acum ce vom face. 02:29.040 --> 02:35.430 Vom continua să ajungeți pe pagina principală și dacă vă deplasați în jos până la capăt până jos veți 02:35.790 --> 02:40.700 vedea echipa în care echipa se luptă cu creatorii de arc și cu contribuitorii. 02:40.800 --> 02:45.500 Și puteți vedea aici că torța mea este în prezent menținută de Adam Pascal. 02:45.690 --> 02:51.340 Aceasta este persoana pentru care ar trebui să fim foarte recunoscători pentru că există foarte puține versiuni 02:51.340 --> 02:57.120 ale celor trei lucruri care funcționează bine pentru breakout și a corectat unul din codul lui A-380 pentru 02:57.120 --> 02:58.470 a face munca perfectă. 02:58.470 --> 03:04.320 Deci, Pascal nu numai că se întreține până la, dar și el este unul dintre creativi prin torță și, așa cum am spus 03:04.320 --> 03:08.090 astăzi, el este în topul celor mai influenți 10 oameni de învățare în mașină. 03:08.190 --> 03:13.500 Așadar, putem avea încredere că versiunea pe care urmează să o implementăm este probabil cea mai puternică versiune 03:13.500 --> 03:15.050 A-3 a se vedea astăzi. 03:15.240 --> 03:17.580 Și deci ce este această implementare. 03:17.760 --> 03:23.100 Ei bine, inițial vine de la un dezvoltator numit istorie iliacă. 03:23.220 --> 03:29.400 Și așa cum puteți vedea că a făcut-o spre implementarea lui A3 C care inițial nu funcționa bine pentru 03:29.400 --> 03:32.950 breakout, dar apoi cineva a făcut o solicitare de tragere. 03:32.970 --> 03:39.170 Dacă mergem la cererea de piscină aici, putem vedea în cel mai apropiat că mergem, avem soluția cea 03:39.170 --> 03:41.030 mai curată pentru problema Gretchen. 03:41.190 --> 03:43.810 Și ghiciți de cine a fost făcută această cerere de tragere. 03:43.950 --> 03:51.060 A fost făcută de Adam Pashka creat de torță și care a rezolvat problema care face ca A-380 să funcționeze 03:51.060 --> 03:54.720 foarte bine la ieșirea fără să aștepte zile și zile. 03:55.200 --> 04:01.950 Și, prin urmare, dacă revenim la această implementare, putem vedea cei patru contribuabili ai acestei implementări cele 04:01.950 --> 04:02.900 mai puternice. 04:03.180 --> 04:04.590 Și aici sunt contribuabili. 04:04.590 --> 04:10.380 Așadar, vă mulțumesc foarte mult tuturor și vă putem spune o mare și deosebită mulțumire pentru pasiunea 04:10.380 --> 04:12.810 lui Adam pentru rezolvarea problemei partajării firului. 04:12.810 --> 04:16.590 El a început prin a face o furculiță, care este o subdiviziune a codului. 04:16.590 --> 04:20.970 Apoi a făcut o cerere de tragere către dezvoltator pentru a rezolva această problemă. 04:20.970 --> 04:26.790 Nu a existat un cod care este o problemă mare și de împărțire și așa el a devenit un 04:26.790 --> 04:32.850 important contribuitor al acestei implementări făcând totul să funcționeze perfect și credeți-mă că am făcut o mulțime de experimente cu 04:33.000 --> 04:36.390 privire la modelul AC DC, implementat de fapt cinci modele. 04:36.390 --> 04:41.430 Am fost chiar disperat că nu a funcționat bine, așa că am făcut propria mea pauză și mizerie pentru a avea o 04:41.550 --> 04:44.300 minge mai mare și, prin urmare, o pre-procesare mai ușoară a imaginilor. 04:44.340 --> 04:48.780 Apoi m-am întors în ochi și mi-am făcut propria implementare a modelului 3C. 04:48.860 --> 04:53.280 Dar a fost nevoie de vârste pentru a alerga și a se antrena pe un calculator destul de puternic. 04:53.460 --> 04:55.190 Așadar, am vrut să găsesc o cale mai bună. 04:55.380 --> 04:56.990 Și așa este. 04:57.150 --> 05:03.460 Implementarea foarte puternică a lui Silmaril, al cărei unul dintre cei mai importanți contribuitori este Creatorul 05:03.530 --> 05:04.530 prin torță. 05:04.580 --> 05:11.270 Deci, ceea ce vom face în acest Mudgal cred că sunteți gata pentru asta este implementarea acestui cod 05:11.270 --> 05:13.980 de nivel superior pentru implementarea lui A3. 05:14.060 --> 05:19.720 Deci, vom reimplementa toate aceste fișiere și vom insista în majoritatea cazurilor asupra fișierelor care sunt direct legate 05:19.720 --> 05:24.650 de cele trei C toate părțile direct legate de cele pe care le vedem. 05:24.680 --> 05:27.800 Vom implementa linia de cod pe linie pentru celelalte. 05:27.820 --> 05:33.290 Voi extinde codul, astfel încât ar trebui să fim capabili să abordăm acest lucru fără a găsi prea copleșitoare, 05:33.850 --> 05:36.150 astfel încât să mergem un modul special. 05:36.170 --> 05:42.220 Nu numai că lucrăm într-un model de AI de ultimă generație, dar și la momentul în care vorbesc și sunt 05:42.230 --> 05:45.730 foarte încrezători că implementăm cea mai puternică versiune a modelului A-380. 05:46.070 --> 05:47.050 Deci hai sa o facem. 05:47.090 --> 05:51.740 Să ne întoarcem la Python și să începem toate astea înainte de a începe. 05:51.770 --> 05:54.800 Vom face acest lucru cel mai simplu pe care îl vom face în acest modul. 05:54.830 --> 05:56.870 Setarea directorului de director de lucru. 05:57.080 --> 06:02.660 Să mergem la AI-ul nostru este faptul că modulele dosar șablon vom rula cele mai provocatoare unul. 06:02.930 --> 06:03.830 Și acolo mergem. 06:03.830 --> 06:05.070 Toate fișierele noastre. 06:05.240 --> 06:09.130 Deci, să vedem care sunt direct legate de A-3 C. 06:09.200 --> 06:11.610 Și să vedem care dintre ele vom implementa. 06:11.690 --> 06:14.770 Linia de linie și concentrarea energiei noastre. 06:14.840 --> 06:16.450 Deci, există de fapt două fișiere. 06:16.490 --> 06:22.250 Primul nu este tot drumul care este acesta, așa că vom re-implementa linia de linie, pentru că asta e cel 06:22.250 --> 06:25.450 mai important care este locul unde facem A-3 să vedem creierul. 06:25.550 --> 06:30.590 Și cel mai important lucru pe care trebuie să-l înțelegem aici este că vom avea un model 06:30.590 --> 06:34.340 comun care va avea aceleași date despre greutățile pentru actor și critic. 06:34.370 --> 06:39.490 Aceasta este o parte din această versiune specială a A-3, a se vedea modelul partajat cu datele 06:40.130 --> 06:43.890 partajate greutățile și apoi celălalt cel mai important fondator de implementat. 06:43.910 --> 06:51.270 Linia de linie este păsările sălbatice instruite, desigur, imediat după ce am făcut creierul vederii. 06:51.500 --> 06:55.940 Ei bine, trebuie să-i antrenăm și îi antrenăm pe trenul ăsta, pe care eu, soția mea. 06:56.180 --> 07:02.720 Deci, acesta este un cod destul de lung, dar acesta este cel care conține inima modelului 07:02.720 --> 07:08.900 A3 C, care va trebui să-l reducă pe Lass în SUA, care este ultimul legat 07:09.230 --> 07:14.640 de predicțiile criticului și ultima politică care este ultima legate de predicțiile atomului. 07:14.840 --> 07:20.570 Deci, acest lucru este destul de nou, dar știți că asta pentru că A-380 au lucrat practic cu mai mulți 07:20.810 --> 07:23.210 agenți, fiecare având copia proprie a mediului. 07:23.330 --> 07:28.790 De asemenea, avem acest strat complet conectat care scoate o valoare a funcției și care este în esență o 07:28.790 --> 07:31.540 viziune comună a ceea ce se întâmplă în joc. 07:31.550 --> 07:34.130 Deci, acest lucru va fi destul de dificil. 07:34.220 --> 07:40.840 Așa că asigurați-vă că sunteți în formă bună și pentru ceilalți oameni Ei bine le voi explica în detaliu, dar nu prin 07:40.880 --> 07:45.810 a petrece prea mult timp pe ele crede-mă că vrei să-ți păstrezi energia pentru asta. 07:45.830 --> 07:47.110 Acest lucru va fi deja foarte mult. 07:47.150 --> 07:55.490 Deci, acești semeni sunt furnici ducci Y, care este o îmbunătățire a mediului de fitness datorită universului. 07:55.490 --> 08:00.920 Deci, practic ceea ce îmbunătățește mediul în sala de sport cu univers și care ne 08:00.920 --> 08:07.150 permite să avem o pre-procesare optimă a imaginilor și, de asemenea, să normalizăm toate valorile mediului, cum 08:07.160 --> 08:10.160 ar fi intensitățile culorilor sau intensitățile de recompense. 08:10.280 --> 08:15.710 Ei bine, toate valorile mediului în care acest fișier normalizează toate aceste valori și, de asemenea, asigurați-vă că avem 08:15.800 --> 08:18.110 suficiente pentru a nu menține prelucrarea imaginilor. 08:18.170 --> 08:24.720 Și după cum puteți vedea acest lucru este luat de la această deschidere I a lua pagina ei în cazul în care povestea universului agent. 08:24.830 --> 08:28.870 Deci, nu vom petrece prea mult timp în acest caz, de fapt ne oprim aici. 08:28.910 --> 08:34.390 Trebuie doar să înțelegeți că am îmbunătățit mediul în sala de sport cu universul pentru a obține 08:34.390 --> 08:36.390 suficient pentru a nu procesa imaginile. 08:36.440 --> 08:39.900 Restul nu este atât de important pentru PC. 08:40.340 --> 08:45.190 Apoi avem principiul că P Y este codul care va executa întregul lucru. 08:45.200 --> 08:50.190 Deci știi codul care va rula totul creând creierul tren creierul și ieșirea video. 08:50.210 --> 08:53.810 Și asta pentru că va rula toate aceste coduri aici. 08:54.350 --> 08:57.700 Așa că am mai văzut unde se afla atunci. 08:57.710 --> 09:00.130 De ce este optimizatorul special. 09:00.380 --> 09:06.240 Acesta este în esență optimizatorul de atomi, dar adaptat acestui model comun pe care îl implementăm. 09:06.260 --> 09:09.290 Așa că vom explica tot acest cod într-un tutorial. 09:09.290 --> 09:11.490 Atunci avem testul W - de ce. 09:11.530 --> 09:13.610 Este de fapt ultima pentru a testa. 09:13.610 --> 09:17.410 Q De ce este în esență fișierul care va implementa un agent de testare. 09:17.510 --> 09:22.440 Deci, există un agent care va juca pauză fără actualizarea modelului. 09:22.490 --> 09:24.740 Deci, este total independent de antrenament. 09:24.860 --> 09:27.460 Și vom extinde și acest cod în detaliu. 09:27.530 --> 09:33.710 Pe lângă vestea bună este că veți avea două coduri un cod care va fi codul pe care îl implementăm 09:33.710 --> 09:36.080 în tutoriale, dar fără nici un comentariu. 09:36.290 --> 09:40.580 Și unul din codul care este unul din folderul de cod cu toate codurile îl comanda. 09:40.700 --> 09:44.060 Deci, cu toate aceste șase faulturi bine conectate. 09:44.180 --> 09:49.520 Deci, dacă vă pierdeți ceva și tutorial Ei bine, veți putea să vă uitați la conținutul codului pentru a 09:49.640 --> 09:51.010 înțelege ce se întâmplă. 09:51.200 --> 09:52.130 Așa că mergem. 09:52.130 --> 09:54.500 Sper că sunteți încântat să implementați acest lucru. 09:54.500 --> 09:59.020 Sunteți într-adevăr la vârful muntelui acum sau chiar sub partea de sus pentru că trebuie să înțelegeți 09:59.120 --> 10:01.160 mai întâi acest lucru, dar ajungeți acolo. 10:01.190 --> 10:02.910 Deci, ia o bună aerisire de oxigen. 10:03.020 --> 10:05.690 Și acolo mergem cu o călătorie extraordinară. 10:05.720 --> 10:06.870 Până atunci, bucurați-vă.