Witam z powrotem na kursie na temat sztucznej inteligencji.
W dzisiejszym tutorialu zajmiemy się dość skomplikowanym samouczkiem o nazwie "Śledzenie uprawnień" i
"krok".
Q learning i to jest coś, co zamierzam wprowadzić w praktyczną stronę rzeczy,
dlatego musimy wyjść z tego tematu i jest to dość złożony temat, więc mamy bardzo interesujące
podejście, aby nas przyspieszyć intuicja za tym.
Więc mam na myśli inne podejście, niż przyzwyczajenie nas do tego prostego spojrzenia i zobaczenia, jak
to działa.
Dlatego chcę dać ci przykład do rozpoczęcia.
Dam wam przykład w tym samouczku, który pokaże moc kwalifikowalności.
I daj nam intuicję za wszystkim.
A jeśli chcesz dalej zagłębić się w cechy kwalifikowalności, dam ci najlepsze miejsce, w którym możesz
o tym przeczytać.
Dam ci odniesienie do książki, ale poza tym.
Tak więc, choć to będzie inne, ponieważ najpierw będziemy to robić, zamiast zagłębiać się
w intuicję, spojrzymy na przykład, a intuicja stanie się oczywista po rozmowie.
I to jest moja nadzieja.
Więc spójrzmy.
Zobaczmy, zobaczmy, czy możemy to zrobić.
Mamy tutaj dwóch agentów, którzy poruszają się w tym samym środowisku i zobaczymy, jak działają te
dwa czynniki.
Najpierw będzie działać z naszym śladem kwalifikowalności.
Drugi będzie pracował z nieczytelnym śladem i miejmy nadzieję, że zobaczymy, dlaczego ten drugi będzie
o wiele potężniejszy od pierwszego.
Więc spójrzmy.
Najpierw przyjrzymy się temu agentowi.
A sposób, w jaki działa, jest dokładnie taki, jak do tej pory omawiany temat głębokiego koła.
Agent podejmie więc krok lub zamierza przenieść ruch działania do nowego stanu.
Dobrze, że otrzymasz pewną nagrodę, to przejdzie przez algorytm lub aktualizację sieci
neuronowej, która uruchamia tego agenta lub działa w umyśle tego agenta.
Więc to jest zasadniczo to, że uczenie się od tego momentu będzie miało nowy krok.
Tak więc od tego nowego stanu podejmie nową akcję w oparciu o to, co jej sieć neuronowa mówi,
że zrobi, że otrzyma nagrody idące w górę i tak dalej i będzie nadal to robić.
To oczywiste, że zrobi to całkiem niezłą robotę i jak widzieliśmy wcześniej od
poprzedniego praktycznego gry Squire do DROs, osiągniemy tutaj całkiem dobre wyniki, ale teraz dodamy nową funkcję.
Teraz ten agent numer dwa, ten facet tutaj, będzie poruszał się w tym samym środowisku.
Co on zamierza wykorzystać czytelność drzew.
I właśnie to oznacza.
To, co on zrobi, to że on podejmie wszelkie kroki, które podejmie w
tym przypadku, że pięć kleszczy zrobi cztery kroki, a dopiero po wykonaniu tych kroków będzie obliczyć całkowitą nagrodę, którą dostał od
tych kroków i będzie przekaż to przez swoją sieć.
Przekaże to poprzez swoją sieć neuronową, która rządzi procesem podejmowania decyzji, a wtedy sieć neuronowa
będzie się z tego uczyć.
Więc który.
Od razu jak Który z nich jest potężniejszy?
Facet, który robi to po prostu krok po kroku i jakby lubił wlepiać w ciemno lub w ciemno i jest
jak OK, więc zrobię krok, by zobaczyć, co się stanie.
Zrób krok, zobacz, co się stanie.
Podjąć kroki.
Co się dzieje.
Facet na górze lub facet, który zajmuje bardzo odważnie Marshę przechodzi cztery kroki z rzędu, a następnie decyduje,
czy to były dobre kroki, czy nie całkiem i dlaczego możesz zobaczyć tutaj lub dlaczego prawdopodobnie masz
poczucie, dlaczego Drugi facet jest lepszy lub jest potężniejszy, ponieważ drugi facet
rzeczywiście wie, co jest na końcu.
Pierwszy facet, kiedy ocenia, czy ten krok jest dobry, czy nie, tylko patrzy na
nagrodę, którą dostaje.
Dlatego kieruje się jedynie nagrodą, jaką daje mu otoczenie.
To samo jest tutaj, gdy kieruje się tylko nagrodą, którą to środowisko daje mu tutaj.
Za każdym razem, gdy jest to jego jedyny rodzaj kompasu, który ma nagrodę, nagrodą jest nagroda.
Podczas gdy on rzeczywiście może ocenić po podjęciu kroków, które może ocenić.
OK, więc dotarłem do mety.
Ta kombinacja kroków była dobra.
Wszystkie były dobre.
Lub O nie, skończyłem w palenisku lub Ohno I.
Zrobiłem to, a kiedy mój samochód nie dotarł do mety, przekroczyłem ścianę z piasku lub przegrałem
grę w los.
A potem decyduje, że cała ta kombinacja kroków jest zła.
I dlatego dla tych kroków, które są wcześniej, ma więcej informacji.
Ma więcej wglądów, jak w bardzo intuicyjnych podejściach.
Znowu jest to o wiele bardziej złożony temat, niż przedstawiamy tutaj.
Ale w intuicyjny sposób, na przykład, jeśli zrobisz ten krok, ten krok ma tylko informacje, które pozwolą ci je uzyskać,
i tutaj otrzymujesz tylko informacje z tej nagrody.
I w tym przypadku w tym przypadku ten sam dokładny krok.
Ma więcej informacji, od których pochodzą informacje.
OK, więc jaki był wynik po czterech krokach, pięciu krokach lub cokolwiek innego.
Tak, tak to właśnie działa i dlaczego nazywa się to zakwalifikowaniem, ponieważ podczas tego procesu nie
tylko patrzy na nagrodę komputerową tego, co się dzieje, a następnie na skumulowaną stratę, a następnie
na wszystko, co jest właściwe.
Ale tak naprawdę istnieje ślad kwalifikowalności jako coś, co nazywa się zaufaniem dla osób niepełnosprawnych.
Jest ślad utrzymywany w algorytmie, który mówi OK, więc jeśli dostaniemy, powiedzmy, że dostaniemy karę, otrzymujemy ujemną nagrodę,
a następnie który z tych kroków najprawdopodobniej kwalifikuje się do tej kary.
Więc nie tylko wiemy, jaki jest ogólnie ten cały wzorzec, czy szkolna
kombinacja kroków, ale zachowujemy także ślad kwalifikowalności, które kroki będziemy aktualizować, jeśli zdobędziemy wszystkich.
Na przykład, jeśli jako negatywna nagroda możemy mieć ślad kwalifikowalności,
który wskazuje nam, że jest to krok, który jest najbardziej odpowiedzialny za to, co otrzymaliśmy
w końcu lub jeśli jest to pozytywna nagroda, możemy ponownie wiedzieć, że algorytm pomaga nam śledzić ten
algorytm kwalifikowalności pomaga nam również śledzić, jaki krok lub jakie działania muszą być uprawnione do aktualizacji na podstawie otrzymanej
nagrody.
I dlatego nazywa się to śladem kwalifikowalności.
I to jest podstawowa intuicja kryjąca się za kwalifikowalnością i mam nadzieję, że te dwa
przykłady tych agentów czynią to dość oczywistym lub całkiem intuicyjnym, podczas gdy te zdolności mogą być tak potężne.
A jeśli tak, jak obiecałbyś, jeśli chcesz zagłębić się dalej w aktualne ślady kwalifikowalności lub krok po
kroku, wspaniała książka, którą możesz znaleźć, nazywa się uczeniem się wzmacniającym.
Wprowadzenie to Richard Sutton Andrew Barto 1998.
Myślę, że są w trakcie tworzenia drugiego wydania lub bardzo krytycznego problemu.
Ale jest to najpopularniejsza lub najbardziej popularna lub najczęściej cytowana książka na temat egzekwowania
prawa, zawierająca niedorzeczną liczbę cytowań.
Myślę, że jak dziesiątki tysięcy, jeśli się nie mylę.
A także rozdział, którego potrzebujesz do tego, to Rozdział 7.
Aby spojrzeć na wybór kwalifikowalności, istnieje cały rozdział poświęcony Rozdziałowi 7.
Możesz przeczytać o tym i idzie na wiele szczegółów.
Wskaźniki kwalifikujące Forward Backward, a także jak integralną różnicę czasową na jednej ręce i na drugim końcu
spektrum mają metody Monte-Carlo pomiędzy użytkownikami, które mają ślady kwalifikowalności rzekome lub link,
aby przejść od różnic czasowych do metod Monte-Carlo.
Bardzo ciekawe przeczytałem wiele zdjęć, które naprawdę doceniłem bardzo intuicyjne wyjaśnienia.
Jest wiele rzeczy, które możesz nauczyć się z tej książki o sztucznej inteligencji i uczeniu
się o wzmocnieniu, ale konkretne ślady kwalifikowalności są jak bardzo dobrym miejscem, do którego należy się udać, to książka o
śladach kwalifikowalności.
Drugie odniesienie na dziś to coś, co pokaże Wam w praktycznych próbach głębokiego uczenia się lub
artykułu badawczego o głębokim umyśle Google dotyczącego metod synchronicznych do głębszego uczenia się
wzmacniania.
Tak, to jest ten papier, który jest papierem, który A-3 zobaczy papier, który będziemy dyskutować dalej
w partyturze.
Zbliżamy się do tego.
Jak można się przekonać, jesteśmy bardzo podekscytowani, więc będzie to wyglądało trochę na temat tego,
w jaki sposób wprowadzili ślady kwalifikowalności w tym dokumencie, więc zamierzamy użyć tego bardziej do praktycznej
strony rzeczy.
Miejmy nadzieję, że podobał Ci się dzisiejszy samouczek i wiesz, że czujesz się lepiej ze śladami kwalifikowalności i nie
mogę się doczekać, aby zobaczyć cię następnym razem.
Do tego czasu ciesz się.