Hola y bienvenidos al curso de inteligencia artificial.
En el tutorial de hoy nos divertiremos.
Vamos a echarle un vistazo y la inteligencia artificial atraviesa realmente ese laberinto del que hemos estado hablando
durante tanto tiempo y va a utilizar el aprendizaje de matar para navegar en su camino y encontrar la salida y
veremos qué le sucede a la q los valores iban a pasar con la política, etc.
Así que echemos un vistazo.
Vamos a utilizar algunos materiales amablemente proporcionados por la Universidad de Berkeley.
Entonces, si vas a una, no solo Birk the E R K E L E ¿Por qué no vuelves a ese enlace?
Verá este sitio web y escuchará lo que vamos a ver es la necesidad de ir
a proyectos de PacMan.
Creo que los proyectos de Pacman y aquí, si te desplazas hacia abajo y los miras en el primer aprendizaje, esto es con lo que
estamos trabajando.
Entonces aquí puedes descargar el archivo zip.
Así que eso es si quieres.
Entonces, no es necesario, esto es que no vamos a ir juntos a través de una solución en esta versión
de prueba para que sepas de dónde viene todo esto porque nos gusta mucho.
Realmente lo apreciamos.
UC Berkeley ha puesto a disposición estos materiales.
Pero si desea experimentar con esto por su cuenta.
Solo ten en cuenta que esto no es parte.
No va a ser parte de nuestros cursos como parte del curso de Berkeley.
No estoy seguro de cómo funciona con fines ilustrativos, pero si desea experimentar con esto,
puede encontrarlo aquí, el archivo zip y todas las instrucciones anteriores.
que quería mostrarles es que aquí tenemos la información de licencia, así que esto es lo que quiero decir.
Y vamos a entrar en Python de inmediato y lo primero
Somos muy afortunados de que hayan dicho que somos libres de utilizar o ampliar estos proyectos con fines
educativos siempre que sepa distribuir soluciones de publicación que no vamos a hacer.
Usted conserva este aviso que tenemos y usted proporciona un arzobispo claro para UC Berkeley, incluido un enlace al
que también tenemos acceso.
Entonces, una vez más, si desea obtener más información, consulte el enlace.
Puedes echar un vistazo.
Y muchas gracias a todas estas personas que han trabajado en este proyecto así que aquí está el mundo de la cuadrícula.
Vamos a estar trabajando si hay una solución allí.
Tendría que hacerlo para que funcione, tendría que resolverlo usted mismo o posiblemente encontrar una solución.
Tal vez algunas de tus personas, alguien que conoces, te ayuden con eso.
Si de nuevo quieres lo que quieres, no tienes que hacerlo porque ahora solo lo vamos a ver
en esta pantalla.
Entonces, después de que hemos creado todos esos archivos, podríamos simplemente lanzarlo aquí.
Entonces, hay algunos parámetros que están involucrados en este mundo entero y no vamos a mostrar
cómo es si lo lanzamos.
Intentemos iniciarlo en modo manual.
Así que si voy menos uno de estos panoramas son manuales, así que puedo ordenar a su agente de control.
Así que aquí puedes ver todas las cuadrículas para que pueda subir de manera que puedas ver que está tomando medidas comenzando
y comenzó en los estados donde yo estaba.
Y luego viste que presioné, tomé acción Norf y la primera vez terminé en cero una vez
que subí.
Pero la segunda vez que tomé medidas Norf y yo terminamos en el mismo triste no se movió.
Así que algo sucedió, sabes que ocurrió la aleatoriedad. Fui a la izquierda o a la derecha.
Y por defecto los parámetros están establecidos.
Puede ver aquí de forma predeterminada que están configurados exactamente con lo que discutimos y con qué frecuencia resultan realmente
en una dirección involuntaria.
20 por ciento de las veces, a 10 por ciento a la izquierda, a la derecha.
Entonces, si voy y digo que subí, voy directo.
Me fui ahora mismo no sucedió.
Derecha nuevamente y derecha y estoy terminado.
hacer clic de nuevo para salir de esta salida final, así que simplemente haga clic de nuevo y habrá terminado.
Pero en esta implementación debe
Ese es un estado terminal para que podamos ejecutar nuestro manual.
Puedes ver que si voy a la derecha, a la derecha, a la izquierda.
Entonces, aquí lo que vimos anteriormente es que el agente no iría directo hacia la derecha.
¿Cuál es el punto de subir si hay una posibilidad de entrar al pozo?
Entonces, veamos qué haría el agente.
Iría hacia la izquierda y hacia el oeste aquí iría hacia el oeste.
Y ves que hice clic a la izquierda, pero subió y aquí haría clic derecho.
Y termino en la etapa final de salida y ves que la recompensa de Dios es igual a uno.
Así que eso es lo que parece de forma manual.
Ahora conectemos una IA a esto y dejemos que funcione.
Así que hagamos una H aquí y agreguemos un poco de Brandner.
Así que déjame ver lo que escribí aquí, así que con suerte puedes ver por el mundo de la cuadrícula por qué aquí,
menos nuestros medios.
Esa es la recompensa por vivir.
Así que tengo dos de ellos, así que probablemente debería eliminar este.
Entonces, menos k es cuántas iteraciones.
Eso es demasiadas iteraciones.
Hagamos menos. Hagamos como 10 iteraciones deberían ser suficientes.
Menos un es agente.
Qué tipo de agente no quiere hacer honor e imagen y algún valor o una Q.
P Entonces, quiero una Q.
El Q agente de aprendizaje que hace esto menos s es la velocidad s, así que es una fuerza demasiado grande
que solo usa la velocidad máxima por ahora, menos R es una penalización viviente, por lo que por defecto es cero.
Así que recuerde desde el principio reiniciar 0 penitencias de vida así que vamos a llamarlo también 0
0 y puede simplemente eliminar este parámetro y D es lo que es d descuento.
Así que solo tengo en cuenta el factor, así que mantengamos el punto cero y
sea muy similar a lo que comenzamos en esta sección del curso, así que corramos de manera muy rápida otra vez, todo muy bien
para que pueda ver cómo está explorador.
Hasta el momento, ha dado negativo tres veces y se puede ver cómo se actualizan los valores
q en estos cuadrados.
Entonces estos son valores clave.
Son algo así como cero.
Puedes ver ahora el valor Q.
Entonces aprendió que este es un implemento un poco diferente porque una vez que llegas a la etapa
final debes salir de ella.
Solo tiene que hacer clic en un botón más para salir.
Y entonces está muy cerca de uno pero no exactamente uno.
poco a poco el tipo de manos cristalizadas es un punto que un ex colega logra llegar a algún lado, pero están tan
lejos que son una especie de ceros porque no tiene suficiente información para entender lo que está pasando
Pero al mismo tiempo se puede ver que aquí se conoce el valor
OK, veamos qué pasa aquí.
Explorando explorar explorando lo que va a suceder.
Bueno, fue un tiempo.
Y obtenemos esto un poco de azar involucrado aquí.
Entonces hay ese bueno algunas veces.
Ahora solo obtiene 10 iteraciones.
Entonces él tiene que aprender rápido Ok, te necesito allí.
Veamos qué está pasando.
Venga.
Sal de ese laberinto ya.
Y sí, 10 episodios tan promedio que resulta eso.
Eso no está realmente interesado en eso.
Entonces aquí veamos.
Nunca he visto suficiente de un clic.
Derecha.
Aquí vamos.
Entonces puedes ver que esta es la política que se le ocurrió.
Incluso a través de solo 10 episodios ya tiene pulso.
Subiré una bomba y aquí bajaré aquí. Voy a bajar aquí. Entraré en
la pared y luego rebotaré. Estamos aquí.
Eso es muy bonito.
DE ACUERDO.
Entonces, aumentemos la velocidad.
¿Cuál fue el parámetro s allí?
Y eso es como doble anarquía.
Eso es cuádruple la velocidad y aumentemos la cantidad de iteraciones, digamos 20 para racionar esta vez
y veamos si puede superar un poco más ahora.
Entonces puedes ver que va un poco más rápido.
Y está aprendiendo que está aprendiendo que en realidad no sabes que, de este estado, no hay muchas acciones
buenas en estas acciones que las derechas y rectas no sean tan buenas.
Definitivamente esto definitivamente no fue bueno.
Todavía necesita aprender que desde aquí también es bueno.
Puedes ver que esta acción es bastante buena.
Todo bien.
¿Qué obtuvo él?
DE ACUERDO.
Política tan interesante aquí que decidimos subir.
Simplemente no hay suficiente información.
Entonces, realmente vamos a hacer eso.
Y aumentemos la velocidad a 100 como.
Súper rápido y el número de iteraciones le dará 100 iteraciones esta vez se ejecuta
esa escena como loco rápido y se puede ver que hay muchas iteraciones más. Tiene más
información, más oportunidades para experimentar y construir esta matriz o matriz. estos valores para cada estado
individual.
Él ahora sabe que puedes ver ese punto cero ochenta y nueve.
Qué dijimos en nuestro punto cero 86.
Otra cosa para recordar es que el valor de cualquier estado dado.
Recuerde que la fórmula que teníamos era el máximo de los valores del cubo.
Recuerda esa cosa que se nos ocurre con la fórmula de acceso directo.
Entonces, ¿qué es lo que con el valor en este estado sea el V de esto?
Sería 0. 18.
Porque ese es el más alto de los cuatro aquí el valor de este estado 0. 7 quieres el valor de este
día.
¿Hay un punto sesenta uno y así sucesivamente?
Entonces eso es algo para recordar.
Recuerdo cuando estaba levantado, creo que teníamos como cero punto 86 o algo así, precoz.
Y si vamos el próximo año, simplemente desapareceré o desapareceré nuevamente y esto puede hacer que vuelva.
DE ACUERDO.
Poco a poco lentamente llenando algunos espacios.
Ya veo.
Y también es bastante aleatorio porque no solo el entorno tiene aleatoriedad, sino también la forma en
que explora que la estrella realmente no sabe que la política es que está explorando al azar.
Solo sigue desapareciendo.
No entiendo por qué.
De todos modos, veamos qué pasa si aumenta el número aquí y aquí debería
tomar la misma cantidad de tiempo si la velocidad no tiene un límite.
De acuerdo, es como si tuviera más oportunidades de explorar cosas.
OK, veamos cómo va todo.
Y puedes ver que los valores están convergiendo, suben y bajan dependiendo de que lo sepas, porque hay
algo de aleatoriedad y puede terminar como en el hoyo a pesar de que va de esta manera.
Pero al mismo tiempo están comenzando a converger lentamente hacia algún tipo de valores y valores cue.
OK, probablemente mil sea demasiado en términos de tiempo.
No parece que la velocidad aumente proporcionalmente también.
Entonces podría cortar esa parte.
Me refiero a reducir la velocidad.
Si bien esto es muy bajo, no tienes que mirarlo hasta el final de este
tutorial. Solo quiero experimentar un poco para darte algunos ejemplos de lo que hemos estado trabajando,
pero entiendes que pasa por todo esto.
Tiene algo de azar como el de Rambler en su comportamiento.
Entonces, incluso cuando tiene una política, seguirá explorando, por lo que no solo le dará la sensación de que una vez
que tiene una política básica, no continuará siguiendo su política.
Todavía experimentará con otras variaciones de vez en cuando para mejorar su política, quizás no haya
encontrado la mejor política de inmediato.
Tal vez puede mejorar la política.
Y es por eso que incluso después de tantas iteraciones todavía se pueden ver algunos efectos aleatorios, a veces salta a estados aleatorios
no solo por la aleatoriedad del entorno, sino también porque hay algún nivel, como un parámetro, que
se puede controlar y que se puede configurar. su agente le dice que es lo que usted sabe la mayoría
del tiempo el 80 por ciento del tiempo hace lo que su política le dice que haga, pero
el 20 por ciento de las veces solo tiene un experimento divertido y ve qué sucede y
usa esa información que reúne para actualizar tu política
OK, esto está tomando demasiado tiempo.
Probemos eso de nuevo.
Sí, así es como el agente aprende en diferentes estados.
Tal vez corramos uno más solo por curiosidad.
Entonces, ¿hay algo más que podamos cambiar al respecto?
Iteraciones.
DE ACUERDO.
OK, echemos un vistazo.
Sí, bueno, podríamos cambiar la discusión, por ejemplo.
Entonces, en este caso podríamos decir que K menos cien menos una Q menos dos y menos son OK mil.
Entonces recompensa
Queremos conservarlo tal vez, mantenlo en 0. de esto, mantenga la recompensa en mi punto del desierto cero por cada vez.
04 Pero digamos que, en contra
Y luego vamos a decir que el descuento no es cero punto nueve sino que es como punto cero punto
cinco.
Por lo tanto, se descuentan bastante a medida que avanzas en el juego.
Por lo tanto, ahora se incentivará estar más cerca del final en lugar de una ruta adicional. Los estados cercanos al
final obtendrán un valor alto para que pueda ver que los valores realmente disminuyen, no es tan
verde como lo era antes.
Entonces aquí puedes ver que esta es la política ahora.
Así que es algo así como eso, muy similar a lo que vimos antes, probablemente solo las
diferencias aquí salten directamente hacia aquí.
Entonces ese es uno.
Y OK, corramos uno más.
Esto es tan divertido.
Vamos a ejecutar uno más, así que k menos k 100 a q descartar.
Guárdelo como era original Así que simplemente ejecutemos esta configuración básica de vainilla, ok ok ok.
Veremos si nos mostrará la política.
Y sí, tenemos la política.
Sí.
Buen final.
Entonces aquí tenemos la política.
Sabes que esto es familiar.
Recuerda esa vez cuando vimos que la IA engañó a la bomba humana contra la pared para ir allí y
saltar hacia la pared para avanzar así y así aumentar el problema.
Entonces ahí vamos
Ese es un ejemplo de inacción de la inteligencia artificial. Ganancias de matanza simples muy muy básicas, por lo que no hay aprendizaje
profundo en esta etapa.
Pero al mismo tiempo ya es bastante inteligente y espero que hayan disfrutado el tutorial de hoy.
Y una vez más, gracias a la Universidad de Berkeley y espero que hayan disfrutado el tutorial de hoy y espero que
los vean.
Hasta entonces, disfruta de la IA.