GSP691

Descripción general

Al igual que muchas otras áreas de investigación del aprendizaje automático, el aprendizaje por refuerzo (RL) está evolucionando a toda velocidad. Tal como hicieron en otras áreas de investigación, los investigadores están aprovechando el aprendizaje profundo para obtener resultados de vanguardia.

En este lab, aprenderás los conceptos básicos del aprendizaje por refuerzo compilando un juego sencillo, que se modeló a partir de una muestra proporcionada por OpenAI Gym.

Aprendizajes esperados

En este lab, aprenderás a hacer lo siguiente:

• Comprender los conceptos fundamentales del aprendizaje por refuerzo
• Crear un notebook de TensorFlow 2.1 en AI Platform
• Clonar el repositorio de muestra desde el repositorio training-data-analyst que se encuentra en GitHub
• Leer, comprender y ejecutar los pasos que figuran en el notebook

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs son cronometrados y no se pueden pausar. El cronómetro, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar (se recomienda el navegador Chrome)

Nota: Usa una ventana de navegador privada o de Incógnito para ejecutar este lab. Así evitarás cualquier conflicto entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab: Recuerda que, una vez que comienzas un lab, no puedes pausarlo.

Nota: Si ya tienes un proyecto o una cuenta personal de Google Cloud, no los uses en este lab para evitar cargos adicionales en tu cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haga clic en el botón Comenzar lab. Si debe pagar por el lab, se abrirá una ventana emergente para que seleccione su forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón Abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debe usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordene las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia Cuenta de Google podría generar cargos adicionales.

7. Haga clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para ver un menú con una lista de productos y servicios de Google Cloud, haz clic en el menú de navegación que se encuentra en la parte superior izquierda.

Tarea 1: Introducción al aprendizaje por refuerzo

El aprendizaje por refuerzo (RL) es una forma de aprendizaje automático en la cual un agente realiza acciones en un entorno para maximizar un objetivo determinado (una recompensa) mediante esta secuencia de pasos. A diferencia de las técnicas de aprendizaje supervisado más tradicionales, no se etiquetan todos los datos, y el agente solo tiene acceso a recompensas "dispersas".

Si bien la historia del RL se remonta a la década de 1950 y hay muchos algoritmos de RL disponibles, hay 2 algoritmos de profundidad que son potentes y fáciles de implementar, y tienen mucho encanto últimamente: red de Deep Q (DQN) y deep deterministic policy gradient (DDPG). En esta sección, presentaremos brevemente los algoritmos y sus variantes.

Diagrama del proceso conceptual del problema de aprendizaje por refuerzo

El grupo de Google DeepMind presentó Deep Q-network (DQN) en este informe de Nature de 2015. Motivados por el éxito del aprendizaje profundo en el campo del reconocimiento de imágenes, los autores incorporaron redes neuronales profundas en Q-Learning y probaron su algoritmo en el simulador de motor de juego de Atari, cuya dimensión del espacio de observación es muy grande.

La red neuronal profunda actúa como un aproximador de funciones que predice los valores Q de salida o la conveniencia de realizar una acción, según un determinado estado de entrada. Por consiguiente, DQN es un método basado en valores: en el algoritmo de entrenamiento, DQN actualiza los valores Q de acuerdo con la ecuación de Bellman y, para evitar la dificultad de adaptar un objetivo en movimiento, emplea una segunda red neuronal profunda que funciona como una estimación de los valores objetivo.

En un nivel más práctico, el siguiente modelo destaca los archivos fuente, el comando de la shell y el extremo para ejecutar un trabajo de RL en Google Cloud:

Tarea 2: Configura el entorno

1. En la consola de Google Cloud, en el menú de navegación (), haz clic en Vertex AI > Panel.

2. Haz clic en Habilitar todas las APIs recomendadas.

Tarea 3: Inicia Vertex AI Notebooks

Sigue estos pasos para crear e iniciar un notebook de Vertex AI Workbench:

1. En el menú de navegación , haz clic en Vertex AI > Workbench.

2. En la página Workbench, haz clic en Habilitar API de Notebooks (si todavía no está habilitada).

3. Haz clic en la pestaña Notebooks administrados por el usuario y, luego, en Crear nuevo.

4. Dale un nombre al notebook.

5. Establece Región en y Zona en .

6. En el menú Instancia nueva, elige la versión más reciente de TensorFlow Enterprise 2.11 en Entorno.

7. Haz clic en Opciones avanzadas para editar las propiedades de la instancia.

8. Haz clic en Tipo de máquina y, luego, selecciona e2-standard-2 para el tipo de máquina.

9. Deja los campos restantes con su configuración predeterminada y haz clic en Crear.

Luego de unos minutos, la página de Workbench mostrará tu instancia y aparecerá Open JupyterLab.

10. Haz clic en Open JupyterLab para abrir JupyterLab en una pestaña nueva. Si aparece un mensaje en el que se indica que beatrix jupyterlab se debe incluir en la compilación, ignóralo.

Haz clic en Revisar mi progreso para verificar el objetivo. Crear un notebook en Vertex AI Platform

Tarea 4: Clona el código de muestra

Sigue estos pasos para clonar el repositorio training-data-analyst en tu instancia de JupyterLab:

1. En JupyterLab, haz clic en el ícono de terminal para abrir una terminal nueva.

2. En la ventana de la línea de comandos, ingresa el siguiente comando y presiona INTRO:

git clone --depth=1 https://github.com/GoogleCloudPlatform/training-data-analyst

3. Para confirmar que clonaste el repositorio, en el panel izquierdo, haz doble clic en la carpeta training-data-analyst para ver su contenido.

4. Desde el menú de la izquierda, selecciona training-data-analyst > quests > rl > early_rl > early_rl.ipynb. Se abrirá una pestaña nueva.

Haz clic en Revisar mi progreso para verificar el objetivo. Clonar el código de muestra

Tarea 5: Ejecuta el notebook

La nueva pestaña debería ser similar a este ejemplo:

1. Lee el siguiente notebook y ejecuta todos los bloques de código con Mayúsculas + Intro.

2. Regresa aquí cuando hayas completado las instrucciones del notebook.

¡Felicitaciones!

En este lab, aprendiste los principios básicos del aprendizaje por refuerzo (RL). Después de crear una instancia de JupyterLab, clonaste un repositorio de muestra y ejecutaste un notebook que te permitió adquirir experiencia práctica con los aspectos básicos del aprendizaje por refuerzo. Ahora puedes realizar otros labs de esta serie.

Finaliza la Quest

Este lab de autoaprendizaje forma parte de la Quest Baseline: Data, ML, AI de Qwiklabs. Una Quest es una serie de labs relacionados que forman una ruta de aprendizaje. Inscríbete en esta Quest y obtén un crédito inmediato de finalización si realizaste este lab.

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Actualización más reciente del manual: 27 de septiembre de 2023

Prueba más reciente del lab: 27 de septiembre de 2023

Copyright 2024 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.