GSP691

Présentation

À l'instar de nombreuses disciplines du machine learning, l'apprentissage par renforcement évolue à un rythme effréné. Tout comme ils le font dans d'autres domaines de recherche, les chercheurs exploitent le deep learning pour obtenir des résultats de pointe.

Dans cet atelier, vous allez découvrir les concepts de base de l'apprentissage par renforcement en créant un jeu simple basé sur un exemple fourni par OpenAI Gym.

Objectifs de l'atelier

Au cours de cet atelier, vous allez :

• Découvrir les concepts fondamentaux de l'apprentissage par renforcement
• Créer une instance AI Platform Tensorflow 2.1 Notebook
• Cloner l'exemple de dépôt à partir du dépôt training-data-analyst de GitHub
• Lire, assimiler et exécuter les étapes décrites dans le notebook

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Nous vous fournissons des identifiants temporaires pour vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;

Remarque : Ouvrez une fenêtre de navigateur en mode incognito/navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le temporaire étudiant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• vous disposez d'un temps limité ; une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier afin d'éviter que des frais supplémentaires ne vous soient facturés.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google Cloud
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau Détails concernant l'atelier.

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau Détails concernant l'atelier.

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais gratuits.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour afficher un menu contenant la liste des produits et services Google Cloud, cliquez sur le menu de navigation en haut à gauche.

Tâche 1 : Les bases de l'apprentissage par renforcement

L'apprentissage par renforcement est un type de machine learning qui permet à un agent d'intervenir dans un environnement afin d'atteindre un objectif défini (obtention d'une récompense) grâce à une série d'étapes. Contrairement aux techniques d'apprentissage supervisé plus traditionnelles, les points de données ne comportent pas de libellé et l'agent a uniquement accès aux récompenses "creuses".

Tandis que les débuts de l'apprentissage par renforcement datent des années 50 et qu'un grand nombre d'algorithmes existent dans ce domaine, 2 algorithmes d'apprentissage par renforcement performants et faciles à mettre en œuvre sont depuis peu au centre de toutes les attentions : l'algorithme DQN (Deep Q-Network) et l'algorithme DDPG (Deep Deterministic Policy Gradient). Les algorithmes et leurs variantes sont brièvement présentés dans cette section.

Diagramme du processus conceptuel de l'apprentissage par renforcement

L'algorithme DQN (Deep Q-Network) a été présenté par le groupe Google Deepmind dans cet article de la revue Nature en 2015. Encouragés par le succès de l'apprentissage par renforcement dans le domaine de la reconnaissance d'image, les auteurs ont intégré des réseaux de neurones profonds à Q-Learning et ont testé leur algorithme dans le moteur de simulation de jeu Atari, dans lequel l'espace d'observation est très vaste.

Le réseau de neurones profond se comporte tel un outil d'approximation de fonctions qui prédit les valeurs q de sortie, ou l'attrait d'une action, en fonction d'un certain état d'entrée. Par conséquent, DQN est une méthode basée sur des valeurs : dans l'algorithme d'entraînement, DQN actualise les valeurs q en fonction de l'équation de Bellman. Pour éviter les difficultés liées à une cible mobile, il utilise un deuxième réseau de neurones profond qui estime les valeurs cibles.

D'un point de vue plus pratique, le modèle suivant met en avant les fichiers sources, la commande shell et le point de terminaison permettant d'exécuter une tâche d'apprentissage par renforcement sur Google Cloud :

Tâche 2 : Configurer votre environnement

1. Dans le menu de navigation de la console Google Cloud (), cliquez sur Vertex AI > Tableau de bord.

2. Cliquez sur Activer toutes les API recommandées.

Tâche 3 : Lancer Vertex AI Notebooks

Pour créer et lancer un notebook Vertex AI Workbench :

1. Dans le menu de navigation , cliquez sur Vertex AI > Workbench.

2. Sur la page Workbench, cliquez sur Activer l'API Notebooks (si elle n'est pas déjà activée).

3. Cliquez sur l'onglet Notebooks gérés par l'utilisateur, puis sur Créer.

4. Nommez le notebook.

5. Définissez la région sur et la zone sur .

6. Dans le menu Nouvelle instance, choisissez la dernière version de TensorFlow Enterprise 2.11 dans Environnement.

7. Cliquez sur Options avancées pour modifier les propriétés de l'instance.

8. Cliquez sur Type de machine, puis sélectionnez e2-standard-2.

9. Conservez les valeurs par défaut dans les autres champs, puis cliquez sur Créer.

Après quelques minutes, la page Workbench affiche le nom de votre instance, suivi de Ouvrir JupyterLab.

10. Cliquez sur Ouvrir JupyterLab pour ouvrir JupyterLab dans un nouvel onglet. Si vous recevez un message indiquant que beatrix jupyterlab doit être inclus dans le build, ignorez-le.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un notebook Vertex AI Platform

Tâche 4 : Cloner l'exemple de code

Pour cloner le dépôt training-data-analyst dans votre instance JupyterLab :

1. Dans JupyterLab, cliquez sur l'icône Terminal pour ouvrir un nouveau terminal.

2. À l'invite, saisissez la commande suivante, puis appuyez sur ENTRÉE :

git clone --depth=1 https://github.com/GoogleCloudPlatform/training-data-analyst

3. Pour vérifier que vous avez bien cloné le dépôt, double-cliquez sur le dossier training-data-analyst dans le panneau de gauche, et assurez-vous que vous pouvez voir son contenu.

4. Dans le menu de gauche, sélectionnez training-data-analyst > quests > rl > early_rl > early_rl.ipynb. Un nouvel onglet s'affiche.

Cliquez sur Vérifier ma progression pour valider l'objectif. Cloner l'exemple de code

Tâche 5 : Parcourir le notebook

Le nouvel onglet devrait ressembler à ce qui suit :

1. Parcourez le notebook et affichez tous les blocs de code en appuyant sur Maj+Entrée.

2. Après avoir suivi toutes les instructions du notebook, revenez sur cette page.

Félicitations !

Dans cet atelier, vous avez découvert les principes de base de l'apprentissage par renforcement. Après avoir créé une instance Jupyterlab, vous avez cloné un exemple de dépôt et parcouru un notebook qui vous a permis de vous familiariser avec les concepts fondamentaux de l'apprentissage par renforcement. Vous êtes maintenant prêt à découvrir d'autres ateliers de cette série.

Terminer votre quête

Cet atelier d'auto-formation fait partie de la quête Qwiklabs Baseline: Data, ML, AI. Une quête est une série d'ateliers associés qui constituent une formation. Inscrivez-vous à cette quête pour obtenir immédiatement les crédits associés à cet atelier si vous l'avez suivi.

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 27 septembre 2023

Dernier test de l'atelier : 27 septembre 2023

Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.