Points de contrôle
Run a simple Dataflow job
/ 25
Run a simple Dataproc job
/ 25
Use the Google Cloud Speech API
/ 25
Use the Cloud Natural Language API
/ 25
Prepare Data for ML APIs on Google Cloud : atelier challenge
GSP323
Présentation
Dans un atelier challenge, vous devez suivre un scénario et effectuer une série de tâches. Aucune instruction détaillée n'est fournie : vous devez utiliser les compétences acquises au cours des ateliers du cours correspondant pour déterminer comment procéder par vous-même. Vous saurez si vous avez exécuté correctement les différentes tâches grâce au score calculé automatiquement (affiché sur cette page).
Lorsque vous participez à un atelier challenge, vous n'étudiez pas de nouveaux concepts Google Cloud. Vous allez approfondir les compétences précédemment acquises. Par exemple, vous devrez modifier les valeurs par défaut ou encore examiner des messages d'erreur pour corriger vous-même les problèmes.
Pour atteindre le score de 100 %, vous devez mener à bien l'ensemble des tâches dans le délai imparti.
Cet atelier est recommandé aux participants inscrits au cours Prepare Data for ML APIs on Google Cloud et qui veulent obtenir le badge de compétence associé. Êtes-vous prêt pour le challenge ?
Compétences évaluées :
- Créer un job Dataproc simple
- Créer un job Dataflow simple
- Réaliser deux tâches de machine learning en utilisant une API Google
Préparation
Avant de cliquer sur le bouton "Démarrer l'atelier"
Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.
Cet atelier pratique vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Nous vous fournissons des identifiants temporaires pour vous connecter à Google Cloud le temps de l'atelier.
Pour réaliser cet atelier :
- vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;
- vous disposez d'un temps limité ; une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.
Démarrer l'atelier et se connecter à la console Google Cloud
-
Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :
- Le bouton Ouvrir la console Google Cloud
- Le temps restant
- Les identifiants temporaires que vous devez utiliser pour cet atelier
- Des informations complémentaires vous permettant d'effectuer l'atelier
-
Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).
L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.
Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.
Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte. -
Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.
{{{user_0.username | "Username"}}} Vous trouverez également le nom d'utilisateur dans le panneau Détails concernant l'atelier.
-
Cliquez sur Suivant.
-
Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.
{{{user_0.password | "Password"}}} Vous trouverez également le mot de passe dans le panneau Détails concernant l'atelier.
-
Cliquez sur Suivant.
Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés. -
Accédez aux pages suivantes :
- Acceptez les conditions d'utilisation.
- N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
- Ne vous inscrivez pas à des essais gratuits.
Après quelques instants, la console Cloud s'ouvre dans cet onglet.
Vérifier les autorisations du projet
Avant de commencer à travailler dans Google Cloud, vous devez vous assurer de disposer des autorisations adéquates pour votre projet dans IAM (Identity and Access Management).
-
Dans la console Google Cloud, accédez au menu de navigation, puis sélectionnez IAM et administration > IAM.
-
Vérifiez que le compte de service Compute par défaut
{project-number}-compute@developer.gserviceaccount.com
existe et qu'il est associé aux rôleseditor
(éditeur) etstorage.admin
(administrateur Storage). Le préfixe du compte correspond au numéro du projet, disponible sur cette page : Menu de navigation > Présentation du cloud > Tableau de bord.
storage.admin
, procédez comme suit pour lui attribuer le rôle approprié.- Dans la console Google Cloud, accédez au menu de navigation et cliquez sur Présentation du cloud > Tableau de bord.
- Copiez le numéro du projet (par exemple,
729328892908
). - Dans le menu de navigation, sélectionnez IAM et administration > IAM.
- Sous Afficher par compte principal, en haut de la table des rôles, cliquez sur Accorder l'accès.
- Dans le champ Nouveaux comptes principaux, saisissez :
- Remplacez
{project-number}
par le numéro de votre projet. - Dans le champ Rôle, sélectionnez Administrateur Storage.
- Cliquez sur Enregistrer.
Scénario du challenge
En tant qu'ingénieur de données junior chez Jooli Inc. récemment formé à l'utilisation de Google Cloud et à un certain nombre de services de données, vous êtes invité à faire état des compétentes que vous venez d'acquérir. L'équipe vous a demandé de réaliser les tâches suivantes.
Vous êtes censé disposer des compétences et des connaissances requises pour ces tâches. Ne vous attendez donc pas à recevoir un guide détaillé.
Tâche 1 : Exécuter un job Dataflow simple
Dans cette tâche, vous allez utiliser le modèle de traitement par lot Dataflow Text Files on Cloud Storage to BigQuery (Fichiers texte de Cloud Storage vers BigQuery) sous "Process Data in Bulk (batch)" (Traiter les données de façon groupée (lot))" pour transférer des données à partir d'un bucket Cloud Storage (gs://cloud-training/gsp323/lab.csv
). Le tableau suivant donne les valeurs dont vous avez besoin pour configurer correctement le job Dataflow.
Vous devrez vous assurer d'avoir :
- créé un ensemble de données BigQuery appelé
avec une table appelée ; - créé un bucket Cloud Storage nommé
.
Champ | Valeur |
---|---|
Fichier(s) Cloud Storage d'entrée | gs://cloud-training/gsp323/lab.csv |
Emplacement Cloud Storage de votre fichier de schéma BigQuery | gs://cloud-training/gsp323/lab.schema |
Table BigQuery de sortie |
|
Répertoire temporaire pour le processus de chargement de BigQuery |
|
Emplacement temporaire |
|
Paramètres facultatifs > Chemin d'accès à la fonction JavaScript définie par l'utilisateur stockée dans Cloud Storage | gs://cloud-training/gsp323/lab.js |
Paramètres facultatifs > Nom de la fonction JavaScript définie par l'utilisateur | transform |
Paramètres facultatifs > Type de machine | e2-standard-2 |
Attendez que le job soit terminé avant de vérifier votre progression.
Cliquez sur Vérifier ma progression pour valider l'objectif.
Tâche 2 : Exécuter un job Dataproc simple
Dans cette tâche, vous allez exécuter un exemple de job Spark à l'aide de Dataproc.
Avant de lancer le job, connectez-vous à l'un des nœuds du cluster et copiez le fichier /data.txt dans hdfs (utilisez la commande hdfs dfs -cp gs://cloud-training/gsp323/data.txt /data.txt
).
Exécutez un job Dataproc en utilisant les valeurs ci-dessous.
Champ | Valeur |
---|---|
Région |
|
Type de job | Spark |
Classe principale ou fichier JAR | org.apache.spark.examples.SparkPageRank |
Fichiers JAR | file:///usr/lib/spark/examples/jars/spark-examples.jar |
Arguments | /data.txt |
Nombre maximal de redémarrages par heure | 1 |
Cluster Dataproc | Compute Engine |
Région |
|
Série de machines | E2 |
Nœud du gestionnaire | Définissez Type de machine sur e2-standard-2 |
Nœud de calcul | Définissez Type de machine sur e2-standard-2 |
Nombre maximal de nœuds de calcul | 2 |
Taille du disque principal | 100 Go |
Adresse IP interne uniquement |
Désélectionnez "Configurez toutes les instances pour qu'elles ne possèdent que des adresses IP internes." . |
Attendez que le job soit terminé avant de vérifier votre progression.
Cliquez sur Vérifier ma progression pour valider l'objectif.
Tâche 3 : Utiliser l'API Google Cloud Speech-to-Text
- Utilisez l'API Google Cloud Speech-to-Text pour analyser le fichier audio
gs://cloud-training/gsp323/task3.flac
. Une fois cette opération effectuée, importez le fichier obtenu ici :
Cliquez sur Vérifier ma progression pour valider l'objectif.
Tâche 4 : Utiliser l'API Cloud Natural Language
- Utilisez l'API Cloud Natural Language pour analyser la phrase tirée du texte sur Odin. Le texte que vous devez analyser est le suivant : "Old Norse texts portray Odin as one-eyed and long-bearded, frequently wielding a spear named Gungnir and wearing a cloak and a broad hat." Une fois le texte analysé, importez le fichier obtenu ici :
Cliquez sur Vérifier ma progression pour valider l'objectif.
Félicitations !
Félicitations ! Dans cet atelier, vous avez démontré vos compétences en exécutant des jobs Dataflow et Dataproc simples, et en utilisant les API Google Cloud Speech-to-Text et Cloud Natural Language.
Cet atelier d'auto-formation est associé au badge de compétence du cours Prepare Data for ML APIs on Google Cloud. Si vous terminez ce cours, vous obtiendrez le badge de compétence ci-dessus attestant de votre réussite. Ajoutez votre badge à votre CV et partagez-le sur les réseaux sociaux en utilisant le hashtag #GoogleCloudBadge.
Ce badge de compétence est associé aux parcours de formation Data Analyst et Data Engineer de Google Cloud.
Formations et certifications Google Cloud
Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.
Dernière mise à jour du manuel : 25 mars 2024
Dernier test de l'atelier : 15 janvier 2024
Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.