GSP192

Présentation

Dans cet atelier, vous allez apprendre à créer un pipeline de flux de données à l'aide d'un des modèles Dataflow de Google. Plus spécifiquement, vous allez utiliser le modèle Pub/Sub vers BigQuery, qui permet de transférer dans une table BigQuery les messages au format JSON extraits d'un sujet Pub/Sub. La documentation concernant ce modèle est disponible dans le guide Premiers pas avec les modèles fournis par Google.

Pour créer l'ensemble de données et la table BigQuery, vous pouvez utiliser la ligne de commande Cloud Shell ou la console Cloud. Choisissez une seule méthode et continuez ainsi jusqu'à la fin de l'atelier. Si vous souhaitez essayer les deux méthodes, réalisez cet atelier une seconde fois.

Objectifs de l'atelier

• Créer un ensemble de données et une table BigQuery
• Créer un bucket Cloud Storage
• Créer un pipeline de flux de données à l'aide du modèle Dataflow Pub/Sub vers BigQuery

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Nous vous fournissons des identifiants temporaires pour vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;

Remarque : Ouvrez une fenêtre de navigateur en mode incognito/navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le temporaire étudiant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• vous disposez d'un temps limité ; une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier afin d'éviter que des frais supplémentaires ne vous soient facturés.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google Cloud
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau Détails concernant l'atelier.

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau Détails concernant l'atelier.

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais gratuits.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour afficher un menu contenant la liste des produits et services Google Cloud, cliquez sur le menu de navigation en haut à gauche.

Activer Cloud Shell

Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud.

1. Cliquez sur Activer Cloud Shell  en haut de la console Google Cloud.

Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET. Le résultat contient une ligne qui déclare YOUR_PROJECT_ID (VOTRE_ID_PROJET) pour cette session :

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.

2. (Facultatif) Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :

gcloud auth list

3. Cliquez sur Autoriser.

4. Vous devez à présent obtenir le résultat suivant :

Résultat :

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Facultatif) Vous pouvez lister les ID de projet à l'aide de cette commande :

gcloud config list project

Résultat :

[core] project = <ID_Projet>

Exemple de résultat :

[core] project = qwiklabs-gcp-44776a13dea667a6 Remarque : Pour consulter la documentation complète sur gcloud, dans Google Cloud, accédez au guide de présentation de la gcloud CLI.

Tâche 1 : Vérifier que l'API Dataflow est réactivée

Pour vous assurer que vous avez bien accès à l'API requise, redémarrez la connexion à l'API Dataflow.

1. Dans la console Cloud, en haut, saisissez "API Dataflow" dans la barre de recherche. Cliquez sur API Dataflow dans les résultats.

2. Cliquez sur Gérer.

3. Cliquez sur Désactiver l'API.

Si vous êtes invité à confirmer votre choix, cliquez sur Désactiver.

4. Cliquez sur Activer.

Une fois l'API réactivée, l'option permettant de la désactiver s'affiche sur la page.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée.

Désactiver et réactiver l'API Dataflow

Tâche 2 : Créer un ensemble de données BigQuery, une table BigQuery et un bucket Cloud Storage à l'aide de Cloud Shell

Commencez par créer la table et l'ensemble de données BigQuery.

Remarque : Cette tâche utilise l'outil de ligne de commande bq. Ignorez-la et passez à la tâche 3 si vous souhaitez effectuer ces étapes à l'aide de la console Cloud.

1. Exécutez la commande suivante pour créer un ensemble de données nommé taxirides :

bq mk taxirides

Le résultat doit être semblable à ceci :

Dataset '' successfully created

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si l'ensemble de données BigQuery a été correctement créé, vous recevez une note d'évaluation.

Créer un ensemble de données BigQuery (nom : taxirides)

Maintenant que vous avez créé votre ensemble de données, servez-vous-en pour instancier une table BigQuery dans l'étape suivante.

2. Pour ce faire, exécutez la commande suivante :

bq mk \ --time_partitioning_field timestamp \ --schema ride_id:string,point_idx:integer,latitude:float,longitude:float,\ timestamp:timestamp,meter_reading:float,meter_increment:float,ride_status:string,\ passenger_count:integer -t taxirides.realtime

Le résultat doit être semblable à ceci :

Table 'myprojectid:taxirides.realtime' successfully created

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si la table a été correctement créée dans l'ensemble de données BigQuery, vous recevez une note d'évaluation.

Créer une table dans l'ensemble de données BigQuery

Au premier abord, la commande bq mk semble un peu compliquée, mais pour bien comprendre son fonctionnement, nous pouvons consulter la documentation sur la ligne de commande BigQuery. Elle nous éclaire par exemple sur ce qu'est un schéma :

• Il s'agit soit du chemin d'accès à un fichier de schéma JSON local, soit d'une liste de définitions de colonnes séparées par une virgule au format [FIELD]:[DATA_TYPE], [FIELD]:[DATA_TYPE].

Dans le cas présent, il s'agit d'une liste de définitions séparées par une virgule.

Créer un bucket Cloud Storage à l'aide de Cloud Shell

Maintenant que vous avez instancié la table, vous allez créer un bucket.

Utilisez l'ID de projet en tant que nom du bucket pour vous assurer qu'il s'agit d'un nom unique :

• Pour ce faire, exécutez les commandes suivantes :

export BUCKET_NAME={{{project_0.project_id | "Bucket Name"}}} gsutil mb gs://$BUCKET_NAME/

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si le bucket Cloud Storage a été correctement créé, vous recevez une note d'évaluation.

Créer un bucket Cloud Storage

Une fois votre bucket créé, accédez à la section Exécuter le pipeline qui se trouve plus bas.

Tâche 3 : Créer un ensemble de données BigQuery, une table BigQuery et un bucket Cloud Storage à l'aide de la console Google Cloud

Remarque : N'effectuez pas la tâche 3 si vous avez réalisé la tâche 2. Toutes deux sont identiques, sauf que la tâche 2 utilise la ligne de commande.

1. Dans la section "Big Data" du menu de gauche, cliquez sur BigQuery.

2. Cliquez ensuite sur OK.

3. Dans la section Explorateur, cliquez sur les trois points à côté du nom de votre projet, puis sur Créer un ensemble de données.

4. Saisissez l'ID taxirides pour votre ensemble de données :

5. Pour "Emplacement des données", sélectionnez us (plusieurs régions aux États-Unis).

6. Conservez les autres paramètres par défaut et cliquez sur CRÉER L'ENSEMBLE DE DONNÉES.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si l'ensemble de données BigQuery a été correctement créé, vous recevez une note d'évaluation.

Créer un ensemble de données BigQuery (nom : taxirides)

7. L'ensemble de données taxirides devrait maintenant s'afficher sous l'ID de votre projet dans la partie gauche de la console.

8. Cliquez sur les trois points à côté de taxirides, puis sélectionnez Ouvrir.

9. Ensuite, sélectionnez CRÉER UNE TABLE dans la partie droite de la console.

10. Dans la section Destination > Nom de la table, saisissez realtime.

11. Sous "Schéma", cliquez sur le bouton Modifier sous forme de texte, puis saisissez la commande suivante :

ride_id:string,point_idx:integer,latitude:float,longitude:float,timestamp:timestamp, meter_reading:float,meter_increment:float,ride_status:string,passenger_count:integer

Votre console doit se présenter comme suit :

12. Cliquez maintenant sur Créer une table.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si la table a été correctement créée dans l'ensemble de données BigQuery, vous recevez une note d'évaluation.

Créer une table dans l'ensemble de données BigQuery

Créer un bucket Cloud Storage à l'aide de la console Cloud

1. Revenez dans la console Cloud, puis accédez à Cloud Storage > Buckets > Créer un bucket.

2. Utilisez l'ID de projet en tant que nom du bucket pour vous assurer qu'il s'agit d'un nom unique :

3. Ne modifiez aucun autre paramètre par défaut. Enfin, cliquez sur Créer.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si le bucket Cloud Storage a été correctement créé, vous recevez une note d'évaluation.

Créer un bucket Cloud Storage

Tâche 4 : Exécuter le pipeline

Déployez le modèle Dataflow :

gcloud dataflow jobs run iotflow \ --gcs-location gs://dataflow-templates-{{{project_0.default_region | "Region"}}}/latest/PubSub_to_BigQuery \ --region {{{project_0.default_region | "Region"}}} \ --worker-machine-type e2-medium \ --staging-location gs://{{{project_0.project_id | "Bucket Name"}}}/temp \ --parameters inputTopic=projects/pubsub-public-data/topics/taxirides-realtime,outputTableSpec={{{project_0.project_id | "Table Name"}}}:taxirides.realtime

Dans le menu de navigation de la console Google Cloud, cliquez sur Dataflow > Jobs. Vous devriez voir votre job Dataflow.

Pour plus d'informations, consultez la documentation.

Remarque : Vous devrez peut-être attendre une minute pour que le suivi des activités se mette à jour.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si le pipeline Dataflow a été correctement exécuté, vous recevez une note d'évaluation.

Exécuter le pipeline

Vos ressources sont créées et prêtes à être utilisées.

Cliquez maintenant sur BigQuery dans le menu de navigation pour examiner les données qui y ont été écrites.

• À l'ouverture de l'UI BigQuery, l'ensemble de données taxirides apparaît sous le nom de votre projet, suivi de la table realtime.

Remarque : Vous devrez peut-être attendre quelques minutes avant que les données soient intégrées à la table BigQuery.

Tâche 5 : Envoyer une requête

Vous pouvez envoyer des requêtes à l'aide du langage SQL standard.

1. Dans l'éditeur BigQuery, ajoutez les éléments suivants pour interroger les données de votre projet :

SELECT * FROM `{{{project_0.project_id | "Bucket Name"}}}.taxirides.realtime` LIMIT 1000

2. Cliquez à présent sur EXÉCUTER.

Si vous rencontrez des problèmes ou que des messages d'erreur s'affichent, exécutez à nouveau la requête (le démarrage du pipeline prend une minute).

3. Le résultat s'affiche ensuite dans le panneau Résultats de la requête, comme suit :

Bravo ! Vous venez de transférer dans une table BigQuery 1 000 courses de taxi extraites d'un sujet Pub/Sub. Comme vous avez pu le constater, les modèles constituent un moyen simple et pratique d'exécuter des jobs Dataflow. D'autres modèles Google sont disponibles dans le guide Premiers pas avec les modèles fournis par Google de la documentation Dataflow.

Tâche 6 : Tester vos connaissances

Voici quelques questions à choix multiples qui vous permettront de mieux maîtriser les concepts abordés lors de cet atelier. Répondez-y du mieux que vous le pouvez.

Félicitations !

Vous avez créé un pipeline de flux de données à l'aide du modèle Dataflow Pub/Sub vers BigQuery, qui permet de transférer dans une table BigQuery les messages au format JSON extraits d'un sujet Pub/Sub.

Étapes suivantes et informations supplémentaires

Cet atelier fait partie d'une série appelée "Qwik Starts". Les ateliers de cette série sont conçus pour vous donner un aperçu des nombreuses fonctionnalités proposées par Google Cloud. Pour suivre un autre atelier, recherchez "Qwik Starts" dans le catalogue Google Cloud Skills Boost.

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 4 février 2024

Dernier test de l'atelier : 10 novembre 2023

Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.