GSP207

Présentation

Le SDK Apache Beam est un modèle de programmation Open Source pour les pipelines de données. Dans Google Cloud, vous pouvez définir un pipeline à l'aide d'un programme Apache Beam, puis l'exécuter avec Dataflow.

Dans cet atelier, vous allez configurer un environnement de développement Python pour Dataflow (à l'aide du SDK Apache Beam pour Python) et exécuter un exemple de pipeline Dataflow.

Objectifs de l'atelier

Dans cet atelier, vous allez apprendre à effectuer les tâches suivantes :

• Créer un bucket Cloud Storage pour stocker les résultats d'un pipeline Dataflow
• Installer le SDK Apache Beam pour Python
• Exécuter un pipeline Dataflow à distance

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Nous vous fournissons des identifiants temporaires pour vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;

Remarque : Ouvrez une fenêtre de navigateur en mode incognito/navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le temporaire étudiant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• vous disposez d'un temps limité ; une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier afin d'éviter que des frais supplémentaires ne vous soient facturés.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google Cloud
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau Détails concernant l'atelier.

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau Détails concernant l'atelier.

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais gratuits.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour afficher un menu contenant la liste des produits et services Google Cloud, cliquez sur le menu de navigation en haut à gauche.

Activer Cloud Shell

Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud.

1. Cliquez sur Activer Cloud Shell  en haut de la console Google Cloud.

Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET. Le résultat contient une ligne qui déclare YOUR_PROJECT_ID (VOTRE_ID_PROJET) pour cette session :

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.

2. (Facultatif) Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :

gcloud auth list

3. Cliquez sur Autoriser.

4. Vous devez à présent obtenir le résultat suivant :

Résultat :

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Facultatif) Vous pouvez lister les ID de projet à l'aide de cette commande :

gcloud config list project

Résultat :

[core] project = <ID_Projet>

Exemple de résultat :

[core] project = qwiklabs-gcp-44776a13dea667a6 Remarque : Pour consulter la documentation complète sur gcloud, dans Google Cloud, accédez au guide de présentation de la gcloud CLI.

Définir la région

• Dans Cloud Shell, exécutez la commande suivante pour définir la région du projet pour cet atelier :

gcloud config set compute/region {{{project_0.default_region | "REGION"}}}

Vérifier que l'API Dataflow est activée

Pour vous assurer que vous avez bien accès à l'API requise, redémarrez la connexion à l'API Dataflow.

1. Dans la console Cloud, saisissez "API Dataflow" dans la barre de recherche supérieure. Cliquez sur API Dataflow dans les résultats.

2. Cliquez sur Gérer.

3. Cliquez sur Désactiver l'API.

Si vous êtes invité à confirmer votre choix, cliquez sur Désactiver.

4. Cliquez sur Activer.

Une fois l'API réactivée, l'option permettant de la désactiver s'affiche sur la page.

Tâche 1 : Créer un bucket Cloud Storage

Lorsque vous exécutez un pipeline à l'aide de Dataflow, vos résultats sont stockés dans un bucket Cloud Storage. Dans cette tâche, vous allez créer un bucket Cloud Storage pour les résultats du pipeline que vous exécuterez dans une tâche ultérieure.

1. Dans le menu de navigation (), cliquez sur Cloud Storage > Buckets.
2. Cliquez sur Créer un bucket.
3. Dans la boîte de dialogue Créer un bucket, spécifiez les attributs suivants :

• Nom : pour que le nom du bucket soit unique, utilisez le nom suivant : -bucket. Notez que le nom du bucket n'inclut aucune information sensible, car son espace de noms est global et public.
• Type d'emplacement : Multirégional
• Emplacement : us
• L'emplacement de stockage des données de bucket.

4. Cliquez sur Créer.

5. Si le message "L'accès public sera bloqué" s'affiche, cliquez sur Confirmer.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si votre tâche a bien été exécutée, vous recevez une note d'évaluation.

Créer un bucket Cloud Storage

Tâche 2 : Installer le SDK Apache Beam pour Python

1. Pour vous assurer que vous utilisez une version Python compatible, commencez par exécuter l'image Docker Python3.9 :

docker run -it -e DEVSHELL_PROJECT_ID=$DEVSHELL_PROJECT_ID python:3.9 /bin/bash

Cette commande extrait un conteneur Docker avec la dernière version stable de Python 3.9, puis ouvre un shell vous permettant d'exécuter les commandes suivantes dans votre conteneur.

2. Une fois le conteneur exécuté, installez la dernière version du SDK Apache Beam pour Python en exécutant la commande suivante depuis un environnement virtuel :

pip install 'apache-beam[gcp]'==2.42.0

Des avertissements au sujet des dépendances s'affichent. Vous pouvez les ignorer dans le cadre de cet atelier.

3. Exécutez l'exemple wordcount.py en local à l'aide de la commande suivante :

python -m apache_beam.examples.wordcount --output OUTPUT_FILE

Un message semblable au suivant peut s'afficher :

INFO:root:Missing pipeline option (runner). Executing pipeline using the default runner: DirectRunner. INFO:oauth2client.client:Attempting refresh to obtain initial access_token

Vous pouvez l'ignorer.

4. Listez maintenant les fichiers disponibles dans votre environnement cloud local pour obtenir le nom du fichier OUTPUT_FILE :

ls

5. Copiez le nom du fichier OUTPUT_FILE et exécutez une commande cat :

cat <nom du fichier>

Vos résultats affichent les mots contenus dans le fichier et le nombre de fois qu'ils y apparaissent.

Tâche 3 : Exécuter un exemple de pipeline Dataflow à distance

1. Définissez la variable d'environnement BUCKET sur le bucket que vous venez de créer :

BUCKET=gs://<nom de bucket fourni précédemment>

2. Exécutez l'exemple wordcount.py à distance :

python -m apache_beam.examples.wordcount --project $DEVSHELL_PROJECT_ID \ --runner DataflowRunner \ --staging_location $BUCKET/staging \ --temp_location $BUCKET/temp \ --output $BUCKET/results/output \ --region {{{project_0.default_region | "filled in at lab start"}}}

Attendez que le message suivant s'affiche dans les résultats :

JOB_MESSAGE_DETAILED: Workers have started successfully.

Poursuivez ensuite l'atelier.

Tâche 4 : Vérifier la bonne exécution de votre job Dataflow

1. Ouvrez le menu de navigation et cliquez sur Dataflow dans la liste des services.

Le job wordcount s'affiche et son état initial indique En cours d'exécution.

2. Cliquez sur le nom pour accéder au traitement. Lorsque toutes les cases sont cochées, continuez à observer les journaux dans Cloud Shell.

L'opération est terminée lorsque l'état passe à Réussi :

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si votre tâche a bien été exécutée, vous recevez une note d'évaluation.

Exécuter un exemple de pipeline à distance

3. Dans la console Cloud, cliquez sur le menu de navigation > Cloud Storage.

4. Cliquez sur le nom de votre bucket. Les répertoires résultats et préproduction devraient apparaître dans votre bucket.

5. Cliquez sur le dossier résultats pour voir les fichiers de sortie créés par votre job :

6. Cliquez sur un fichier pour afficher le nombre de mots qu'il contient.

Tâche 5 : Tester vos connaissances

Voici une question à choix multiples qui vous aidera à assimiler les concepts abordés lors de cet atelier. Répondez-y du mieux que vous le pouvez.

Félicitations !

Vous avez appris à configurer votre environnement de développement Python pour Dataflow (à l'aide du SDK Apache Beam pour Python) et à exécuter un exemple de pipeline Dataflow.

Étapes suivantes et informations supplémentaires

Cet atelier fait partie d'une série appelée "Qwik Starts". Les ateliers de cette série sont conçus pour vous présenter brièvement les nombreuses fonctionnalités proposées par Google Cloud. Pour suivre un autre atelier, recherchez "Qwik Starts" dans le catalogue Google Cloud Skills Boost.

Pour obtenir votre propre exemplaire de l'ouvrage dont est issu cet atelier : Data Science on the Google Cloud Platform: O'Reilly Media, Inc.

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 4 février 2024

Dernier test de l'atelier : 4 mai 2023

Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.