
Before you begin
- Labs create a Google Cloud project and resources for a fixed time
- Labs have a time limit and no pause feature. If you end the lab, you'll have to restart from the beginning.
- On the top left of your screen, click Start lab to begin
Create a Dataproc cluster (region: us-central1)
/ 50
Submit a Spark Job
/ 25
Update a cluster for 5 worker nodes
/ 25
Google APIs Explorer est un outil permettant d'explorer différentes API Google de façon interactive. APIs Explorer vous permet d'effectuer les opérations suivantes :
APIs Explorer utilise sa propre clé API à chaque requête. Lorsque vous l'utilisez pour formuler une requête, APIs Explorer affiche la syntaxe de la requête, qui inclut un espace réservé portant le libellé {YOUR_API_KEY}. Si vous souhaitez réaliser la même requête dans votre application, vous devez remplacer cet espace réservé par votre propre clé API.
Dans cet atelier, vous apprendrez à utiliser un modèle Google APIs Explorer intégré pour appeler l'API Cloud Dataproc afin de créer un cluster et d'exécuter un job Spark simple dans le cluster. Vous découvrirez également comment utiliser le modèle APIs Explorer pour appeler l'API Cloud Dataproc afin de mettre à jour votre cluster.
Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.
Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.
Pour réaliser cet atelier :
Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau "Détails concernant l'atelier", qui contient les éléments suivants :
Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).
L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.
Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.
Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.
Vous trouverez également le nom d'utilisateur dans le panneau "Détails concernant l'atelier".
Cliquez sur Suivant.
Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.
Vous trouverez également le mot de passe dans le panneau "Détails concernant l'atelier".
Cliquez sur Suivant.
Accédez aux pages suivantes :
Après quelques instants, la console Cloud s'ouvre dans cet onglet.
Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud.
Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET. Le résultat contient une ligne qui déclare YOUR_PROJECT_ID (VOTRE_ID_PROJET) pour cette session :
gcloud
est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.
Cliquez sur Autoriser.
Vous devez à présent obtenir le résultat suivant :
Résultat :
Résultat :
Exemple de résultat :
gcloud
, dans Google Cloud, accédez au guide de présentation de la gcloud CLI.
Accédez au menu de navigation > APIs & Services (API et services).
Faites défiler la liste jusqu'à API Cloud Dataproc, puis cliquez dessus.
Assurez-vous que l'API est activée. Si ce n'est pas le cas, cliquez sur Activer.
Maintenant que vous avez vérifié que l'API était activée, ouvrez la documentation de référence de l'API REST. Un nouvel onglet s'ouvre et affiche la page de référence de l'API REST pour l'API Cloud Dataproc.
Dans la section API et documentation de référence à gauche, accédez à Documentation de référence sur REST > v1 > projects.regions.clusters > create pour utiliser la méthode projects.regions.clusters.create
, ou utilisez la documentation de référence de la méthode projects.regions.clusters.create pour créer le cluster.
Remplissez maintenant le formulaire et exécutez le modèle APIs Explorer ci-dessous, comme suit :
clusterName
. Saisissez le nom de cluster de votre choix. La valeur du nom de cluster (clusterName) ne doit pas contenir d'espace ni de lettre majuscule.config
.gceClusterConfig
.zoneUri
, puis ajoutez l'élément suivant, en remplaçant my-project-id
par l'ID de projet de cet atelier :config
, sélectionnez softwareConfig
.softwareConfig
, sélectionnez imageVersion
et définissez sa valeur sur 2.0-debian10
.softwareConfig
, sélectionnez optionalComponents
. Sous optionalComponents
cliquez sur ADD ITEM (Ajouter un élément) et sélectionnez JUPYTER
dans le menu déroulant.Une fois terminé, le corps de la requête doit ressembler à ce qui suit :
Vérifiez qu'aucun champ ne se termine par une espace.
Maintenant, faites défiler la page vers le bas et cliquez sur Execute (Exécuter).
Sélectionnez le compte étudiant avec lequel vous avez commencé l'atelier.
Sur l'écran suivant, cliquez sur Allow (Autoriser) pour permettre à APIs Explorer d'accéder aux informations.
Les résultats de l'API Dataproc apparaissent sous la requête et ressemblent à ce qui suit :
Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si vous avez réussi à créer un cluster Dataproc dans la région
Ensuite, vous exécutez un job Apache Spark simple qui calcule une valeur approximative de pi dans un cluster Cloud Dataproc existant.
projects.regions.jobs.submit
ou cliquez sur ce lien pour envoyer un job dans un cluster.Remplissez maintenant le formulaire et exécutez le modèle APIs Explorer ci-dessous, comme suit :
job
.placement
.clusterName
, puis saisissez le nom du cluster.sparkJob
.args
. Sous args
cliquez sur ADD ITEM (Ajouter un élément) et saisissez "1000"jarFileUris
. Sous jarFileUris
cliquez sur ADD ITEM (Ajouter un élément) et saisissez file:///usr/lib/spark/examples/jars/spark-examples.jar
mainClass
et saisissez org.apache.spark.examples.SparkPi
Une fois terminé, le corps de la requête doit ressembler à ce qui suit :
Les résultats de l'API Dataproc apparaissent sous la requête et ressemblent à ce qui suit :
Pour trouver vos résultats, accédez à Dataproc > Clusters. Cliquez sur le nom de votre cluster, puis sur l'onglet Jobs.
Cliquez sur l'ID de job et définissez Renvoi à la ligne sur ACTIVÉ afin que les lignes dépassant la marge à droite apparaissent dans la vue.
Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si vous avez réussi à envoyer un job Spark vers un cluster, vous recevrez une note d'évaluation.
projects.regions.clusters.patch
ou cliquez sur ce lien pour mettre à jour un cluster.Remplissez maintenant le formulaire et exécutez le modèle APIs Explorer ci-dessous, comme suit :
config
workerConfig
.numInstances
, puis saisissez 3.Votre formulaire doit se présenter comme suit :
Les résultats de l'API Dataproc apparaissent sous la requête et ressemblent à ce qui suit :
Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si vous avez réussi à mettre à jour une configuration de nœuds de calcul pour trois nœuds de calcul, vous recevrez une note d'évaluation.
Voici quelques questions à choix multiples qui vous permettront de mieux maîtriser les concepts abordés lors de cet atelier. Répondez-y du mieux que vous le pouvez.
Vous avez utilisé l'API Cloud Dataproc via APIs Explorer pour créer un cluster, exécuter un job Spark et mettre à jour le cluster.
Cet atelier d'auto-formation fait partie de la quête Exploring APIs. Une quête est une série d'ateliers associés qui constituent un parcours de formation. Si vous terminez cette quête, vous obtenez un badge attestant de votre réussite. Vous pouvez rendre publics les badges que vous recevez et ajouter leur lien dans votre CV en ligne ou sur vos comptes de réseaux sociaux. Inscrivez-vous à cette quête pour obtenir immédiatement les crédits associés. Découvrez toutes les quêtes disponibles dans le catalogue Google Cloud Skills Boost.
Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.
Dernière modification du manuel : 18 octobre 2023
Dernier test de l'atelier : 20 octobre 2023
Copyright 2025 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.
Ce contenu n'est pas disponible pour le moment
Nous vous préviendrons par e-mail lorsqu'il sera disponible
Parfait !
Nous vous contacterons par e-mail s'il devient disponible
One lab at a time
Confirm to end all existing labs and start this one