Présentation

Dans cet atelier, vous allez utiliser TFX pour analyser, comprendre et prétraiter l'ensemble de données "Covertype" ainsi que pour entraîner, analyser, valider et déployer un modèle de classification à classes multiples permettant de prédire le type de couverture forestière d'une zone à partir de caractéristiques cartographiques.

Objectifs

• Mieux comprendre les composants des pipelines TFX
• Apprendre à utiliser un contexte interactif TFX pour développer des prototypes de pipelines TFX
• Utiliser la bibliothèque TensorFlow Data Validation (TFDV) pour explorer et analyser les données d'entrée
• Utiliser la bibliothèque Tensorflow Transform (TFT) pour prétraiter les données et transformer les caractéristiques de façon évolutive
• Utiliser la bibliothèque Tensorflow Model Analysis (TFMA) pour évaluer le modèle

Préparation

Pour chaque atelier, nous vous attribuons un nouveau projet Google Cloud et un nouvel ensemble de ressources pour une durée déterminée, sans frais.

1. Connectez-vous à Qwiklabs dans une fenêtre de navigation privée.

2. Vérifiez le temps imparti pour l'atelier (par exemple : 01:15:00) : vous devez pouvoir le terminer dans ce délai.
   Une fois l'atelier lancé, vous ne pouvez pas le mettre en pause. Si nécessaire, vous pourrez le redémarrer, mais vous devrez tout reprendre depuis le début.

3. Lorsque vous êtes prêt, cliquez sur Démarrer l'atelier.

4. Notez vos identifiants pour l'atelier (Nom d'utilisateur et Mot de passe). Ils vous serviront à vous connecter à Google Cloud Console.

5. Cliquez sur Ouvrir la console Google.

6. Cliquez sur Utiliser un autre compte, puis copiez-collez les identifiants de cet atelier lorsque vous y êtes invité.
   Si vous utilisez d'autres identifiants, des messages d'erreur s'afficheront ou des frais seront appliqués.

7. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.

Activer Cloud Shell

Cloud Shell est une machine virtuelle qui contient des outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Google Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud. gcloud est l'outil de ligne de commande associé à Google Cloud. Il est préinstallé sur Cloud Shell et permet la saisie semi-automatique via la touche Tabulation.

1. Dans Google Cloud Console, dans le volet de navigation, cliquez sur Activer Cloud Shell ().

2. Cliquez sur Continuer.
   Le provisionnement et la connexion à l'environnement prennent quelques instants. Une fois connecté, vous êtes en principe authentifié, et le projet est défini sur votre ID_PROJET. Exemple :

Exemples de commandes

• Afficher le nom du compte actif :

gcloud auth list

(Résultat)

Credentialed accounts: - <myaccount>@<mydomain>.com (active)

(Exemple de résultat)

Credentialed accounts: - google1623327_student@qwiklabs.net

• Afficher l'ID du projet :

gcloud config list project

(Résultat)

[core] project = <ID_Projet>

(Exemple de résultat)

[core] project = qwiklabs-gcp-44776a13dea667a6

Tâche 1 : Activer les services Cloud

1. Dans Cloud Shell, exécutez la commande suivante pour définir l'ID de votre projet Google Cloud :

PROJECT_ID={{{project_0.project_id|Project ID}}} gcloud config set project $PROJECT_ID

2. Ensuite, exécutez les commandes suivantes pour activer les services Cloud requis :

gcloud services enable \ cloudbuild.googleapis.com \ container.googleapis.com \ cloudresourcemanager.googleapis.com \ iam.googleapis.com \ containerregistry.googleapis.com \ containeranalysis.googleapis.com \ ml.googleapis.com \ dataflow.googleapis.com \ notebooks.googleapis.com

3. À présent, ajoutez l'autorisation "Éditeur" à votre compte de service Cloud Build :

PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)") CLOUD_BUILD_SERVICE_ACCOUNT="${PROJECT_NUMBER}@cloudbuild.gserviceaccount.com" gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CLOUD_BUILD_SERVICE_ACCOUNT \ --role roles/editor

4. Après cela, créez un compte de service personnalisé pour accorder au job d'entraînement CAIP l'accès au service AI Platform Vizier pour le réglage des hyperparamètres du pipeline :

SERVICE_ACCOUNT_ID=tfx-tuner-caip-service-account gcloud iam service-accounts create $SERVICE_ACCOUNT_ID \ --description="A custom service account for CAIP training job to access AI Platform Vizier service for pipeline hyperparameter tuning." \ --display-name="TFX Tuner CAIP Vizier"

5. Accordez à votre compte de service AI Platform des droits d'accès supplémentaires au service AI Platform Vizier pour le réglage des hyperparamètres du pipeline :

PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)") CAIP_SERVICE_ACCOUNT="service-${PROJECT_NUMBER}@cloud-ml.google.com.iam.gserviceaccount.com" gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CAIP_SERVICE_ACCOUNT \ --role=roles/storage.objectAdmin gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CAIP_SERVICE_ACCOUNT \ --role=roles/ml.admin

6. Attribuez au compte de service le rôle d'administrateur de l'espace de stockage :

SERVICE_ACCOUNT_ID=tfx-tuner-caip-service-account gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:${SERVICE_ACCOUNT_ID}@${PROJECT_ID}.iam.gserviceaccount.com \ --role=roles/storage.objectAdmin

7. Accordez au compte de service le rôle d'administrateur AI Platform Vizier :

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:${SERVICE_ACCOUNT_ID}@${PROJECT_ID}.iam.gserviceaccount.com \ --role=roles/ml.admin

8. Attribuez au compte de service AI Platform géré par Google de votre projet le rôle d'administrateur de compte de service pour votre compte de service AI Platform :

gcloud iam service-accounts add-iam-policy-binding \ --role=roles/iam.serviceAccountAdmin \ --member=serviceAccount:service-${PROJECT_NUMBER}@cloud-ml.google.com.iam.gserviceaccount.com \ ${SERVICE_ACCOUNT_ID}@${PROJECT_ID}.iam.gserviceaccount.com

Cliquez sur Vérifier ma progression pour valider l'objectif. Activer les services Cloud

Tâche 2 : Créez une instance AI Platform Pipelines

1. Faites défiler le menu de navigation jusqu'à AI Platform, puis épinglez la section pour pouvoir y accéder plus facilement au cours de l'atelier.

2. Cliquez sur Pipelines.

3. Ensuite, cliquez sur Nouvelle instance.

4. Cliquez sur Configurer.

5. Sur la page "Kubeflow Pipelines", cochez Autoriser l'accès aux API Cloud suivantes, laissez le nom tel quel, puis cliquez sur Créer un cluster.

Cela devrait prendre deux à trois minutes. Attendez que le cluster soit créé avant de passer à l'étape suivante. Dans le premier onglet ouvert, vous pouvez afficher le cluster en cours de création dans la section GKE de Cloud Console ou voir les VM individuelles qui s'exécutent dans la section GCE de la console Cloud

6. Une fois la création du cluster terminée, cochez la case Conditions d'utilisation, conservez les autres paramètres, puis cliquez sur Déployer. Vous verrez chaque service de KFP déployé sur votre cluster GKE.

Le temps de l'installation, passez à l'étape suivante.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer une instance AI Platform Pipelines

Tâche 3 : Créer une instance de notebook Cloud AI Platform

1. Dans Cloud Shell, exécutez les commandes suivantes pour créer un notebook géré par l'utilisateur :

gcloud notebooks instances create tfx-on-googlecloud --vm-image-project=deeplearning-platform-release --vm-image-family=tf2-2-3-cpu --machine-type=e2-medium --location={{{project_0.default_zone|zone_to_be_set}}}

2. Cliquez sur le menu de navigation. Cliquez sur Vertex AI, puis sur Workbench.

3. Cliquez sur NOTEBOOKS GÉRÉS PAR L'UTILISATEUR.

   La création du notebook prendra deux à trois minutes.

4. Cliquez sur Ouvrir JupyterLab à côté du nom de votre notebook. Une fenêtre JupyterLab s'ouvre dans un nouvel onglet.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer une instance de notebook Cloud AI Platform

Tâche 4 : Cloner l'exemple de dépôt dans votre instance AI Platform Notebooks

Pour cloner le notebook mlops-on-gcp dans votre instance JupyterLab :

1. Dans JupyterLab, cliquez sur l'icône Terminal pour ouvrir un nouveau terminal.

2. À l'invite, saisissez la commande suivante, puis appuyez sur Entrée :

   git clone https://github.com/GoogleCloudPlatform/mlops-on-gcp Remarque : Si le dépôt cloné n'apparaît pas dans l'UI JupyterLab, sélectionnez Git > Clone a repository (Cloner un dépôt) dans le menu principal pour cloner le dépôt à l'aide de l'UI (https://github.com/GoogleCloudPlatform/mlops-on-gcp).

   

3. Vérifiez que vous avez bien cloné le dépôt en double-cliquant sur le répertoire mlops-on-gcp. Assurez-vous de pouvoir en lire le contenu. Vous y trouverez les fichiers de tous les ateliers de ce cours basés sur des notebooks Jupyter.

Accéder à l'exemple de notebook

1. Dans JupyterLab, ouvrez un terminal et exécutez la commande suivante :

cd mlops-on-gcp/workshops/tfx-caip-tf23 ./install.sh Remarque : Veuillez ignorer les avertissements d'incompatibilité pip et les erreurs client 404.

2. Ensuite, dans AI Platform Notebooks, accédez à mlops-on-gcp/workshops/tfx-caip-tf23/lab-01-tfx-walkthrough/labs et ouvrez lab-01.ipynb.

3. Effacez toutes les cellules du notebook (Modifier > Supprimer tous les éléments de sortie), puis exécutez les cellules une par une.

4. Lorsque vous y êtes invité, revenez à ces instructions pour vérifier votre progression.

Si vous avez besoin d'aide, reportez-vous à la solution complète. Pour cela, accédez à mlops-on-gcp/workshops/tfx-caip-tf23/lab-01-tfx-walkthrough/solutions et ouvrez lab-01.ipynb.

Cliquez sur Vérifier ma progression pour valider l'objectif. Cloner l'exemple de dépôt dans l'instance AI Platform Notebooks

Tâche 5 : Exécuter le job d'entraînement dans le cloud

Tester les tâches terminées – Configurer et exécuter CsvExampleGen

Cliquez sur Vérifier ma progression pour valider l'objectif. Configurer et exécuter CsvExampleGen

Tester la tâche terminée – Créer et exécuter un composant d'entraînement

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer et exécuter un composant d'entraînement

Félicitations !

L'atelier de présentation des composants des pipelines TFX est désormais terminé. Dans cet atelier, vous avez utilisé TFX pour analyser, comprendre et prétraiter un ensemble de données ainsi que pour entraîner, analyser, valider et déployer un modèle de classification à classes multiples permettant de prédire le type de couverture forestière d'une zone à partir de caractéristiques cartographiques.

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur End Lab (Terminer l'atelier). Qwiklabs supprime les ressources que vous avez utilisées, puis efface le compte.

Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez le nombre d'étoiles correspondant à votre note, saisissez un commentaire, puis cliquez sur Submit (Envoyer).

Le nombre d'étoiles que vous pouvez attribuer à un atelier correspond à votre degré de satisfaction :

• 1 étoile = très mécontent(e)
• 2 étoiles = insatisfait(e)
• 3 étoiles = ni insatisfait(e), ni satisfait(e)
• 4 étoiles = satisfait(e)
• 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez utiliser l'onglet Support (Assistance).

Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.