Points de contrôle
Set up resources in the first project
/ 20
Configure the export to BigQuery
/ 40
Create a logging metric
/ 40
Configurer et utiliser Cloud Logging et Cloud Monitoring
- Présentation
- Prérequis
- Tâche 1 : Configurer les ressources dans votre premier projet
- Tâche 2 : Afficher et filtrer des journaux dans le premier projet
- Tâche 3 : Exporter les journaux
- Tâche 4 : Créer une métrique de journalisation
- Tâche 5 : Créer un tableau de bord de surveillance
- Félicitations !
- Terminer l'atelier
Présentation
Dans cet atelier, vous allez découvrir les configurations et utilisations courantes de Cloud Logging et de Cloud Monitoring.
Vous allez apprendre à afficher des journaux grâce à des mécanismes de filtrage, à les exporter vers des synchronisations BigQuery et à créer des métriques de journalisation. Vous allez également découvrir comment afficher les métriques de consommation et créer des tableaux de bord à l'aide de Cloud Monitoring.
Objectifs
Dans cet atelier, vous apprendrez à effectuer les tâches suivantes :
-
Afficher des journaux grâce à divers mécanismes de filtrage
-
Exclure des entrées de journal et désactiver l'ingestion de journaux
-
Exporter des journaux et générer des rapports sur ceux-ci
-
Créer des métriques de journalisation et générer des rapports les concernant
-
Surveiller divers projets Google Cloud à l'aide de Cloud Monitoring
-
Créer un tableau de bord des métriques
Prérequis
Pour chaque atelier, nous vous attribuons un nouveau projet Google Cloud et un nouvel ensemble de ressources pour une durée déterminée, sans frais.
-
Connectez-vous à Qwiklabs dans une fenêtre de navigation privée.
-
Vérifiez le temps imparti pour l'atelier (par exemple :
01:15:00
) : vous devez pouvoir le terminer dans ce délai.
Une fois l'atelier lancé, vous ne pouvez pas le mettre en pause. Si nécessaire, vous pourrez le redémarrer, mais vous devrez tout reprendre depuis le début. -
Lorsque vous êtes prêt, cliquez sur Démarrer l'atelier.
-
Notez vos identifiants pour l'atelier (Nom d'utilisateur et Mot de passe). Ils vous serviront à vous connecter à Google Cloud Console.
-
Cliquez sur Ouvrir la console Google.
-
Cliquez sur Utiliser un autre compte, puis copiez-collez les identifiants de cet atelier lorsque vous y êtes invité.
Si vous utilisez d'autres identifiants, des messages d'erreur s'afficheront ou des frais seront appliqués. -
Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.
Activer Google Cloud Shell
Google Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud.
Google Cloud Shell vous permet d'accéder à vos ressources Google Cloud grâce à une ligne de commande.
-
Dans la barre d'outils située en haut à droite dans la console Cloud, cliquez sur le bouton "Ouvrir Cloud Shell".
-
Cliquez sur Continuer.
Le provisionnement et la connexion à l'environnement prennent quelques instants. Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET. Par exemple :
gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.
- Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :
Résultat :
Exemple de résultat :
- Vous pouvez lister les ID de projet à l'aide de cette commande :
Résultat :
Exemple de résultat :
Tâche 1 : Configurer les ressources dans votre premier projet
Dans cette tâche, vous allez créer les ressources Google Cloud nécessaires pour le premier projet.
Dans la section "Détails de connexion" de Qwiklabs, deux projets s'affichent. Le premier contient des ressources Google Cloud actives qui généreront des journaux et des données de métriques de surveillance.
Le second contient les données de configuration de votre compte Monitoring.
Assurez-vous de travailler dans le premier projet pour cette tâche.
-
Si vous n'avez pas encore activé Cloud Shell, cliquez sur Activer Cloud Shell. Cliquez sur Continuer si vous y êtes invité.
-
Dans Cloud Shell, téléchargez et décompressez une archive contenant un code de configuration :
-
Cliquez sur l'icône Ouvrir l'éditeur en haut à droite de votre session Cloud Shell.
-
Cliquez sur Ouvrir dans une nouvelle fenêtre si nécessaire.
-
Ouvrez le dossier stackdriver-lab, puis sélectionnez le fichier linux_startup.sh.
-
Remplacez les sections
# install logging agent
et# install monitoring agent
par le code suivant :
-
Après cela, vérifiez que vos lignes de code sont bien indentées.
-
Enregistrez votre fichier.
-
À présent, ouvrez le fichier
setup.sh
. -
Mettez à jour la version d'image dans la section
# create vms
pour "windows-server" (ligne 17) située après--image
avec le code suivant :
-
Après cela, vérifiez que vos lignes de code sont bien indentées.
-
Enregistrez votre fichier.
-
Dans la console Cloud, cliquez sur le bouton Ouvrir le terminal en haut à droite.
-
Exécutez maintenant la commande suivante :
Les ressources créées incluront :
-
des comptes de service (à utiliser par les VM) ;
-
des attributions de rôles (accordant aux comptes de service l'autorisation d'écrire dans Monitoring) ;
-
une VM Linux sur laquelle Apache et les agents Monitoring seront installés ;
-
une VM Windows sur laquelle les agents Monitoring et Logging seront installés ;
-
un cluster Google Kubernetes Engine avec un déploiement nginx ;
-
un sujet et un abonnement Pub/Sub.
-
Si vous recevez un message de ce type :
-
Exécutez la commande suivante pour remplacer les zones du script de configuration par une nouvelle zone :
Vous pouvez ignorer les erreurs concernant les comptes de service et pare-feu déjà existants.
-
Si vous recevez la même erreur, sélectionnez une autre zone Google Cloud, puis exécutez la commande suivante, en remplaçant
<YOUR_ZONE>
par votre nouvelle zone :
-
Une sortie semblable à la suivante doit s'afficher, confirmant la création des VM Linux et Windows :
Cliquez sur Vérifier ma progression pour valider l'objectif.
Tâche 2 : Afficher et filtrer des journaux dans le premier projet
Dans cette tâche, vous allez afficher des journaux d'instances de VM grâce à un filtrage simple.
Voir quels services écrivent des journaux
-
Assurez-vous d'être sur la page d'accueil de la console Google Cloud.
-
Vérifiez que vous travaillez toujours dans le premier projet (l'ID de projet indiqué dans le panneau d'informations de la console doit correspondre à l'ID 1 de projet Google Cloud dans le panneau "Détails de connexion" de votre atelier.
-
Affichez Cloud Logging en cliquant sur Menu de navigation > Journaux > Explorateur de journaux. Fermez la notification si vous y êtes invité.
-
Le panneau Champs de journal se trouve à gauche. Sous Type de ressource, vous verrez plusieurs services Google Cloud créant des journaux.
Tous ces services écrivent des entrées de journal. Les entrées de ces journaux apparaissent à droite, dans le volet "Résultats de requête". Vous pouvez également demander des résultats provenant de journaux spécifiques, ou qui correspondent à des critères en particulier.
Afficher les journaux d'instance de VM grâce à un filtrage simple
- Dans le panneau Champs de journal, sous Type de ressource, cliquez sur Instance de VM.
Voici ce qu'il va se passer ensuite :
- Le contenu du panneau "Champs de journal" va se mettre à jour. Un nouveau champ nommé
ID D'INSTANCE
apparaît. Il indique les ID de toutes les instances de VM qui écrivent des entrées de journal. - Le code
resource.type="gce_instance"
va apparaître dans la zone de requête en haut de la page. Cela signifie que seules les entrées d'instances de VM seront consignées et affichées. - De plus, le volet "Résultats de la requête" va se mettre à jour automatiquement : seules les entrées de journaux d'instances de VM seront affichées.
-
Dans le champ ID d'instance, sélectionnez l'un des ID d'instance. Les journaux de l'instance de VM associée apparaissent dans le volet "Résultats de la requête".
-
Cliquez dans la zone Requête. Vous pouvez maintenant la modifier.
-
Dans la zone Requête, supprimez tout ce qui se trouve après la ligne 1. Vous ne devriez voir que la ligne 1, qui contient
resource.type="gce_instance"
. -
Cliquez sur Exécuter la requête en haut à droite. Dans le volet "Résultats de la requête", vous devriez voir les entrées de tous les journaux d'instances de VM.
-
Notez que l'état précédent du panneau "Champs de journal" sera rétabli.
-
Activez la diffusion des journaux en cliquant sur Diffuser les journaux en haut à droite, à côté du bouton "Exécuter la requête".
-
Vous devriez voir de nouvelles entrées de journal apparaître toutes les une ou deux secondes, à mesure que l'activité d'arrière-plan génère des requêtes non autorisées sur vos serveurs Web.
Vous pouvez désormais afficher l'activité Web globale de n'importe quel serveur Linux Apache.
-
Cliquez sur Arrêter la diffusion en haut à droite pour arrêter de diffuser les journaux.
-
Sélectionnez le nom de journal apache-access dans le panneau "Champs de journal" (accessible en choisissant l'option "Nom du journal", en haut à droite) pour n'afficher que les journaux d'accès Apache. Vous verrez apparaître des entrées montrant les requêtes envoyées au serveur Linux Apache.
Maintenant, vous allez apprendre à afficher l'activité générale d'un système sur un serveur Linux donné.
-
Cliquez sur la liste déroulante Nom du journal, puis sur le bouton Effacer, situé en regard de l'accès Apache.
-
À présent, cliquez sur la liste déroulante Nom du journal, sélectionnez syslog, puis cliquez sur Appliquer.
Les entrées de syslog apparaissent dans le volet "Résultats de la requête".
Tâche 3 : Exporter les journaux
Dans cette tâche, vous allez configurer et tester les exportations de journaux vers BigQuery.
Cloud Logging conserve les entrées de journal pendant 30 jours. Dans la plupart des cas, vous devrez conserver certaines entrées de journal pendant une période prolongée (et peut-être créer des rapports sophistiqués sur les journaux archivés).
Google Cloud fournit un mécanisme permettant à toutes les entrées de journal ingérées dans Cloud Monitoring d'être également écrites dans un ou plusieurs récepteurs
d'archivage.
Configurer l'exportation vers BigQuery
-
Accédez aux exportations Cloud Logging en sélectionnant Menu de navigation > Journaux > Routeur de journaux.
-
Cliquez sur Créer un récepteur.
-
Dans le champ Nom du récepteur, saisissez
vm_logs
, puis cliquez sur Suivant. -
Dans le menu déroulant Sélectionner le service de récepteur, cliquez sur Ensemble de données BigQuery.
-
Dans le menu déroulant Sélectionnez un ensemble de données BigQuery, cliquez sur Créer un ensemble de données BigQuery.
-
Dans le champ ID de l'ensemble de données, saisissez
project_logs
, puis cliquez sur Créer l'ensemble de données. -
Cliquez sur Suivant.
-
Dans la zone de liste Créer un filtre d'inclusion, saisissez
resource.type="gce_instance"
. -
Cliquez sur Créer un récepteur. Vous allez être redirigé vers la page Créer les étapes suivantes du récepteur de journaux du routeur de journaux. Le message suivant peut apparaître en haut de l'écran : "Le récepteur de journaux a bien été créé. Les données seront bientôt disponibles."
Monitoring > Pub/Sub > Dataflow > BigQuery/Bigtable
).
L'exportation vers Cloud Storage permet de regrouper les entrées et de les écrire dans des objets Cloud Storage environ toutes les heures.Vous allez maintenant exporter des journaux d'équilibrage de charge HTTP Cloud vers BigQuery.
-
Dans le menu de navigation de gauche, sélectionnez Routeur de journaux pour revenir à la page d'accueil du service.
-
Cliquez sur Créer un récepteur.
-
Dans le champ Nom du récepteur, saisissez
load_bal_logs
, puis cliquez sur Suivant. -
Dans le menu déroulant Sélectionner le service de récepteur, cliquez sur Ensemble de données BigQuery.
-
Dans le menu déroulant Sélectionnez un ensemble de données BigQuery, cliquez sur project_logs. (Vous avez créé cet ensemble de données BigQuery plus tôt dans cette procédure.)
-
Cliquez sur Suivant.
-
Dans la zone de liste Créer un filtre d'inclusion, saisissez
resource.type="http_load_balancer"
. -
Cliquez sur Créer un récepteur.
-
Vous allez être redirigé vers la page Créer les étapes suivantes du récepteur de journaux.
-
Dans le menu de navigation de gauche, sélectionnez Routeur de journaux pour revenir à la page d'accueil du service.
Cette page affiche alors une liste de récepteurs, dont celui que vous avez créé (load_bal_logs
).
Examiner les entrées de journal exportées
-
Ouvrez BigQuery en cliquant sur Menu de navigation > BigQuery.
-
Le message "Bienvenue sur BigQuery dans Cloud Console" s'affiche. Il contient un lien vers le guide de démarrage rapide et liste les mises à jour de l'interface utilisateur.
-
Cliquez sur OK.
-
Dans le volet "Explorateur" de gauche, cliquez sur votre projet, dont le nom commence par
qwiklabs-gcp-xxx
. Vous devriez voir un ensemble de données intituléproject_logs
en dessous.
Vous allez maintenant vérifier que l'ensemble de données BigQuery dispose des autorisations appropriées pour permettre au rédacteur d'exportations de stocker les entrées de journal.
-
Cliquez sur le menu à trois points ("Afficher les actions") situé à côté de l'ensemble de données
project_logs
, puis sur Ouvrir. -
Ensuite, cliquez sur le menu déroulant Partage en haut à droite de la console, puis sélectionnez Autorisations.
-
Sur le panneau des autorisations d'ensemble de données, vous verrez que vos comptes de service disposent du rôle "Éditeur de données BigQuery".
-
Fermez ce panneau.
-
Développez l'ensemble de données
project_logs
pour afficher les tables contenant vos journaux exportés. Vous devriez en voir plusieurs (une pour chaque type de journal recevant des entrées). -
Cliquez sur la table syslog_(1), puis sur Détails pour connaître le nombre de lignes et consulter d'autres métadonnées. Si la table syslog_(1) ne s'affiche pas, essayez d'actualiser le navigateur.
-
Dans l'onglet Détails, repérez et copiez le nom complet de la table : celui-ci est indiqué dans le champ ID de la table, sous les informations relatives à la table.
-
Vous pouvez exécuter toutes sortes de requêtes pour analyser vos entrées de journal archivées. Par exemple, pour voir un sous-ensemble des champs de vos tables, copiez la requête ci-dessous dans l'onglet Éditeur de requête en remplaçant
qwiklabs-gcp-xx-xxxxxxxxxxx.project_logs.syslog_xxxxxxxx
par le nom de table que vous avez copié à l'étape précédente.
- Ensuite, cliquez sur Exécuter.
N'hésitez pas à effectuer des tests avec d'autres requêtes, vous obtiendrez ainsi des renseignements intéressants.
Remarque : Cloud Logging exporte les entrées de journal entrantes avant toute prise de décision concernant l'ingestion de l'entrée dans le stockage de journalisation. Par conséquent, seules les nouvelles entrées de journal seront exportées vers le récepteur. Il est donc possible que vous ne voyiez pas de table syslog_(1), car toutes les entrées syslog ont été générées avant l'exportation.
Les entrées de journal existantes déjà ingérées dans Cloud Logging peuvent être extraites à l'aide de commandes semblables à celle-ci :gcloud logging read "resource.type=gce_instance AND logName=projects/[PROJECT_ID]/logs/syslog AND textPayload:SyncAddress" --limit 10 --format json
.
Cliquez sur Vérifier ma progression pour valider l'objectif.
Tâche 4 : Créer une métrique de journalisation
Dans cette tâche, vous allez créer une métrique vous permettant de recevoir des alertes si un trop grand nombre de requêtes Web génèrent des entrées de journal liées à un refus d'accès.
Cloud Monitoring vous permet de créer des métriques personnalisées basées sur l'arrivée d'entrées de journal spécifiques.
- Revenez à la page "Explorateur de journaux" : Menu de navigation > Journaux > Explorateur de journaux.
-
À droite de la console, sélectionnez Créer une métrique pour créer une métrique de journalisation basée sur ce filtre.
-
Dans l'éditeur de métriques basées sur les journaux, définissez Type de métrique sur Compteur.
-
Sous la section Détails, saisissez 403s dans le champNom de la métrique basée sur les journaux.
-
Sous Sélection du filtre, saisissez le code ci-dessous dans la zone de texte Créer un filtre et remplacez
PROJECT_ID
par ID 1 de projet Google Cloud.
-
Conservez les valeurs par défaut dans tous les autres champs.
-
Cliquez sur Créer une métrique.
-
Vous utiliserez cette métrique dans la partie de l'atelier concernant la création de tableaux de bord.
Cliquez sur Vérifier ma progression pour valider l'objectif.
Tâche 5 : Créer un tableau de bord de surveillance
Dans cette tâche, vous allez accéder au second projet créé par Qwiklabs pour y configurer un espace de travail Monitoring.
Basculer vers un autre projet
- Basculez vers le second projet créé par Qwiklabs (utilisez ID 2 de projet Google Cloud dans les informations de connexion de Qwiklabs). L'ID du projet actuel s'affiche en haut de la console.
- Cliquez sur le nom du projet en haut de Cloud Console, puis sur l'onglet Tous.
-
Cliquez sur le second projet vers lequel vous souhaitez basculer. Vérifiez qu'il s'agit bien de ID 2 de projet Google Cloud dans les informations de connexion de Qwiklabs.
-
Cliquez sur Ouvrir.
Créer un espace de travail Surveillance
Vous allez maintenant configurer un espace de travail Surveillance lié à votre projet GCP Qwiklabs. Suivez les étapes ci-dessous pour créer un compte avec un essai gratuit de Surveillance.
-
Dans la console Google Cloud Platform, cliquez sur le menu de navigation > Monitoring (Surveillance).
-
Attendez que votre espace de travail soit provisionné.
Votre espace de travail est prêt dès que le tableau de bord Surveillance s'ouvre.
À présent, ajoutez le premier projet à votre espace de travail Cloud Monitoring.
-
Dans le menu de gauche, cliquez sur Paramètres. Ensuite, cliquez sur + Ajouter des projets Google Cloud dans la section "Projets Google Cloud".
-
L'un des projets de cet atelier s'affiche en tant que compte surveillé. Cochez la case située à côté de votre autre projet. Ensuite, sélectionnez Utiliser ce projet en tant que projet effectuant une surveillance pour le projet effectuant une surveillance, puis cliquez sur Ajouter des projets.
-
Cliquez sur Confirmer.
Créer un tableau de bord de surveillance
-
Dans le volet de gauche, cliquez sur Tableaux de bord.
-
Cliquez sur + Créer un tableau de bord.
-
En haut de la page, remplacez le nom générique du tableau de bord par
Exemple de tableau de bord
. -
Cliquez sur Ligne.
-
Dans le champ Titre du graphique, saisissez Usage du processeur.
-
Dans Ressource et métrique, sélectionnez Instance de VM > Instance > Usage du processeur. Vérifiez que ce format est respecté :
compute.googleapis.com/instance/cpu/usage_time
. Cliquez sur Appliquer.
Afficher uniquement les ressources et métriques actives
.-
Cliquez sur Ajouter un graphique.
-
Cliquez sur Ligne.
-
Nommez le graphique
Utilisation de la mémoire
et définissez Ressource et métrique sur Instance de VM > Mémoire > Utilisation de la mémoire. Vérifiez que ce format est respecté :agent.googleapis.com/memory/percent_used
. -
Cliquez sur Appliquer.
-
Cliquez sur le bouton Activer l'actualisation automatique situé en haut à droite en regard de "Modifier le tableau de bord" pour générer des graphiques en temps réel.
Une fois le chargement terminé, vous devriez voir deux graphiques : le premier représente l'usage du processeur, tandis que le second représente l'utilisation de la mémoire.
Vous pouvez maintenant explorer d'autres options en modifiant les graphiques, par exemple "Filtre'", "Grouper par" et "Agrégation".
Félicitations !
Dans cet atelier, vous avez appris à effectuer les tâches suivantes :
-
Afficher des journaux grâce à divers mécanismes de filtrage
-
Exclure des entrées de journal et désactiver l'ingestion de journaux
-
Exporter des journaux et générer des rapports sur ceux-ci
-
Créer des métriques de journalisation et générer des rapports les concernant
-
Surveiller divers projets Google Cloud à l'aide de Cloud Monitoring
-
Créer un tableau de bord des métriques
Terminer l'atelier
Une fois l'atelier terminé, cliquez sur Terminer l'atelier. Google Cloud Skills Boost supprime les ressources que vous avez utilisées, puis efface le compte.
Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez un nombre d'étoiles, saisissez un commentaire, puis cliquez sur Envoyer.
Le nombre d'étoiles correspond à votre degré de satisfaction :
- 1 étoile = très insatisfait(e)
- 2 étoiles = insatisfait(e)
- 3 étoiles = ni insatisfait(e), ni satisfait(e)
- 4 étoiles = satisfait(e)
- 5 étoiles = très satisfait(e)
Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.
Pour soumettre des commentaires, suggestions ou corrections, veuillez accéder à l'onglet Assistance.
Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.