GSP212

Présentation

Dans cet atelier, vous allez apprendre à configurer un réseau pour enregistrer le trafic à destination et en provenance d'un serveur Web Apache à l'aide de journaux de flux VPC. Vous exporterez ensuite ces journaux vers BigQuery à des fins d'analyse.

Les cas d'utilisation des journaux de flux VPC sont multiples. Par exemple, ils peuvent être utilisés pour déterminer d'où les accès à vos applications sont effectués afin d'optimiser les frais liés au trafic réseau, pour créer des équilibreurs de charge HTTP afin de répartir le trafic à l'échelle mondiale, ou pour ajouter des adresses IP à la liste de blocage avec Cloud Armor.

Objectifs

Dans cet atelier, vous apprendrez à effectuer les opérations suivantes :

• Configurer un réseau personnalisé grâce aux journaux de flux VPC
• Créer un serveur Web Apache
• Vérifier que le trafic réseau est bien consigné dans des journaux
• Exporter le trafic réseau vers BigQuery afin d'analyser les journaux plus en détail
• Configurer l'agrégation des journaux de flux VPC

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Nous vous fournissons des identifiants temporaires pour vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;

Remarque : Ouvrez une fenêtre de navigateur en mode incognito/navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le temporaire étudiant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• vous disposez d'un temps limité ; une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier afin d'éviter que des frais supplémentaires ne vous soient facturés.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google Cloud
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau Détails concernant l'atelier.

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau Détails concernant l'atelier.

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais gratuits.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour afficher un menu contenant la liste des produits et services Google Cloud, cliquez sur le menu de navigation en haut à gauche.

Activer Cloud Shell

Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud.

1. Cliquez sur Activer Cloud Shell  en haut de la console Google Cloud.

Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET. Le résultat contient une ligne qui déclare YOUR_PROJECT_ID (VOTRE_ID_PROJET) pour cette session :

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.

2. (Facultatif) Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :

gcloud auth list

3. Cliquez sur Autoriser.

4. Vous devez à présent obtenir le résultat suivant :

Résultat :

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Facultatif) Vous pouvez lister les ID de projet à l'aide de cette commande :

gcloud config list project

Résultat :

[core] project = <ID_Projet>

Exemple de résultat :

[core] project = qwiklabs-gcp-44776a13dea667a6 Remarque : Pour consulter la documentation complète sur gcloud, dans Google Cloud, accédez au guide de présentation de la gcloud CLI.

Tâche 1 : Configurer un réseau personnalisé à l'aide de journaux de flux VPC

Créer le réseau personnalisé

Pour un réseau, les journaux de flux VPC sont désactivés par défaut. Par conséquent, vous allez créer un réseau en mode personnalisé et activer les journaux de flux VPC.

1. Dans la console, accédez au menu de navigation () > Réseau VPC > Réseaux VPC.

   

2. Cliquez sur Créer un réseau VPC.

3. Indiquez les paramètres suivants et conservez les valeurs par défaut des autres paramètres :

   Property (Propriété)	Valeur (saisissez la valeur ou sélectionnez l'option spécifiée)
   Nom	vpc-net
   Description	Saisissez une description (facultatif)

4. Dans le champ Mode de création du sous-réseau, cliquez sur Personnalisé.

5. Indiquez les paramètres suivants et conservez les valeurs par défaut des autres paramètres :

   Property (Propriété)	Valeur (saisissez la valeur ou sélectionnez l'option spécifiée)
   Name (Nom)	vpc-subnet
   Région
   Plage IPv4	10.1.3.0/24
   Journaux de flux	On (Activés)

6. Cliquez sur OK, puis sur Créer.

Remarque : L'activation des journaux de flux VPC n'affecte pas les performances, mais certains systèmes peuvent générer un grand nombre de journaux, ce qui risque d'augmenter les coûts. Remarque : Attendez que le réseau soit créé avant de passer à l'étape suivante.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si votre tâche a bien été exécutée, vous recevez une note d'évaluation.

Créer le réseau personnalisé Créer un sous-réseau pour le réseau personnalisé dans la région

Créer la règle de pare-feu

Afin de diffuser le trafic HTTP et SSH sur le réseau, vous devez créer une règle de pare-feu.

1. Dans le menu de gauche, cliquez sur Pare-feu.

2. Cliquez sur Créer une règle de pare-feu.

3. Indiquez les paramètres suivants et conservez les valeurs par défaut des autres paramètres :

   Property (Propriété)	Valeur (saisissez la valeur ou sélectionnez l'option spécifiée)
   Nom	allow-http-ssh
   Réseau	vpc-net
   Cibles	Tags cibles spécifiés
   Tags cibles	http-server
   Filtre source	Plages IPv4
   Plages IPv4 sources	0.0.0.0/0
   Protocoles et ports	Sélectionnez Protocoles et ports spécifiés, puis cochez "tcp" et saisissez : 80, 22

Remarque : Pensez à ajouter /0 dans les plages IPv4 sources pour indiquer tous les réseaux.

4. Cliquez sur Créer.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si votre tâche a bien été exécutée, vous recevez une note d'évaluation.

Créer la règle de pare-feu dans le réseau personnalisé

Tâche 2 : Créer un serveur Web Apache

Créer le serveur Web

1. Dans la console, accédez au menu de navigation () > Compute Engine > Instances de VM.

2. Cliquez sur CRÉER UNE INSTANCE.

3. Indiquez les paramètres suivants et conservez les valeurs par défaut des autres paramètres :

   Property (Propriété)	Valeur (saisissez la valeur ou sélectionnez l'option spécifiée)
   Nom	web-server
   Région
   Zone
   Type de machine	e2-micro (2 processeurs virtuels, 1 Go de mémoire)
   Pare-feu	Autoriser le trafic HTTP

4. Cliquez sur Mise en réseau, disques, sécurité, gestion, location unique.

5. Cliquez sur Mise en réseau.

6. Dans la section Interfaces réseau, cliquez sur Par défaut pour effectuer vos modifications.

7. Indiquez les paramètres suivants et conservez les valeurs par défaut des autres paramètres :

   Property (Propriété)	Valeur (saisissez la valeur ou sélectionnez l'option spécifiée)
   Réseau	vpc-net
   Subnetwork (Sous-réseau)	vpc-subnet

8. Cliquez sur OK, puis sur Créer.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si votre tâche a bien été exécutée, vous recevez une note d'évaluation.

Créer le serveur Web dans le réseau personnalisé (zone :)

Installer Apache

Configurez l'instance de VM que vous avez créée comme serveur Web Apache et écrasez la page Web par défaut.

1. Revenez à la console, toujours sur la page "Instances de VM" (menu de navigation () > Compute Engine > Instances de VM). Pour web-server, cliquez sur SSH pour lancer un terminal et vous connecter.
2. Dans le terminal SSH web-server, mettez à jour l'index du package :

sudo apt-get update

3. Installez le package "Apache2" :

sudo apt-get install apache2 -y

4. Créez une page Web par défaut en écrasant l'ancienne :

echo '<!doctype html><html><body><h1>Hello World!</h1></body></html>' | sudo tee /var/www/html/index.html

5. Quittez le terminal SSH :

exit

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si votre tâche a bien été exécutée, vous recevez une note d'évaluation.

Installer Apache sur le serveur Web

Tâche 3 : Vérifier que le trafic réseau est consigné dans des journaux

Générer le trafic réseau

1. Revenez à la console, toujours sur la page "Instances de VM" (menu de navigation () > Compute Engine > Instances de VM).
2. Pour afficher web-server, cliquez sur l'adresse IP externe permettant d'accéder au serveur.

Remarque : La page de bienvenue Hello World! que vous avez configurée s'affiche. Vous pouvez également accéder au serveur dans un nouvel onglet, en saisissant http:// suivi de l'adresse IP externe.

Obtenir votre adresse IP

Recherchez l'adresse IP de l'ordinateur que vous utilisez. La méthode la plus simple consiste à accéder à un site Web dédié.

1. Cliquez sur whatismyip.host pour récupérer votre adresse IPv4.
2. Copiez votre adresse IP. Elle sera désignée par l'expression YOUR_IP_ADDRESS.

Accéder aux journaux de flux VPC

1. Dans la console, accédez au menu de navigation > Journalisation > Explorateur de journaux.

2. Dans le panneau Champs de journal, sous Type de ressource, cliquez sur Sous-réseau. Le volet "Résultats de la requête" affiche les entrées des journaux du sous-réseau.

3. Dans le panneau Champs de journal, sous Nom du journal, cliquez sur compute.googleapis.com/vpc_flows.

4. Saisissez YOUR_IP_ADDRESS dans le champ de recherche de l'onglet "Requête" en haut de la page. Cliquez ensuite sur Exécuter la requête.

Remarque : Si l'option de filtre compute.googleapis.com/vpc_flows ou les journaux n'apparaissent pas, vous devrez peut-être attendre quelques minutes et actualiser la page.

5. Cliquez sur l'une des entrées de journal pour la développer.
6. Dans l'entrée, cliquez sur les flèches pour développer jsonPayload, puis la connexion. Il se peut que vous deviez cliquer sur Tout développer pour afficher la connexion.

Remarque : La connexion contient l'adresse IP ou le numéro de port de destination, le protocole ainsi que l'adresse IP ou le numéro de port source. Selon la direction du trafic, la destination est soit votre serveur Web, soit la machine depuis laquelle vous travaillez (et inversement pour la source).

Le protocole doit être 6, c'est-à-dire le protocole IANA pour le trafic TCP. L'un des numéros de port est 80. Il s'agit du port HTTP sur le serveur Web. L'autre numéro de port doit être supérieur à 1024. Il correspond au port HTTP sur votre machine.

N'hésitez pas à explorer d'autres champs de l'entrée de journal avant de passer à la tâche suivante.

Tâche 4 : Exporter le trafic réseau vers BigQuery pour analyser les journaux plus en détail

Créer un récepteur d'exportations

1. Dans la console, accédez au panneau de gauche et cliquez sur Explorateur de journaux.

2. Dans le menu déroulant Ressources, sélectionnez Sous-réseau. Cliquez ensuite sur Appliquer.

3. Dans le menu déroulant, Nom du journal, cochez vpc_flows et cliquez sur Appliquer. Cliquez ensuite sur Exécuter la requête.

4. Cliquez sur Autres actions > Créer un récepteur.

5. Dans "Nom du récepteur", saisissez vpc-flows et cliquez sur SUIVANT.

6. Dans "Sélectionner le service de récepteur", choisissez Ensemble de données BigQuery.

7. Dans "Destination du récepteur", sélectionnez Créer un ensemble de données BigQuery.

8. Dans "ID de l'ensemble de données", saisissez bq_vpcflows, puis cliquez sur CRÉER L'ENSEMBLE DE DONNÉES.

9. Cliquez sur CRÉER UN RÉCEPTEUR. La page "Récepteurs du routeur de journaux" s'affiche. Le récepteur vpc-flows que vous avez créé devrait y apparaître. Si ce n'est pas le cas, cliquez sur Routeur de journaux.

Générer du trafic à journaliser pour BigQuery

Maintenant que les journaux de trafic réseau ont été exportés vers BigQuery, générez davantage de trafic en accédant plusieurs fois au serveur Web. À l'aide de Cloud Shell, vous pouvez utiliser curl plusieurs fois sur l'adresse IP du serveur Web.

1. Dans la console, accédez au menu de navigation () > Compute Engine > Instances de VM.
2. Notez l'adresse IP externe pour l'instance du serveur Web à utiliser lors de l'étape suivante. Elle sera désignée par l'expression EXTERNAL_IP.
3. Dans la ligne de commande Cloud Shell, exécutez la commande suivante pour stocker la valeur EXTERNAL_IP dans une variable d'environnement. Remplacez <EXTERNAL_IP> par l'adresse que vous avez notée :

export MY_SERVER=<EXTERNAL_IP>

4. Accédez au serveur Web 50 fois depuis Cloud Shell :

for ((i=1;i<=50;i++)); do curl $MY_SERVER; done

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si votre tâche a bien été exécutée, vous recevez une note d'évaluation.

Exporter le trafic réseau vers BigQuery

Visualiser les journaux de flux VPC dans BigQuery

1. Dans la console, accédez au menu de navigation () > BigQuery.
2. Cliquez sur OK.
3. Sur la gauche, développez l'ensemble de données bq_vpcflows pour afficher la table. Vous devrez peut-être d'abord développer l'ID du projet pour afficher l'ensemble de données.
4. Cliquez sur le nom de la table. Il devrait commencer par compute_googleapis.

Remarque : Si vous ne voyez pas l'ensemble de données bq_vpcflows ou qu'il ne se développe pas, attendez et actualisez la page.

5. Cliquez sur l'onglet Détails.

6. Copiez l'ID de table indiqué dans l'onglet Détails.

7. Ajoutez ce qui suit dans l'éditeur de requête, puis remplacez your_table_id par TABLE_ID en laissant les apostrophes (`) des deux côtés :

#standardSQL SELECT jsonPayload.src_vpc.vpc_name, SUM(CAST(jsonPayload.bytes_sent AS INT64)) AS bytes, jsonPayload.src_vpc.subnetwork_name, jsonPayload.connection.src_ip, jsonPayload.connection.src_port, jsonPayload.connection.dest_ip, jsonPayload.connection.dest_port, jsonPayload.connection.protocol FROM `your_table_id` GROUP BY jsonPayload.src_vpc.vpc_name, jsonPayload.src_vpc.subnetwork_name, jsonPayload.connection.src_ip, jsonPayload.connection.src_port, jsonPayload.connection.dest_ip, jsonPayload.connection.dest_port, jsonPayload.connection.protocol ORDER BY bytes DESC LIMIT 15

8. Cliquez sur Exécuter.

Remarque : Le tableau des résultats contient le nombre total d'octets envoyés, l'adresse IP source, l'adresse IP de destination, le port de destination, le protocole, et les noms de VPC et de sous-réseau respectifs. Remarque : Si vous obtenez une erreur, vérifiez que vous n'avez pas supprimé la partie #standardSQL de la requête. Si le problème persiste, assurez-vous que TABLE_ID ne contient pas l'ID du projet.

Analyser les journaux de flux VPC dans BigQuery

La requête précédente vous a fourni les mêmes informations que celles données dans la console Cloud. À présent, modifiez la requête afin d'identifier les principales adresses IP qui ont échangé du trafic avec votre serveur Web.

1. Créez une requête dans l'éditeur de requête avec ce qui suit, puis remplacez your_table_id par TABLE_ID en laissant les apostrophes (`) des deux côtés :

#standardSQL SELECT jsonPayload.connection.src_ip, jsonPayload.connection.dest_ip, SUM(CAST(jsonPayload.bytes_sent AS INT64)) AS bytes, jsonPayload.connection.dest_port, jsonPayload.connection.protocol FROM `your_table_id` WHERE jsonPayload.reporter = 'DEST' GROUP BY jsonPayload.connection.src_ip, jsonPayload.connection.dest_ip, jsonPayload.connection.dest_port, jsonPayload.connection.protocol ORDER BY bytes DESC LIMIT 15

2. Cliquez sur Exécuter.

Remarque : Le tableau des résultats contient maintenant une ligne pour chaque adresse IP source, et les données sont triées en fonction de la quantité d'octets envoyés vers le serveur Web. Le premier résultat doit indiquer votre adresse IP Cloud Shell. Remarque : Si vous n'accédez pas au serveur Web après avoir créé le récepteur d'exportations, vous ne verrez pas l'adresse IP de votre machine dans le tableau.

N'hésitez pas à générer plus de trafic vers le serveur Web en provenance de plusieurs sources, et à interroger de nouveau la table pour déterminer les octets envoyés vers le serveur.

Tâche 5 : Ajouter l'agrégation des journaux de flux VPC

Vous allez maintenant explorer une nouvelle version de la réduction du volume des journaux de flux VPC. Les paquets ne sont pas tous capturés dans leur propre enregistrement de journal. Cependant, même avec l'échantillonnage, les captures d'enregistrement de journal peuvent être relativement volumineuses.

Vous pouvez équilibrer vos besoins en termes de visibilité du trafic et de coûts de stockage en ajustant les aspects spécifiques de la collecte de journaux (que vous allez explorer dans cette section).

Configurer l'agrégation

1. Dans la console, accédez au menu de navigation () > Réseau VPC > Réseaux VPC.

2. Cliquez sur vpc-net, puis cliquez sur Edit (Modifier).

3. Dans l'onglet "Sous-réseaux", cliquez sur vpc-subnet :

4. Cliquez sur Modifier > Configurer les journaux pour exposer les champs suivants :

La fonction de chaque champ est expliquée ci-dessous :

• Aggregation time interval (Intervalle de temps d'agrégation) : les paquets échantillonnés pendant un intervalle de temps sont agrégés dans une même entrée de journal. Cet intervalle peut être de 5 secondes (par défaut), 30 secondes, 1 minute, 5 minutes, 10 minutes ou 15 minutes.

• Metadata annotations (Annotations de métadonnées) : par défaut, les entrées de journal de flux sont annotées avec des informations de métadonnées, telles que les noms des VM sources et de destination, ou bien la région géographique des sources et des destinations externes. Cette annotation de métadonnées peut être désactivée pour économiser de l'espace de stockage.

• Log entry sampling (Échantillonnage des entrées de journal) : avant qu'ils ne soient écrits dans la base de données, les journaux peuvent être échantillonnés afin d'en réduire le nombre. Par défaut, le volume des entrées de journal est réduit de 0,50 (50 %), ce qui signifie que la moitié des entrées sont conservées. Cette valeur peut être comprise entre 1,0 (100 %, toutes les entrées de journal sont conservées) et 0,0 (0 %, aucun journal n'est conservé).

5. Définissez l'intervalle d'agrégation sur 30 secondes.

6. Définissez le taux d'échantillonnage sur 25 %.

7. Cliquez sur Enregistrer. Le message suivant s'affiche :

Le fait de définir le niveau d'agrégation sur 30 secondes permet de réduire la taille de vos journaux de flux de 83 % (au maximum) par rapport à l'intervalle d'agrégation par défaut de 5 secondes. La configuration de l'agrégation des journaux de flux VPC peut avoir un impact important sur la visibilité du trafic et les coûts de stockage

Félicitations !

Vous avez configuré un réseau VPC, activé les journaux de flux VPC et créé un serveur Web dans ce réseau. Ensuite, vous avez généré du trafic HTTP vers le serveur Web, consulté les journaux de trafic dans la console Cloud et analysé les journaux de trafic dans BigQuery.

Terminer votre quête

Cet atelier d'auto-formation fait partie de la quête Network Performance and Optimization. Une quête est une série d'ateliers associés qui constituent un parcours de formation. Si vous terminez une quête, vous obtenez un badge attestant de votre réussite. Vous pouvez rendre publics les badges que vous recevez et ajouter leur lien dans votre CV en ligne ou sur vos comptes de réseaux sociaux. Inscrivez-vous à n'importe quelle quête contenant cet atelier pour obtenir immédiatement les crédits associés. Découvrez toutes les quêtes disponibles dans le catalogue Google Cloud Skills Boost.

Quête suivante

Poursuivez votre apprentissage avec une autre quête, par exemple Google Cloud Solutions I: Scaling Your Infrastructure, ou consultez ces suggestions :

• Créer un équilibrage de charge interrégional

Étapes suivantes et informations supplémentaires

Pour en savoir plus sur les concepts de base de Google Cloud Identity and Access Management :

• Corriger des erreurs SQL courantes avec BigQuery

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 28 septembre 2023

Dernier test de l'atelier : 28 septembre 2023

Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.