GSP1040

Présentation

BigLake est un moteur de stockage unifié qui simplifie l'accès aux données pour les entrepôts et les lacs de données en offrant un contrôle des accès uniforme et précis. Il est compatible avec le stockage multicloud et permet d'utiliser des formats ouverts.

BigLake étend la sécurité ultraprécise de BigQuery (au niveau des lignes et des colonnes) aux tables des stores qui hébergent des données sous forme d'objets, tels qu'Amazon S3, Azure Data Lake Storage Gen2 et Google Cloud Storage. BigLake dissocie l'accès à la table des données sous-jacentes stockées sur le cloud grâce à la délégation d'accès. Cette fonctionnalité permet d'accorder de manière sécurisée un accès au niveau des lignes et des colonnes aux utilisateurs et aux pipelines de votre organisation, sans leur donner un accès complet à la table.

Une fois la table BigLake créée, vous pouvez l'interroger comme n'importe quelle autre table BigQuery. BigQuery applique des contrôles d'accès au niveau des lignes et des colonnes. Chaque utilisateur ne voit ainsi que la tranche de données qu'il a l'autorisation de consulter. Les stratégies de gouvernance sont appliquées à tous les accès aux données effectués par l'intermédiaire des API BigQuery. Par exemple, l'API BigQuery Storage permet aux utilisateurs d'accéder à des données autorisées à l'aide de moteurs de requête Open Source tels qu'Apache Spark, comme le montre le schéma suivant :

Objectifs

Au cours de cet atelier, vous allez :

• créer et afficher une ressource de connexion ;
• configurer l'accès à un lac de données Cloud Storage ;
• créer une table BigLake ;
• interroger la table BigLake via BigQuery ;
• configurer des stratégies de contrôle d'accès ;
• mettre à niveau des tables externes vers des tables BigLake.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Nous vous fournissons des identifiants temporaires pour vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;

Remarque : Ouvrez une fenêtre de navigateur en mode incognito/navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le temporaire étudiant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• vous disposez d'un temps limité ; une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier afin d'éviter que des frais supplémentaires ne vous soient facturés.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google Cloud
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau Détails concernant l'atelier.

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau Détails concernant l'atelier.

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais gratuits.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour afficher un menu contenant la liste des produits et services Google Cloud, cliquez sur le menu de navigation en haut à gauche.

Activer Cloud Shell

Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud.

1. Cliquez sur Activer Cloud Shell  en haut de la console Google Cloud.

Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET. Le résultat contient une ligne qui déclare YOUR_PROJECT_ID (VOTRE_ID_PROJET) pour cette session :

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.

2. (Facultatif) Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :

gcloud auth list

3. Cliquez sur Autoriser.

4. Vous devez à présent obtenir le résultat suivant :

Résultat :

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Facultatif) Vous pouvez lister les ID de projet à l'aide de cette commande :

gcloud config list project

Résultat :

[core] project = <ID_Projet>

Exemple de résultat :

[core] project = qwiklabs-gcp-44776a13dea667a6 Remarque : Pour consulter la documentation complète sur gcloud, dans Google Cloud, accédez au guide de présentation de la gcloud CLI.

Tâche 1 : Créer une ressource de connexion

Les tables BigLake accèdent aux données Google Cloud Storage à l'aide d'une ressource de connexion. Une ressource de connexion peut être associée à une seule table ou à un groupe arbitraire de tables du projet.

1. Dans le menu de navigation, accédez à BigQuery > BigQuery Studio. Cliquez sur OK.

2. Pour créer une connexion, cliquez sur + AJOUTER, puis sur Connexions à des sources de données externes.

Remarque : Si vous êtes invité à activer l'API BigQuery Connection, cliquez sur Activer l'API.

3. Dans la liste "Type de connexion", sélectionnez Modèles distants Vertex AI, fonctions à distance et BigLake (Ressource Cloud).

4. Dans le champ "ID de connexion", saisissez my-connection.

5. Pour "Type d'emplacement", choisissez Multirégional, puis sélectionnez US (plusieurs régions aux États-Unis) dans le menu déroulant.

6. Cliquez sur Créer une connexion.

7. Pour afficher vos informations de connexion, sélectionnez la connexion dans le menu de navigation.

8. Dans la section Informations de connexion, copiez l'ID du compte de service. Vous en aurez besoin dans la section suivante.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer la ressource de connexion

Tâche 2 : Configurer l'accès à un lac de données Cloud Storage

Dans cette section, vous allez accorder à la nouvelle ressource de connexion un accès en lecture seule au lac de données Cloud Storage afin que BigQuery puisse accéder aux fichiers Cloud Storage pour le compte des utilisateurs. Nous vous recommandons d'attribuer au compte de service de la ressource de connexion le rôle IAM Lecteur d'objets Storage, qui permet au compte de service d'accéder aux buckets Cloud Storage.

1. Dans le menu de navigation, accédez à IAM et administration > IAM.

2. Cliquez sur ACCORDER L'ACCÈS.

3. Dans le champ Nouveaux comptes principaux, saisissez l'ID de compte de service que vous avez copié précédemment.

4. Dans le champ Sélectionner un rôle, sélectionnez Cloud Storage, puis Lecteur d'objets Storage.

5. Cliquez sur Enregistrer.

Remarque : Après avoir migré les utilisateurs vers des tables BigLake, supprimez les autorisations Cloud Storage directes des utilisateurs existants. L'accès direct aux fichiers permet aux utilisateurs de contourner les stratégies de gouvernance (telles que la sécurité au niveau des lignes et des colonnes) définies sur les tables BigLake.

Cliquez sur Vérifier ma progression pour valider l'objectif. Configurer l'accès à un lac de données Cloud Storage

Tâche 3 : Créer une table BigLake

L'exemple suivant utilise le format de fichier CSV, mais vous pouvez utiliser n'importe quel format compatible avec BigLake, comme indiqué dans la section Limitations. Vous savez comment créer des tables dans BigQuery ? Le processus est ici similaire. Seule différence : vous spécifiez la connexion de ressource cloud associée.

Remarque : Pour des performances optimales, nous vous recommandons d'utiliser des buckets Cloud Storage régionaux ou birégionaux, et non des buckets multirégionaux.

Si aucun schéma n'a été fourni et que l'accès au bucket n'a pas été accordé au compte de service à l'étape précédente, cette étape échoue et un message de type "accès refusé" vous est renvoyé.

Créer un ensemble de données

1. Revenez dans BigQuery > BigQuery Studio.

2. Cliquez sur les trois points à côté du nom de votre projet et sélectionnez Créer un ensemble de données.

3. Dans le champ ID de l'ensemble de données, indiquez demo_dataset.

4. Pour "Type d'emplacement", choisissez Multirégional, puis sélectionnez US (plusieurs régions aux États-Unis) dans le menu déroulant.

5. Laissez les valeurs par défaut des autres champs et cliquez sur Créer un ensemble de données.

   Maintenant que vous avez créé un ensemble de données, vous pouvez copier un ensemble de données existant depuis Cloud Storage vers BigQuery.

Créer la table

1. Cliquez sur les trois points à côté de demo_dataset, puis choisissez Créer une table.

2. Dans "Source", pour l'option Créer une table à partir de, sélectionnez Google Cloud Storage.

Remarque : Un bucket Cloud Storage a été créé pour vous, avec deux ensembles de données dont vous vous servirez au cours de cet atelier.

3. Cliquez sur Parcourir pour sélectionner l'ensemble de données. Accédez au bucket nommé , puis au fichier customer.csv à importer dans BigQuery, et cliquez sur Sélectionner.

4. Sous Destination, vérifiez que le projet de l'atelier a été sélectionné et que vous utilisez l'ensemble de données demo_dataset.

5. Nommez la table biglake_table.

6. Définissez "Type de table" sur Table externe.

7. Cochez la case Créer une table BigLake à l'aide d'une connexion à une ressource cloud.

   Vérifiez que l'ID de connexion us.my-connection est sélectionné. Votre configuration doit se présenter comme suit :

8. Sous Schéma, activez l'option Modifier sous forme de texte, puis copiez et collez le schéma suivant dans la zone de texte :

[ { "name": "customer_id", "type": "INTEGER", "mode": "REQUIRED" }, { "name": "first_name", "type": "STRING", "mode": "REQUIRED" }, { "name": "last_name", "type": "STRING", "mode": "REQUIRED" }, { "name": "company", "type": "STRING", "mode": "NULLABLE" }, { "name": "address", "type": "STRING", "mode": "NULLABLE" }, { "name": "city", "type": "STRING", "mode": "NULLABLE" }, { "name": "state", "type": "STRING", "mode": "NULLABLE" }, { "name": "country", "type": "STRING", "mode": "NULLABLE" }, { "name": "postal_code", "type": "STRING", "mode": "NULLABLE" }, { "name": "phone", "type": "STRING", "mode": "NULLABLE" }, { "name": "fax", "type": "STRING", "mode": "NULLABLE" }, { "name": "email", "type": "STRING", "mode": "REQUIRED" }, { "name": "support_rep_id", "type": "INTEGER", "mode": "NULLABLE" } ] Remarque : En règle générale, les lacs de données ne disposent pas d'un schéma prédéfini. Dans cet atelier, nous en utilisons un pour faciliter la définition des règles au niveau des colonnes.

9. Cliquez sur Créer une table.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer la table BigLake

Tâche 4 : Interroger une table BigLake via BigQuery

Maintenant que vous avez créé la table BigLake, vous pouvez envoyer une requête à l'aide de n'importe quel client BigQuery.

1. Dans la barre d'outils d'aperçu biglake_table, cliquez sur Requête > Dans un nouvel onglet.

2. Exécutez la commande suivante pour interroger la table BigLake via l'éditeur BigQuery :

SELECT * FROM `{{{project_0.project_id|Project ID}}}.demo_dataset.biglake_table`

3. Cliquez sur Exécuter.

4. Vérifiez que vous voyez bien toutes les colonnes et données dans la table obtenue.

Tâche 5 : Configurer des stratégies de contrôle d'accès

Une fois la table BigLake créée, vous pouvez la gérer de la même manière qu'une table BigQuery. Pour créer des stratégies de contrôle d'accès pour les tables BigLake, vous devez d'abord créer une taxonomie de tags avec stratégie dans BigQuery. Ensuite, appliquez les tags avec stratégie aux lignes ou colonnes sensibles. Dans cette section, vous allez créer une stratégie au niveau des colonnes. Pour savoir comment configurer la sécurité au niveau des lignes, consultez le guide de la sécurité au niveau des lignes.

À cette fin, une taxonomie BigQuery nommée et le tag avec stratégie biglake-policy associé ont déjà été créés.

Ajouter des tags avec stratégie à des colonnes

Vous allez maintenant utiliser le tag avec stratégie que vous avez créé pour limiter l'accès à certaines colonnes de la table BigQuery. Dans cet exemple, vous allez restreindre l'accès à des informations sensibles (adresse, code postal et numéro de téléphone).

1. Dans le menu de navigation, accédez à BigQuery > BigQuery Studio.

2. Accédez à demo-dataset > biglake_table, puis cliquez sur la table pour ouvrir la page présentant son schéma.

3. Cliquez sur Modifier le schéma.

4. Cochez les cases correspondant aux champs address, postal_code et phone.

5. Cliquez sur Ajouter un tag avec stratégie.

6. Cliquez sur pour le développer, et sélectionnez biglake-policy.

7. Cliquez sur Sélectionner.

   Le tag avec stratégie doit désormais être associé aux colonnes.

8. Cliquez sur Enregistrer.

9. Vérifiez que le schéma de votre table se présente maintenant comme suit.

Remarque : Les icônes d'avertissement figurant sur les colonnes indiquent que vous n'avez pas accès à ces champs particuliers en raison des règles de sécurité en place.

Vérifier la sécurité au niveau des colonnes

1. Ouvrez l'éditeur de requête pour la table biglake_table.

2. Exécutez la commande suivante pour interroger la table BigLake via l'éditeur BigQuery :

SELECT * FROM `{{{project_0.project_id|Project ID}}}.demo_dataset.biglake_table`

3. Cliquez sur Exécuter.

   Un message d'erreur de type "accès refusé" doit s'afficher :

4. À présent, exécutez la requête suivante en omettant les colonnes auxquelles vous n'avez pas accès :

SELECT * EXCEPT(address, phone, postal_code) FROM `{{{project_0.project_id|Project ID}}}.demo_dataset.biglake_table`

La requête doit s'exécuter sans aucun problème et renvoyer les colonnes auxquelles vous avez accès. Cet exemple montre que la sécurité au niveau des colonnes appliquée dans BigQuery s'applique également aux tables BigLake.

Tâche 6 : Mettre à niveau des tables externes vers des tables BigLake

Vous pouvez mettre à niveau une table existante vers une table BigLake en associant la table existante à une connexion de ressource cloud. Pour obtenir la liste complète des options et arguments, consultez bq update et bq mkdef.

Créer la table externe

1. Cliquez sur les trois points à côté de demo_dataset, puis choisissez Créer une table.

2. Dans "Source", pour l'option Créer une table à partir de, sélectionnez Google Cloud Storage.

3. Cliquez sur Parcourir pour sélectionner l'ensemble de données. Accédez au bucket nommé , puis au fichier invoice.csv à importer dans BigQuery, et cliquez sur Sélectionner.

4. Sous Destination, vérifiez que le projet de l'atelier a été sélectionné et que vous utilisez l'ensemble de données demo_dataset.

5. Nommez la table external_table.

6. Définissez "Type de table" sur Table externe.

Remarque : Ne spécifiez pas encore de connexion de ressource cloud.

7. Sous Schéma, activez l'option Modifier sous forme de texte, puis copiez et collez le schéma suivant dans la zone de texte :

[ { "name": "invoice_id", "type": "INTEGER", "mode": "REQUIRED" }, { "name": "customer_id", "type": "INTEGER", "mode": "REQUIRED" }, { "name": "invoice_date", "type": "TIMESTAMP", "mode": "REQUIRED" }, { "name": "billing_address", "type": "STRING", "mode": "NULLABLE" }, { "name": "billing_city", "type": "STRING", "mode": "NULLABLE" }, { "name": "billing_state", "type": "STRING", "mode": "NULLABLE" }, { "name": "billing_country", "type": "STRING", "mode": "NULLABLE" }, { "name": "billing_postal_code", "type": "STRING", "mode": "NULLABLE" }, { "name": "total", "type": "NUMERIC", "mode": "REQUIRED" } ]

8. Cliquez sur Créer une table.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer la table externe

Mettre à niveau la table externe vers une table BigLake

1. Ouvrez une nouvelle fenêtre Cloud Shell, puis exécutez la commande suivante pour générer une nouvelle définition de table externe qui indique la connexion à utiliser :

export PROJECT_ID=$(gcloud config get-value project) bq mkdef \ --autodetect \ --connection_id=$PROJECT_ID.US.my-connection \ --source_format=CSV \ "gs://$PROJECT_ID/invoice.csv" > /tmp/tabledef.json

2. Vérifiez que la définition de table a bien été créée :

cat /tmp/tabledef.json

3. Obtenez le schéma de votre table :

bq show --schema --format=prettyjson demo_dataset.external_table > /tmp/schema

4. Mettez à niveau la table en utilisant la nouvelle définition de table externe :

bq update --external_table_definition=/tmp/tabledef.json --schema=/tmp/schema demo_dataset.external_table

Cliquez sur Vérifier ma progression pour valider l'objectif. Mettre à niveau la table externe vers une table BigLake

Vérifier la table mise à niveau

1. Dans le menu de navigation, accédez à BigQuery > BigQuery Studio.

2. Accédez à demo-dataset > double-clic sur external_table.

3. Ouvrez l'onglet Détails.

4. Sous "Configuration des données externes", vérifiez que la table utilise désormais l'ID de connexion approprié.

Parfait ! Vous avez bien mis à niveau la table externe existante vers une table BigLake en l'associant à une connexion de ressource cloud.

Félicitations !

Dans cet atelier, vous avez créé une ressource de connexion, configuré l'accès à un lac de données Cloud Storage et créé une table BigLake à partir de celui-ci. Vous avez ensuite interrogé la table BigLake via BigQuery et configuré des stratégies de contrôle d'accès au niveau des colonnes. Enfin, vous avez mis à niveau une table externe existante vers une table BigLake à l'aide d'une ressource de connexion.

Étapes suivantes et informations supplémentaires

Pour vous familiariser davantage avec BigLake, consultez la documentation suivante :

• Présentation des tables BigLake
• Créer et gérer des tables BigLake
• Interroger une table BigLake en utilisant des connecteurs

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 16 janvier 2024

Dernier test de l'atelier : 16 janvier 2024

Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.