GSP1097

Présentation

Le rapprochement des comptes est l'un des nombreux processus métier obligatoires pour une multitude d'entreprises dans de nombreux secteurs verticaux. Chaque entreprise a ses propres procédures, mais elles suivent généralement un processus assez standard d'association des transactions entre les journaux et les relevés bancaires pour garantir l'exactitude financière des comptes. Les outils de rapprochement et d'audit aident les équipes à maximiser leur productivité et à gagner du temps lors du processus de rapprochement de comptes qui peut s'avérer très long.

Dans cet atelier, vous allez créer une table de comptes dans Google Cloud Spanner et configurer un pipeline de surveillance avec la fonctionnalité Flux de modifications de Spanner et Google Dataflow. Les modifications seront reflétées dans BigQuery.

Points abordés

Dans cet atelier, vous allez apprendre à effectuer les tâches suivantes :

• Créer une table de comptes dans Spanner
• Créer un hook de surveillance des flux de modifications dans Spanner
• Configurer et exécuter un job Dataflow de flux de modifications
• Surveiller les modifications dans BigQuery

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).

Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau "Détails concernant l'atelier", qui contient les éléments suivants :

   • Le bouton "Ouvrir la console Google Cloud"
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau "Détails concernant l'atelier".

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau "Détails concernant l'atelier".

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche.

Tâche 1 : Créer une base de données de comptes et insérer l'instruction LDD

1. Dans le menu de navigation de la console Cloud (), cliquez sur Afficher tous les produits, puis sous "Bases de données", cliquez sur Spanner.

2. Cliquez sur l'instance bitfoon-dev.

3. Sur la page "Détails de l'instance", cliquez sur Créer une base de données.

4. Pour le nom de la base de données, saisissez finance.

5. Pour le champ Sélectionner le dialecte de la base de données, choisissez SQL standard Google.

6. Dans la zone Définir votre schéma (facultatif), copiez et collez l'instruction LDD suivante :

CREATE TABLE Account ( AccountId BYTES(16) NOT NULL, CreationTimestamp TIMESTAMP NOT NULL OPTIONS (allow_commit_timestamp=true), AccountStatus INT64 NOT NULL, Balance NUMERIC NOT NULL ) PRIMARY KEY (AccountId);

7. Cliquez sur Créer. Votre base de données doit se présenter comme suit :

Parfait ! Vous avez créé une base de données de comptes.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer une base de données de comptes et insérer l'instruction LDD

Tâche 2 : Insérer des données de comptes arbitraires

1. Dans la base de données finance, cliquez sur Spanner Studio dans le menu de gauche.

2. Copiez et collez la requête suivante dans le champ :

INSERT INTO Account (AccountId, CreationTimestamp, AccountStatus, Balance) VALUES (FROM_BASE64('ACCOUNTID11123'), PENDING_COMMIT_TIMESTAMP(), 1, 22)

3. Cliquez sur Exécuter.

Le résultat doit se présenter comme suit :

1 row inserted This statement inserted 1 row and did not return any rows.

4. Répétez l'étape de la requête trois fois avec des ID de compte différents pour créer plusieurs comptes. Utilisez les ID de compte suivants :
   • ACCOUNTID12345
   • ACCOUNTID24680
   • ACCOUNTID135791

Parfait ! Vous avez inséré plusieurs comptes dans votre base de données.

Tâche 3 : Créer un flux de modifications pour "Balance" et "AccountStatus"

1. Dans la base de données finance, cliquez sur Flux de modifications dans le menu de gauche.

2. Cliquez sur + CRÉER UN FLUX DE MODIFICATIONS.

3. Copiez et collez le schéma suivant dans l'éditeur :

CREATE CHANGE STREAM AccountUpdateStream FOR Account(AccountStatus, Balance);

4. Cliquez sur Exécuter.

5. Revenez à la page Flux de modifications. Vérifiez que le flux de modifications a bien été créé :

Le flux de modifications est désormais créé avec une durée de conservation par défaut de 24 h. Vous pouvez consulter d'autres options sur cette page.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un flux de modifications pour "Balance" et "AccountStatus"

Tâche 4 : Créer un ensemble de données de rapprochement dans BigQuery pour recevoir les données du flux de modifications

1. Dans le menu de navigation de la console Cloud (), cliquez sur BigQuery.

2. Cliquez sur les points à côté de l'ID de votre projet dans le menu "Explorateur", puis sélectionnez Créer un ensemble de données.

3. Nommez le nouvel ensemble de données changestream.

4. Cliquez sur Créer un ensemble de données.

Parfait ! Vous avez créé une table de rapprochement.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un ensemble de données de rapprochement dans BigQuery pour recevoir les données du flux de modifications

Tâche 5 : Créer un pipeline de flux de modifications Dataflow

1. Dans le menu de navigation de la console Cloud (), cliquez sur Afficher tous les produits, puis sur Dataflow sous Analyse.

2. Cliquez sur Créer un job à partir d'un modèle.

3. Dans le champ Nom du job, saisissez change-stream-pipeline.

4. Pour Point de terminaison régional, sélectionnez .

5. Pour Modèle Dataflow, sélectionnez Flux de modifications Cloud Spanner vers BigQuery.

6. Renseignez les paramètres requis avec les valeurs suivantes :

   • ID de l'instance Spanner : bitfoon-dev
   • Base de données Spanner : finance
   • Flux de modifications Spanner : AccountUpdateStream
   • Ensemble de données BigQuery : changestream
   • Base de données de métadonnées Spanner : finance
   • ID de l'instance de métadonnées Spanner : bitfoon-dev

7. Cliquez sur Exécuter le job.

Démarrer le job Dataflow

1. Dans le menu de navigation de la console Cloud (), sous Bases de données, cliquez sur Spanner.

2. Cliquez sur l'instance bitfoon-dev.

3. Cliquez sur la base de données finance.

4. Cliquez sur Spanner Studio dans le menu de gauche.

5. Exécutez la requête suivante pour lancer le job Dataflow :

INSERT INTO Account (AccountId, CreationTimestamp, AccountStatus, Balance) VALUES (FROM_BASE64('ACCOUNTID98765'), PENDING_COMMIT_TIMESTAMP(), 1, 22)

6. Dans le menu de navigation de la console Cloud (), cliquez sur Afficher tous les produits, puis sur Dataflow sous Analyse.

7. Vérifiez que le job Dataflow est en cours d'exécution.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un pipeline de flux de modifications Dataflow

Tâche 6 : Créer des modifications dans Spanner et les suivre dans BigQuery

1. Dans le menu de navigation de la console Cloud (), cliquez sur Afficher tous les produits, puis sous "Bases de données", cliquez sur Spanner.

2. Cliquez sur l'instance bitfoon-dev.

3. Cliquez sur la base de données finance.

4. Cliquez sur Spanner Studio dans le menu de gauche.

5. Copiez et collez la requête de mise à jour suivante dans le champ :

UPDATE Account SET CreationTimestamp=PENDING_COMMIT_TIMESTAMP(), AccountStatus=4, Balance=255 WHERE AccountId=FROM_BASE64('ACCOUNTID11123');

6. Cliquez sur Exécuter.

7. Répétez l'étape de la requête trois fois pour créer plusieurs modifications en utilisant les valeurs de solde suivantes :

   • 300
   • 500
   • 600

8. Dans le menu de navigation de la console Cloud (), cliquez sur BigQuery.

9. Accédez à l'ensemble de données changestream, sélectionnez Account_changelog et observez les modifications.

Remarque : Les résultats peuvent mettre quelques minutes à s'afficher dans la table.

10. Sélectionnez l'onglet Aperçu pour consulter les résultats. Votre table doit se présenter comme suit :

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer des modifications dans Spanner et les suivre dans BigQuery

Félicitations !

Dans cet atelier, vous avez implémenté un pipeline de rapprochement et d'audit pour un exemple de comptes et de soldes sur Google Cloud à l'aide de Spanner, Dataflow et BigQuery.

Étapes suivantes et informations supplémentaires

Pour en savoir plus sur les flux de modifications et sur Spanner, consultez les ressources suivantes :

• Consultez la documentation sur les flux de modifications.
• Découvrez le déploiement complet d'une application de schéma de plate-forme financière dans Spanner.
• Apprenez-en davantage sur les fonctionnalités remarquables de Spanner et Vertex AI.

Dernière mise à jour du manuel : 6 novembre 2024

Dernier test de l'atelier : 6 novembre 2024

Copyright 2025 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.