
Before you begin
- Labs create a Google Cloud project and resources for a fixed time
- Labs have a time limit and no pause feature. If you end the lab, you'll have to restart from the beginning.
- On the top left of your screen, click Start lab to begin
Enable relevant APIs and set IAM roles
/ 15
Create a cloud resource connection
/ 10
Grant IAM permissions to the connection's service account
/ 10
Create the dataset and object table in BigQuery for movie poster images
/ 10
Create the Gemini Remote models in BigQuery
/ 10
Prompt Gemini to provide movie summaries for each poster
/ 20
Generate text embeddings for a subset of the IMDB dataset
/ 25
Dans cet atelier, vous allez apprendre à utiliser BigQuery Machine Learning pour l'inférence avec des modèles distants (modèles d'IA Gemini) afin d'analyser des images d'affiches de films et de générer des résumés de ces affiches dans un projet de démonstration de faisabilité.
BigQuery est une plate-forme d'analyse de données entièrement gérée et compatible avec l'IA, conçue pour être multimoteur, multiformat et multicloud. Elle vous aide à maximiser la valeur de vos données. BigQuery Machine Learning pour l'inférence, l'une de ses fonctionnalités essentielles, vous permet de créer et d'exécuter des modèles de machine learning (ML) à l'aide de requêtes GoogleSQL.
Gemini est une famille de modèles d'IA générative développés par Google DeepMind, et conçus pour les cas d'utilisation multimodaux. L'API Gemini vous donne accès aux modèles Gemini Pro Vision et Gemini Pro.
En règle générale, l'exploitation du ML ou de l'intelligence artificielle (IA) sur des ensembles de données volumineux nécessite une programmation importante et une connaissance approfondie des frameworks de ML. Ces exigences restreignent le développement de solutions à un très petit nombre de personnes dans chaque entreprise, excluant de fait les analystes de données, qui comprennent les données mais ont des connaissances limitées en ML et ne sont pas des experts en programmation. Toutefois, grâce à BigQuery Machine Learning pour l'inférence, les utilisateurs de SQL peuvent mettre à profit leurs compétences et outils SQL existants pour créer des modèles et générer des résultats à partir de LLM et des API d'IA dans le cloud.
Dans cet atelier, vous allez apprendre à :
Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.
Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.
Pour réaliser cet atelier :
Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau "Détails concernant l'atelier", qui contient les éléments suivants :
Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).
L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.
Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.
Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.
Vous trouverez également le nom d'utilisateur dans le panneau "Détails concernant l'atelier".
Cliquez sur Suivant.
Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.
Vous trouverez également le mot de passe dans le panneau "Détails concernant l'atelier".
Cliquez sur Suivant.
Accédez aux pages suivantes :
Après quelques instants, la console Cloud s'ouvre dans cet onglet.
Dans cette tâche, vous allez configurer l'environnement de l'atelier afin de pouvoir utiliser l'API Cloud AI Companion pour Gemini et l'API Vertex AI Platform avec votre projet.
Connectez-vous à la console Google Cloud avec vos identifiants d'atelier et ouvrez la fenêtre du terminal Cloud Shell.
Pour définir les variables d'environnement pour l'ID de votre projet et la région, exécutez les commandes suivantes dans Cloud Shell :
Pour enregistrer le compte utilisateur Google connecté dans une variable d'environnement, exécutez la commande suivante :
Activez l'API Cloud AI Companion pour Gemini et l'API Vertex AI :
Pour utiliser Gemini, attribuez les rôles IAM nécessaires à votre compte utilisateur Google Cloud Qwiklabs :
Une fois ajoutés, ces rôles permettent à l'utilisateur de bénéficier de l'aide de Gemini.
Cliquez sur Vérifier ma progression pour valider l'objectif.
Dans cette tâche, vous allez créer une connexion à une ressource cloud dans BigQuery pour pouvoir travailler avec les modèles Gemini Pro et Gemini Pro Vision.
Dans la console Google Cloud, accédez au menu de navigation, puis cliquez sur BigQuery.
Dans le pop-up de bienvenue, cliquez sur OK.
Pour créer une connexion, cliquez sur + AJOUTER, puis sur Connexions à des sources de données externes.
Dans la liste "Type de connexion", sélectionnez Modèles distants Vertex AI, fonctions à distance et BigLake (Ressource Cloud).
Dans le champ "ID de connexion", saisissez gemini_conn pour votre connexion.
Pour Type d'emplacement sélectionnez Multirégional, puis États-Unis (multirégional) dans le menu déroulant.
Utilisez les valeurs par défaut des autres paramètres.
Cliquez sur Créer une connexion.
Cliquez sur ACCÉDER À LA CONNEXION.
Dans le volet "Informations de connexion", copiez l'ID du compte de service à utiliser à l'étape suivante dans un fichier texte. Vous verrez également que la connexion est ajoutée sous la section "Connexions externes" de votre projet dans l'explorateur BigQuery.
Cliquez sur Vérifier ma progression pour valider l'objectif.
Dans cette tâche, vous allez attribuer un rôle au compte de service de la connexion afin de lui accorder des autorisations IAM sur la ressource cloud et lui permettre d'accéder aux services Vertex AI.
Dans la console Google Cloud, accédez au menu de navigation, puis cliquez sur IAM et administration.
Cliquez sur Accorder l'accès.
Dans le champ Nouveaux comptes principaux, saisissez l'ID de compte de service que vous avez copié précédemment.
Dans le champ "Sélectionnez un rôle", choisissez Vertex AI, puis le rôle Utilisateur Vertex AI.
Cliquez sur Enregistrer.
L'ID du compte de service inclut désormais le rôle Utilisateur Vertex AI.
Cliquez sur Vérifier ma progression pour valider l'objectif.
Dans cette tâche, vous allez créer un ensemble de données pour le projet et une table d'objets dans laquelle stocker les images des affiches.
Dans la console Google Cloud, ouvrez le menu de navigation () et sélectionnez BigQuery.
Dans le panneau Explorateur, pour
Vous créez un ensemble de données pour stocker des objets de bases de données, dont des tables et des modèles.
Dans le volet Créer un ensemble de données, saisissez les informations suivantes :
Champ | Valeur |
---|---|
ID de l'ensemble de données | gemini_demo |
Type d'emplacement | Sélectionnez Multirégional |
Emplacement multirégional | Sélectionnez États-Unis |
Conservez les valeurs par défaut dans les autres champs.
Cliquez sur Créer un ensemble de données.
L'ensemble de données "gemini_demo" est désormais créé et figure en dessous de votre projet dans l'explorateur BigQuery.
Pour créer la table d'objets, vous allez utiliser une requête SQL.
Cliquez sur le signe + pour créer une requête SQL.
Dans l'éditeur de requête, collez la requête ci-dessous.
Exécutez la requête.
Cette requête ajoute la table d'objets "movie_posters" à l'ensemble de données "gemini_demo" et charge l'URI (l'emplacement Cloud Storage) de chaque image d'affiche de film dans cette table.
Dans l'explorateur, cliquez sur la table movie_posters, et examinez le schéma et les détails. Vous pouvez interroger la table pour examiner des enregistrements spécifiques.
Cliquez sur Vérifier ma progression pour valider l'objectif.
Maintenant que la table d'objets est créée, vous pouvez commencer à l'utiliser. Dans cette tâche, vous allez créer des modèles distants pour Gemini Pro et Gemini Pro Vision dans BigQuery.
Cliquez sur le signe + pour créer une requête SQL.
Dans l'éditeur de requête, collez la requête ci-dessous et exécutez-la.
Ce code crée le modèle "gemini_pro", qui est ajouté à l'ensemble de données "gemini_demo" dans la section "Modèles".
Dans l'explorateur, cliquez sur le modèle gemini_pro, et examinez le schéma et les détails.
Cliquez sur le signe + pour créer une requête SQL.
Dans l'éditeur de requête, collez la requête ci-dessous et exécutez-la.
Ce code crée le modèle "gemini_pro_vision", qui est ajouté à l'ensemble de données "gemini_demo" dans la section "Modèles".
Dans l'explorateur, cliquez sur le modèle gemini_pro_vision, et examinez le schéma et les détails.
Cliquez sur Vérifier ma progression pour valider l'objectif.
Dans cette tâche, vous allez utiliser Gemini (c'est-à-dire les modèles Gemini Pro et Gemini Pro Vision que vous venez de créer) pour analyser les images des affiches et générer un résumé pour chaque film.
Cliquez sur le signe + pour créer une requête SQL.
Dans l'éditeur de requête, collez la requête ci-dessous et exécutez-la.
Cette requête crée la table "movie_posters_results".
Dans l'explorateur, cliquez sur la table movie_posters_results, et examinez le schéma et les détails.
Cliquez sur le signe + pour créer une requête SQL.
Dans l'éditeur de requête, collez la requête suivante et exécutez-la :
Cette requête affiche les lignes de chaque affiche de film avec l'URI (l'emplacement Cloud Storage de l'image de l'affiche de film) et un résultat JSON incluant le titre du film et l'année de sa sortie, fournis par le modèle Gemini Pro Vision.
Vous pouvez récupérer ces résultats dans un format plus lisible en utilisant la requête suivante.
Cliquez sur le signe + pour créer une requête SQL.
Dans l'éditeur de requête, collez la requête suivante et exécutez-la :
Cette requête crée la table "movie_posters_result_formatted".
Vous pouvez interroger la table avec la requête ci-dessous pour voir les lignes créées.
Remarquez que les résultats de la colonne d'URI restent identiques, mais que le JSON est désormais converti en colonnes de titre et d'année pour chaque ligne.
Vous pouvez utiliser Gemini Pro pour fournir un résumé du film correspondant à chaque affiche en exécutant la requête ci-dessous.
Remarquez que le résultat ressemble à celui de la requête précédente, à deux différences près : la requête utilisée avec Gemini apparaît désormais dans la colonne "prompt" et le résultat de l'utilisation de cette requête apparaît dans le champ "ml_generate_text_llm_result", qui inclut un bref résumé du film.
Cliquez sur Vérifier ma progression pour valider l'objectif.
Dans cette tâche, vous allez générer des embeddings textuels à l'aide d'un modèle distant afin de pouvoir approfondir les analyses.
Pour générer les embeddings textuels, vous devez utiliser le modèle distant text-multilingual-embedding-002 hébergé sur le point de terminaison.
Cliquez sur le signe + pour créer une requête SQL.
Dans l'éditeur de requête, collez la requête suivante et exécutez-la :
Le modèle "text_embedding" est créé et apparaît en dessous de l'ensemble de données "gemini_demo" dans l'explorateur.
Vous devrez créer une table pour stocker les résultats.
Cliquez sur le signe + pour créer une requête SQL.
Dans l'éditeur de requête, collez la requête suivante et exécutez-la :
La table "movie_poster_results_embeddings" est créée. Elle contient les résultats de la création d'embeddings pour le contenu textuel (URI, titre du film et année de sortie) de la table "gemini_demo.movie_posters_results_formatted".
Vous pouvez afficher les résultats de la requête à l'aide de la nouvelle requête ci-dessous :
Vous pouvez voir ici les embeddings (vecteurs représentés par des nombres) que le modèle a générés pour chaque film.
Vous allez créer une vue qui contient uniquement les films de l'ensemble de données sortis avant 1935.
Créez une requête et exécutez-la avec l'instruction SQL suivante.
Cette requête crée une vue contenant une liste des ID, titres et années de sortie des différents films provenant de la table "bigquery-public-data.imdb.reviews" pour tous les films de l'ensemble de données sortis avant 1935.
Créez une requête et exécutez-la avec l'instruction SQL suivante.
Le résultat de la requête est une table contenant les embeddings pour le contenu textuel de la table "gemini_demo.imdb_movies".
Créez une requête et exécutez-la avec l'instruction SQL suivante.
La requête utilise la fonction VECTOR_SEARCH afin de trouver pour chaque ligne de la table "gemini_demo.movie_posters_results_embeddings" le voisin le plus proche dans la table "gemini_demo.imdb_movies_embeddings". Le voisin le plus proche est identifié à l'aide de la métrique de distance de cosinus, qui détermine le degré de similarité entre deux embeddings.
Cette requête permet de trouver le film le plus similaire dans l'ensemble de données IMDB pour chacun des films identifiés par Gemini Pro Vision à partir des affiches. Par exemple, vous pourriez utiliser cette requête pour trouver le résultat le plus proche du film "Au Secours !" (identifié par Gemini Pro Vision sur l'une des affiches de films) dans l'ensemble de données public IMDB, qui fait référence à ce film par son titre en anglais : "Help!".
Créez une requête et exécutez-la pour joindre des informations supplémentaires sur les notes attribuées aux films dans l'ensemble de données public IMDB.
Cette requête ressemble à la précédente. Elle utilise encore des représentations numériques particulières appelées embeddings vectoriels pour trouver des films similaires à une affiche de film donnée. Toutefois, elle ajoute aussi la note moyenne et le nombre de votes pour chaque film voisin le plus proche à partir d'une table distincte de l'ensemble de données public IMDB.
Cliquez sur Vérifier ma progression pour valider l'objectif.
Dans cet atelier, vous avez créé une table d'objets pour vos images d'affiches dans BigQuery, créé des modèles distants Gemini, utilisé les modèles pour demander à Gemini d'analyser les images et de fournir des résumés des films, généré des embeddings textuels pour les titres de films, et utilisé des embeddings pour faire correspondre les images des affiches au titre du film associé dans l'ensemble de données IMDB.
Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.
Dernière mise à jour du manuel : 4 octobre 2024
Dernier test de l'atelier : 23 mai 2024
Copyright 2025 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.
Ce contenu n'est pas disponible pour le moment
Nous vous préviendrons par e-mail lorsqu'il sera disponible
Parfait !
Nous vous contacterons par e-mail s'il devient disponible
One lab at a time
Confirm to end all existing labs and start this one