GSP1210

Présentation

Gemini est une famille de modèles d'IA générative développés par Google DeepMind, et conçus pour les cas d'utilisation multimodaux. L'API Gemini vous donne accès aux modèles Gemini Pro Vision et Gemini Pro. Cet atelier présente divers cas d'utilisation des fonctionnalités multimodales de Gemini. Dans cet atelier, vous allez apprendre à utiliser l'API Gemini Vertex AI pour générer du texte à partir de requêtes contenant du texte et une ou plusieurs images, ou une vidéo.

La multimodalité

Par rapport aux LLM basés uniquement sur du texte, la multimodalité de Gemini Pro Vision peut servir dans de nombreux nouveaux cas d'utilisation.

Voici des exemples de cas d'utilisation avec des entrées contenant du texte et une ou plusieurs images :

• Détecter des objets dans des photos
• Comprendre des écrans et des interfaces
• Comprendre un dessin ou une image abstraite
• Comprendre des graphiques et des diagrammes
• Recommander des images en fonction des préférences utilisateur
• Comparer des images pour identifier des similitudes, des anomalies ou des différences

Voici des exemples de cas d'utilisation avec des entrées contenant du texte et une vidéo :

• Générer la description d'une vidéo
• Extraire des tags d'objets dans une vidéo
• Extraire les temps forts ou le message d'une vidéo

Objectifs

Au cours de cet atelier, vous allez :

• utiliser l'API Gemini Vertex AI pour générer du texte à partir de requêtes contenant du texte, une ou plusieurs images et une vidéo.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Nous vous fournissons des identifiants temporaires pour vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;

Remarque : Ouvrez une fenêtre de navigateur en mode incognito/navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le temporaire étudiant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• vous disposez d'un temps limité ; une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier afin d'éviter que des frais supplémentaires ne vous soient facturés.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google Cloud
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau Détails concernant l'atelier.

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau Détails concernant l'atelier.

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais gratuits.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour afficher un menu contenant la liste des produits et services Google Cloud, cliquez sur le menu de navigation en haut à gauche.

Activer toutes les API recommandées

1. Dans la console Google Cloud, accédez au menu de navigation, puis cliquez sur Vertex AI.

2. Cliquez sur Activer toutes les API recommandées.

Tâche 1 : Ouvrir le notebook dans Vertex AI Workbench

1. Dans la console Google Cloud, accédez au menu de navigation et cliquez sur Vertex AI > Workbench.

2. Sur la page Notebooks gérés par l'utilisateur, cherchez le notebook generative-ai-jupyterlab et cliquez sur le bouton Ouvrir JupyterLab.

L'interface JupyterLab s'ouvre dans un nouvel onglet du navigateur.

Tâche 2 : Ouvrir le dossier "generative-ai"

1. Accédez au dossier generative-ai situé à gauche du notebook.

2. Accédez au dossier /gemini/use-cases/.

3. Cliquez sur le fichier intro_multimodal_use_cases.ipynb.

4. Parcourez les sections Getting Started (Premiers pas) et Import libraries (Importer des bibliothèques) du notebook.

   • Pour Project ID, utilisez et pour Location, utilisez .

Remarque : Vous pouvez ignorer les cellules du notebook avec la mention Colab only.

Dans les sections suivantes, vous allez parcourir les cellules du notebook pour apprendre à utiliser l'API Gemini Vertex AI avec le SDK Vertex AI pour Python.

Tâche 3 : Utiliser le modèle Gemini Pro Vision

Gemini Pro Vision (gemini-pro-vision) est un modèle multimodal compatible avec les requêtes multimodales. Il vous permet d'inclure du texte, des images et des vidéos dans vos requêtes, et d'obtenir des réponses textuelles ou de code.

Dans cette tâche, vous allez parcourir les cellules du notebook pour apprendre à utiliser le modèle Gemini Pro Vision. Revenez ici pour vérifier votre progression par rapport aux différents objectifs.

Comprendre un groupe d'images

Gemini est capable de raisonner à l'aide de plusieurs images. Dans cet exemple, vous allez utiliser Gemini pour calculer le coût total pour des fruits à partir d'une image avec des fruits et d'une autre avec des prix.

Parcourez la section Image understanding across multiple images (Comprendre un groupe d'images) du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Comprendre un groupe d'images

Comprendre des écrans et des interfaces

Gemini peut également extraire des informations à partir d'écrans d'appareils, d'interfaces utilisateur, de captures d'écran, d'icônes et de mises en page. Dans cet exemple, vous allez extraire des informations sur un four à l'aide de Gemini pour aider un utilisateur à parcourir l'interface utilisateur et lui fournir des instructions dans plusieurs langues.

Parcourez la section Understanding Screens and Interfaces (Comprendre des écrans et des interfaces) du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Comprendre des écrans et des interfaces

Comprendre les relations entre des entités dans des diagrammes techniques

Grâce à ses fonctionnalités multimodales, Gemini peut comprendre des diagrammes et effectuer des actions concrètes, comme suggérer des améliorations ou générer du code. Dans cet exemple, vous allez voir Gemini analyser un diagramme de relations d'entités, comprendre les relations entre les tables, identifier les besoins d'optimisation dans un environnement spécifique comme BigQuery et même générer le code correspondant.

Parcourez la section Understanding entity relationships in technical diagrams (Comprendre les relations entre des entités dans des diagrammes techniques) du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Comprendre les relations entre des entités dans des diagrammes techniques

Fournir des recommandations basées sur plusieurs images

Gemini peut comparer des images et fournir des recommandations. Cela peut être utile dans les secteurs de la vente au détail et de l'e-commerce. Dans cet exemple, vous allez utiliser Gemini pour recommander la paire de lunettes la plus adaptée à un visage de forme ovale.

Parcourez la section Recommendations based on multiple images (Recommandations basées sur plusieurs images) du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Fournir des recommandations basées sur plusieurs images

Identifier des similitudes/différences

Gemini peut comparer des images et identifier les similitudes ou les différences entre des objets. Dans cet exemple, vous allez utiliser Gemini pour comparer deux images du même lieu et déterminer leurs différences.

Parcourez la section Similarity/Differences (Similitudes/différences) du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Identifier des similitudes/différences

Générer la description d'une vidéo

Gemini peut générer la description d'une vidéo. Dans cet exemple, vous allez utiliser Gemini pour générer la description d'une vidéo sur une ville de la côte méditerranéenne.

Parcourez la section Generating a video description (Générer la description d'une vidéo) du notebook.

Extraire des tags d'objets dans une vidéo

Gemini peut également extraire des tags d'une vidéo. Dans cet exemple, vous allez utiliser Gemini pour extraire les tags des objets présents dans une vidéo de shooting photo et générer des hashtags.

Parcourez la section Extracting tags of objects throughout the video (Extraire des tags d'objets dans une vidéo) du notebook.

Répondre à des questions sur une vidéo

Gemini peut répondre à des questions sur une vidéo. Dans cet exemple, vous allez utiliser Gemini pour répondre à des questions sur une vidéo et renvoyer une réponse JSON.

Parcourez la section Asking more questions about a video (Répondre à des questions sur une vidéo) du notebook.

Récupérer des informations qui ne sont pas incluses dans une vidéo

Gemini peut également récupérer des informations qui ne sont pas incluses dans une vidéo. Dans cet exemple, vous allez utiliser Gemini pour récupérer des informations supplémentaires sur la vidéo, par exemple en posant des questions spécifiques sur l'itinéraire d'un train.

Parcourez la section Retrieving extra information beyond the video (Récupérer des informations qui ne sont pas incluses dans une vidéo) du notebook.

Félicitations !

Vous avez terminé l'atelier. Dans cet atelier, vous avez appris à utiliser l'API Gemini Vertex AI pour générer du texte à partir de requêtes contenant du texte et une ou plusieurs images, ou une vidéo.

Étapes suivantes et informations supplémentaires

• Consultez la documentation sur l'IA générative sur Vertex AI.
• Découvrez l'IA générative sur la chaîne YouTube Google Cloud Tech.
• Dépôt officiel de l'IA générative Google Cloud
• Exemples de notebook Gemini

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 7 mars 2024

Dernier test de l'atelier : 7 mars 2024

Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.