GSP1209

Présentation

Gemini est une famille de modèles d'IA générative développés par Google DeepMind, et conçus pour les cas d'utilisation multimodaux. L'API Gemini vous donne accès aux modèles Gemini Pro Vision et Gemini Pro. Dans cet atelier, vous allez apprendre à utiliser l'API Gemini Vertex AI avec le SDK Vertex AI pour Python afin d'interagir avec les modèles Gemini 1.0 Pro (gemini-1.0-pro) et Gemini 1.0 Pro Vision (gemini-1.0-pro-vision).

API Gemini Vertex AI

L'API Gemini Vertex AI fournit une interface unifiée pour interagir avec les modèles Gemini. Deux modèles sont actuellement disponibles dans l'API Gemini :

1. Le modèle Gemini 1.0 Pro (gemini-1.0-pro), qui est conçu pour gérer les tâches en langage naturel, le chat textuel et de code multitour, ainsi que la génération de code.
2. Le modèle Gemini 1.0 Pro Vision (gemini-1.0-pro-vision), compatible avec les requêtes multimodales, qui permet d'inclure du texte, des images et des vidéos dans vos requêtes, et d'obtenir des réponses textuelles ou de code.

Vous pouvez interagir avec l'API Gemini de différentes façons :

• Utiliser Vertex AI Studio pour effectuer des tests et générer des commandes rapidement
• Utiliser des commandes cURL
• Utiliser le SDK Vertex AI

Dans cet atelier, vous allez utiliser le SDK Vertex AI pour Python afin d'appeler l'API Gemini Vertex AI.

Pour en savoir plus, consultez la documentation sur l'IA générative sur Vertex AI.

Prérequis

Avant de commencer cet atelier, vous devez :

• avoir des connaissances de base en programmation Python ;
• disposer de connaissances générales sur le fonctionnement des API ;
• savoir exécuter du code Python dans un notebook Jupyter dans Vertex AI Workbench.

Objectifs

Dans cet atelier, vous allez apprendre à :

• installer le SDK Vertex AI pour Python ;
• utiliser le modèle Gemini 1.0 Pro (gemini-1.0-pro) pour générer du texte ;
• utiliser le modèle multimodal Gemini 1.0 Pro Vision (gemini-1.0-pro-vision) pour générer du texte à partir d'une combinaison de texte, d'images et de vidéos.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Nous vous fournissons des identifiants temporaires pour vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;

Remarque : Ouvrez une fenêtre de navigateur en mode incognito/navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le temporaire étudiant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• vous disposez d'un temps limité ; une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier afin d'éviter que des frais supplémentaires ne vous soient facturés.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google Cloud
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau Détails concernant l'atelier.

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau Détails concernant l'atelier.

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais gratuits.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour afficher un menu contenant la liste des produits et services Google Cloud, cliquez sur le menu de navigation en haut à gauche.

Tâche 1 : Ouvrir le notebook dans Vertex AI Workbench

1. Dans la console Google Cloud, accédez au menu de navigation et cliquez sur Vertex AI > Workbench.

2. Recherchez le notebook generative-ai-jupyterlab et cliquez sur le bouton Ouvrir JupyterLab.

L'interface JupyterLab s'ouvre dans un nouvel onglet du navigateur.

Tâche 2 : Configurer le notebook

1. Cliquez sur le fichier intro_gemini_python.ipynb.

2. Parcourez les sections Getting Started (Premiers pas) et Import libraries (Importer des bibliothèques) du notebook.

   • Pour Project ID, utilisez et pour Location, utilisez .

Remarque : Vous pouvez ignorer les cellules du notebook avec la mention Colab only.

Dans les sections suivantes, vous allez parcourir les cellules du notebook pour apprendre à utiliser l'API Gemini Vertex AI avec le SDK Vertex AI pour Python.

Tâche 3 : Utiliser le modèle Gemini 1.0 Pro

Le modèle Gemini 1.0 Pro (gemini-1.0-pro) est conçu pour gérer les tâches en langage naturel, le chat textuel et de code multitour, ainsi que la génération de code. Dans cette tâche, vous allez parcourir les cellules du notebook pour apprendre à générer du texte à partir de requêtes textuelles à l'aide du modèle Gemini 1.0 Pro.

Générer du texte à partir de requêtes textuelles

Envoyez une requête textuelle au modèle. Le modèle Gemini 1.0 Pro (gemini-1.0-pro) fournit des réponses qui s'affichent progressivement. Grâce à ce mécanisme, vous n'avez pas besoin d'attendre la réponse complète. Vous pouvez commencer à traiter les fragments dès qu'ils sont accessibles.

• Parcourez la section Generate text from text prompts (Générer du texte à partir de requêtes textuelles) du notebook.

Cliquez sur Vérifier ma progression pour valider les objectifs.

Générer du texte à partir de requêtes textuelles Imprimer l'historique du chat

Tâche 4 : Utiliser le modèle Gemini 1.0 Pro Vision

Gemini 1.0 Pro Vision (gemini-1.0-pro-vision) est un modèle multimodal compatible avec les requêtes multimodales. Il vous permet d'inclure du texte, des images et des vidéos dans vos requêtes, et d'obtenir des réponses textuelles ou de code. Dans cette tâche, vous allez parcourir les cellules du notebook afin d'apprendre à utiliser le modèle Gemini 1.0 Pro Vision pour générer du texte à partir de requêtes contenant du texte et des images, puis générer du texte à partir d'un fichier vidéo.

Générer du texte à partir d'une image et de texte locaux

• Parcourez la section Generate text from local image and text (Générer du texte à partir d'une image et de texte locaux) du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif.

Vérifier l'image Générer du texte à partir d'une image et de texte locaux

Générer du texte à partir de requêtes contenant du texte et des images

• Parcourez la section Generate text from text & image(s) (Générer du texte à partir de texte et d'image(s)) du notebook.

  Générer du texte à partir de texte et d'image(s)

Combiner plusieurs requêtes contenant des images et du texte pour une requête few-shot

• Parcourez la section Combining multiple images and text prompts for few-shot prompting (Combiner plusieurs requêtes contenant des images et du texte pour une requête few-shot) du notebook.

  Effectuer une requête few-shot

Générer du texte à partir d'un fichier vidéo

• Parcourez la section Generate text from a video file (Générer du texte à partir d'un fichier vidéo) du notebook.

  Générer du texte à partir d'un fichier vidéo

Félicitations !

Dans cet atelier, vous avez appris à utiliser l'API Gemini Vertex AI, ainsi que le SDK Vertex AI pour Python afin d'interagir avec les modèles Gemini 1.0 Pro (gemini-1.0-pro) et Gemini 1.0 Pro Vision (gemini-1.0-pro-vision). Vous avez ainsi pu découvrir vous-même les capacités de l'API Gemini Vertex AI et son intégration parfaite au SDK Python.

Étapes suivantes et informations supplémentaires

• Consultez la documentation sur l'IA générative sur Vertex AI.
• Découvrez l'IA générative sur la chaîne YouTube Google Cloud Tech.
• Dépôt officiel de l'IA générative Google Cloud
• Exemples de notebook Gemini

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 16 mai 2024

Dernier test de l'atelier : 16 mai 2024

Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.