GSP1209

Panoramica

Gemini è una famiglia di modelli di AI generativa sviluppati da Google DeepMind progettati per casi d'uso multimodali. L'API Gemini ti dà accesso ai modelli Gemini Pro Vision e Gemini Pro. In questo lab imparerai a utilizzare l'API Gemini di Vertex AI con l'SDK Vertex AI Python per interagire con i modelli Gemini 1.0 Pro (gemini-1.0-pro) e Gemini 1.0 Pro Vision (gemini-1.0-pro-vision).

API Gemini di Vertex AI

L'API Gemini di Vertex AI fornisce un'interfaccia unificata per interagire con i modelli Gemini. Attualmente sono disponibili due modelli nell'API Gemini:

1. Modello Gemini 1.0 Pro (gemini-1.0-pro): progettato per gestire attività di elaborazione del linguaggio naturale, chat di testo e codice in più passaggi e generazione di codice.
2. Modello Gemini 1.0 Pro Vision (gemini-1.0-pro-vision): supporta prompt multimodali. Puoi includere testo, immagini e video nelle tue richieste di prompt e ottenere risposte di testo o codice.

Puoi interagire con l'API Gemini utilizzando i seguenti metodi:

• Utilizza Vertex AI Studio per test rapidi e generazione di comandi
• Utilizza i comandi cURL
• Utilizza l'SDK Vertex AI

Questo lab si concentra sull'utilizzo dell'SDK Vertex AI per Python per chiamare l'API Gemini di Vertex AI.

Per ulteriori informazioni, consulta la documentazione sull'AI generativa su Vertex AI.

Prerequisiti

Prima di iniziare questo lab, dovresti avere familiarità con questi concetti:

• Conoscenza di base della programmazione in Python
• Conoscenza generale del funzionamento delle API
• Esecuzione di codice Python in un blocco note Jupyter in Vertex AI Workbench

Obiettivi

In questo lab imparerai a:

• Installare l'SDK Vertex AI Python
• Utilizzare il modello Gemini 1.0 Pro (gemini-1.0-pro) per generare testo
• Utilizzare il modello multimodale Gemini 1.0 Pro Vision (gemini-1.0-pro-vision) per generare testo da una combinazione di testo, immagini e video

Configurazione e requisiti

Prima di fare clic sul pulsante Avvia lab

Leggi le seguenti istruzioni. I lab sono a tempo e non possono essere messi in pausa. Il timer si avvia quando fai clic su Avvia lab e ti mostra per quanto tempo avrai a disposizione le risorse Google Cloud.

Con questo lab pratico avrai la possibilità di completare le attività in prima persona, in un ambiente cloud reale e non di simulazione o demo. Riceverai delle nuove credenziali temporanee che potrai utilizzare per accedere a Google Cloud per la durata del lab.

Per completare il lab, avrai bisogno di:

• Accesso a un browser internet standard (Chrome è il browser consigliato).

Nota: utilizza una finestra del browser in incognito o privata per eseguire questo lab. Ciò evita eventuali conflitti tra il tuo account personale e l'account Studente, che potrebbero causare addebiti aggiuntivi sul tuo account personale.

• È ora di completare il lab: ricorda che, una volta iniziato, non puoi metterlo in pausa.

Nota: se hai già un account o un progetto Google Cloud personale, non utilizzarlo per questo lab per evitare addebiti aggiuntivi al tuo account.

Come avviare il lab e accedere alla console Google Cloud

1. Fai clic sul pulsante Avvia lab. Se devi effettuare il pagamento per il lab, si apre una finestra popup per permetterti di selezionare il metodo di pagamento. A sinistra, trovi il riquadro Dettagli lab con le seguenti informazioni:

   • Il pulsante Apri console Google Cloud
   • Tempo rimanente
   • Credenziali temporanee da utilizzare per il lab
   • Altre informazioni per seguire questo lab, se necessario

2. Fai clic su Apri console Google Cloud (o fai clic con il tasto destro del mouse e seleziona Apri link in finestra di navigazione in incognito se utilizzi il browser Chrome).

   Il lab avvia le risorse e apre un'altra scheda con la pagina di accesso.

   Suggerimento: disponi le schede in finestre separate posizionate fianco a fianco.

   Nota: se visualizzi la finestra di dialogo Scegli un account, fai clic su Usa un altro account.

3. Se necessario, copia il Nome utente di seguito e incollalo nella finestra di dialogo di accesso.

   {{{user_0.username | "Username"}}}

   Puoi trovare il Nome utente anche nel riquadro Dettagli lab.

4. Fai clic su Avanti.

5. Copia la Password di seguito e incollala nella finestra di dialogo di benvenuto.

   {{{user_0.password | "Password"}}}

   Puoi trovare la Password anche nel riquadro Dettagli lab.

6. Fai clic su Avanti.

   Importante: devi utilizzare le credenziali fornite dal lab. Non utilizzare le credenziali del tuo account Google Cloud. Nota: utilizzare il tuo account Google Cloud per questo lab potrebbe comportare addebiti aggiuntivi.

7. Fai clic nelle pagine successive:

   • Accetta i termini e le condizioni.
   • Non inserire opzioni di recupero o l'autenticazione a due fattori, perché si tratta di un account temporaneo.
   • Non registrarti per le prove gratuite.

Dopo qualche istante, la console Google Cloud si apre in questa scheda.

Nota: per visualizzare un menu con un elenco di prodotti e servizi Google Cloud, fai clic sul menu di navigazione in alto a sinistra.

Attività 1: apri il blocco note in Vertex AI Workbench

1. Nella console Google Cloud, nel menu di navigazione, fai clic su Vertex AI > Workbench.

2. Trova il blocco note generative-ai-jupyterlab e fai clic sul pulsante Apri JupyterLab.

L'interfaccia JupyterLab si apre in una nuova scheda del browser.

Attività 2: configura il blocco note

1. Fai clic sul file intro_gemini_python.ipynb.

2. Rivedi le sezioni Introduzione e Importa librerie del blocco note.

   • Per Project ID (ID progetto) usa e per Location (Località) usa .

Nota: puoi saltare tutte le celle del blocco note contrassegnate come solo Colab.

Nelle sezioni seguenti, analizzerai le celle del blocco note per vedere come utilizzare l'API Gemini di Vertex AI con l'SDK Vertex AI Python.

Attività 3: utilizza il modello Gemini 1.0 Pro

Il modello Gemini 1.0 Pro (gemini-1.0-pro) è progettato per gestire attività di elaborazione del linguaggio naturale, chat di testo e codice in più passaggi e generazione di codice. In questa attività, analizza le celle del blocco note per vedere come utilizzare il modello Gemini 1.0 Pro per generare testo da prompt di testo.

Genera testo da prompt di testo

Invia un prompt di testo al modello. Il modello Gemini 1.0 Pro (gemini-1.0-pro) fornisce un meccanismo di risposta in modalità flusso. Con questo approccio non è necessario attendere la risposta completa: puoi iniziare a elaborare i frammenti appena diventano accessibili.

• Rivedi la sezione Genera testo da prompt di testo del blocco note.

Fai clic su Controlla i miei progressi per verificare gli obiettivi.

Genera testo da prompt di testo. Stampa la cronologia chat.

Attività 4: utilizza il modello Gemini 1.0 Pro Vision

Gemini 1.0 Pro Vision (gemini-1.0-pro-vision) è un modello multimodale che supporta prompt multimodali. Puoi includere testo, immagini e video nelle tue richieste di prompt e ottenere risposte di testo o codice. In questa attività, analizza le celle del blocco note per vedere come utilizzare il modello Gemini 1.0 Pro Vision per generare testo da prompt di testo e immagini, per poi generare testo da un file video.

Genera testo da immagini e testo locali

• Rivedi la sezione Genera testo da immagini e testo locali del blocco note.

Fai clic su Controlla i miei progressi per verificare l'obiettivo.

Verifica l'immagine. Genera testo da immagini e testo locali.

Genera testo da prompt di testo e immagini

• Rivedi la sezione Genera testo da prompt di testo e immagini del blocco note.

  Genera testo da testo e immagini.

Combina più immagini e prompt di testo per la progettazione dei prompt few-shot

• Rivedi la sezione Combina più immagini e prompt di testo per la progettazione dei prompt few-shot del blocco note.

  Esegui la progettazione dei prompt few-shot.

Genera testo da un file video

• Rivedi la sezione Genera testo da un file video del blocco note.

  Genera testo da un file video.

Complimenti!

In questo lab hai approfondito l'utilizzo dell'API Gemini di Vertex AI insieme all'SDK Vertex AI Python per interagire con i due modelli Gemini 1.0 Pro (gemini-1.0-pro) Gemini 1.0 Pro Vision (gemini-1.0-pro-vision). Con questi esercizi hai acquisito insight pratici sulle funzionalità dell'API Gemini di Vertex AI e sulla sua integrazione perfetta con l'SDK per Python.

Passaggi successivi/Scopri di più

• Consulta la documentazione sull'AI generativa su Vertex AI.
• Scopri di più sull'AI generativa sul canale YouTube di Google Cloud Tech.
• Repository ufficiale sull'AI generativa di Google Cloud
• Blocchi note Gemini di esempio

Formazione e certificazione Google Cloud

… per utilizzare al meglio le tecnologie Google Cloud. I nostri corsi ti consentono di sviluppare competenze tecniche e best practice per aiutarti a metterti subito al passo e avanzare nel tuo percorso di apprendimento. Offriamo vari livelli di formazione, dal livello base a quello avanzato, con opzioni di corsi on demand, dal vivo e virtuali, in modo da poter scegliere il più adatto in base ai tuoi impegni. Le certificazioni ti permettono di confermare e dimostrare le tue abilità e competenze relative alle tecnologie Google Cloud.

Ultimo aggiornamento del manuale: 16 maggio 2024

Ultimo test del lab: 16 maggio 2024

Copyright 2024 Google LLC Tutti i diritti riservati. Google e il logo Google sono marchi di Google LLC. Tutti gli altri nomi di società e prodotti sono marchi delle rispettive società a cui sono associati.