GSP1154

Panoramica

Vertex AI è una piattaforma completa di sviluppo di machine learning che offre funzionalità di AI predittiva e generativa. Permette di addestrare, valutare ed eseguire il deployment di modelli di machine learning predittivi. Inoltre, puoi utilizzare la piattaforma per scoprire, ottimizzare e pubblicare modelli di AI generativa per produrre contenuti.

Vertex AI Studio permette di testare e personalizzare rapidamente modelli di AI generativa in modo da poterne utilizzare le funzionalità nelle applicazioni. Offre una varietà di strumenti e risorse, tra cui esempi di UI (interfaccia utente) e di programmazione, che rendono facile iniziare a utilizzare l'AI generativa, anche se non si dispone di esperienza pregressa nel machine learning.

Questo lab ti guiderà alla scoperta di Vertex AI Studio, con cui imparerai a sfruttare tutte le potenzialità dei modelli di AI generativa all'avanguardia. Esplorerai Gemini e lo utilizzerai per analizzare immagini, progettare prompt ed esplorare le funzionalità multimodali direttamente nella console Google Cloud. Non ti serviranno né l'API né gli SDK Python: tutto ciò di cui avrai bisogno è accessibile attraverso un'interfaccia utente intuitiva.

Obiettivi

In questo lab, imparerai a:

• Analizzare le immagini con Gemini multimodale.
• Esplorare le funzionalità multimodali.
• Progettare prompt con degli esempi.
• Progettare prompt con un contesto.

Configurazione e requisiti

Prima di fare clic sul pulsante Avvia lab

Leggi le seguenti istruzioni. I lab sono a tempo e non possono essere messi in pausa. Il timer si avvia quando fai clic su Inizia il lab e ti mostra per quanto tempo avrai a disposizione le risorse Google Cloud.

Con questo lab pratico avrai la possibilità di completare le attività in un ambiente cloud reale e non di simulazione o demo. Riceverai delle nuove credenziali temporanee che potrai utilizzare per accedere a Google Cloud per la durata del lab.

Per completare il lab, avrai bisogno di:

• Accesso a un browser internet standard (Chrome è il browser consigliato).

Nota: per eseguire questo lab, utilizza una finestra del browser in modalità di navigazione in incognito (consigliata) o privata. Ciò evita conflitti tra il tuo account personale e l'account studente, che potrebbero causare addebiti aggiuntivi sul tuo account personale.

• È ora di completare il lab: ricorda che, una volta iniziato, non puoi metterlo in pausa.

Nota: utilizza solo l'account studente per questo lab. Se utilizzi un altro account Google Cloud, potrebbero essere addebitati costi su quell'account.

Come avviare il lab e accedere alla console Google Cloud

1. Fai clic sul pulsante Avvia lab. Se devi effettuare il pagamento per il lab, si aprirà una finestra di dialogo per permetterti di selezionare il metodo di pagamento. A sinistra, trovi il riquadro Dettagli lab con le seguenti informazioni:

   • Il pulsante Apri la console Google Cloud
   • Tempo rimanente
   • Credenziali temporanee da utilizzare per il lab
   • Altre informazioni per seguire questo lab, se necessario

2. Fai clic su Apri console Google Cloud (o fai clic con il tasto destro del mouse e seleziona Apri link in finestra di navigazione in incognito se utilizzi il browser Chrome).

   Il lab avvia le risorse e apre un'altra scheda con la pagina di accesso.

   Suggerimento: disponi le schede in finestre separate posizionate fianco a fianco.

   Nota: se visualizzi la finestra di dialogo Scegli un account, fai clic su Usa un altro account.

3. Se necessario, copia il Nome utente di seguito e incollalo nella finestra di dialogo di accesso.

   {{{user_0.username | "Username"}}}

   Puoi trovare il Nome utente anche nel riquadro Dettagli lab.

4. Fai clic su Avanti.

5. Copia la Password di seguito e incollala nella finestra di dialogo di benvenuto.

   {{{user_0.password | "Password"}}}

   Puoi trovare la Password anche nel riquadro Dettagli lab.

6. Fai clic su Avanti.

   Importante: devi utilizzare le credenziali fornite dal lab. Non utilizzare le credenziali del tuo account Google Cloud. Nota: utilizzare il tuo account Google Cloud per questo lab potrebbe comportare addebiti aggiuntivi.

7. Fai clic nelle pagine successive:

   • Accetta i termini e le condizioni.
   • Non inserire opzioni di recupero o l'autenticazione a due fattori, perché si tratta di un account temporaneo.
   • Non registrarti per le prove gratuite.

Dopo qualche istante, la console Google Cloud si apre in questa scheda.

Nota: per accedere ai prodotti e ai servizi Google Cloud, fai clic sul menu di navigazione o digita il nome del servizio o del prodotto nel campo Cerca.

Attività 1: analizza le immagini con Gemini

In questa sezione, utilizzerai Gemini per analizzare un'immagine ed estrarne informazioni. Puoi progettare prompt per varie attività come la classificazione, l'estrazione e la generazione.

1. Nella console Google Cloud, dal menu di navigazione (), seleziona Vertex AI > Vertex AI Studio > Crea prompt.

L'interfaccia utente contiene tre sezioni principali:

• Istruzioni di sistema (in alto): un insieme di istruzioni che il modello elabora prima di elaborare i prompt. Quando si imposta un'istruzione di sistema, viene applicate all'intera richiesta. Funziona con più turni utente e modello quando è inclusa nel prompt. Ti consigliamo di utilizzare le istruzioni di sistema per indicare al modello come deve comportarsi e rispondere ai prompt.
• Configurazione (a destra): questa sezione consente di selezionare i modelli (compresi quelli di terze parti), configurare i parametri, utilizzare gli strumenti (ad es. il grounding) e impostare opzioni avanzate.
• Prompt (in basso): qui puoi creare un prompt che utilizza funzionalità multimodali.

2. In alto a sinistra, fai clic su Prompt senza titolo e rinominalo Image Analysis.

3. Nella sezione Configurazione a destra, assicurati che sia selezionato il modello . Puoi fare clic su Cambia modello per cambiare il modello, se necessario, o sfogliare altri modelli disponibili.

Nota: il nome e la versione del modello potrebbero cambiare con il rilascio di nuovi modelli.

4. Nella sezione Configurazione a destra, attiva le opzioni Avanzate e per Regione seleziona .

5. Scarica l'immagine di esempio. Fai clic con il tasto destro del mouse sull'immagine del tabellone e salvala sul desktop.

6. In basso a destra nella sezione Prompt, fai clic sul pulsante Inserisci contenuti multimediali ().

7. Nel menu Seleziona origine, fai clic su Carica, poi seleziona l'immagine del tabellone che hai scaricato. I contenuti multimediali possono essere immagini, video, testi o file audio.

8. L'immagine verrà visualizzata nella sezione Prompt. Copia il seguente testo e incollalo sotto l'immagine, quindi fai clic sul pulsante a forma di freccia Invia in basso a destra nella sezione Prompt oppure premi Invio.

Title the image.

Oppure fornisci informazioni più specifiche:

Title the image in 5 words.

Il titolo è in linea con le tue aspettative? Prova a modificare il prompt per vedere se i risultati che ottieni sono diversi.

9. Quindi, chiederai a Gemini di descrivere l'immagine in dettaglio. Sostituisci il prompt precedente con quello che segue e fai clic sul pulsante a forma di freccia Invia.

Describe the image in detail.

10. Nella sezione Configurazione, attiva le opzioni Avanzate e regola la Temperatura scorrendo da sinistra (0) verso destra (2). Invia di nuovo il prompt e osserva se il risultato cambia rispetto al precedente.

Nota: la temperatura controlla il grado di casualità nella selezione dei token. Le temperature più basse sono ideali per prompt che si aspettano una risposta vera o corretta, mentre le temperature più alte possono portare a risultati più diversificati, imprevisti o con potenziali bias. Con una temperatura pari a 0, viene sempre selezionato il token con la probabilità più alta.

11. Estrai il testo dall'immagine. Sostituisci il prompt precedente con quello che segue:

Read the text in the image.

A questo punto, se vuoi formattare l'output in un elenco, sostituisci il prompt precedente con quello che segue:

Parse the time and city in this image into a list with two columns: time and city.

Tocca a te: prova qualche altro prompt. Come cambiano i risultati rispetto a prima?

12. Analizza le informazioni sull'immagine. Sostituisci il prompt precedente con quello che segue:

Calculate the percentage of the flights to different continents.

Il risultato è in linea con le tue aspettative? Ti consigliamo vivamente di provare prompt diversi per varie attività. Ti invitiamo anche a sperimentare con impostazioni di temperatura diverse per osservare come cambia il risultato.

13. Dopo aver terminato la progettazione del prompt, salvalo facendo clic su Salva in alto a destra nella barra degli strumenti. Per la regione, seleziona dal menu a discesa e conferma facendo clic su Salva.

14. Per trovare i prompt salvati, nel menu di navigazione a sinistra, vai a Gestione dei prompt.

Nota: dopo aver selezionato Salva, attendi alcuni secondi che i prompt vengano salvati correttamente, quindi procedi con il lab.

Fai clic su Controlla i miei progressi per verificare gli obiettivi.

Estrai il contenuto dell'immagine.

Attività 2: esplora le funzionalità multimodali

Oltre a immagini, testo e audio, Gemini può accettare video come input e generare testo come output.

1. Accedi a Cloud Storage > Bucket, copia il nome del bucket Cloud Storage e salvalo per utilizzarlo nella fase successiva: .

2. Fai clic su Attiva Cloud Shell nella parte superiore della console Google Cloud.

3. Nel terminale Cloud Shell, esegui il comando di seguito per copiare il video di esempio gs://spls/gsp154/video/train.mp4 (anteprima) nel bucket Cloud Storage. Sostituisci <Your-Cloud-Storage-Bucket> con il nome del bucket copiato in precedenza.

gcloud storage cp gs://spls/gsp154/video/train.mp4 gs://<Your-Cloud-Storage-Bucket> Nota: accertati di sostituire <Your-Cloud-Storage-Bucket> con il nome del tuo bucket.

4. Dal menu di navigazione (), seleziona Vertex AI > Vertex AI Studio > Crea prompt.

5. Nella sezione Configurazione a destra, assicurati che sia selezionato il modello .

Nota: il nome e la versione del modello potrebbero cambiare con il rilascio di nuovi modelli.

6. Attiva/disattiva le opzioni Avanzate e per Regione seleziona .

7. In basso a destra nella sezione Prompt, fai clic sul pulsante Inserisci contenuti multimediali ().

8. Nel menu Seleziona origine, seleziona Importa da Cloud Storage.

9. Fai clic sul nome del bucket, quindi sul video di esempio train.mp4 e poi su Seleziona.

10. Genera informazioni sul video inserendo il seguente prompt e facendo clic sul pulsante a forma di freccia Invia.

Title the video.

11. Descrivi il video in dettaglio:

Describe the video in detail.

Scopri di più sulla progettazione di prompt multimodali.

Attività 3: progetta prompt con degli esempi

In questa sezione, scoprirai come progettare prompt di testo in Vertex AI Studio.

Progettazione dei prompt

Puoi alimentare il testo di input desiderato, ad es. una domanda, nel modello. Il modello fornirà quindi una risposta in base a come hai strutturato il tuo prompt. Il processo per capire e progettare il miglior testo di input (prompt) per ottenere la risposta desiderata dal modello si chiama progettazione prompt.

Metodi di progettazione dei prompt

Ci sono tre metodi principali per progettare i prompt:

• Prompt zero-shot: è un metodo in cui all'LLM viene fornito solo un prompt che descrive l'attività, senza alcun dato aggiuntivo. Ad esempio, se desideri che l'LLM risponda a una domanda, è sufficiente chiedere "cos'è la progettazione dei prompt?".
• Prompt one-shot: è un metodo in cui all'LLM viene fornito un singolo esempio dell'attività che gli viene richiesto di eseguire. Ad esempio, se vuoi che l'LLM scriva una poesia, puoi dargli una singola poesia di esempio.
• Prompt few-shot: è un metodo in cui all'LLM viene fornito un piccolo numero di esempi dell'attività che gli viene chiesto di eseguire. Ad esempio, se desideri che l'LLM scriva un articolo, potresti dargli alcuni articoli da leggere.

Parametri

Temperatura e Limite di token sono due importanti parametri che puoi regolare per influenzare la risposta del modello.

• La temperatura controlla il grado di casualità nella selezione dei token. Una temperatura più bassa va bene quando ci si aspetta una risposta vera o corretta. Con una temperatura pari a 0, viene sempre selezionato il token con la probabilità più alta. Una temperatura più alta può portare a risultati diversificati, imprevisti o con potenziali bias. Il modello ha un intervallo di temperatura di 0-2 e un valore predefinito di 1.
• Il limite di token di output determina la quantità massima di output di testo da un prompt. Un token equivale a circa quattro caratteri.

Prompting zero-shot

1. Fai clic sull'icona Cancella sulla barra degli strumenti per cancellare il prompt.

2. Nella sezione Configurazione a destra, assicurati che sia selezionato il modello .

Nota: il nome e la versione del modello potrebbero cambiare con il rilascio di nuovi modelli.

3. Attiva/disattiva le opzioni Avanzate e per Regione seleziona .

4. Copia quanto segue nel campo di immissione del prompt:

What is a prompt gallery?

5. Fai clic sul pulsante a forma di freccia Invia.

Il modello risponderà con una definizione completa del termine "prompt gallery".

6. Ecco alcuni esercizi esplorativi da eseguire. Utilizzando lo stesso prompt, nel campo Avanzate della sezione Configurazione:

• Imposta il parametro Output Token limit su 1024 e fai clic sul pulsante a forma di freccia INVIA.
• Imposta il parametro Temperature su 0.5 e fai clic sul pulsante a forma di freccia INVIA.
• Imposta il parametro Temperature su 2.0 e fai clic sul pulsante a forma di freccia INVIA.

Verifica come cambiano le risposte cambiando i parametri.

Prompting one-shot

Puoi progettare prompt in modi più organizzati. Puoi fornire Contesto ed Esempi nei rispettivi campi di immissione. Il prompting one-shot è il metodo che prevede di fornire al modello un singolo esempio dell'attività che gli viene chiesto di eseguire. In questa sezione, chiederai al modello di completare una frase.

1. Fai clic sull'icona Cancella sulla barra degli strumenti per cancellare il prompt.

2. In basso a destra nella sezione Prompt, fai clic sul pulsante Aggiungi esempi ().

Si aprirà una nuova finestra dove potrai aggiungere esempi per il prompt.

3. Aggiungi quanto segue al campo INPUT:

The color of the grass is

4. Aggiungi quanto segue al campo OUTPUT:

The color of the grass is green

5. Fai clic sul pulsante Aggiungi esempi.

6. Dopo aver aggiunto il tuo esempio, dovresti vedere due sezioni da compilare: {Input} e Prompt. Per inviare il prompt, dovrai fornire un altro esempio di input, oltre al prompt.

7. Nel campo {INPUT}, scrivi quanto segue:

The color of the sky is

8. Nel campo Prompt, scrivi quanto segue:

Answer the following questions.

La sezione Prompt dovrebbe essere simile alla seguente:

9. Fai clic sul pulsante a forma di freccia Invia. Dovresti ricevere dal modello una risposta simile alla seguente:

The color of the sky is blue

Invece di completare la frase, il modello ha restituito una frase completa come risposta perché gli hai fornito un esempio su cui basare il suo output. Per fare in modo che la risposta completi semplicemente la frase, puoi modificare l'esempio fornito nel campo OUTPUT.

10. Fai clic sul pulsante Modifica nella casella Prompt per modificare il prompt:

11. Fai clic su Esempi per modificare l'esempio e poi modifica l'output in:

Green

Il prompt di esempio ora dovrebbe essere:

input: The color of the grass is output: Green

12. Fai clic sul pulsante a forma di freccia Invia. Dovresti ricevere dal modello una risposta simile alla seguente:

Blue

Puoi notare che ora il modello completa la frase sulla base dell'esempio che hai fornito. Hai influenzato con successo il modo in cui il modello produce la risposta.

Prompting few-shot

Per l'esercitazione successiva, utilizzerai il modello per eseguire l'analisi del sentiment su una frase, ad esempio per determinare se la recensione di un film è positiva o negativa utilizzando il prompting few-shot.

1. Fai clic sull'icona Cancella sulla barra degli strumenti per cancellare il prompt.

2. In basso a destra nella sezione Prompt, fai clic sul pulsante Aggiungi esempi ().

3. Aggiungi i seguenti esempi:

INPUT	OUTPUT
A well-made and entertaining film	positive
I fell asleep after 10 minutes	negative
The movie was ok	neutral

4. Dopo aver aggiunto gli esempi, fai clic sul pulsante Aggiungi esempi.

5. Dopo aver aggiunto il tuo esempio, dovresti vedere due sezioni da compilare: {Input} e Prompt. Per inviare il prompt, dovrai fornire un altro esempio di input, oltre al prompt.

6. Nel campo {INPUT}, scrivi quanto segue:

It was a time well spent!

7. Nel campo Prompt, scrivi quanto segue:

Perform sentiment analysis on the following text.

8. Fai clic sul pulsante a forma di freccia Invia. Dovresti ricevere dal modello una risposta simile alla seguente:

positive

Il modello ora fornisce un sentiment per il testo di input. Per il testo It was a time well spent!, il sentiment viene etichettato come positive.

9. Dopo aver terminato la progettazione del prompt, assegna al prompt il nome Sentiment Analysis.

10. Salva il prompt facendo clic su Salva in alto a destra nella barra degli strumenti e seleziona la regione .

Nota: se il prompt è già stato salvato con la funzionalità Salvataggio automatico, assicurati che il relativo nome sia corretto e che sia visibile nella pagina Gestione dei prompt.

Fai clic su Controlla i miei progressi per verificare gli obiettivi.

Crea prompt con del testo

Attività 4: progetta prompt con un contesto

Le istruzioni di sistema sono indicazioni iniziali che definiscono il comportamento e le risposte di un modello ai prompt successivi, consentendo la personalizzazione di ruolo, formato, tono e regole per attività specifiche. Persistono in più interazioni utente-modello all'interno di una richiesta, ma gli utenti dovrebbero evitare di includere informazioni sensibili a causa di potenziali norme sull'utilizzo dei dati.

Queste istruzioni sono versatili e consentono applicazioni come lo sviluppo di chatbot, la generazione di output strutturati e le risposte specifiche per la lingua, sebbene non garantiscano una protezione completa contro comportamenti indesiderati del modello.

1. Nella console Google Cloud, dal menu di navigazione (), seleziona Vertex AI > Vertex AI Studio > Crea prompt.

2. Nella sezione Configurazione a destra, assicurati che sia selezionato il modello .

Nota: il nome e la versione del modello potrebbero cambiare con il rilascio di nuovi modelli.

3. Nella sezione Configurazione a destra, attiva le opzioni Avanzate e per Regione seleziona .

Per questa sezione, aggiungerai istruzioni di sistema per il modello e lascerai che quest'ultimo risponda in base al contesto fornito.

4. Fai clic su Istruzioni di sistema e aggiungi il seguente contesto:

Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.

5. Inserisci il seguente prompt:

My computer is so slow! What should I do?

6. Fai clic sul pulsante a forma di freccia Invia.

Il modello dovrebbe rispondere nel seguente modo:

Have you tried turning it off and on again?

7. In Istruzioni di sistema, fai clic su Cancella valore ().

8. Fai clic su Istruzioni di sistema e aggiungi il seguente contesto:

Your name is Roy. You are a support technician of an IT department. You are here to support the users with their queries.

9. Inserisci il seguente prompt:

My computer is so slow! What should I do?

10. Fai clic sul pulsante a forma di freccia Invia.

Ora il modello dovrebbe fornire una risposta più utile alla query dell'utente.

Sperimenta pure con altri prompt e contesti per osservare il modo in cui risponde il modello. Puoi anche aggiungere più contesto al prompt di chat per osservare il modo in cui risponde il modello in base al contesto fornito.

11. Dopo aver terminato la progettazione del prompt, assegna al prompt il nome Support Technician Helper.

Fai clic su Controlla i miei progressi per verificare gli obiettivi.

Crea conversazioni con il prompt di chat

Complimenti!

Complimenti! In questo lab hai sfruttato le funzionalità di Gemini per analizzare contenuti multimediali, tra cui immagini e video. Hai dimostrato competenza nelle tecniche di prompting zero-shot, one-shot e few-shot per il question answering e l'analisi del sentiment. Inoltre, hai utilizzato in modo efficace le istruzioni di sistema per creare un chatbot IT di base.

Formazione e certificazione Google Cloud

… per utilizzare al meglio le tecnologie Google Cloud. I nostri corsi ti consentono di sviluppare competenze tecniche e best practice per aiutarti a metterti subito al passo e avanzare nel tuo percorso di apprendimento. Offriamo vari livelli di formazione, dal livello base a quello avanzato, con opzioni di corsi on demand, dal vivo e virtuali, in modo da poter scegliere il più adatto in base ai tuoi impegni. Le certificazioni ti permettono di confermare e dimostrare le tue abilità e competenze relative alle tecnologie Google Cloud.

Ultimo aggiornamento del manuale: 9 aprile 2025

Ultimo test del lab: 9 aprile 2025

Copyright 2025 Google LLC. Tutti i diritti riservati. Google e il logo Google sono marchi di Google LLC. Tutti gli altri nomi di società e prodotti sono marchi delle rispettive società a cui sono associati.