GSP1154

Überblick

Vertex AI ist eine umfassende Machine-Learning-Entwicklungsplattform, die Funktionen für sowohl prädiktive als auch generative KI bietet. Mit Vertex AI können Sie prädiktive Machine-Learning-Modelle für Prognosen trainieren, bewerten und einsetzen. Außerdem haben Sie mithilfe der Plattform die Möglichkeit, generative KI-Modelle zur Inhaltserstellung zu finden, abzustimmen und bereitzustellen.

Mit Vertex AI Studio können Sie generative KI-Modelle schnell testen und anpassen, sodass Sie deren Funktionen in Ihren Anwendungen nutzen können. Die Lösung bietet zahlreiche Tools und Ressourcen (u. a. UI- und Codierungsbeispiele), die den Einstieg in generative KI erleichtern, auch wenn Sie keine oder wenig Kenntnisse zu maschinellem Lernen haben.

Dieses Lab führt Sie durch Vertex AI Studio. Hier können Sie das gesamte Potenzial hochmoderner, generativer KI-Modelle ausschöpfen. Sie lernen Gemini kennen und analysieren damit Bilder, erstellen Prompts und generieren Unterhaltungen direkt auf der Google Cloud Console. APIs oder Python SDKs sind nicht nötig – die intuitive Benutzeroberfläche bietet umfassenden Zugriff.

Lernziele

Aufgaben in diesem Lab:

• Bilder mit Gemini analysieren
• Vertex AI Studio im Freeform-Modus verwenden
• Textprompts für Zero-Shot-, One-Shot- und Few-Shot-Prompting entwerfen
• Unterhaltungen mit Chat-Prompts erstellen

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange die Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung selbst durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus, um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Wenn Sie über ein persönliches Google Cloud-Konto oder -Projekt verfügen, verwenden Sie es nicht für dieses Lab. So werden zusätzliche Kosten für Ihr Konto vermieden.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Pop-up-Fenster geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich Details zum Lab mit diesen Informationen:

   • Schaltfläche Google Cloud Console öffnen
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite Anmelden geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich Details zum Lab.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich Details zum Lab.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie sich eine Liste der Google Cloud-Produkte und ‑Dienste ansehen möchten, klicken Sie oben links auf das Navigationsmenü.

Aufgabe 1: Bilder mit Gemini im Freeform-Modus analysieren

In diesem Abschnitt verwenden Sie Gemini, um ein Bild zu analysieren und Informationen daraus zu extrahieren. Im Freeform-Modus können Sie Prompts für verschiedene Aufgaben wie Klassifizierung, Extraktion und Generierung entwerfen. Im Freeform-Modus gibt es keinen Unterhaltungsverlauf, sodass jeder Prompt eine völlig neue Anfrage an das Modell ist.

Vertex AI API aktivieren

1. Öffnen Sie die Google Cloud Console und geben Sie Vertex AI API in der oberen Suchleiste ein.

2. Klicken Sie auf das Ergebnis für Vertex AI API unter „Marketplace und APIs“.

3. Klicken Sie auf Aktivieren.

Vertex AI API aktivieren

Bilder mit Gemini analysieren

1. Klicken Sie in der Google Cloud Console im Navigationsmenü () auf Vertex AI > Vertex AI Studio > Übersicht.

2. Klicken Sie unter Mit Gemini generieren auf Freeform öffnen.

Die Benutzeroberfläche enthält drei Hauptabschnitte:

• Prompt (in der Mitte): Hier können Sie einen Prompt erstellen, der multimodale Funktionen nutzt.
• Konfiguration (auf der rechten Seite): In diesem Abschnitt können Sie Modelle auswählen, Parameter konfigurieren und den jeweiligen Code abrufen.
• Antwort (unten): In diesem Abschnitt werden die Ergebnisse des Prompts angezeigt.

3. Klicken Sie oben links auf Unbenannter Prompt und benennen Sie den Prompt in Bildanalyse um.

4. Klicken Sie im Abschnitt Konfiguration oben rechts auf das Drop-down-Menü Modell und wählen Sie das Modell gemini-1.5-pro aus.

5. Laden Sie das Beispielbild herunter. Rechtsklicken Sie auf das Zeitplanbild und speichern Sie es anschließend auf Ihrem Desktop.

6. Klicken Sie rechts oben im Abschnitt Prompt auf Medien einfügen > Hochladen. Laden Sie das heruntergeladene Zeitplanbild hoch. Die Medien können in Form einer Bild-, Video-, Text- oder Audiodatei vorliegen.

7. Das Bild wird im Abschnitt Prompt angezeigt. Kopieren Sie den folgenden Text und fügen Sie ihn unter dem Bild ein. Klicken Sie dann auf die Schaltfläche Senden unten rechts im Abschnitt „Prompt“.

Title the image.

Sie können auch spezifischer formulieren:

Title the image in 3 words.

Entspricht der Titel Ihren Erwartungen? Ändern Sie den Prompt gegebenenfalls, um zu prüfen, ob Sie andere Ergebnisse erhalten.

8. Generieren Sie eine Beschreibung des Bilds. Ersetzen Sie dazu den vorherigen Prompt durch den folgenden und klicken Sie auf die Schaltfläche Senden.

Describe the image in detail.

9. Stimmen Sie den Parameter ab. Stellen Sie im Abschnitt „Konfiguration“ die Temperatur ein. Scrollen Sie dazu von links (0) nach rechts (2). Senden Sie den Prompt noch einmal, um zu prüfen, inwiefern sich die Ausgabe im Vergleich zum vorherigen Ergebnis ändert.

Hinweis: Die Temperatur bestimmt den Grad der Zufälligkeit bei der Tokenauswahl. Niedrigere Temperaturen eignen sich gut für Prompts, bei denen eine wahre oder richtige Antwort erwartet wird, während höhere Temperaturen zu vielfältigen, unerwarteten oder potenziell voreingenommenen Ergebnissen führen können. Bei einer Temperatur von 0 wird immer das Token mit der höchsten Wahrscheinlichkeit ausgewählt.

10. Extrahieren Sie Text aus dem Bild. Ersetzen Sie dazu den vorherigen Prompt durch den folgenden:

Read the text in the image.

Wenn Sie die Ausgabe als eine Liste formatieren möchten, müssen Sie den vorherigen Prompt durch den folgenden ersetzen:

Parse the time and city in this image into a list with two columns: time and city.

Jetzt sind Sie dran – probieren Sie unterschiedliche Prompts aus! Wie unterscheiden sich die Ergebnisse von den vorherigen?

11. Analysieren Sie Informationen auf dem Bild. Ersetzen Sie dazu den vorherigen Prompt durch den folgenden:

Calculate the percentage of the flights to different continents.

Entspricht das Ergebnis Ihren Erwartungen? Probieren Sie gerne unterschiedliche Prompts für verschiedene Aufgaben aus. Sie sollten außerdem mit unterschiedlichen Temperatureinstellungen experimentieren, um die Änderungen am Ergebnis zu prüfen.

11. Klicken Sie oben rechts im Abschnitt „Konfiguration“ auf Speichern, um den Prompt nach Abschluss des Prompt-Designs zu speichern. Wählen Sie als Region aus dem Drop-down-Menü aus und bestätigen Sie Ihre Auswahl durch Klicken auf Speichern.

12. Rufen Sie im Navigationsmenü auf der linken Seite die Prompt-Verwaltung auf, um Ihre gespeicherten Prompts zu suchen.

Hinweis: Warten Sie nach dem Klicken auf Speichern einige Sekunden, damit die Prompts gespeichert werden, und fahren Sie dann mit dem Lab fort. Klicken Sie auf „Erneut versuchen“, wenn Sie die Meldung erhalten, dass der Verlauf nicht aktualisiert werden konnte.

Klicken Sie auf Fortschritt prüfen.

Inhalt des Bildes extrahieren

Aufgabe 2: Multimodale Funktionen erkunden

Zusätzlich zu Bildern, Text und Audio kann Gemini auch Videos als Eingabedaten verarbeiten und Text als Ausgabedaten erzeugen.

1. Rufen Sie Cloud Storage > Buckets auf, kopieren Sie den Namen des Cloud Storage-Buckets und speichern Sie ihn für den nächsten Schritt.

2. Klicken Sie oben in der Google Cloud Console auf Cloud Shell aktivieren .

3. Führen Sie im Cloud Shell-Terminal den Befehl unten aus, um das Beispielvideo gs://spls/gsp154/video/train.mp4 (Vorschau) in Ihren Cloud Storage-Bucket zu kopieren. Ersetzen Sie <Your-Cloud-Storage-Bucket> durch den zuvor kopierten Bucket-Namen.

gcloud storage cp gs://spls/gsp154/video/train.mp4 gs://<Your-Cloud-Storage-Bucket> Hinweis: Ersetzen Sie unbedingt <Your-Cloud-Storage-Bucket> durch den zuvor kopierten Bucket-Namen.

4. Rufen Sie im Navigationsmenü () die Option Vertex AI > Vertex AI Studio > Übersicht auf.

5. Klicken Sie unter Mit Gemini generieren auf Freeform öffnen.

6. Klicken Sie auf Medien einfügen > Aus Cloud Storage importieren.

7. Klicken Sie auf Ihren Bucket-Namen und dann auf das Beispielvideo, also train.mp4, und dann auf Auswählen.

8. Erzeugen Sie Informationen über das Video durch Einfügen des folgenden Prompts und Klicken auf die Schaltfläche Senden.

Title the video.

Der Freeform-Modus bietet zahlreiche Funktionen. Sie können z. B. ausgehend von Bildern Geschichten schreiben, Videos analysieren und Multimedia-Werbeanzeigen generieren. Weitere Anwendungsfälle finden Sie in der Prompt-Galerie. Weitere Informationen zum Design multimodaler Prompts finden Sie hier.

Aufgabe 3: Textprompts erstellen

In diesem Abschnitt beschäftigen Sie sich mit dem Entwerfen von Textprompts in Vertex AI Studio. Dabei setzen Sie sich mit Zero-Shot-, One-Shot- und Few-Shot-Prompts auseinander.

Prompt-Design

Sie können Ihren gewünschten Eingabetext in das Modell einspeisen, z. B. eine Frage. Das Modell gibt dann eine Antwort zurück, die auf der Struktur Ihres Prompts basiert. Der Vorgang, bei dem der optimale Eingabetext (Prompt) ermittelt und erstellt wird, um die gewünschte Antwort vom Modell zu erhalten, wird als Prompt-Design bezeichnet.

Prompt-Designmethoden

Es gibt drei Hauptmethoden beim Promptdesign:

• Zero-Shot-Prompts: Bei dieser Methode wird nur ein Prompt in das LLM eingegeben. Dieser beschreibt die Aufgabe ohne zusätzliche Daten. Wenn das LLM z. B. eine Frage beantworten soll, geben Sie einfach „What is prompt design?“ ein.
• One-Shot-Prompts: Bei dieser Methode wird ein einzelnes Beispiel der Aufgabe, die das LLM ausführen soll, eingegeben. Wenn das LLM z. B. ein Gedicht schreiben soll, geben Sie möglicherweise ein einzelnes Beispielgedicht ein.
• Few-Shot-Prompts: Bei dieser Methode werden einige wenige Beispiele der Aufgabe, die das LLM ausführen soll, eingegeben. Wenn das LLM z. B. einen Nachrichtenartikel schreiben soll, können Sie beispielsweise einige Nachrichtenartikel einspeisen.

Parameter

Temperatur und Token-Limit sind zwei wichtige Parameter, mit denen Sie die Antworten des Modells beeinflussen können.

• Die Temperatur bestimmt den Grad der Zufälligkeit bei der Tokenauswahl. Eine niedrigere Temperatur ist gut, wenn Sie eine wahre oder richtige Antwort erwarten. Eine Temperatur von 0 bedeutet, dass immer das Token mit der höchsten Wahrscheinlichkeit ausgewählt wird. Eine höhere Temperatur kann zu vielfältigen, unerwarteten oder potenziell voreingenommenen Ergebnissen führen. Das Modell gemini-1.5-pro hat einen Temperaturbereich von 0 bis 2 und ist standardmäßig auf 1 eingestellt.
• Das Tokenausgabelimit legt die maximale Textmenge fest, die für einen Prompt ausgegeben wird. Ein Token besteht aus etwa vier Zeichen.

Zero-Shot-Prompts

Probieren Sie Zero-Shot-Prompts einmal im Freeform-Modus aus.

1. Rufen Sie wieder die Seite Vertex AI Studio > Übersicht auf und klicken Sie auf Freeform öffnen.

2. Wählen Sie oben rechts unter Modell das Modell gemini-1.5-pro aus.

Hinweis: Mit der Veröffentlichung neuer Modelle kann sich der Modellname und die Version ändern.

3. Kopieren Sie Folgendes in das Eingabefeld für Prompts:

What is a prompt gallery?

4. Klicken Sie auf die Schaltfläche Senden.

Das Modell antwortet mit einer umfassenden Definition des Begriffs „prompt gallery“.

Nachfolgend können Sie anhand von Übungen ein wenig experimentieren.

• Stellen Sie den Parameter Ausgabetokenlimit auf 1024 ein und klicken Sie auf die Schaltfläche SENDEN.
• Stellen Sie den Parameter Temperatur auf 0.5 ein und klicken Sie auf die Schaltfläche SENDEN.
• Stellen Sie den Parameter Temperatur auf 2.0 ein und klicken Sie auf die Schaltfläche SENDEN.

Schauen Sie sich an, wie sich die Antworten je nach Änderung der Parameter ändern.

One-Shot-Prompting

Prompts lassen sich jetzt noch besser organisiert gestalten. Dazu können Sie Kontext und Beispiele in den jeweiligen Eingabefeldern hinzufügen. One-Shot-Prompting ist eine Methode, bei der dem Modell für die auszuführende Aufgabe nur ein einziges Beispiel gegeben wird. In diesem Abschnitt bitten Sie das Modell, einen Satz zu vervollständigen.

1. Löschen Sie zuerst sämtlichen Text aus dem Feld Prompt.

2. Klicken Sie im Feld Prompt auf Beispiele hinzufügen. Daraufhin wird ein neues Fenster geöffnet, in dem Sie Beispiele für Prompts hinzufügen können.

3. Geben Sie diesen Text in das Feld EINGABE ein:

The color of the grass is

3. Geben Sie diesen Text in das Feld AUSGABE ein:

The color of the grass is green

4. Klicken Sie auf die Schaltfläche Beispiele hinzufügen.

5. Kopieren Sie im Feld Test Folgendes in das Feld Eingabe.

The color of the sky is

6. Klicken Sie auf die Schaltfläche Senden. Sie sollten vom Modell eine Antwort ähnlich der folgenden erhalten:

The color of the sky is blue

Anstatt den Satz zu vervollständigen, gab das Modell einen vollständigen Satz als Antwort, da Sie dem Modell ein Beispiel gegeben haben, an dem es sich orientieren konnte. Wenn Sie die Antwort so ändern möchten, dass der Satz einfach vervollständigt wird, passen Sie das Beispiel im Feld AUSGABE an.

7. Klicken Sie auf die Schaltfläche Beispiele im Feld Prompt und ändern Sie das Feld AUSGABE so:

Green

8. Klicken Sie auf die Schaltfläche Beispiele hinzufügen.

9. Kopieren Sie im Feld Test Folgendes in das Feld Eingabe.

The color of the sky is

10. Klicken Sie auf die Schaltfläche Senden. Sie sollten vom Modell eine Antwort ähnlich der folgenden erhalten:

blue

Wie Sie sehen, vervollständigt das Modell nun den Satz auf der Grundlage des von Ihnen angegebenen Beispiels. Sie haben erfolgreich beeinflusst, wie das Modell Antworten erzeugt.

Few-Shot-Prompting

In der nächsten Übung führen Sie anhand des Modells eine Sentimentanalyse für einen Satz aus. Sie möchten zum Beispiel mit Few-Shot-Prompting ermitteln, ob eine Filmkritik positiv oder negativ ist.

1. Löschen Sie im Feld Prompt die Beispiele aus dem vorherigen Abschnitt. Bewegen Sie zum Löschen der Beispiele den Mauszeiger über Beispiele und klicken Sie auf die Schaltfläche X (Datei entfernen).

2. Klicken Sie auf die Schaltfläche Beispiele hinzufügen und fügen Sie weitere Beispiele hinzu.

3. Fügen Sie folgende Beispiele hinzu:

EINGABE	AUSGABE
A well-made and entertaining film	positive
I fell asleep after 10 minutes	negative
The movie was ok	neutral

4. Sobald Sie die Beispiele hinzugefügt haben, klicken Sie auf die Schaltfläche Beispiele hinzufügen.

5. Kopieren Sie im Feld Test Folgendes in das Feld Eingabe.

It was a time well spent!

6. Klicken Sie auf die Schaltfläche Senden.

Das Modell gibt jetzt ein Sentiment für den Eingabetext an. Beim Text It was a time well spent! wird das Sentiment als positiv gekennzeichnet.

7. Klicken Sie oben rechts im Abschnitt „Konfiguration“ auf Speichern, um den Prompt nach Abschluss des Prompt-Designs zu speichern. Geben Sie dem Prompt den Namen Sentiment-Analyse. Wählen Sie als Region aus dem Drop-down-Menü aus und bestätigen Sie Ihre Auswahl durch Klicken auf Speichern.

Klicken Sie auf Fortschritt prüfen.

Prompts mit Text erstellen

Aufgabe 4: Unterhaltungen generieren

Der Chat-Modus ist ein Unterhaltungsmodus, in dem Sie mit dem Modell ein freies Gespräch führen können. Das Modell verwendet den Unterhaltungsverlauf als Kontext für zukünftige Antworten. In diesem Abschnitt erstellen Sie einen Chat-Prompt und führen eine Unterhaltung mit dem Modell.

1. Gehen Sie im Menü auf der linken Seite auf Chat, um einen neuen Chat-Prompt zu erstellen.

2. Wählen Sie oben rechts unter Modell das Modell gemini-1.5-flash aus.

Hinweis: Mit der Veröffentlichung neuer Modelle kann sich der Modellname und die Version ändern.

In diesem Abschnitt fügen Sie dem Chat Kontext hinzu und lassen das Modell basierend auf dem angegebenen Kontext antworten.

3. Klicken Sie auf die Schaltfläche Bearbeiten und fügen Sie den folgenden Kontext in das Feld Systemanweisung ein.

Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.

4. Klicken Sie auf Übernehmen.

5. Geben Sie folgenden Prompt ein:

My computer is so slow! What should I do?

6. Klicken Sie auf die Schaltfläche Senden.

Das Modell sollte folgende Antwort geben:

Have you tried turning it off and on again?

7. Bearbeiten Sie anschließend den Kontext des vorhandenen Feldes Systemanweisungen durch Klicken auf die Schaltfläche Bearbeiten.

8. Aktualisieren Sie den Kontext mit folgendem:

Your name is Roy. You are a support technician of an IT department. You are here to support the users with their queries.

8. Geben Sie folgenden Prompt ein:

My computer is so slow! What should I do?

9. Klicken Sie auf die Schaltfläche Senden.

Das Modell sollte nun eine hilfreichere Antwort auf die Nutzeranfrage geben.

Experimentieren Sie ruhig mit verschiedenen Prompts und Kontexten, um zu sehen, wie das Modell reagiert. Sie können dem Chat-Prompt auch weiteren Kontext hinzufügen, um zu sehen, wie das Modell auf der Grundlage des bereitgestellten Kontexts reagiert.

10. Klicken Sie oben rechts im Abschnitt „Konfiguration“ auf Speichern, um den Prompt nach Abschluss des Prompt-Designs zu speichern. Geben Sie dem Prompt den Namen Supporttechniker-Hilfe. Wählen Sie als Region aus dem Drop-down-Menü aus und bestätigen Sie Ihre Auswahl durch Klicken auf Speichern.

Klicken Sie auf Fortschritt prüfen.

Unterhaltungen mit Chat-Prompt erstellen

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

Sie haben gelernt, wie Sie ein Bild mit Freeform analysieren, Freeform-Funktionen verwenden, einen Prompt erstellen und testen und eine Unterhaltung generieren. Sie haben den ersten Schritt für die Nutzung von Vertex AI Studio und Gemini Freeform gemeistert!

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Handbuch zuletzt aktualisiert am 8. Oktober 2024

Lab zuletzt am 8. Oktober 2024 getestet

© 2024 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.