GSP1154

Überblick

Vertex AI ist eine umfassende Machine-Learning-Entwicklungsplattform, die Funktionen für sowohl prädiktive als auch generative KI bietet. Mit Vertex AI können Sie prädiktive Machine-Learning-Modelle für Prognosen trainieren, bewerten und einsetzen. Außerdem haben Sie mithilfe der Plattform die Möglichkeit, generative KI-Modelle zur Inhaltserstellung zu finden, abzustimmen und bereitzustellen.

Mit Vertex AI Studio können Sie generative KI-Modelle schnell testen und anpassen, sodass Sie deren Funktionen in Ihren Anwendungen nutzen können. Die Lösung bietet zahlreiche Tools und Ressourcen (u. a. UI- und Codierungsbeispiele), die den Einstieg in generative KI erleichtern, auch wenn Sie keine oder wenig Kenntnisse zu maschinellem Lernen haben.

Dieses Lab führt Sie durch Vertex AI Studio. Hier können Sie das gesamte Potenzial hochmoderner, generativer KI-Modelle ausschöpfen. Sie lernen Gemini kennen und analysieren damit Bilder, erstellen Prompts und generieren Unterhaltungen direkt über die Google Cloud Console. APIs oder Python SDKs sind nicht nötig – die intuitive Benutzeroberfläche bietet umfassenden Zugriff.

Lernziele

Aufgaben in diesem Lab:

• Bilder mit Gemini analysieren
• Vertex AI Studio im Freiformat-Modus verwenden
• Textprompts für Zero-Shot-, One-Shot- und Few-Shot-Prompting entwerfen
• Unterhaltungen mit Chat-Prompts erstellen

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange die Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung selbst durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Pop-up-Fenster geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich Details zum Lab mit diesen Informationen:

   • Schaltfläche Google Cloud Console öffnen
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite Anmelden geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich Details zum Lab.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich Details zum Lab.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie sich eine Liste der Google Cloud-Produkte und ‑Dienste ansehen möchten, klicken Sie oben links auf das Navigationsmenü.

Aufgabe 1: Bilder mit Gemini im Freiformat-Modus analysieren

In diesem Abschnitt verwenden Sie Gemini, um ein Bild zu analysieren und Informationen daraus zu extrahieren. Im Freiformat-Modus können Sie Prompts für verschiedene Aufgaben wie Klassifizierung, Extraktion und Generierung entwerfen. Im Freiformat-Modus gibt es keinen Unterhaltungsverlauf, sodass jeder Prompt eine völlig neue Anfrage an das Modell ist.

Vertex AI API aktivieren

1. Öffnen Sie die Google Cloud Console und geben Sie Vertex AI API in der oberen Suchleiste ein.

2. Klicken Sie auf das Ergebnis für Vertex AI API unter „Marketplace und APIs“.

3. Klicken Sie auf Aktivieren.

Bilder mit Gemini analysieren

1. Klicken Sie in der Google Cloud Console im Navigationsmenü () auf Vertex AI > Vertex AI Studio > Übersicht.

2. Klicken Sie unter Mit Gemini generieren auf Freies Format öffnen.

Die Benutzeroberfläche enthält drei Hauptabschnitte:

• Prompt (in der Mitte): Hier können Sie einen Prompt erstellen, der multimodale Funktionen nutzt.
• Konfiguration (auf der rechten Seite): In diesem Abschnitt können Sie Modelle auswählen, Parameter konfigurieren und den jeweiligen Code abrufen.
• Antwort (unten): In diesem Abschnitt werden die Ergebnisse des Prompts angezeigt.

3. Klicken Sie oben links auf Unbenannter Prompt und benennen Sie den Prompt in Bildanalyse um.

4. Klicken Sie im Abschnitt Konfiguration oben rechts auf das Drop-down-Menü Modell und wählen Sie das Modell gemini-1.5-pro-002 aus.

5. Laden Sie das Beispielbild herunter. Rechtsklicken Sie auf das Zeitplanbild und speichern Sie es anschließend auf Ihrem Desktop.

6. Klicken Sie rechts oben im Abschnitt Prompt auf Medien einfügen > Hochladen. Laden Sie das heruntergeladene Zeitplanbild hoch. Die Medien können in Form einer Bild-, Video-, Text- oder Audiodatei vorliegen.

7. Das Bild wird im Abschnitt Prompt angezeigt. Kopieren Sie den folgenden Text und fügen Sie ihn unter dem Bild ein. Klicken Sie dann auf die Schaltfläche Senden unten rechts im Abschnitt „Prompt“.

Sie können auch spezifischer formulieren:

Entspricht der Titel Ihren Erwartungen? Ändern Sie den Prompt gegebenenfalls, um zu prüfen, ob Sie andere Ergebnisse erhalten.

8. Generieren Sie eine Beschreibung des Bilds. Ersetzen Sie dazu den vorherigen Prompt durch den folgenden und klicken Sie auf die Schaltfläche Senden.

9. Stimmen Sie den Parameter ab. Stellen Sie im Abschnitt „Konfiguration“ die Temperatur ein. Scrollen Sie dazu von links (0) nach rechts (2). Senden Sie den Prompt noch einmal, um zu prüfen, inwiefern sich die Ausgabe im Vergleich zum vorherigen Ergebnis ändert.

10. Extrahieren Sie Text aus dem Bild. Ersetzen Sie dazu den vorherigen Prompt durch den folgenden:

Wenn Sie die Ausgabe als eine Liste formatieren möchten, müssen Sie den vorherigen Prompt durch den folgenden ersetzen:

Jetzt sind Sie dran – probieren Sie unterschiedliche Prompts aus! Wie unterscheiden sich die Ergebnisse von den vorherigen?

11. Analysieren Sie Informationen auf dem Bild. Ersetzen Sie dazu den vorherigen Prompt durch den folgenden:

Entspricht das Ergebnis Ihren Erwartungen? Probieren Sie gerne unterschiedliche Prompts für verschiedene Aufgaben aus. Sie sollten außerdem mit unterschiedlichen Temperatureinstellungen experimentieren, um die Änderungen am Ergebnis zu prüfen.

12. Klicken Sie oben rechts im Abschnitt „Konfiguration“ auf Speichern, um den Prompt nach Abschluss des Prompt-Designs zu speichern. Wählen Sie als Region aus dem Drop-down-Menü aus und bestätigen Sie Ihre Auswahl durch Klicken auf Speichern.

13. Rufen Sie im Navigationsmenü auf der linken Seite die Prompt-Verwaltung auf, um Ihre gespeicherten Prompts zu suchen.

Klicken Sie auf Fortschritt prüfen.

Aufgabe 2: Multimodale Funktionen erkunden

Zusätzlich zu Bildern, Text und Audio kann Gemini auch Videos als Eingabedaten verarbeiten und Text als Ausgabedaten erzeugen.

1. Rufen Sie Cloud Storage > Buckets auf, kopieren Sie den Namen des Cloud Storage-Buckets und speichern Sie ihn für den nächsten Schritt.

2. Klicken Sie oben in der Google Cloud Console auf Cloud Shell aktivieren .

3. Führen Sie im Cloud Shell-Terminal den Befehl unten aus, um das Beispielvideo gs://spls/gsp154/video/train.mp4 (Vorschau) in Ihren Cloud Storage-Bucket zu kopieren. Ersetzen Sie <Your-Cloud-Storage-Bucket> durch den zuvor kopierten Bucket-Namen.

4. Rufen Sie im Navigationsmenü () die Option Vertex AI > Vertex AI Studio > Übersicht auf.

5. Klicken Sie unter Mit Gemini generieren auf Freies Format öffnen.

6. Wählen Sie oben rechts unter Modell das Modell gemini-1.5-pro-002 aus.

7. Klicken Sie auf Medien einfügen > Aus Cloud Storage importieren.

8. Klicken Sie auf Ihren Bucket-Namen und dann auf das Beispielvideo, also train.mp4, und dann auf Auswählen.

9. Erzeugen Sie Informationen über das Video durch Einfügen des folgenden Prompts und Klicken auf die Schaltfläche Senden.

Der Freiformat-Modus bietet zahlreiche Funktionen. Sie können z. B. ausgehend von Bildern Geschichten schreiben, Videos analysieren und Multimedia-Werbeanzeigen generieren. Weitere Anwendungsfälle finden Sie in der Prompt-Galerie. Weitere Informationen zum Design multimodaler Prompts finden Sie hier.

Aufgabe 3: Textprompts erstellen

In diesem Abschnitt beschäftigen Sie sich mit dem Entwerfen von Textprompts in Vertex AI Studio. Dabei setzen Sie sich mit Zero-Shot-, One-Shot- und Few-Shot-Prompts auseinander.

Prompt-Design

Sie können Ihren gewünschten Eingabetext in das Modell einspeisen, z. B. eine Frage. Das Modell gibt dann eine Antwort zurück, die auf der Struktur Ihres Prompts basiert. Der Vorgang, bei dem der optimale Eingabetext (Prompt) ermittelt und erstellt wird, um die gewünschte Antwort vom Modell zu erhalten, wird als Prompt-Design bezeichnet.

Prompt-Designmethoden

Es gibt drei Hauptmethoden beim Prompt-Design:

• Zero-Shot-Prompts: Bei dieser Methode werden in das LLM nur ein Prompt eingegeben, der die Aufgabe beschreibt, und keine zusätzlichen Daten. Wenn das LLM z. B. eine Frage beantworten soll, geben Sie einfach „Wie erstellt man Prompts?“ ein.
• One-Shot-Prompts: Bei dieser Methode wird ein einzelnes Beispiel der Aufgabe, die das LLM ausführen soll, eingegeben. Wenn das LLM z. B. ein Gedicht schreiben soll, geben Sie möglicherweise ein einzelnes Beispielgedicht ein.
• Few-Shot-Prompts: Bei dieser Methode werden einige wenige Beispiele der Aufgabe, die das LLM ausführen soll, eingegeben. Wenn das LLM z. B. einen Nachrichtenartikel schreiben soll, können Sie beispielsweise einige Nachrichtenartikel einspeisen.

Parameter

Temperatur und Token-Limit sind zwei wichtige Parameter, mit denen Sie die Antworten des Modells beeinflussen können.

• Die Temperatur bestimmt den Grad der Zufälligkeit bei der Tokenauswahl. Eine niedrigere Temperatur ist gut, wenn Sie eine wahre oder richtige Antwort erwarten. Eine Temperatur von 0 bedeutet, dass immer das Token mit der höchsten Wahrscheinlichkeit ausgewählt wird. Eine höhere Temperatur kann zu vielfältigen, unerwarteten oder potenziell voreingenommenen Ergebnissen führen. Das Modell gemini-1.5-pro hat einen Temperaturbereich von 0 bis 2 und ist standardmäßig auf 1 eingestellt.
• Das Tokenausgabelimit legt die maximale Textmenge fest, die für einen Prompt ausgegeben wird. Ein Token besteht aus etwa vier Zeichen.

Zero-Shot-Prompts

Probieren Sie Zero-Shot-Prompts einmal im Freeform-Modus aus.

1. Rufen Sie wieder die Seite Vertex AI Studio > Übersicht auf und klicken Sie auf Freies Format öffnen.

2. Wählen Sie oben rechts unter Modell das Modell gemini-1.5-pro-002 aus.

3. Kopieren Sie Folgendes in das Eingabefeld für Prompts:

4. Klicken Sie auf die Schaltfläche Senden.

Das Modell antwortet mit einer umfassenden Definition des Begriffs „Prompt-Galerie“.

Nachfolgend können Sie anhand von Übungen ein wenig experimentieren.

• Stellen Sie den Parameter Ausgabetokenlimit auf 1024 ein und klicken Sie auf die Schaltfläche SENDEN.
• Stellen Sie den Parameter Temperatur auf 0.5 ein und klicken Sie auf die Schaltfläche SENDEN.
• Stellen Sie den Parameter Temperatur auf 2.0 ein und klicken Sie auf die Schaltfläche SENDEN.

Schauen Sie sich an, wie sich die Antworten je nach Änderung der Parameter ändern.

One-Shot-Prompting

Prompts lassen sich jetzt noch besser organisiert gestalten. Dazu können Sie Kontext und Beispiele in den jeweiligen Eingabefeldern hinzufügen. One-Shot-Prompting ist eine Methode, bei der dem Modell für die auszuführende Aufgabe nur ein einziges Beispiel gegeben wird. In diesem Abschnitt bitten Sie das Modell, einen Satz zu vervollständigen.

1. Löschen Sie zuerst sämtlichen Text aus dem Feld Prompt.

2. Klicken Sie im Feld Prompt auf Beispiele hinzufügen. Daraufhin wird ein neues Fenster geöffnet, in dem Sie Beispiele für Prompts hinzufügen können.

3. Geben Sie diesen Text in das Feld EINGABE ein:

4. Geben Sie diesen Text in das Feld AUSGABE ein:

5. Klicken Sie auf die Schaltfläche Beispiele hinzufügen.

6. Kopieren Sie im Feld Test Folgendes in das Feld Eingabe.

7. Klicken Sie auf die Schaltfläche Senden. Sie sollten vom Modell eine Antwort ähnlich der folgenden erhalten:

Anstatt den Satz zu vervollständigen, gab das Modell einen vollständigen Satz als Antwort, da Sie dem Modell ein Beispiel gegeben haben, an dem es sich orientieren konnte. Wenn Sie die Antwort so ändern möchten, dass der Satz einfach vervollständigt wird, passen Sie das Beispiel im Feld AUSGABE an.

8. Klicken Sie auf die Schaltfläche Beispiele im Abschnitt Prompt und ändern Sie das Feld AUSGABE in:

9. Klicken Sie auf die Schaltfläche Beispiele hinzufügen.

10. Kopieren Sie im Feld Test Folgendes in das Feld Eingabe.

11. Klicken Sie auf die Schaltfläche Senden. Sie sollten vom Modell eine Antwort ähnlich der folgenden erhalten:

Wie Sie sehen, vervollständigt das Modell nun den Satz auf der Grundlage des von Ihnen angegebenen Beispiels. Sie haben erfolgreich beeinflusst, wie das Modell Antworten erzeugt.

Few-Shot-Prompting

In der nächsten Übung führen Sie anhand des Modells eine Sentimentanalyse für einen Satz aus. Sie möchten zum Beispiel mit Few-Shot-Prompting ermitteln, ob eine Filmkritik positiv oder negativ ist.

1. Löschen Sie im Feld Prompt die Beispiele aus dem vorherigen Abschnitt. Bewegen Sie zum Löschen der Beispiele den Mauszeiger über Beispiele und klicken Sie auf die Schaltfläche X (Datei entfernen).

2. Klicken Sie auf die Schaltfläche Beispiele hinzufügen und fügen Sie weitere Beispiele hinzu.

3. Fügen Sie folgende Beispiele hinzu:

4. Sobald Sie die Beispiele hinzugefügt haben, klicken Sie auf die Schaltfläche Beispiele hinzufügen.

5. Kopieren Sie im Feld Test Folgendes in das Feld Eingabe.

6. Klicken Sie auf die Schaltfläche Senden.

Das Modell gibt jetzt ein Sentiment für den Eingabetext an. Beim Text Es hat sich gelohnt! wird das Sentiment als positiv gekennzeichnet.

7. Geben Sie dem Prompt nach Abschluss des Prompt-Designs den Namen Sentimentanalyse.

Klicken Sie auf Fortschritt prüfen.

Aufgabe 4: Unterhaltungen generieren

Der Chat-Modus ist ein Unterhaltungsmodus, in dem Sie mit dem Modell ein freies Gespräch führen können. Das Modell verwendet den Unterhaltungsverlauf als Kontext für zukünftige Antworten. In diesem Abschnitt erstellen Sie einen Chat-Prompt und führen eine Unterhaltung mit dem Modell.

1. Gehen Sie im Menü auf der linken Seite auf Chat, um einen neuen Chat-Prompt zu erstellen.

2. Wählen Sie oben rechts unter Modell das Modell gemini-1.5-flash-002 aus.

In diesem Abschnitt fügen Sie dem Chat Kontext hinzu und lassen das Modell basierend auf dem angegebenen Kontext antworten.

3. Klicken Sie auf Systemanweisungen und fügen Sie den folgenden Kontext hinzu:

4. Geben Sie folgenden Prompt ein:

5. Klicken Sie auf die Schaltfläche Senden.

Das Modell sollte folgende Antwort geben:

6. Klicken Sie unter Systemanweisungen auf Wert löschen.

7. Klicken Sie auf Systemanweisungen und fügen Sie den folgenden Kontext hinzu:

8. Geben Sie folgenden Prompt ein:

9. Klicken Sie auf die Schaltfläche Senden.

Das Modell sollte nun eine hilfreichere Antwort auf die Nutzeranfrage geben.

Experimentieren Sie ruhig mit verschiedenen Prompts und Kontexten, um zu sehen, wie das Modell reagiert. Sie können dem Chat-Prompt auch weiteren Kontext hinzufügen, um zu sehen, wie das Modell auf der Grundlage des bereitgestellten Kontexts reagiert.

10. Geben Sie dem Prompt nach Abschluss des Prompt-Designs den Namen Supporttechniker-Hilfe.

Klicken Sie auf Fortschritt prüfen.

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

Sie haben gelernt, wie Sie ein Bild im Freiformat analysieren, Freiformat-Funktionen verwenden, einen Prompt erstellen und testen und eine Unterhaltung generieren. Sie haben den ersten Schritt für die Nutzung von Vertex AI Studio und Gemini Freeform gemeistert!

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 3. Januar 2025 aktualisiert

Lab zuletzt am 3. Januar 2025 getestet

© 2025 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.