GSP1154

Überblick

Vertex AI ist eine umfassende Machine-Learning-Entwicklungsplattform, die Funktionen für sowohl prädiktive als auch generative KI bietet. Mit Vertex AI können Sie prädiktive Machine-Learning-Modelle für Prognosen trainieren, bewerten und einsetzen. Außerdem haben Sie mithilfe der Plattform die Möglichkeit, auf generativer KI basierende Modelle zur Inhaltserstellung zu finden, abzustimmen und bereitzustellen.

Mit Vertex AI Studio können Sie auf generativer KI basierende Modelle schnell testen und anpassen, sodass Sie deren Funktionen in Ihren Anwendungen nutzen können. Die Lösung bietet zahlreiche Tools und Ressourcen (u. a. UI- und Codierungsbeispiele), die den Einstieg in generative KI erleichtern, auch wenn Sie keine oder wenig Kenntnisse zu maschinellem Lernen haben.

Dieses praxisorientierte Lab führt Sie durch Vertex AI Studio. Hier können Sie das gesamte Potenzial der hochmodernen, auf generativer KI basierenden Modelle ausschöpfen. Sie lernen Gemini Freeform kennen und analysieren damit Bilder, erstellen Prompts und generieren Unterhaltungen direkt auf der Google Cloud Console. APIs oder Python SDKs sind nicht nötig – über die intuitive Benutzeroberfläche können Sie auf alles zugreifen.

Lernziele

Aufgaben in diesem Lab:

• Bilder mit Gemini Freeform analysieren
• Freeform besser kennenlernen
• Prompts im freien Format und mit strukturiertem Modus erstellen
• Unterhaltungen generieren

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange die Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung selbst durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus, um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Wenn Sie über ein persönliches Google Cloud-Konto oder -Projekt verfügen, verwenden Sie es nicht für dieses Lab. So werden zusätzliche Kosten für Ihr Konto vermieden.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Pop-up-Fenster geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich Details zum Lab mit diesen Informationen:

   • Schaltfläche Google Cloud Console öffnen
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite Anmelden geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich Details zum Lab.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich Details zum Lab.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie sich eine Liste der Google Cloud-Produkte und ‑Dienste ansehen möchten, klicken Sie oben links auf das Navigationsmenü.

Vertex AI API aktivieren

1. Öffnen Sie die Google Cloud Console und geben Sie Vertex AI API in der oberen Suchleiste ein.

2. Klicken Sie auf das Ergebnis für Vertex AI API unter „Marketplace und APIs“.

3. Klicken Sie auf Aktivieren.

Klicken Sie auf Fortschritt prüfen.

Vertex AI API aktivieren

Aufgabe 1: Bilder mit Gemini Freeform analysieren

1. Öffnen Sie das Navigationsmenü () in der Google Cloud Console und klicken Sie dann auf Künstliche Intelligenz > Vertex AI > Vertex AI Studio > Übersicht.

Hinweis: Wenn Vertex AI im Navigationsmenü nicht angezeigt wird, klicken Sie auf das Drop-down-Menü Weitere Produkte.

Sie sehen vier Funktionen: Freeform, Chat, Vision und Speech. In diesem Lab konzentrieren wir uns auf die ersten beiden.

2. Klicken Sie unter Mit Gemini generieren auf Freeform öffnen.

Hinweis: Die Benutzeroberfläche enthält drei Hauptabschnitte:

„Prompt“ (befindet sich oben): Hier können Sie eine Aufgabe erstellen, die Freeform-Funktionen nutzt.

„Konfiguration“ (befindet sich rechts): In diesem Abschnitt können Sie Modelle auswählen, Parameter konfigurieren und den jeweiligen Code abrufen.

„Antwort“ (befindet sich unten): In diesem Abschnitt werden die Ergebnisse Ihrer Aufgabe angezeigt.

3. Nennen Sie Ihren Prompt Bildanalyse.

4. Laden Sie das Beispielbild herunter. Klicken Sie mit der rechten Maustaste auf das Zeitplanbild und speichern Sie es anschließend auf Ihrem Desktop.

   

5. Generieren Sie einen Titel für das Bild. Klicken Sie oben rechts auf Medien einfügen > Hochladen und laden Sie dann das Bild des Zeitplans hoch. Die Medien können entweder Bilder oder Videos umfassen.

6. Wählen Sie als Region aus.

7. Fügen Sie den folgenden Text ein und klicken Sie auf Senden.

Title the image.

Sie können auch spezifischer formulieren:

Title the image in 3 words.

Entspricht der Titel Ihren Erwartungen? Ändern Sie den Prompt gegebenenfalls, um zu prüfen, ob Sie andere Ergebnisse erhalten.

8. Generieren Sie eine Beschreibung des Bilds. Ersetzen Sie den vorherigen Prompt durch den folgenden Text und klicken Sie auf Senden.

Describe the image in detail.

9. Stimmen Sie die Parameter ab. Passen Sie die Temperatur durch Scrollen von links (0) nach rechts (1) an. Senden Sie den Prompt noch einmal, um zu prüfen, inwiefern sich die Ausgabe im Vergleich zum vorherigen Ergebnis ändert.

Hinweis: Die Temperatur bestimmt den Grad der Zufälligkeit bei der Tokenauswahl. Niedrigere Temperaturen eignen sich gut für Prompts, die eine wahre oder richtige Antwort erwarten, während höhere Temperaturen zu unterschiedlichen oder unerwarteten Ergebnissen führen können. Bei einer Temperatur von 0 wird immer das Token mit der höchsten Wahrscheinlichkeit ausgewählt.

10. Extrahieren Sie Text aus dem Bild. Ersetzen Sie dazu den vorherigen Prompt durch den folgenden:

Read the text in the image.

Wenn Sie die Ausgabe als eine Liste formatieren möchten, müssen Sie den vorherigen Prompt durch den folgenden ersetzen:

Parse the time and city in this image into a list with two columns: time and city.

Jetzt sind Sie dran – probieren Sie unterschiedliche Prompts aus! Wie unterscheiden sich die Ergebnisse von den vorherigen?

11. Analysieren Sie Informationen auf dem Bild. Ersetzen Sie dazu den vorherigen Prompt durch den folgenden:

Calculate the percentage of the flights to different continents.

Entspricht das Ergebnis Ihren Erwartungen? Probieren Sie gerne unterschiedliche Prompts für verschiedene Aufgaben aus. Sie sollten außerdem mit unterschiedlichen Temperatureinstellungen experimentieren, um die Änderungen am Ergebnis zu prüfen.

12. Speichern Sie den Prompt. Klicken Sie auf Speichern, um den Prompt nach Abschluss des Prompt-Designs zu speichern. Falls Sie auch eine Region auswählen müssen, wählen Sie aus dem Drop-down-Menü aus und bestätigen mit Speichern. Nach gespeicherten Prompts suchen können Sie über Gespeicherte Prompts.

Hinweis: Warten Sie nach dem Klicken auf Speichern einige Sekunden, damit die Prompts gespeichert werden, und fahren Sie dann mit dem Lab fort.

Klicken Sie auf Fortschritt prüfen.

Inhalt des Bildes extrahieren

Aufgabe 2: Freeform-Funktionen

Neben Bildern und Text akzeptiert Gemini Freeform auch Videos als Eingabe und generiert Text als Ausgabe.

1. Rufen Sie Cloud Storage > Bucket auf, kopieren Sie den Namen Ihres Cloud Storage-Buckets und speichern Sie ihn für den Einsatz im nächsten Schritt.

2. Klicken Sie auf „Cloud Shell aktivieren“ und führen Sie den Befehl unten aus, um das Beispielvideo gs://spls/gsp154/video/train.mp4 (Vorschau) in Ihren Cloud Storage-Bucket zu kopieren.

gcloud storage cp gs://spls/gsp154/video/train.mp4 gs://<Your-Cloud-Storage-Bucket> Hinweis: Ersetzen Sie unbedingt <Your-Cloud-Storage-Bucket> durch den zuvor kopierten Bucket-Namen.

3. Rufen Sie wieder Vertex AI > Vertex AI Studio > Übersicht auf.
4. Klicken Sie unter Mit Gemini generieren auf Freeform öffnen.
5. Klicken Sie auf Medien einfügen > Aus Cloud Storage importieren.
6. Klicken Sie auf Ihren Bucket-Namen und dann auf das Beispielvideo, also train.mp4, und dann auf Auswählen.
7. Fragen Sie beliebige Informationen zum Video ab und fügen Sie dazu Ihren eigenen Prompt ein.

Wenn Sie beispielsweise einen Titel für das Video generieren möchten, fügen Sie den folgenden Prompt ein und klicken Sie auf Senden.

Title the video.

Freeform auf Basis von Gemini bietet zahlreiche Funktionen. Sie können z. B. Geschichten aus Bildern schreiben, Videos analysieren und Multimedia-Werbeanzeigen generieren. Weitere Anwendungsfälle finden Sie in der Prompt-Galerie. Weitere Informationen zum Design multimodaler Prompts finden Sie hier.

Aufgabe 3: Prompts im freien Format und mit strukturiertem Modus erstellen

1. Rufen Sie die Seite Vertex AI Studio > Freeform wieder auf.

Prompt erstellen

Über „Prompt erstellen“ können Sie Prompts für Aufgaben anlegen, die für Ihren geschäftlichen Anwendungsfall relevant sind. Dazu gehört u. a. die Generierung von Code.

Klicken Sie auf die Schaltfläche Freeform öffnen, wie in der Abbildung unten gezeigt. Die UI kann sich geringfügig von diesem Screenshot unterscheiden.

Sie können den Mauszeiger auf die ?-Schaltflächen (rechts auf der Seite) bewegen oder darauf klicken, um mehr über die jeweiligen Felder und Parameter zu erfahren, u. a. die Grenzwerte für Temperatur und Tokens.

Prompt-Design

Sie können Ihren gewünschten Eingabetext in das Modell einspeisen, z. B. eine Frage. Das Modell gibt dann eine Antwort zurück, die auf der Struktur Ihres Prompts basiert. Der Vorgang, bei dem der optimale Eingabetext (Prompt) ermittelt und erstellt wird, um die gewünschte Antwort vom Modell zu erhalten, wird als Prompt-Design bezeichnet.

Derzeit gibt es noch keine optimale Vorgehensweise für das Prompt-Design. Sie haben drei Möglichkeiten, die Antwort des Modells zu gestalten:

• Zero-Shot-Prompts: Bei dieser Methode wird nur ein Prompt in das LLM eingegeben. Dieser beschreibt die Aufgabe, ohne zusätzliche Daten. Wenn das LLM z. B. eine Frage beantworten soll, geben Sie einfach „Was ist Prompt-Design?“ ein.

• One-Shot-Prompts: Bei dieser Methode wird ein einzelnes Beispiel der Aufgabe, die das LLM ausführen soll, eingegeben. Wenn das LLM z. B. ein Gedicht schreiben soll, geben Sie möglicherweise ein einzelnes Beispielgedicht ein.

• Few-Shot-Prompts: Bei dieser Methode werden einige wenige Beispiele der Aufgabe, die das LLM ausführen soll, eingegeben. Wenn das LLM z. B. einen Nachrichtenartikel schreiben soll, speisen Sie möglicherweise einige Nachrichtenartikel ein.

• FREEFORM: Bei diesem Modus können Sie Ihren Prompt flexibel und einfach gestalten. Er eignet sich für kleine und experimentelle Prompts ohne zusätzliche Beispiele. Sie haben damit auch die Möglichkeit, Zero-Shot-Prompts auszuprobieren. Darüber hinaus können Sie einen vorlagenbasierten Ansatz nutzen, um Kontext und mehrere Beispiele hinzuzufügen. Das ist besonders nützlich für One-Shot- und Few-Shot-Prompts-Methoden, die Sie später untersuchen werden.

---

Modus „FREIES FORMAT“

Probieren Sie Zero-Shot-Prompts einmal im Modus FREIES FORMAT aus.

1. Kopieren Sie Folgendes in das Eingabefeld für Prompts. Behalten Sie die aktuelle Standardmodelleinstellung bei, also Gemini 1.5 Pro. Hinweis: Mit der Veröffentlichung neuer Modelle kann sich der Modellname ändern.

What is a prompt gallery?

2. Klicken Sie auf die Schaltfläche SENDEN rechts auf der Seite.

Das Modell antwortet mit einer umfassenden Definition des Begriffs „Prompt-Galerie“.

Nachfolgend können Sie anhand von Übungen ein wenig experimentieren.

• Stellen Sie den Parameter Ausgabetokenlimit auf 1 ein und klicken Sie auf die Schaltfläche SENDEN.
• Stellen Sie den Parameter Ausgabetokenlimit auf 1024 ein und klicken Sie auf die Schaltfläche SENDEN.
• Stellen Sie den Parameter Temperatur auf 0.5 ein und klicken Sie auf die Schaltfläche SENDEN.
• Stellen Sie den Parameter Temperatur auf 1.0 ein und klicken Sie auf die Schaltfläche SENDEN.

Schauen Sie sich an, wie sich die Antworten je nach Änderung der Parameter ändern.

---

Prompts entwerfen und verwalten

Prompts lassen sich jetzt noch besser organisiert gestalten. Dazu können Sie Kontext und Beispiele in den jeweiligen Eingabefeldern hinzufügen. Dies ist eine gute Gelegenheit, um sich mit One-Shot- und Few-Shot-Prompts auseinanderzusetzen.

In diesem Abschnitt bitten Sie das Modell, einen Satz zu vervollständigen.

1. Kehren Sie zum Fenster Text-Prompt zurück.

2. Klicken Sie oben auf der Seite auf Beispiele hinzufügen.

3. Geben Sie diesen Text in das Feld EINGABE ein:

the color of the grass is

3. Geben Sie diesen Text in das Feld AUSGABE ein:

the color of the grass is green

4. Klicken Sie rechts auf der Seite auf die Schaltfläche Beispiele hinzufügen.

Statt den Satz zu vervollständigen, gab das Modell einen vollständigen Satz als Antwort zurück, was nicht gewünscht war. Versuchen Sie, die Antwort des Modells mit One-Shot-Prompts zu beeinflussen. Fügen Sie dieses Mal ein Beispiel ein, das das Modell als Grundlage für die Ausgabe verwenden soll.

5. Kopieren Sie im Feld Test Folgendes in das Feld Eingabe schreiben:

the color of the sky is Hinweis: Eventuell müssen Sie „color“ in „colour“ ändern, falls dies die richtige Schreibweise in Ihrem Land ist.

6. Klicken Sie auf die Schaltfläche SENDEN rechts auf der Seite.

Sie haben erfolgreich beeinflusst, wie das Modell Antworten erzeugt.

---

In der nächsten Übung führen Sie anhand des Modells eine Sentimentanalyse für einen Satz aus. Sie möchten zum Beispiel ermitteln, ob eine Filmkritik positiv oder negativ ist.

1. Kehren Sie zum Fenster Text-Prompt zurück.
2. Klicken Sie auf Beispiele hinzufügen und löschen Sie im Feld Beispiele den vorherigen Text für EINGABE und AUSGABE für „green grass“.

Das Modell hatte nicht genügend Informationen, um zu wissen, dass es eine Sentimentanalyse durchführen soll. Diese Ausgabe kann verbessert werden, wenn Sie dem Modell einige Beispiele für das geben, was Sie suchen.

Probieren Sie mal aus, die Beispiele wie im Bild unten hinzuzufügen:

EINGABE	AUSGABE
A well-made and entertaining film	positiv
I fell asleep after 10 minutes	negativ
The movie was ok	neutral

Klicken Sie dann rechts auf der Seite auf die Schaltfläche Beispiele hinzufügen.

3. Kopieren Sie den folgenden Prompt für das Feld Test in das Feld Eingabe schreiben.

It was a time well spent!

4. Klicken Sie auf die Schaltfläche SENDEN rechts auf der Seite.

Das Modell gibt jetzt ein Sentiment für den Eingabetext an. Beim Text It was a time well spent! wird das Sentiment als positiv gekennzeichnet.

Sie können den neu erstellten Prompt auch speichern. Um den Prompt zu speichern, müssen Sie dem Prompt den gewünschten Namen geben, z. B. sentiment-analysis-test, und auf Speichern klicken. Wählen Sie dann die Region für Ihr Lab aus. Klicken Sie auf SPEICHERN.

(Wenn beim Speichern ein Fehler auftritt, sollten Sie auf Wiederholen klicken.)

Der gespeicherte Prompt wird unter Vertex AI Studio > Gespeicherte Prompts angezeigt.

---

Klicken Sie auf Fortschritt prüfen.

Prompts mit Text erstellen

Aufgabe 4: Unterhaltungen generieren

Über „Chat-Prompt erstellen“ können Sie frei mit dem Modell chatten. Es verfolgt das zuvor Gesagte dann und antwortet je nach Kontext.

1. Gehen Sie im Menü auf der linken Seite auf Chat, um einen neuen Chat-Prompt zu erstellen.

2. Wählen Sie als Modell gemini-1.5-flash-001 aus.

In diesem Abschnitt fügen Sie dem Chat Kontext hinzu und lassen das Modell basierend auf dem angegebenen Kontext antworten.

3. Klicken Sie dann auf die Schaltfläche BEARBEITEN und fügen Sie den folgenden Kontext in das Feld Systemanweisung ein.

Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.

4. Fügen Sie unter „Antworten“ den folgenden Text in das Chatfeld ein.

My computer is so slow

5. Drücken Sie die Eingabetaste oder klicken Sie auf Nachricht senden (Pfeil nach rechts).

Das Modell würde den angegebenen zusätzlichen Kontext berücksichtigen und die Fragen innerhalb der Einschränkungen beantworten.

6. Geben Sie dem Prompt den gewünschten Namen, klicken Sie auf die Schaltfläche Speichern und wählen Sie dann die Region für Ihr Lab aus. Klicken Sie auf SPEICHERN.

Klicken Sie auf Fortschritt prüfen.

Unterhaltungen mit Chat-Prompt erstellen

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

Sie haben gelernt, wie Sie ein Bild mit Freeform analysieren, Freeform-Funktionen verwenden, einen Prompt erstellen und testen und eine Unterhaltung generieren. Sie haben den ersten Schritt für die Nutzung von Vertex AI Studio und Gemini Freeform gemeistert!

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 5. September 2024 aktualisiert

Lab zuletzt am 5. September 2024 getestet

© 2024 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.