GSP1210

Überblick

Gemini ist eine Reihe von auf generativer KI basierenden Modellen, die von Google DeepMind entwickelt wurden und auf multimodale Anwendungsfälle ausgelegt sind. Die Gemini API bietet Zugriff auf die Modelle Gemini Pro Vision und Gemini Pro. In diesem Lab werden verschiedene multimodale Anwendungsfälle demonstriert, für die Gemini verwendet werden kann. Sie erfahren außerdem, wie Sie die Vertex AI Gemini API nutzen, um Text aus Text- und Bildermaterial sowie Video-Prompts zu generieren.

Multimodalität

Im Vergleich zu reinen Text-LLMs kann die Multimodalität von Gemini Pro Vision für viele neue Anwendungsfälle eingesetzt werden:

Beispiele für Anwendungsfälle mit Text- und Bildmaterial als Eingabe:

• Objekte in Fotos erkennen
• Bildschirme und Benutzeroberflächen verstehen
• Zeichnungen und Abstraktionen verstehen
• Diagramme und Grafiken verstehen
• Bilder auf der Grundlage von Nutzerpräferenzen empfehlen
• Bilder auf Ähnlichkeiten, Abweichungen oder Unterschiede vergleichen

Beispiele für Anwendungsfälle mit Text- und Videomaterial als Eingabe:

• Videobeschreibung erstellen
• Tags von Objekten in einem Video extrahieren
• Highlights und Botschaften aus einem Video extrahieren

Lernziele

Aufgaben in diesem Lab:

• Sie erfahren, wie Sie mit der Vertex AI Gemini API Text aus Text- und Bildmaterial sowie aus Video-Prompts generieren können.

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange die Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung selbst durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus, um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Wenn Sie über ein persönliches Google Cloud-Konto oder -Projekt verfügen, verwenden Sie es nicht für dieses Lab. So werden zusätzliche Kosten für Ihr Konto vermieden.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Pop-up-Fenster geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich Details zum Lab mit diesen Informationen:

   • Schaltfläche Google Cloud Console öffnen
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite Anmelden geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich Details zum Lab.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich Details zum Lab.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie sich eine Liste der Google Cloud-Produkte und ‑Dienste ansehen möchten, klicken Sie oben links auf das Navigationsmenü.

Alle empfohlenen APIs aktivieren

1. Klicken Sie in der Google Cloud Console im Navigationsmenü auf Vertex AI.

2. Klicken Sie auf Alle empfohlenen APIs aktivieren.

Aufgabe 1: Notebook in Vertex AI Workbench öffnen

1. Klicken Sie in der Google Cloud Console im Navigationsmenü auf Vertex AI > Workbench.

2. Suchen Sie auf der Seite Nutzerverwaltete Notebooks das Notebook generative-ai-jupyterlab und klicken Sie auf JupyterLab öffnen.

Die JupyterLab-Oberfläche wird in einem neuen Browsertab geöffnet.

Aufgabe 2: Ordner „generative-ai“ öffnen

1. Wechseln Sie auf der linken Seite des Notebooks zum Ordner generative-ai.

2. Gehen Sie zum Ordner /gemini/use-cases/.

3. Klicken Sie auf die Datei intro_multimodal_use_cases.ipynb.

4. Gehen Sie die Abschnitte Erste Schritte und Bibliotheken importieren des Notebooks durch.

   • Verwenden Sie als Projekt-ID den Wert und als Standort die Option .

Hinweis: Notebookzellen mit dem Hinweis Nur Colab können Sie überspringen.

In den folgenden Abschnitten gehen Sie die Notebookzellen durch, um zu erfahren, wie Sie die Vertex AI Gemini API mit dem Vertex AI SDK for Python verwenden können.

Aufgabe 3: Gemini Pro Vision-Modell verwenden

Gemini Pro Vision (gemini-pro-vision) ist ein multimodales Modell, das multimodale Prompts unterstützt. Sie können Texte, Bilder und Videos in Ihre Prompts einfügen und erhalten Text‑ oder Codeantworten.

In dieser Aufgabe gehen Sie die Notebookzellen durch, um die Nutzung des Gemini Pro Vision-Modells kennenzulernen. Sie können immer wieder hierher zurückkehren, um Ihren Fortschritt beim Erreichen der Ziele zu sehen.

Bildverständnis über mehrere Bilder hinweg

Gemini ist unter anderem in der Lage, über mehrere Bilder hinweg Schlussfolgerungen zu ziehen. In diesem Beispiel berechnen Sie mit Gemini die Gesamtkosten von Lebensmitteln anhand eines Bildes mit Früchten und einer Preisliste.

Durchlaufen Sie im Notebook den Abschnitt Bildverständnis über mehrere Bilder hinweg.

Klicken Sie auf Fortschritt prüfen. Bildverständnis über mehrere Bilder hinweg

Bildschirme und Benutzeroberflächen verstehen

Gemini kann auch Informationen von Gerätebildschirmen, Benutzeroberflächen, Screenshots, Symbolen und Layouts extrahieren. In diesem Beispiel holen Sie mit Gemini Informationen über einen Herd ein, um einem Nutzer die Bedienung der Benutzeroberfläche zu erleichtern und in verschiedenen Sprachen zu antworten:

Gehen Sie im Notebook den Abschnitt Bildschirme und Benutzeroberflächen verstehen durch.

Klicken Sie auf Fortschritt prüfen. Bildschirme und Benutzeroberflächen verstehen

Entitätsbeziehungen in einem technischen Diagramm verstehen

Gemini verfügt über multimodale Fähigkeiten, mit denen es Diagramme analysieren und konkrete Maßnahmen ergreifen kann, z. B. Optimierung oder Codeerstellung. In diesem Beispiel erfahren Sie, wie Gemini ein Entity-Relationship-Diagramm (ER-Diagramm) entschlüsseln, die Beziehungen zwischen Tabellen verstehen, Anforderungen für die Optimierung in einer bestimmten Umgebung wie BigQuery ermitteln und sogar entsprechenden Code erzeugen kann.

Gehen Sie im Notebook den Abschnitt Entitätsbeziehungen in einem technischen Diagramm verstehen durch.

Klicken Sie auf Fortschritt prüfen. Entitätsbeziehungen in einem technischen Diagramm verstehen

Empfehlungen auf der Grundlage mehrerer Bilder

Gemini kann Bilder vergleichen und Empfehlungen geben. Dies ist im E-Commerce wie im Einzelhandel besonders nützlich. In diesem Beispiel geben Sie mit Gemini eine Empfehlung ab, welche Brille sich besser für eine ovale Gesichtsform eignet.

Gehen Sie im Notebook den Abschnitt Empfehlungen auf der Grundlage mehrerer Bilder durch.

Klicken Sie auf Fortschritt prüfen. Empfehlungen auf der Grundlage mehrerer Bilder

Ähnlichkeiten/Unterschiede

Gemini kann Bilder vergleichen und Ähnlichkeiten oder Unterschiede zwischen Objekten erkennen. In diesem Beispiel vergleichen Sie mit Gemini zwei Bilder desselben Ortes und ermitteln die Unterschiede zwischen ihnen.

Gehen Sie im Notebook den Abschnitt Ähnlichkeiten/Unterschiede durch.

Klicken Sie auf Fortschritt prüfen. Ähnlichkeiten/Unterschiede

Videobeschreibung erstellen

Gemini kann eine Beschreibung für ein Video erstellen. In diesem Beispiel erstellen Sie mit Gemini eine Beschreibung zu einem Video, das eine Küstenlandschaft am Mittelmeer zeigt.

Gehen Sie im Notebook den Abschnitt Videobeschreibung erstellen durch.

Tags von Objekten in einem Video extrahieren

Gemini kann auch Tags in einem Video extrahieren. In diesem Beispiel extrahieren Sie mit Gemini Tags von Objekten im Video eines Fotoshootings und erstellen daraus Hashtags.

Gehen Sie im Notebook den Abschnitt Tags von Objekten in einem Video extrahieren durch.

Weitere Fragen zu einem Video stellen

Gemini kann Fragen zu einem Video beantworten. In diesem Beispiel beantworten Sie mit Gemini Fragen zu einem Video und geben eine JSON-Antwort zurück.

Gehen Sie im Notebook den Abschnitt Weitere Fragen zu einem Video stellen durch.

Zusätzliche Informationen über das Video hinaus erhalten

Gemini kann auch zusätzliche Informationen über das Video hinaus auswerten. In diesem Beispiel rufen Sie mit Gemini zusätzliche Informationen über ein Video ab, z. B. durch konkrete Fragen zu einer Eisenbahnstrecke.

Gehen Sie im Notebook den Abschnitt Zusätzliche Informationen über das Video hinaus erhalten durch.

Das wars!

Sie haben das Lab erfolgreich abgeschlossen. Darin haben Sie erfahren, wie Sie mit der Vertex AI Gemini API Text aus Text- und Bild-Prompts generieren können.

Weitere Informationen

• Dokumentation: Generative KI in Vertex AI
• YouTube-Kanal: Google Cloud Tech
• GitHub-Repository: Generative KI von Google Cloud
• Gemini-Beispielnotebooks

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 7. März 2024 aktualisiert

Lab zuletzt am 7. März 2024 getestet

© 2024 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.