GSP1230

Überblick

Gemini ist eine Reihe von auf generativer KI basierenden Modellen, die von Google DeepMind entwickelt wurden und auf multimodale Anwendungsfälle ausgelegt sind. Die Gemini API bietet Zugriff auf die Modelle Gemini Pro Vision und Gemini Pro.

Für Einzelhandelsunternehmen verbessern Empfehlungssysteme den Kundenservice und können dadurch den Umsatz steigern. In diesem Lab erfahren Sie, wie Sie mit dem Gemini Pro Vision-Modell in kurzer Zeit ein multimodales Empfehlungssystem erstellen können. Das Gemini Pro Vision-Modell kann mithilfe eines multimodalen Modells sowohl Empfehlungen als auch Erläuterungen liefern.

In diesem Lab fangen Sie mit einer Szene an (z. B. einem Wohnzimmer) und nutzen das Gemini Pro Vision-Modell, um visuelles Verständnis herzustellen. Außerdem werden Sie sich damit beschäftigen, wie das Gemini Pro Vision-Modell dazu genutzt werden kann, einen Artikel (z. B. einen Stuhl) aus einer Liste von Möbelstücken als Eingabe zu empfehlen.

Vertex AI Gemini API

Die Vertex AI Gemini API bietet eine einheitliche Benutzeroberfläche für die Interaktion mit Gemini-Modellen. Derzeit gibt es zwei Modelle:

1. Gemini Pro (gemini-pro): Entwickelt für Aufgaben in natürlicher Sprache, wechselseitigen Text‑ und Codechat sowie Codegenerierung.
2. Gemini Pro Vision (gemini-pro-vision): Unterstützt multimodale Prompts. Sie können Texte, Bilder und Videos in Ihre Prompts einfügen und erhalten Text‑ oder Codeantworten.

Es gibt verschiedene Möglichkeiten, mit der Gemini API zu interagieren:

• Vertex AI Studio für schnelles Testen und Erstellen von Befehlen
• cURL-Befehle
• Vertex AI SDK

Dieses Lab konzentriert sich auf die multimodalen Funktionen des Gemini Pro Vision-Modells.

Weitere Informationen finden Sie in der Dokumentation unter Übersicht über die Unterstützung generativer KI für Vertex AI.

Lernziele

Aufgaben in diesem Lab:

• Mit dem Gemini Pro Vision-Modell (gemini-pro-vision) visuelles Verstehen anwenden
• Multimodalität beim Schreiben von Prompts für das Gemini Pro Vision-Modell berücksichtigen
• Eine Empfehlungsanwendung für den Einzelhandel mit dem Gemini Pro Vision-Modell erstellen

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange die Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung selbst durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Pop-up-Fenster geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich Details zum Lab mit diesen Informationen:

   • Schaltfläche Google Cloud Console öffnen
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite Anmelden geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich Details zum Lab.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich Details zum Lab.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie sich eine Liste der Google Cloud-Produkte und ‑Dienste ansehen möchten, klicken Sie oben links auf das Navigationsmenü.

Aufgabe 1: Notebook in Vertex AI Workbench öffnen

1. Klicken Sie in der Google Cloud Console im Navigationsmenü auf Vertex AI > Workbench.

2. Suchen Sie auf der Seite Nutzerverwaltete Notebooks das Notebook generative-ai-jupyterlab und klicken Sie auf JupyterLab öffnen.

Die JupyterLab-Oberfläche wird in einem neuen Browsertab geöffnet.

Aufgabe 2: Ordner „generative-ai“ öffnen

1. Wechseln Sie auf der linken Seite des Notebooks zum Ordner generative-ai.

2. Gehen Sie zum Ordner /gemini/use-cases/retail.

3. Öffnen Sie die Datei multimodal_retail_recommendations.ipynb.

4. Gehen Sie die Abschnitte Erste Schritte und Bibliotheken importieren des Notebooks durch.

   • Verwenden Sie als Projekt-ID den Wert und als Standort die Option .

Klicken Sie auf Fortschritt prüfen.

Vertex AI SDK for Python installieren und Bibliotheken importieren.

In den folgenden Abschnitten gehen Sie die Notebookzellen durch, um zu erfahren, wie Sie die multimodalen Funktionen des Gemini Pro Vision-Modells verwenden können.

Aufgabe 3: Gemini Pro Vision-Modell verwenden

Das Gemini Pro Vision-Modell (gemini-pro-vision) ist ein multimodales Modell, das das Einfügen von Bildern und Videos in Text‑ oder Chat-Prompts unterstützt, um eine Textantwort zu erhalten.

1. In dieser Aufgabe gehen Sie die Notebookzellen durch, um zu erfahren, wie Sie mit dem Gemini Pro Vision-Modell einen Raum anhand eines Bildes detailliert beschreiben können und dabei Text und Bild in einem einzigen Prompt kombinieren.

Klicken Sie auf Fortschritt prüfen.

Mit dem Gemini Pro Vision-Modell einen Raum beschreiben.

Aufgabe 4: Offene Empfehlungen basierend auf integriertem Wissen generieren

Mit demselben Bild können Sie das Modell auffordern, ein Möbelstück zu empfehlen, das zusammen mit der Beschreibung des Raums dort hineinpassen würde. Beachten Sie, dass das Modell in diesem Fall jedes beliebige Möbelstück empfehlen kann, und zwar ausschließlich auf der Grundlage seines integrierten Wissens.

1. Gehen Sie anhand desselben Bildes die Notebookzellen durch, um zu erfahren, wie sich mit dem Gemini Pro Vision-Modell ein Möbelstück empfehlen lässt, das in den Raum passt, zusammen mit der Beschreibung des Raums.

Klicken Sie auf Fortschritt prüfen.

Mit dem Gemini Pro Vision-Modell ein Möbelstück empfehlen.

Aufgabe 5: Empfehlungen auf Basis bereitgestellter Bilder generieren

Sie können dem Modell auch eine Liste von Artikeln zur Verfügung stellen, anstatt die Empfehlung offen zu lassen. In diesem Abschnitt laden Sie mehrere Bilder von Stühlen herunter und legen sie als Auswahlmöglichkeiten für das Gemini-Modell fest, aus denen es Empfehlungen ableiten kann. Besonders nützlich ist dies für Einzelhandelsunternehmen, die ihrer Kundschaft je nach Art des Raums und den im Geschäft verfügbaren Artikeln Empfehlungen geben möchten.

1. In dieser Aufgabe gehen Sie die Notebookzellen durch, um zu erfahren, wie Sie mit dem Gemini Pro Vision-Modell ein Möbelstück aus einer Artikelliste empfehlen können.

Klicken Sie auf Fortschritt prüfen.

Mit Gemini Pro Vision einen Artikel aus einer Vorauswahl empfehlen.

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

Glückwunsch! In diesem Lab haben Sie erfahren, wie Sie mit Gemini ein multimodales Empfehlungssystem für Möbel erstellen können. Sie haben gelernt, wie man das Gemini Pro Vision-Modell für visuelles Verstehen einsetzt und wie Multimodalität beim Schreiben von Prompts für das Gemini Pro Vision-Modell berücksichtigt werden sollte. In diesem Lab wurde gezeigt, wie Sie mit Gemini ein multimodales Empfehlungssystem für Möbel erstellen können. Ein ähnlicher Ansatz lässt sich aber auch in anderen Bereichen anwenden:

• Empfehlungen für Kleidung zu einem bestimmten Anlass oder anhand eines Bildes des Veranstaltungsortes
• Empfehlung einer Tapete basierend auf dem jeweiligen Raum und der Einrichtung

Weitere Informationen

• Dokumentation: Generative KI in Vertex AI
• YouTube-Kanal: Google Cloud Tech
• GitHub-Repository: Generative KI von Google Cloud
• Gemini-Beispielnotebooks

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 3. April 2024 aktualisiert

Lab zuletzt am 3. April 2024 getestet

© 2024 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.