GSP192

Übersicht

In diesem Lab erfahren Sie, wie Sie anhand einer Dataflow-Vorlage von Google eine Streamingpipeline erstellen. Sie verwenden dazu die Vorlage „Pub/Sub zu BigQuery“, mit der in JSON geschriebene Nachrichten aus einem Pub/Sub-Thema gelesen und per Push in eine BigQuery-Tabelle übertragen werden. Die Dokumentation zu dieser Vorlage finden Sie im Leitfaden Von Google bereitgestellte Vorlagen.

Sie können das BigQuery-Dataset und die BigQuery-Tabelle entweder mit der Cloud Shell-Befehlszeile oder mit der Cloud Console erstellen. Entscheiden Sie sich für eine dieser Methoden und bleiben Sie dann für die Dauer des Labs dabei. Falls Sie die andere Methode auch ausprobieren möchten, führen Sie dieses Lab ein zweites Mal durch.

Aufgaben

• BigQuery-Dataset und ‑Tabelle erstellen
• Cloud Storage-Bucket erstellen
• Streamingpipeline mit der Dataflow-Vorlage „Pub/Sub zu BigQuery“ erstellen

Einrichtung

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange die Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung selbst durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus, um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Wenn Sie über ein persönliches Google Cloud-Konto oder -Projekt verfügen, verwenden Sie es nicht für dieses Lab. So werden zusätzliche Kosten für Ihr Konto vermieden.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Pop-up-Fenster geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich Details zum Lab mit diesen Informationen:

   • Schaltfläche Google Cloud Console öffnen
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite Anmelden geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich Details zum Lab.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich Details zum Lab.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie sich eine Liste der Google Cloud-Produkte und ‑Dienste ansehen möchten, klicken Sie oben links auf das Navigationsmenü.

Cloud Shell aktivieren

Cloud Shell ist eine virtuelle Maschine, auf der Entwicklertools installiert sind. Sie bietet ein Basisverzeichnis mit 5 GB nichtflüchtigem Speicher und läuft auf Google Cloud. Mit Cloud Shell erhalten Sie Befehlszeilenzugriff auf Ihre Google Cloud-Ressourcen.

1. Klicken Sie oben in der Google Cloud Console auf Cloud Shell aktivieren .

Wenn Sie verbunden sind, sind Sie bereits authentifiziert und das Projekt ist auf Ihre Project_ID, eingestellt. Die Ausgabe enthält eine Zeile, in der die Project_ID für diese Sitzung angegeben ist:

Ihr Cloud-Projekt in dieser Sitzung ist festgelegt als {{{project_0.project_id | "PROJECT_ID"}}}

gcloud ist das Befehlszeilentool für Google Cloud. Das Tool ist in Cloud Shell vorinstalliert und unterstützt die Tab-Vervollständigung.

2. (Optional) Sie können den aktiven Kontonamen mit diesem Befehl auflisten:

gcloud auth list

3. Klicken Sie auf Autorisieren.

Ausgabe:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} Um das aktive Konto festzulegen, führen Sie diesen Befehl aus: $ gcloud config set account `ACCOUNT`

4. (Optional) Sie können die Projekt-ID mit diesem Befehl auflisten:

gcloud config list project

Ausgabe:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Hinweis: Die vollständige Dokumentation für gcloud finden Sie in Google Cloud in der Übersicht zur gcloud CLI.

Aufgabe 1: Dataflow API neu aktivieren

Damit Sie Zugriff auf die erforderliche API haben, starten Sie die Verbindung zur Dataflow API neu.

1. Geben Sie in der Cloud Console oben in der Suchleiste „Dataflow API“ ein. Klicken Sie auf das Ergebnis für Dataflow API.

2. Klicken Sie auf Verwalten.

3. Klicken Sie auf API deaktivieren.

Wenn Sie zur Bestätigung aufgefordert werden, klicken Sie auf Deaktivieren.

4. Klicken Sie auf Aktivieren.

Wenn die API wieder aktiviert ist, wird auf der Seite die Option zur Deaktivierung angezeigt.

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen.

Dataflow API deaktivieren und wieder aktivieren

Aufgabe 2: BigQuery-Dataset, BigQuery-Tabelle und Cloud Storage-Bucket mit Cloud Shell erstellen

Erstellen Sie zuerst ein Dataset und eine Tabelle in BigQuery.

Hinweis: Bei dieser Aufgabe wird das bq‑Befehlszeilentool verwendet. Fahren Sie mit Aufgabe 3 fort, wenn Sie die nächsten Schritte mit der Cloud Console ausführen möchten.

1. Führen Sie den folgenden Befehl aus, um ein Dataset namens taxirides zu erstellen:

bq mk taxirides

Die Ausgabe sollte ungefähr so aussehen:

Dataset '' successfully created

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Wenn Sie ein BigQuery-Dataset erstellt haben, erhalten Sie ein Testergebnis.

BigQuery-Dataset erstellen (Name: taxirides)

Im nächsten Schritt können Sie das erstellte Dataset verwenden, um eine BigQuery-Tabelle zu instanziieren.

2. Führen Sie hierzu den folgenden Befehl aus:

bq mk \ ‑‑time_partitioning_field timestamp \ ‑‑schema ride_id:string,point_idx:integer,latitude:float,longitude:float,\ timestamp:timestamp,meter_reading:float,meter_increment:float,ride_status:string,\ passenger_count:integer ‑t taxirides.realtime

Die Ausgabe sollte ungefähr so aussehen:

Table 'IhreProjektID:taxirides.realtime' successfully created

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Wenn Sie die Tabelle im BigQuery-Dataset erstellt haben, erhalten Sie ein Testergebnis.

Tabelle im BigQuery-Dataset erstellen

Auf den ersten Blick sieht der Befehl bq mk etwas kompliziert aus. In der Referenz zum bq‑Befehlszeilentool wird er genauer erklärt. Dort finden Sie z. B. weitere Informationen zum Schema:

• Gibt entweder den Pfad zu einer lokalen JSON-Schemadatei oder eine durch Kommas getrennte Liste von Spaltendefinitionen im Format [FIELD]:[DATA_TYPE], [FIELD]:[DATA_TYPE] an.

In diesem Lab verwenden wir eine durch Kommas getrennte Liste.

Cloud Storage-Bucket mit Cloud Shell erstellen

Nachdem wir unsere Tabelle instanziiert haben, erstellen wir nun einen Bucket.

Verwenden Sie die Projekt‑ID als Bucket-Namen, um einen global eindeutigen Namen zu erhalten:

• Führen Sie dafür die folgenden Befehle aus:

export BUCKET_NAME={{{project_0.project_id | "Bucket Name"}}} gsutil mb gs://$BUCKET_NAME/

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Wenn Sie den Cloud Storage-Bucket erstellt haben, erhalten Sie ein Testergebnis.

Cloud Storage-Bucket erstellen

Scrollen Sie zum Abschnitt Pipeline ausführen, nachdem Sie den Bucket erstellt haben.

Aufgabe 3: BigQuery-Dataset, BigQuery-Tabelle und Cloud Storage-Bucket mit der Google Cloud Console erstellen

Hinweis: Überspringen Sie Aufgabe 3, wenn Sie Aufgabe 2 bereits ausgeführt haben, da hier die gleichen Aufgaben in der Befehlszeile erledigt werden.

1. Klicken Sie im linken Menü im Abschnitt „Big Data“ auf BigQuery.

2. Klicken Sie dann auf Fertig.

3. Klicken Sie im Abschnitt Explorer neben Ihrem Projektnamen auf das Dreipunkt-Menü und dann auf Dataset erstellen.

4. Geben Sie taxirides als Dataset‑ID ein:

5. Wählen Sie unter „Datenstandort“ die Option USA (mehrere Regionen in den USA) aus.

6. Lassen Sie alle anderen Standardeinstellungen unverändert und klicken Sie auf DATASET ERSTELLEN.

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Wenn Sie ein BigQuery-Dataset erstellt haben, erhalten Sie ein Testergebnis.

BigQuery-Dataset erstellen (Name: taxirides)

7. Sie sollten jetzt das Dataset taxirides unter Ihrer Projekt‑ID links in der Console sehen.

8. Klicken Sie auf das Dreipunkt-Menü neben dem Dataset taxirides und wählen Sie Öffnen aus.

9. Wählen Sie dann rechts in der Console die Option TABELLE ERSTELLEN aus.

10. Geben Sie im Abschnitt Ziel unter Tabellenname realtime ein.

11. Aktivieren Sie unter „Schema“ die Option Als Text bearbeiten und geben Sie Folgendes ein:

ride_id:string,point_idx:integer,latitude:float,longitude:float,timestamp:timestamp, meter_reading:float,meter_increment:float,ride_status:string,passenger_count:integer

In der Console sollte in etwa Folgendes angezeigt werden:

12. Klicken Sie nun auf Tabelle erstellen.

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Wenn Sie die Tabelle im BigQuery-Dataset erstellt haben, erhalten Sie ein Testergebnis.

Tabelle im BigQuery-Dataset erstellen

Cloud Storage-Bucket mit der Cloud Console erstellen

1. Rufen Sie wieder die Cloud Console auf und öffnen Sie Cloud Storage > Buckets > Bucket erstellen.

2. Verwenden Sie die Projekt‑ID als Bucket-Namen, um einen global eindeutigen Namen zu erhalten:

3. Übernehmen Sie alle anderen Standardeinstellungen und klicken Sie auf Erstellen.

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Wenn Sie den Cloud Storage-Bucket erstellt haben, erhalten Sie ein Testergebnis.

Cloud Storage-Bucket erstellen

Aufgabe 4: Pipeline ausführen

Stellen Sie die Dataflow-Vorlage bereit:

gcloud dataflow jobs run iotflow \ ‑‑gcs-location gs://dataflow-templates-{{{project_0.default_region | "Region"}}}/latest/PubSub_to_BigQuery \ ‑‑region {{{project_0.default_region | "Region"}}} \ ‑‑worker-machine-type e2-medium \ ‑‑staging-location gs://{{{project_0.project_id | "Bucket Name"}}}/temp \ ‑‑parameters inputTopic=projects/pubsub-public-data/topics/taxirides-realtime,outputTableSpec={{{project_0.project_id | "Table Name"}}}:taxirides.realtime

Klicken Sie in der Google Cloud Console im Navigationsmenü auf Dataflow > Jobs. Dort wird Ihr Dataflow-Job angezeigt.

Weitere Informationen finden Sie in diesem Dokument.

Hinweis: Es kann eine Minute dauern, bis der Aktivitätstracker ausgeführt wurde.

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Wenn Sie die Dataflow-Pipeline erfolgreich ausgeführt haben, erhalten Sie ein Testergebnis.

Pipeline ausführen

Sie können nun beobachten, wie die Ressourcen erstellt und verfügbar gemacht werden.

Klicken Sie im Navigationsmenü auf BigQuery, um sich die Daten dort anzeigen zu lassen.

• Wenn die BigQuery-Benutzeroberfläche geöffnet wird, wird das Dataset taxirides unter Ihrem Projektnamen und darunter die Tabelle realtime angezeigt:

Hinweis: Es kann einige Minuten dauern, bis die Daten in die BigQuery-Tabelle eingefügt wurden.

Aufgabe 5: Abfrage senden

Sie können Abfragen mit Standard-SQL senden.

1. Fügen Sie im Editor von BigQuery Folgendes hinzu, um die Daten in Ihrem Projekt abzufragen:

SELECT * FROM `{{{project_0.project_id | "Bucket Name"}}}.taxirides.realtime` LIMIT 1000

2. Klicken Sie auf AUSFÜHREN.

Falls Probleme auftreten, führen Sie die Abfrage einfach noch einmal aus. Es dauert etwas, bis die Pipeline startet.

3. Wenn die Abfrage erfolgreich ausgeführt wird, sehen Sie folgende Ausgabe im Bereich Abfrageergebnisse:

Gut gemacht! Sie haben gerade 1.000 Taxifahrten aus einem Pub/Sub-Thema abgerufen und in eine BigQuery-Tabelle eingefügt. Außerdem haben Sie erfahren, wie einfach sich Dataflow-Jobs mithilfe von Vorlagen ausführen lassen. Sehen Sie sich in der Dataflow-Dokumentation unter dem Leitfaden Von Google bereitgestellte Vorlagen auch andere Google-Vorlagen an.

Aufgabe 6: Testen Sie Ihr Wissen

Im Folgenden stellen wir Ihnen einige Multiple-Choice-Fragen, um Ihr bisher erworbenes Wissen zu testen und zu festigen. Beantworten Sie die Fragen so gut Sie können.

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

Sie haben eine Streamingpipeline mit der Dataflow-Vorlage „Pub/Sub zu BigQuery“ erstellt, mit der in JSON geschriebene Nachrichten aus einem Cloud Pub/Sub-Thema gelesen und per Push in eine BigQuery-Tabelle übertragen werden.

Weitere Informationen

Dieses Lab gehört zu der Reihe „Qwik Starts“. Die Labs geben Ihnen einen kleinen Vorgeschmack auf die vielen Funktionen von Google Cloud. Suchen Sie im Google Cloud Skills Boost-Katalog einfach nach „Qwik Starts“ und wählen Sie das nächste Lab aus, das Sie durchgehen möchten.

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 4. Februar 2024 aktualisiert

Lab zuletzt am 10. November 2023 getestet

© 2024 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.