GSP207

Übersicht

Das Apache Beam SDK ist ein Open-Source-Programmiermodell für Datenpipelines. In Google Cloud können Sie mit einem Apache Beam-Programm eine Pipeline definieren und diese dann in Dataflow ausführen.

In diesem Lab richten Sie die Python-Entwicklungsumgebung für Dataflow ein. Dazu verwenden Sie das Apache Beam SDK für Python. Anschließend führen Sie eine Beispielpipeline in Dataflow aus.

Lerninhalte

Aufgaben in diesem Lab:

• Cloud Storage-Bucket zum Speichern von Ergebnissen der Dataflow-Pipeline erstellen
• Apache Beam SDK für Python installieren
• Pipeline in Dataflow remote ausführen

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange die Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung selbst durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus, um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Wenn Sie über ein persönliches Google Cloud-Konto oder -Projekt verfügen, verwenden Sie es nicht für dieses Lab. So werden zusätzliche Kosten für Ihr Konto vermieden.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Pop-up-Fenster geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich Details zum Lab mit diesen Informationen:

   • Schaltfläche Google Cloud Console öffnen
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite Anmelden geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich Details zum Lab.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich Details zum Lab.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie sich eine Liste der Google Cloud-Produkte und ‑Dienste ansehen möchten, klicken Sie oben links auf das Navigationsmenü.

Cloud Shell aktivieren

Cloud Shell ist eine virtuelle Maschine, auf der Entwicklertools installiert sind. Sie bietet ein Basisverzeichnis mit 5 GB nichtflüchtigem Speicher und läuft auf Google Cloud. Mit Cloud Shell erhalten Sie Befehlszeilenzugriff auf Ihre Google Cloud-Ressourcen.

1. Klicken Sie oben in der Google Cloud Console auf Cloud Shell aktivieren .

Wenn Sie verbunden sind, sind Sie bereits authentifiziert und das Projekt ist auf Ihre Project_ID, eingestellt. Die Ausgabe enthält eine Zeile, in der die Project_ID für diese Sitzung angegeben ist:

Ihr Cloud-Projekt in dieser Sitzung ist festgelegt als {{{project_0.project_id | "PROJECT_ID"}}}

gcloud ist das Befehlszeilentool für Google Cloud. Das Tool ist in Cloud Shell vorinstalliert und unterstützt die Tab-Vervollständigung.

2. (Optional) Sie können den aktiven Kontonamen mit diesem Befehl auflisten:

gcloud auth list

3. Klicken Sie auf Autorisieren.

Ausgabe:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} Um das aktive Konto festzulegen, führen Sie diesen Befehl aus: $ gcloud config set account `ACCOUNT`

4. (Optional) Sie können die Projekt-ID mit diesem Befehl auflisten:

gcloud config list project

Ausgabe:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Hinweis: Die vollständige Dokumentation für gcloud finden Sie in Google Cloud in der Übersicht zur gcloud CLI.

Region festlegen

• Führen Sie in Cloud Shell den folgenden Befehl aus, um die Projektregion für dieses Lab festzulegen:

gcloud config set compute/region {{{project_0.default_region | "REGION"}}}

Dataflow API neu aktivieren

Damit Sie Zugriff auf die erforderliche API haben, starten Sie die Verbindung zur Dataflow API neu.

1. Geben Sie in der Cloud Console in die obere Suchleiste „Dataflow API“ ein. Klicken Sie auf das Ergebnis für Dataflow API.

2. Klicken Sie auf Verwalten.

3. Klicken Sie auf API deaktivieren.

Wenn Sie zur Bestätigung aufgefordert werden, klicken Sie auf Deaktivieren.

4. Klicken Sie auf Aktivieren.

Wenn die API wieder aktiviert ist, wird auf der Seite die Option zur Deaktivierung angezeigt.

Aufgabe 1: Cloud Storage-Bucket erstellen

Wenn Sie eine Pipeline in Dataflow ausführen, werden die Ergebnisse in einem Cloud Storage-Bucket gespeichert. In dieser Aufgabe erstellen Sie einen Cloud Storage-Bucket für die Ergebnisse der Pipeline, die Sie in einer späteren Aufgabe ausführen.

1. Klicken Sie im Navigationsmenü () auf Cloud Storage > Buckets.
2. Klicken Sie auf Bucket erstellen.
3. Geben Sie im Dialogfeld Bucket erstellen die folgenden Attribute an:

• Name: Verwenden Sie für eine eindeutige Bezeichnung des Buckets den folgenden Namen: ‑bucket. Der Bucket-Name darf keine vertraulichen Informationen enthalten, da der Bucket-Namespace global und öffentlich sichtbar ist.
• Standorttyp: Mehrere Regionen
• Standort: us
• Standort für die Speicherung der Bucket-Daten.

4. Klicken Sie auf Erstellen.

5. Wenn Sie dazu aufgefordert werden, klicken Sie im Dialogfeld „Der öffentliche Zugriff wird verhindert“ auf Bestätigen.

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Haben Sie die Aufgabe erfolgreich abgeschlossen, erhalten Sie ein Testergebnis.

Cloud Storage-Bucket erstellen

Aufgabe 2: Apache Beam SDK für Python installieren

1. Prüfen Sie, ob Sie eine unterstützte Python-Version verwenden. Führen Sie dazu das Docker-Image Python3.9 aus:

docker run ‑it ‑e DEVSHELL_PROJECT_ID=$DEVSHELL_PROJECT_ID python:3.9 /bin/bash

Mit diesem Befehl wird ein Docker-Container mit der aktuellen stabilen Version von Python 3.9 abgerufen und eine Befehlsshell geöffnet, über die Sie die folgenden Befehle im Container ausführen.

2. Wenn der Container ausgeführt wird, installieren Sie die aktuelle Version des Apache Beam SDK für Python. Führen Sie dazu folgenden Befehl in einer virtuellen Umgebung aus:

pip install 'apache-beam[gcp]'==2.42.0

Es werden einige Warnungen angezeigt, die sich auf Abhängigkeiten beziehen. Sie können sie für dieses Lab ignorieren.

3. Führen Sie das Beispiel wordcount.py mit dem folgenden Befehl lokal aus:

python ‑m apache_beam.examples.wordcount ‑‑output OUTPUT_FILE

Möglicherweise wird eine Meldung wie die folgende angezeigt:

INFO:root:Missing pipeline option (runner). Executing pipeline using the default runner: DirectRunner. INFO:oauth2client.client:Attempting refresh to obtain initial access_token

Diese Meldung brauchen Sie nicht zu beachten.

4. Nun können Sie die Dateien auflisten lassen, die sich in der lokalen Cloud-Umgebung befinden, um den Namen des OUTPUT_FILE abzurufen:

ls

5. Kopieren Sie den Namen des OUTPUT_FILE und fügen Sie ihn in den folgenden cat-Befehl ein:

cat <file name>

Nun werden die einzelnen Wörter in der Datei und die Häufigkeit des Vorkommens angezeigt.

Aufgabe 3: Beispielpipeline in Dataflow remote ausführen

1. Legen Sie für die Umgebungsvariable BUCKET den Bucket fest, den Sie zuvor erstellt haben:

BUCKET=gs://<bucket name provided earlier>

2. Führen Sie als Nächstes das wordcount.py-Beispiel remote aus:

python ‑m apache_beam.examples.wordcount ‑‑project $DEVSHELL_PROJECT_ID \ ‑‑runner DataflowRunner \ ‑‑staging_location $BUCKET/staging \ ‑‑temp_location $BUCKET/temp \ ‑‑output $BUCKET/results/output \ ‑‑region {{{project_0.default_region | "filled in at lab start"}}}

Warten Sie, bis in der Ausgabe folgende Meldung angezeigt wird:

JOB_MESSAGE_DETAILED: Workers have started successfully.

Fahren Sie dann mit dem Lab fort.

Aufgabe 4: Erfolgreiche Ausführung des Dataflow-Jobs prüfen

1. Öffnen Sie das Navigationsmenü und klicken Sie in der Liste der Dienste auf Dataflow.

Ihr Job wordcount sollte zuerst den Status Wird ausgeführt haben.

2. Klicken Sie auf den Namen, um den Vorgang anzuzeigen. Wenn alle Schritte abgehakt wurden, können Sie sich die Logs in Cloud Shell ansehen.

Der Vorgang ist abgeschlossen, wenn der Status Erfolgreich lautet.

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Haben Sie die Aufgabe erfolgreich abgeschlossen, erhalten Sie ein Testergebnis.

Beispielpipeline remote ausführen

3. Klicken Sie in der Cloud Console im Navigationsmenü auf Cloud Storage.

4. Klicken Sie auf den Namen Ihres Buckets. Im Bucket sollten die Verzeichnisse results und staging enthalten sein.

5. Wenn Sie auf den Ordner results klicken, sollten die durch Ihren Job erstellten Ausgabedateien angezeigt werden:

6. Klicken Sie auf eine Datei, um die Anzahl der enthaltenen Wörter anzuzeigen.

Aufgabe 5: Wissen testen

Im Folgenden stellen wir Ihnen eine Multiple-Choice-Frage, um Ihr bisher erworbenes Wissen zu testen und zu festigen. Beantworten Sie die Frage so gut Sie können.

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

Sie haben gelernt, wie Sie eine Python-Entwicklungsumgebung für Dataflow (unter Verwendung des Apache Beam SDK für Python) einrichten und eine Beispielpipeline in Dataflow ausführen.

Weitere Informationen

Dieses Lab gehört zu der Reihe „Qwik Starts“. Die Labs geben Ihnen einen kleinen Vorgeschmack auf die vielen Funktionen von Google Cloud. Suchen Sie im Google Cloud Skills Boost-Katalog einfach nach „Qwik Starts“ und wählen Sie das nächste Lab aus, das Sie durchgehen möchten.

Dieses Lab basiert auf dem folgenden Buch: Data Science on the Google Cloud Platform: O'Reilly Media, Inc.

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 4. Februar 2024 aktualisiert

Lab zuletzt am 4. Mai 2023 getestet

© 2024 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.