GSP104

Überblick

Dataproc ist ein schneller, nutzerfreundlicher, vollständig verwalteter Cloud-Dienst, über den Sie Cluster mit Apache Spark und Apache Hadoop einfacher und günstiger ausführen können. Vorgänge, für die früher Stunden oder Tage notwendig waren, dauern jetzt nur noch Sekunden oder Minuten. Sie können Dataproc-Cluster jederzeit erstellen und vergrößern und brauchen sich über eine Überlastung durch Datenpipelines keine Gedanken zu machen.

In diesem Lab erfahren Sie, wie Sie über die Befehlszeile einen Google Cloud Dataproc-Cluster erstellen, einen einfachen Apache Spark-Job ausführen und anschließend die Anzahl der Worker im Cluster ändern.

Aufgaben

Aufgaben in diesem Lab:

• Einen Dataproc-Cluster über die Befehlszeile erstellen
• Einen einfachen Apache Spark-Job ausführen
• Anzahl der Worker im Cluster ändern

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange die Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung selbst durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus, um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Wenn Sie über ein persönliches Google Cloud-Konto oder -Projekt verfügen, verwenden Sie es nicht für dieses Lab. So werden zusätzliche Kosten für Ihr Konto vermieden.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Pop-up-Fenster geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich Details zum Lab mit diesen Informationen:

   • Schaltfläche Google Cloud Console öffnen
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite Anmelden geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich Details zum Lab.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich Details zum Lab.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie sich eine Liste der Google Cloud-Produkte und ‑Dienste ansehen möchten, klicken Sie oben links auf das Navigationsmenü.

Cloud Shell aktivieren

Cloud Shell ist eine virtuelle Maschine, auf der Entwicklertools installiert sind. Sie bietet ein Basisverzeichnis mit 5 GB nichtflüchtigem Speicher und läuft auf Google Cloud. Mit Cloud Shell erhalten Sie Befehlszeilenzugriff auf Ihre Google Cloud-Ressourcen.

1. Klicken Sie oben in der Google Cloud Console auf Cloud Shell aktivieren .

Wenn Sie verbunden sind, sind Sie bereits authentifiziert und das Projekt ist auf Ihre Project_ID, eingestellt. Die Ausgabe enthält eine Zeile, in der die Project_ID für diese Sitzung angegeben ist:

Ihr Cloud-Projekt in dieser Sitzung ist festgelegt als {{{project_0.project_id | "PROJECT_ID"}}}

gcloud ist das Befehlszeilentool für Google Cloud. Das Tool ist in Cloud Shell vorinstalliert und unterstützt die Tab-Vervollständigung.

2. (Optional) Sie können den aktiven Kontonamen mit diesem Befehl auflisten:

gcloud auth list

3. Klicken Sie auf Autorisieren.

Ausgabe:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} Um das aktive Konto festzulegen, führen Sie diesen Befehl aus: $ gcloud config set account `ACCOUNT`

4. (Optional) Sie können die Projekt-ID mit diesem Befehl auflisten:

gcloud config list project

Ausgabe:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Hinweis: Die vollständige Dokumentation für gcloud finden Sie in Google Cloud in der Übersicht zur gcloud CLI.

Aufgabe 1: Cluster erstellen

1. Führen Sie in Cloud Shell den folgenden Befehl aus, um die Region festzulegen:

gcloud config set dataproc/region {{{project_0.default_region | Region}}}

2. Dataproc erstellt Staging- und temporäre Buckets, die von Clustern in derselben Region gemeinsam genutzt werden. Da wir nicht angeben, welches Konto Dataproc nutzen soll, wird das standardmäßige Compute Engine-Dienstkonto verwendet, das standardmäßig keine Berechtigungen für Storage-Buckets hat. Diese fügen wir nun hinzu.

• Rufen Sie zuerst mit den folgenden Befehlen die PROJECT_ID und die PROJECT_NUMBER ab:

PROJECT_ID=$(gcloud config get-value project) && \ gcloud config set project $PROJECT_ID PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')

• Weisen Sie dem standardmäßigen Compute Engine-Dienstkonto nun mit dem folgenden Befehl die Rolle „Storage-Administrator“ zu:

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.admin

3. Aktivieren Sie den privaten Google-Zugriff für Ihr Subnetzwerk. Führen Sie dazu den folgenden Befehl aus:

gcloud compute networks subnets update default --region={{{project_0.default_region | REGION }}} --enable-private-ip-google-access

4. Erstellen Sie mit dem folgenden Befehl einen Cluster mit dem Namen example-cluster mit e2‑Standard‑4‑VMs und Cloud Dataproc-Standardeinstellungen:

gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4

5. Eventuell werden Sie gebeten, eine Zone für den Cluster zu bestätigen. Geben Sie „Y“ ein.

Das Erstellen des Clusters kann einige Minuten dauern.

Waiting for cluster creation operation...done. Created [... example-cluster]

Wenn Sie die Nachricht „Created“ sehen, können Sie fortfahren.

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Wenn Sie den Dataproc-Cluster erfolgreich erstellt haben, erhalten Sie ein Testergebnis.

Dataproc-Cluster erstellen

Aufgabe 2: Job senden

• Führen Sie den folgenden Befehl aus, um einen Spark-Beispieljob zu senden, der einen ungefähren Pi‑Wert berechnet:

gcloud dataproc jobs submit spark --cluster example-cluster \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

Mit diesem Befehl geben Sie Folgendes an:

• Dass Sie einen spark-Job im Cluster example-cluster ausführen werden
• Die class mit der primären Methode für die Anwendung zur Berechnung des Pi-Werts
• Den Speicherort der JAR-Datei, die den Code des Jobs enthält
• Die Parameter, die Sie an den Job übergeben möchten (in diesem Fall die Anzahl der Aufgaben, nämlich 1000)

Hinweis: Parameter, die an den Job übergeben werden, müssen einem doppelten Bindestrich (--) folgen. Weitere Informationen finden Sie in der gcloud-Dokumentation.

Die aktuelle bzw. endgültige Ausgabe des Jobs wird im Terminalfenster angezeigt:

Waiting for job output... ... Pi is roughly 3.14118528 ... state: FINISHED

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Wenn Sie den Job erfolgreich gesendet haben, erhalten Sie ein Testergebnis.

Job senden

Aufgabe 3: Cluster aktualisieren

1. Führen Sie den folgenden Befehl aus, um die Anzahl der Worker im Cluster in vier zu ändern:

gcloud dataproc clusters update example-cluster --num-workers 4

Die aktualisierten Details des Clusters werden in der Ausgabe des Befehls angezeigt:

Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67]. Waiting for cluster update operation...done.

2. Mit demselben Befehl lässt sich die Anzahl der Worker-Knoten reduzieren:

gcloud dataproc clusters update example-cluster --num-workers 2

Jetzt können Sie über die gcloud-Befehlszeile in Google Cloud einen Dataproc-Cluster erstellen und die Anzahl der Worker anpassen.

Aufgabe 4: Testen Sie Ihr Wissen

Im Folgenden stellen wir Ihnen einige Multiple-Choice-Fragen, um Ihr bisher erworbenes Wissen zu testen und zu festigen. Beantworten Sie die Fragen, so gut Sie können.

Glückwunsch!

Sie haben gelernt, wie Sie über die Befehlszeile einen Dataproc-Cluster erstellen und Jobs senden.

Weitere Informationen

Dieses Lab gehört zur Übungsreihe „Qwik Starts“. Die Labs geben Ihnen einen kleinen Vorgeschmack auf die vielen Funktionen von Google Cloud. Wählen Sie im Lab-Katalog unter „Qwik Starts“ einfach das nächste Lab aus, das Sie absolvieren möchten.

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Handbuch zuletzt aktualisiert am 29. August 2024

Lab zuletzt getestet am 29. August 2024

© 2024 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.