GSP103

Überblick

Dataproc ist ein schneller, nutzerfreundlicher, vollständig verwalteter Cloud-Dienst, über den Sie Cluster mit Apache Spark und Apache Hadoop einfacher und günstiger ausführen können. Vorgänge, für die früher Stunden oder Tage notwendig waren, dauern jetzt nur noch Sekunden oder Minuten. Sie können Dataproc-Cluster jederzeit erstellen und vergrößern und brauchen sich über eine Überlastung durch Datenpipelines keine Gedanken zu machen.

In diesem Lab erfahren Sie, wie Sie über die Google Cloud Console einen Dataproc-Cluster erstellen, einen einfachen Apache Spark-Job ausführen und die Anzahl der Worker im Cluster ändern.

Aufgaben

Aufgaben in diesem Lab:

• Dataproc-Cluster in der Google Cloud Console erstellen
• Einen einfachen Apache Spark-Job ausführen
• Anzahl der Worker im Cluster ändern

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange die Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung selbst durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus, um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Wenn Sie über ein persönliches Google Cloud-Konto oder -Projekt verfügen, verwenden Sie es nicht für dieses Lab. So werden zusätzliche Kosten für Ihr Konto vermieden.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Pop-up-Fenster geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich Details zum Lab mit diesen Informationen:

   • Schaltfläche Google Cloud Console öffnen
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite Anmelden geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich Details zum Lab.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich Details zum Lab.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie sich eine Liste der Google Cloud-Produkte und ‑Dienste ansehen möchten, klicken Sie oben links auf das Navigationsmenü.

Überprüfen, ob die Cloud Dataproc API aktiviert ist

Um einen Dataproc-Cluster in Google Cloud zu erstellen, muss die Cloud Dataproc API aktiviert werden. So überprüfen Sie, ob die API aktiviert ist:

1. Klicken Sie auf das Navigationsmenü > APIs & Dienste > Bibliothek.

2. Geben Sie in das Suchfeld Nach APIs und Diensten suchen den Begriff Cloud Dataproc ein. Als Suchergebnis wird die Cloud Dataproc API angezeigt.

3. Klicken Sie auf die Cloud Dataproc API, um ihren Status aufzurufen. Wenn die API noch nicht aktiviert ist, klicken Sie auf Aktivieren.

Sobald die API aktiviert ist, fahren Sie mit der Lab-Anleitung fort.

Berechtigung für Dienstkonto

So weisen Sie dem Dienstkonto die Speicherberechtigung zu, die zum Erstellen eines Clusters erforderlich ist:

1. Klicken Sie auf das Navigationsmenü > IAM und Verwaltung > IAM.

2. Klicken Sie auf das Stiftsymbol neben dem Dienstkonto compute@developer.gserviceaccount.com.

3. Klicken Sie auf die Schaltfläche + WEITERE ROLLE HINZUFÜGEN. Wählen Sie die Rolle Storage-Administrator aus.

Klicken Sie nach der Auswahl der Rolle Storage-Administrator auf Speichern

Aufgabe 1: Cluster erstellen

1. Klicken Sie in der Cloud Platform Console auf das Navigationsmenü > Dataproc > Cluster und dann auf Cluster erstellen.

2. Klicken Sie auf Erstellen unter Cluster in Compute Engine.

3. Übernehmen Sie folgende Werte für den Cluster und verwenden Sie die Standardwerte in den restlichen Feldern:

Hinweis: Im Abschnitt „Knoten konfigurieren“ müssen sowohl für den Master-Knoten als auch für die Worker-Knoten die richtige Maschinenreihe und der richtige Maschinentyp festgelegt sein.

Feld	Wert
Name	example-cluster
Region
Zone
Maschinenreihe (Manager-Knoten)	E2
Maschinentyp (Manager-Knoten)	e2‑standard‑2
Größe des primären Laufwerks (Manager-Knoten)	30 GB
Anzahl der Worker-Knoten	2
Maschinenreihe (Worker-Knoten)	E2
Maschinentyp (Worker-Knoten)	e2‑standard‑2
Größe des primären Laufwerks (Worker-Knoten)	30 GB
Nur interne IP-Adresse	Deaktivieren Sie „Alle Instanzen so konfigurieren, dass nur interne IP-Adressen verwendet werden“.

Hinweis: Eine Zone ist ein multiregionaler Namespace, mit dem sich Instanzen weltweit in allen Google Computing-Zonen bereitstellen lassen. Sie können auch bestimmte Regionen wie us‑central1 oder europe-west1 angeben, um Ressourcen (einschließlich VM-Instanzen und Cloud Storage) und Metadaten-Speicherorte zu isolieren, die von Cloud Dataproc innerhalb der vom Nutzer angegebenen Region verwendet werden.

4. Klicken Sie auf Erstellen, um den Cluster zu erstellen.

Der neue Cluster wird nun in der Liste der Cluster angezeigt. Es kann jedoch ein paar Minuten dauern, bis er erstellt ist. Während dieser Zeit ist sein Status Wird bereitgestellt. Anschließend wechselt er zu Aktiv.

Test nach Abschluss der Aufgabe

Klicken Sie auf Fortschritt prüfen.

Dataproc-Cluster erstellen

Aufgabe 2: Job senden

So führen Sie einen Spark-Beispieljob aus:

1. Wählen Sie im linken Bereich Jobs aus, um in Dataproc zur Jobansicht zu wechseln. Klicken Sie dann auf Job senden.

2. Übernehmen Sie folgende Werte, um den Job zu aktualisieren. Übernehmen Sie für die restlichen Felder die Standardwerte:

Feld	Wert
Region
Cluster	example-cluster
Jobtyp	Spark
Hauptklasse oder JAR-Datei	org.apache.spark.examples.SparkPi
JAR‑Dateien	file:///usr/lib/spark/examples/jars/spark-examples.jar
Argumente	1.000 (Anzahl der Aufgaben)

3. Klicken Sie auf Senden.

Hinweis: So berechnet der Job Pi: Der Spark-Job schätzt den Pi‑Wert mithilfe der Monte-Carlo-Methode. Dabei werden x,y‑Punkte auf einer Koordinatenebene erzeugt, die einen von einem Einheitsquadrat eingeschlossenen Kreis formt. Das Eingabeargument (1000) bestimmt die Anzahl der zu erzeugenden x,y‑Paare; je mehr Paare erzeugt werden, desto größer ist die Genauigkeit der Schätzung. Bei der Schätzung werden Cloud Dataproc-Worker-Knoten verwendet, um die Berechnung zu parallelisieren. Weitere Informationen finden Sie in den folgenden englischsprachigen Artikeln zum Schätzen von Pi mithilfe der Monte-Carlo-Methode und zu JavaSparkPi.java auf GitHub.

Der Job wird in der Liste Jobs angezeigt. Dort finden Sie auch alle Cluster, Typen und den aktuellen Status der Jobs in Ihrem Projekt. Der Status des Jobs wechselt von Aktiv zu Erfolgreich.

Test nach Abschluss der Aufgabe

Klicken Sie auf Fortschritt prüfen.

Job senden

Aufgabe 3: Jobausgabe ansehen

So rufen Sie die Ausgabe des abgeschlossenen Jobs auf:

1. Klicken Sie in der Liste Jobs auf die Job‑ID.

2. Wählen Sie EIN für den ZEILENUMBRUCH aus oder scrollen Sie ganz nach rechts, um sich den berechneten Pi‑Wert anzusehen. Die Ausgabe (mit ZEILENUMBRUCH auf EIN) sollte in etwa so aussehen:

Der Job hat erfolgreich einen ungefähren Wert für Pi berechnet!

Aufgabe 4: Cluster aktualisieren, um die Anzahl der Worker zu ändern

So ändern Sie die Anzahl der Worker-Instanzen in Ihrem Cluster:

1. Wählen Sie im linken Navigationsbereich Cluster aus, um zur Ansicht „Dataproc-Cluster“ zurückzukehren.

2. Klicken Sie in der Liste Cluster auf example-cluster. Standardmäßig enthält die Seite eine Übersicht über die CPU-Auslastung des Clusters.

3. Klicken Sie auf Konfiguration, um die aktuellen Einstellungen des Clusters anzuzeigen.

4. Klicken Sie auf Bearbeiten. Die Anzahl der Worker-Knoten kann jetzt bearbeitet werden.

5. Geben Sie 4 in das Feld Worker-Knoten ein.

6. Klicken Sie auf Speichern.

Der Cluster wurde aktualisiert. Überprüfen Sie nun die Anzahl der VM‑Instanzen im Cluster.

Test nach Abschluss der Aufgabe

Klicken Sie auf Fortschritt prüfen.

Cluster aktualisieren

1. Wenn Sie den Job noch einmal im aktualisierten Cluster ausführen möchten, klicken Sie im linken Bereich auf Jobs und dann auf JOB SENDEN.

2. Übernehmen Sie für die folgenden Felder dieselben Werte wie im Abschnitt Job senden:

Feld	Wert
Region
Cluster	example-cluster
Jobtyp	Spark
Hauptklasse oder JAR-Datei	org.apache.spark.examples.SparkPi
JAR‑Dateien	file:///usr/lib/spark/examples/jars/spark-examples.jar
Argumente	1.000 (Anzahl der Aufgaben)

3. Klicken Sie auf Senden.

Aufgabe 5: Testen Sie Ihr Wissen

Im Folgenden stellen wir Ihnen einige Multiple-Choice-Fragen, um Ihr bisher erworbenes Wissen zu testen und zu festigen. Beantworten Sie die Fragen, so gut Sie können.

Glückwunsch!

Sie wissen nun, wie Sie über die Google Cloud Console einen Dataproc-Cluster erstellen und aktualisieren und dann einen Job in diesem Cluster senden.

Weitere Informationen

Dieses Lab gehört zur Übungsreihe „Qwik Starts“. Die Labs geben Ihnen einen kleinen Vorgeschmack auf die vielen Funktionen von Google Cloud. Wählen Sie im Lab-Katalog unter „Qwik Starts“ einfach das nächste Lab aus, das Sie durchgehen möchten.

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Handbuch zuletzt am 2. Juli 2024 aktualisiert

Lab zuletzt am 2. Juli 2024 getestet

© 2024 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.