Prüfpunkte
Run a simple Dataflow job
/ 25
Run a simple Dataproc job
/ 25
Use the Google Cloud Speech API
/ 25
Use the Cloud Natural Language API
/ 25
Prepare Data for ML APIs on Google Cloud: Challenge Lab
GSP323
Überblick
In einem Challenge-Lab geht es um ein bestimmtes Szenario mit mehreren Aufgaben. Anders als bei einem normalen Lab erhalten Sie jedoch keine Schritt-für-Schritt-Anleitung, sondern nutzen die in den Labs des jeweiligen Kurses erlernten Fähigkeiten, um die Aufgaben selbst zu lösen. Ihre Lösungen werden automatisch bewertet. Die erzielten Punkte finden Sie rechts oben auf dieser Seite.
In Challenge-Labs werden keine neuen Grundlagen zu Google Cloud vermittelt. Sie sollen dabei Ihr Wissen erweitern und es wird erwartet, dass Sie beispielsweise Standardwerte ändern und Fehlermeldungen lesen und recherchieren, um Ihre eigenen Fehler zu beheben.
Die volle Punktzahl erreichen Sie nur, wenn Sie alle Aufgaben innerhalb der vorgegebenen Zeit lösen.
Dieses Lab wird empfohlen, wenn Sie sich für den Kurs Prepare Data for ML APIs on Google Cloud angemeldet haben. Sind Sie bereit?
Themen:
- Einfachen Dataproc-Job erstellen
- Einfachen Dataflow-Job erstellen
- Zwei Aufgaben mit APIs ausführen, die von Google-Technologie für Machine Learning unterstützt werden
Einrichtung
Vor dem Klick auf „Start Lab“ (Lab starten)
Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange die Ressourcen für das Lab verfügbar sind.
In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung selbst durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.
Für dieses Lab benötigen Sie Folgendes:
- Einen Standardbrowser (empfohlen wird Chrome)
- Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.
Lab starten und bei der Google Cloud Console anmelden
-
Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Pop-up-Fenster geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich Details zum Lab mit diesen Informationen:
- Schaltfläche Google Cloud Console öffnen
- Restzeit
- Temporäre Anmeldedaten für das Lab
- Ggf. weitere Informationen für dieses Lab
-
Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).
Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite Anmelden geöffnet.
Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.
Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden. -
Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.
{{{user_0.username | "Username"}}} Sie finden den Nutzernamen auch im Bereich Details zum Lab.
-
Klicken Sie auf Weiter.
-
Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.
{{{user_0.password | "Password"}}} Sie finden das Passwort auch im Bereich Details zum Lab.
-
Klicken Sie auf Weiter.
Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen. -
Klicken Sie sich durch die nachfolgenden Seiten:
- Akzeptieren Sie die Nutzungsbedingungen.
- Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
- Melden Sie sich nicht für kostenlose Testversionen an.
Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.
Projektberechtigungen prüfen
Bevor Sie mit der Arbeit in Google Cloud beginnen, müssen Sie dafür sorgen, dass Ihr Projekt in der Identitäts- und Zugriffsverwaltung (IAM) die richtigen Berechtigungen hat.
-
Klicken Sie in der Google Cloud Console im Navigationsmenü auf IAM und Verwaltung > IAM.
-
Prüfen Sie, ob das standardmäßige Compute-Dienstkonto
{project-number}-compute@developer.gserviceaccount.com
vorhanden und ihm die Rolleneditor
undstorage.admin
zugewiesen sind. Das Kontopräfix ist die Projektnummer. Sie finden sie im Navigationsmenü > Cloud-Übersicht > Dashboard.
storage.admin
hat, weisen Sie die erforderliche Rolle so zu:- Klicken Sie in der Google Cloud Console im Navigationsmenü auf Cloud-Übersicht > Dashboard.
- Kopieren Sie die Projektnummer (z. B.
729328892908
). - Klicken Sie im Navigationsmenü auf IAM und Verwaltung > IAM.
- Klicken Sie oben in der Rollentabelle unter Nach Hauptkonten ansehen auf Zugriff gewähren.
- Geben Sie unter Neue Hauptkonten ein:
- Ersetzen Sie
{project-number}
durch die entsprechende Projektnummer. - Wählen Sie unter Rolle die Option Storage Admin aus.
- Klicken Sie auf Speichern.
Das Szenario
Sie sind Junior Data Engineer bei Jooli Inc. und haben kürzlich eine Schulung zu Google Cloud absolviert. Nun sollen Sie Ihr Team bei folgenden Aufgaben unterstützen.
Das Know-how für diese Aufgaben wird vorausgesetzt. Sie erhalten daher keine detaillierten Anleitungen.
Aufgabe 1: Einen einfachen Dataflow-Job ausführen
In dieser Aufgabe nutzen Sie die Dataflow-Batchvorlage Textdateien in Cloud Storage zu BigQuery unter „Daten im Bulk verarbeiten (Batch)“, um Daten eines Cloud Storage-Buckets zu übertragen (gs://cloud-training/gsp323/lab.csv
). Die folgende Tabelle enthält die Werte, die Sie zur korrekten Konfiguration des Dataflow-Jobs benötigen.
Voraussetzungen:
- Erstellen Sie ein BigQuery-Dataset mit dem Namen
und eine Tabelle mit dem Namen . - Erstellen Sie einen Cloud Storage-Bucket mit dem Namen
.
Feld | Wert |
---|---|
Cloud Storage-Eingabedatei(en) | gs://cloud-training/gsp323/lab.csv |
Cloud Storage-Speicherort der BigQuery-Schemadatei | gs://cloud-training/gsp323/lab.schema |
BigQuery-Ausgabetabelle |
|
Das temporäre Verzeichnis für den BigQuery-Ladevorgang |
|
Temporärer Speicherort |
|
Optionale Parameter > JavaScript-UDF-Pfad in Cloud Storage | gs://cloud-training/gsp323/lab.js |
Optionale Parameter > Name der JavaScript-UDF | transform |
Optionale Parameter > Maschinentyp | e2‑standard‑2 |
Warten Sie, bis der Job abgeschlossen ist, um Ihren Fortschritt zu prüfen.
Klicken Sie auf Fortschritt prüfen.
Aufgabe 2: Einen einfachen Dataproc-Job ausführen
In dieser Aufgabe führen Sie einen beispielhaften Spark-Job mit Dataproc aus.
Melden Sie sich dazu in einem der Clusterknoten an und kopieren Sie die Datei /data.txt in hdfs: hdfs dfs -cp gs://cloud-training/gsp323/data.txt /data.txt
.
Führen Sie den Dataproc-Job mit folgenden Werten aus.
Feld | Wert |
---|---|
Region |
|
Jobtyp | Spark |
Hauptklasse oder JAR-Datei | org.apache.spark.examples.SparkPageRank |
JAR-Dateien | file:///usr/lib/spark/examples/jars/spark-examples.jar |
Argumente | /data.txt |
Maximale Anzahl an Neustarts pro Stunde | 1 |
Dataproc-Cluster | Compute Engine |
Region |
|
Maschinenreihe | E2 |
Manager-Knoten | Geben Sie für Maschinentyp den Wert e2‑standard‑2 an. |
Worker-Knoten | Geben Sie für Maschinentyp den Wert e2‑standard‑2 an. |
Maximale Anzahl an Worker-Knoten | 2 |
Größe des primären Laufwerks | 100 GB |
Nur interne IP-Adresse | Deaktivieren Sie Alle Instanzen so konfigurieren, dass nur interne IP-Adressen verwendet werden . |
Warten Sie, bis der Job abgeschlossen ist, um Ihren Fortschritt zu prüfen.
Klicken Sie auf Fortschritt prüfen.
Aufgabe 3: Google Cloud Speech-to-Text API verwenden
- Analysieren Sie mit der Google Cloud Speech-to-Text API die Audiodatei
gs://cloud-training/gsp323/task3.flac
. Laden Sie die ausgegebene Datei dann hier hoch:
Klicken Sie auf Fortschritt prüfen.
Aufgabe 4: Cloud Natural Language API verwenden
- Verwenden Sie die Cloud Natural Language API, um einen Satz aus einem Text über Odin zu analysieren. Der Satz lautet: „Old Norse texts portray Odin as one-eyed and long-bearded, frequently wielding a spear named Gungnir and wearing a cloak and a broad hat.“ Laden Sie die ausgegebene Datei dann hierhin hoch:
Klicken Sie auf Fortschritt prüfen.
Das wars!
Sie haben das Lab erfolgreich abgeschlossen. Darin haben Sie einen einfachen Dataflow-Job und einen einfachen Dataproc-Job ausgeführt. Außerdem haben Sie die Google Cloud Speech-to-Text API und die Cloud Natural Language API verwendet. Damit haben Sie Ihre Kenntnisse unter Beweis gestellt.
Dieses Lab zum selbstbestimmten Lernen ist Teil des Kurses Prepare Data for ML APIs on Google Cloud. Wenn Sie diesen Kurs abschließen, erhalten Sie das oben gezeigte Skill-Logo, das Sie in Ihren Lebenslauf oder Ihre Social-Media-Profile einfügen können. Teilen Sie Ihre Leistung mit #GoogleCloudBadge.
Dieses Skill-Logo ist Teil des Google Cloud-Lernpfads für Datenanalystinnen und ‑analysten sowie Data Engineers.
Google Cloud-Schulungen und -Zertifizierungen
In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.
Anleitung zuletzt am 25. März 2024 aktualisiert
Lab zuletzt am 15. Januar 2024 getestet
© 2024 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.