GSP104

Opis

Dataproc to łatwa w użyciu, w pełni zarządzana usługa w chmurze, używana do uruchamiania klastrów Apache Spark i Apache Hadoop w bardziej przystępny i ekonomiczny sposób. Operacje, które zajmowały długie godziny lub dni, teraz zajmą kilka sekund lub minut. Klastry Dataproc możesz szybko tworzyć, a także w dowolnym momencie zmieniać pod względem rozmiaru, dzięki czemu nie musisz martwić się, że potoki danych przerosną klaster.

W tym module dowiesz się, jak przy pomocy wiersza poleceń utworzyć klaster Dataproc, uruchomić w nim proste zadanie Apache Spark, a następnie zmienić mu liczbę instancji roboczych.

Jakie zadania wykonasz

Z tego modułu dowiesz się, jak:

• utworzyć klaster Dataproc przy użyciu wiersza poleceń,
• uruchomić proste zadanie Apache Spark,
• zmienić liczbę instancji roboczych w klastrze.

Konfiguracja i wymagania

Zanim klikniesz przycisk Rozpocznij moduł

Zapoznaj się z tymi instrukcjami. Moduły mają limit czasowy i nie można ich zatrzymać. Gdy klikniesz Rozpocznij moduł, na liczniku wyświetli się informacja o tym, na jak długo udostępniamy Ci zasoby Google Cloud.

W tym praktycznym module możesz spróbować swoich sił w wykonywaniu opisywanych działań w prawdziwym środowisku chmury, a nie w jego symulacji lub wersji demonstracyjnej. Otrzymasz nowe, tymczasowe dane logowania, dzięki którym zalogujesz się i uzyskasz dostęp do Google Cloud na czas trwania modułu.

Do ukończenia modułu potrzebne będą:

• dostęp do standardowej przeglądarki internetowej (zalecamy korzystanie z przeglądarki Chrome).

Uwaga: uruchom ten moduł w oknie incognito lub przeglądania prywatnego. Dzięki temu unikniesz konfliktu między swoim kontem osobistym a kontem do nauki, co mogłoby spowodować naliczanie oddatkowych opłat na koncie osobistym.

• Odpowiednia ilość czasu na ukończenie modułu – pamiętaj, że gdy rozpoczniesz, nie możesz go wstrzymać.

Uwaga: jeśli masz już osobiste konto lub projekt w Google Cloud, nie używaj go w tym module, aby uniknąć naliczania opłat na koncie.

Rozpoczynanie modułu i logowanie się w konsoli Google Cloud

1. Kliknij przycisk Rozpocznij moduł. Jeśli moduł jest odpłatny, otworzy się wyskakujące okienko, w którym możesz wybrać formę płatności. Po lewej stronie znajduje się panel Szczegóły modułu z następującymi elementami:

   • przyciskiem Otwórz konsolę Google Cloud;
   • czasem, który Ci pozostał;
   • tymczasowymi danymi logowania, których musisz użyć w tym module;
   • innymi informacjami potrzebnymi do ukończenia modułu.

2. Kliknij Otwórz konsolę Google Cloud (lub kliknij prawym przyciskiem myszy i wybierz Otwórz link w oknie incognito, jeśli korzystasz z przeglądarki Chrome).

   Moduł uruchomi zasoby, po czym otworzy nową kartę ze stroną logowania.

   Wskazówka: otwórz karty obok siebie w osobnych oknach.

   Uwaga: jeśli pojawi się okno Wybierz konto, kliknij Użyj innego konta.

3. W razie potrzeby skopiuj nazwę użytkownika znajdującą się poniżej i wklej ją w oknie logowania.

   {{{user_0.username | "Username"}}}

   Nazwę użytkownika znajdziesz też w panelu Szczegóły modułu.

4. Kliknij Dalej.

5. Skopiuj podane niżej hasło i wklej je w oknie powitania.

   {{{user_0.password | "Password"}}}

   Hasło znajdziesz też w panelu Szczegóły modułu.

6. Kliknij Dalej.

   Ważne: musisz użyć danych logowania podanych w module. Nie używaj danych logowania na swoje konto Google Cloud. Uwaga: korzystanie z własnego konta Google Cloud w tym module może wiązać się z dodatkowymi opłatami.

7. Na kolejnych stronach wykonaj następujące czynności:

   • Zaakceptuj Warunki korzystania z usługi.
   • Nie dodawaj opcji odzyskiwania ani uwierzytelniania dwuskładnikowego (ponieważ konto ma charakter tymczasowy).
   • Nie rejestruj się w bezpłatnych wersjach próbnych.

Poczekaj, aż na karcie otworzy się konsola Google Cloud.

Uwaga: aby wyświetlić menu z listą produktów i usług Google Cloud, w lewym górnym rogu kliknij Menu nawigacyjne.

Aktywowanie Cloud Shell

Cloud Shell to maszyna wirtualna oferująca wiele narzędzi dla programistów. Zawiera stały katalog domowy o pojemności 5 GB i działa w Google Cloud. Dzięki wierszowi poleceń Cloud Shell zyskujesz dostęp do swoich zasobów Google Cloud.

1. Kliknij Aktywuj Cloud Shell  na górze konsoli Google Cloud.

Po połączeniu użytkownik od razu jest uwierzytelniony. Uruchomi się Twój projekt o identyfikatorze PROJECT_ID. Dane wyjściowe zawierają wiersz z zadeklarowanym identyfikatorem PROJECT_ID dla tej sesji:

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud to narzędzie wiersza poleceń Google Cloud. Jest ono już zainstalowane w Cloud Shell i obsługuje funkcję autouzupełniania po naciśnięciu tabulatora.

2. (Opcjonalnie) Aby wyświetlić listę aktywnych kont, użyj tego polecenia:

gcloud auth list

3. Kliknij Autoryzuj.

4. Dane wyjściowe powinny wyglądać tak:

Dane wyjściowe:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Opcjonalnie) Aby wyświetlić identyfikator projektu, użyj tego polecenia:

gcloud config list project

Dane wyjściowe:

[core] project = <project_ID>

Przykładowe dane wyjściowe:

[core] project = qwiklabs-gcp-44776a13dea667a6 Uwaga: pełną dokumentację gcloud w Google Cloud znajdziesz w opisie narzędzia wiersza poleceń gcloud.

Zadanie 1. Tworzenie klastra

1. Aby ustawić region, w Cloud Shell uruchom to polecenie:

gcloud config set dataproc/region {{{project_0.default_region | Region}}}

2. Dataproc utworzy zasobniki przejściowe i tymczasowe, które będą współużytkowane przez klastry w tym samym regionie. Ponieważ nie określamy konta, z którego ma korzystać usługa Dataproc, użyje ona domyślnego konta usługi Compute Engine, które domyślnie nie ma uprawnień do zasobnika. Dodajmy te uprawnienia.

• Najpierw uruchom podane poniżej polecenia, żeby otrzymać PROJECT_ID oraz PROJECT_NUMBER:

PROJECT_ID=$(gcloud config get-value project) && \ gcloud config set project $PROJECT_ID PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')

• Teraz uruchom to polecenie, aby nadać domyślnemu kontu usługi Compute Engine rolę administratora miejsca na dane:

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.admin

3. Włącz prywatny dostęp do Google w podsieci, uruchamiając to polecenie:

gcloud compute networks subnets update default --region={{{project_0.default_region | REGION }}} --enable-private-ip-google-access

4. Aby utworzyć klaster o nazwie example-cluster z maszynami wirtualnymi e2-standard-4 oraz domyślnymi ustawieniami usługi Cloud Dataproc, uruchom to polecenie:

gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4

5. Jeśli pojawi się prośba o potwierdzenie strefy dla Twojego klastra, wpisz Y.

Kompilacja Twojego klastra potrwa kilka minut.

Waiting for cluster creation operation...done. Created [... example-cluster]

Gdy pojawi się komunikat „Created”, będzie to oznaczać, że możesz kontynuować.

Testowanie ukończonego zadania

Kliknij Sprawdź postępy, aby zobaczyć stan realizacji zadania. Jeśli udało Ci się utworzyć klaster Dataproc, wyświetli się odpowiedni wynik testu.

Utworzenie klastra Dataproc

Zadanie 2. Przesyłanie zadania

• Aby przesłać przykładowe zadanie Spark, które obliczy przybliżoną wartość liczby π, uruchom następujące polecenie:

gcloud dataproc jobs submit spark --cluster example-cluster \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

To polecenie określa:

• chęć uruchomienia zadania Spark w klastrze example-cluster;
• klasę (class) zawierającą główną metodę wykorzystywaną przez aplikację, która oblicza wartość liczby π w zadaniu;
• lokalizację pliku jar, w którym znajduje się kod Twojego zadania;
• parametry, które należy przekazać zadaniu – w tym przypadku jest to liczba zadań, czyli 1000.

Uwaga: parametry przekazane do zadania muszą być poprzedzone podwójnym łącznikiem (--). Więcej informacji znajdziesz w dokumentacji gcloud.

Zadanie jest w toku, a wynik końcowy wyświetli się w oknie terminala:

Waiting for job output... ... Pi is roughly 3.14118528 ... state: FINISHED

Testowanie ukończonego zadania

Kliknij Sprawdź postępy, aby zobaczyć stan realizacji zadania. Jeśli udało Ci się przesłać zadanie, wyświetli się odpowiedni wynik testu.

Przesłanie zadania

Zadanie 3. Aktualizowanie klastra

1. Aby zmienić liczbę instancji roboczych w klastrze na 4, uruchom następujące polecenie:

gcloud dataproc clusters update example-cluster --num-workers 4

Zaktualizowane dane klastra wyświetlają się w wyniku polecenia:

Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67]. Waiting for cluster update operation...done.

2. Możesz zmniejszyć liczbę węzłów roboczych, używając tego samego polecenia:

gcloud dataproc clusters update example-cluster --num-workers 2

Teraz możesz utworzyć klaster Dataproc i dostosować liczbę instancji roboczych z poziomu wiersza poleceń gcloud w Google Cloud.

Zadanie 4. Sprawdź swoją wiedzę

Poniżej znajdziesz pytania jednokrotnego wyboru, które pomogą Ci utrwalić wiedzę zdobytą w tym module. Odpowiedz na nie najlepiej, jak potrafisz.

Gratulacje!

Wiesz już, jak przy użyciu wiersza poleceń utworzyć i zmodyfikować klaster Dataproc oraz przesłać zadania.

Kolejne kroki / Więcej informacji

Ten moduł należy do serii modułów Qwik Start. Opracowaliśmy je, aby dać Ci przedsmak bogactwa funkcji dostępnych w Google Cloud. Wyszukaj „Qwik Start” w katalogu modułów i znajdź kolejny interesujący Cię moduł.

Szkolenia i certyfikaty Google Cloud

…pomogą Ci wykorzystać wszystkie możliwości technologii Google Cloud. Nasze zajęcia obejmują umiejętności techniczne oraz sprawdzone metody, które ułatwią Ci szybką naukę i umożliwią jej kontynuację. Oferujemy szkolenia na poziomach od podstawowego po zaawansowany prowadzone w trybach wirtualnym, na żądanie i na żywo, dzięki czemu możesz dopasować program szkoleń do swojego napiętego harmonogramu. Certyfikaty umożliwią udokumentowanie i potwierdzenie Twoich umiejętności oraz doświadczenia w zakresie technologii Google Cloud.

Ostatnia aktualizacja instrukcji: 29 sierpnia 2024 r.

Ostatni test modułu: 29 sierpnia 2024 r.

Copyright 2024 Google LLC. Wszelkie prawa zastrzeżone. Google i logo Google są znakami towarowymi Google LLC. Wszelkie inne nazwy firm i produktów mogą być znakami towarowymi odpowiednich podmiotów, z którymi są powiązane.