GSP103

Opis

Dataproc to łatwa w użyciu, w pełni zarządzana usługa w chmurze, używana do uruchamiania klastrów Apache Spark i Apache Hadoop w bardziej przystępny i ekonomiczny sposób. Operacje, które zajmowały długie godziny lub dni, teraz zajmą kilka sekund lub minut. Klastry Dataproc możesz szybko tworzyć, a także w dowolnym momencie zmieniać pod względem rozmiaru, dzięki czemu nie musisz martwić się, że potoki danych przerosną klaster.

W tym module dowiesz się, jak przy pomocy konsoli Google Cloud utworzyć klaster Dataproc, uruchomić w nim proste zadanie Apache Spark, a następnie zmienić mu liczbę instancji roboczych.

Jakie zadania wykonasz

W tym module nauczysz się, jak:

• utworzyć klaster Dataproc w konsoli Google Cloud,
• uruchomić proste zadanie Apache Spark,
• zmienić liczbę instancji roboczych w klastrze.

Konfiguracja i wymagania

Zanim klikniesz przycisk Rozpocznij moduł

Zapoznaj się z tymi instrukcjami. Moduły mają limit czasowy i nie można ich zatrzymać. Gdy klikniesz Rozpocznij moduł, na liczniku wyświetli się informacja o tym, na jak długo udostępniamy Ci zasoby Google Cloud.

W tym praktycznym module możesz spróbować swoich sił w wykonywaniu opisywanych działań w prawdziwym środowisku chmury, a nie w jego symulacji lub wersji demonstracyjnej. Otrzymasz nowe, tymczasowe dane logowania, dzięki którym zalogujesz się i uzyskasz dostęp do Google Cloud na czas trwania modułu.

Do ukończenia modułu potrzebne będą:

• dostęp do standardowej przeglądarki internetowej (zalecamy korzystanie z przeglądarki Chrome).

Uwaga: uruchom ten moduł w oknie incognito lub przeglądania prywatnego. Dzięki temu unikniesz konfliktu między swoim kontem osobistym a kontem do nauki, co mogłoby spowodować naliczanie oddatkowych opłat na koncie osobistym.

• Odpowiednia ilość czasu na ukończenie modułu – pamiętaj, że gdy rozpoczniesz, nie możesz go wstrzymać.

Uwaga: jeśli masz już osobiste konto lub projekt w Google Cloud, nie używaj go w tym module, aby uniknąć naliczania opłat na koncie.

Rozpoczynanie modułu i logowanie się w konsoli Google Cloud

1. Kliknij przycisk Rozpocznij moduł. Jeśli moduł jest odpłatny, otworzy się wyskakujące okienko, w którym możesz wybrać formę płatności. Po lewej stronie znajduje się panel Szczegóły modułu z następującymi elementami:

   • przyciskiem Otwórz konsolę Google Cloud;
   • czasem, który Ci pozostał;
   • tymczasowymi danymi logowania, których musisz użyć w tym module;
   • innymi informacjami potrzebnymi do ukończenia modułu.

2. Kliknij Otwórz konsolę Google Cloud (lub kliknij prawym przyciskiem myszy i wybierz Otwórz link w oknie incognito, jeśli korzystasz z przeglądarki Chrome).

   Moduł uruchomi zasoby, po czym otworzy nową kartę ze stroną logowania.

   Wskazówka: otwórz karty obok siebie w osobnych oknach.

   Uwaga: jeśli pojawi się okno Wybierz konto, kliknij Użyj innego konta.

3. W razie potrzeby skopiuj nazwę użytkownika znajdującą się poniżej i wklej ją w oknie logowania.

   {{{user_0.username | "Username"}}}

   Nazwę użytkownika znajdziesz też w panelu Szczegóły modułu.

4. Kliknij Dalej.

5. Skopiuj podane niżej hasło i wklej je w oknie powitania.

   {{{user_0.password | "Password"}}}

   Hasło znajdziesz też w panelu Szczegóły modułu.

6. Kliknij Dalej.

   Ważne: musisz użyć danych logowania podanych w module. Nie używaj danych logowania na swoje konto Google Cloud. Uwaga: korzystanie z własnego konta Google Cloud w tym module może wiązać się z dodatkowymi opłatami.

7. Na kolejnych stronach wykonaj następujące czynności:

   • Zaakceptuj Warunki korzystania z usługi.
   • Nie dodawaj opcji odzyskiwania ani uwierzytelniania dwuskładnikowego (ponieważ konto ma charakter tymczasowy).
   • Nie rejestruj się w bezpłatnych wersjach próbnych.

Poczekaj, aż na karcie otworzy się konsola Google Cloud.

Uwaga: aby wyświetlić menu z listą produktów i usług Google Cloud, w lewym górnym rogu kliknij Menu nawigacyjne.

Potwierdzanie, że interfejs Cloud Dataproc API jest włączony

Jeśli chcesz utworzyć klaster Dataproc w Google Cloud, interfejs Cloud Dataproc API musi być włączony. Aby upewnić się, że interfejs API jest włączony:

1. Kliknij Menu nawigacyjne > Interfejsy API i usługi > Biblioteka:

2. W oknie Wyszukaj interfejsy API i usługi wpisz Cloud Dataproc. W wynikach wyszukiwania konsola wyświetli interfejs Cloud Dataproc API.

3. Kliknij Cloud Dataproc API, aby wyświetlić stan interfejsu API. Jeśli interfejs API nie jest włączony, kliknij przycisk Włącz.

Po włączeniu interfejsu API wykonaj instrukcje podane w module.

Uprawnienia dla konta usługi

Aby przypisać do konta usługi uprawnienia dotyczące miejsca na dane wymagane do utworzenia klastra:

1. Otwórz Menu nawigacyjne > Administracja > Uprawnienia.

2. Kliknij ikonę ołówka na koncie usługi compute@developer.gserviceaccount.com.

3. Kliknij przycisk + DODAJ KOLEJNĄ ROLĘ i wybierz rolę Administrator miejsca na dane

Po wybraniu roli Administrator miejsca na dane kliknij Zapisz.

Zadanie 1. Tworzenie klastra

1. W konsoli Cloud przejdź przez pozycje Menu nawigacyjne > Dataproc > Klastry i kliknij Utwórz klaster.

2. Kliknij Utwórz przy opcji Klaster w Compute Engine.

3. Ustaw następujące pola dla swojego klastra i zaakceptuj domyślne wartości we wszystkich pozostałych polach:

Uwaga: w sekcji „Skonfiguruj węzły” zarówno w węźle głównym, jak i w węzłach roboczych muszą być ustawione prawidłowa seria maszyn i typ maszyny.

Pole	Wartość
Nazwa	example-cluster
Region
Strefa
Seria maszyn (węzeł menedżera)	E2
Typ maszyny (węzeł menedżera)	e2-standard-2
Rozmiar dysku podstawowego (węzły menedżera)	30 GB
Liczba węzłów roboczych	2
Seria maszyn (węzły robocze)	E2
Typ maszyny (węzły robocze)	e2-standard-2
Rozmiar dysku podstawowego (węzły robocze)	30 GB
Tylko wewnętrzny adres IP	Odznacz „Skonfiguruj we wszystkich instancjach tylko wewnętrzne adresy IP”

Uwaga: strefa to specjalna przestrzeń nazw dla wielu regionów, która może globalnie wdrażać instancje we wszystkich strefach obliczeniowych Google. Możesz też określać konkretne regiony, takie jak us-central1 lub europe-west1, aby izolować zasoby (włącznie z instancjami maszyn wirtualnych oraz Cloud Storage) i lokalizacje metadanych w pamięci masowej wykorzystywane przez Cloud Dataproc wewnątrz regionu określonego przez użytkownika.

4. Kliknij Utwórz, aby utworzyć klaster.

Twój nowy klaster pojawi się na liście klastrów. Tworzenie może zająć kilka minut. Stan klastra wyświetla się wtedy jako Udostępniam, a kiedy klaster jest gotowy do użycia, stan zmienia się na Uruchomiono.

Testowanie ukończonego zadania

Kliknij Sprawdź postępy, aby zobaczyć stan realizacji zadania.

Utworzenie klastra Dataproc

Zadanie 2. Przesyłanie zadania

Aby uruchomić przykładowe zadanie Spark:

1. W lewym panelu kliknij Zadania, aby przejść do widoku zadań Dataproc, a następnie kliknij Prześlij zadanie:

2. Ustaw następujące pola, aby zaktualizować zadanie. Zaakceptuj domyślne wartości dla wszystkich pozostałych pól.

Pole	Wartość
Region
Klaster	example-cluster
Typ zadania	Spark
Klasa main lub plik jar	org.apache.spark.examples.SparkPi
Pliki jar	file:///usr/lib/spark/examples/jars/spark-examples.jar
Argumenty	1000 (tak ustawia się liczbę zadań)

3. Kliknij Prześlij.

Uwaga: jak zadanie oblicza liczbę π – zadanie Spark oblicza wartości π przy użyciu metody Monte Carlo. Generuje punkty x,y w układzie współrzędnych, który modeluje koło wpisane w kwadrat jednostkowy. Argument wejściowy (1000) określa liczbę par x,y do wygenerowania. Im więcej par jest wygenerowanych, tym dokładniejszy jest szacunek. Tak oszacowany wynik pozwala węzłom roboczym Cloud Dataproc na równoległe obliczenia. Więcej informacji znajdziesz na stronie poświęconej szacowaniu π przy użyciu metody Monte Carlo (w języku angielskim). Zobacz także plik JavaSparkPi.java na GitHubie.

Twoje zadanie powinno pojawić się na liście Zadania, która pokazuje klaster, typ oraz obecny stan każdego zadania. Zadanie wyświetla się jako Uruchomiono, a po zakończeniu – jako Ukończono.

Testowanie ukończonego zadania

Kliknij Sprawdź postępy, aby zobaczyć stan realizacji zadania.

Przesłanie zadania

Zadanie 3. Wyświetlanie wyniku zadania

Aby zobaczyć wyniki ukończonego zadania:

1. Kliknij identyfikator zadania na liście Zadania.

2. Aby zobaczyć obliczoną wartość liczby π, ustaw opcję ZAWIJANIE WIERSZY na WŁĄCZONE lub przewiń maksymalnie w prawo. Z opcją ZAWIJANIE WIERSZY ustawioną na WŁĄCZONE uzyskany wynik powinien wyglądać tak:

Twoje zadanie skutecznie obliczyło ogólną wartość liczby π!

Zadanie 4. Zaktualizowanie klastra w celu zmiany liczby instancji roboczych

Aby zmienić liczbę instancji roboczych w klastrze:

1. W lewym panelu nawigacji wybierz Klastry, aby wrócić do widoku klastrów Dataproc.

2. Na liście Klastrów kliknij example-cluster. Strona domyślnie wyświetla podsumowanie wykorzystania procesora przez klaster.

3. Kliknij pozycję Konfiguracja, aby wyświetlić obecne ustawienia klastra.

4. Kliknij Edytuj. Liczba węzłów roboczych jest teraz dostępna do edycji.

5. W polu Węzły robocze wpisz 4.

6. Kliknij Zapisz.

Klaster jest teraz zaktualizowany. Sprawdź, ile instancji maszyn wirtualnych jest w klastrze:

Testowanie ukończonego zadania

Kliknij Sprawdź postępy, aby zobaczyć stan realizacji zadania.

Zaktualizowanie klastra

1. Aby uruchomić zadanie ponownie ze zaktualizowanym klastrem, w lewym panelu kliknij Zadania, a następnie PRZEŚLIJ ZADANIE.

2. Ustaw pola tak samo jak w sekcji Przesyłanie zadania:

Pole	Wartość
Region
Klaster	example-cluster
Typ zadania	Spark
Klasa main lub plik jar	org.apache.spark.examples.SparkPi
Pliki jar	file:///usr/lib/spark/examples/jars/spark-examples.jar
Argumenty	1000 (tak ustawia się liczbę zadań)

3. Kliknij Prześlij.

Zadanie 5. Sprawdź swoją wiedzę

Poniżej znajdziesz pytania jednokrotnego wyboru, które pomogą Ci utrwalić wiedzę zdobytą w tym module. Odpowiedz na nie najlepiej, jak potrafisz.

Gratulacje!

Teraz wiesz, jak wykorzystać konsolę Google Cloud do utworzenia i zaktualizowania klastra Dataproc, a także przesłania zadania w tym klastrze.

Kolejne kroki / Więcej informacji

Ten moduł należy do serii modułów Qwik Start. Opracowaliśmy je, aby dać Ci przedsmak bogactwa funkcji dostępnych w Google Cloud. Wyszukaj „Qwik Start” w katalogu modułów i znajdź kolejny interesujący Cię moduł.

Szkolenia i certyfikaty Google Cloud

…pomogą Ci wykorzystać wszystkie możliwości technologii Google Cloud. Nasze zajęcia obejmują umiejętności techniczne oraz sprawdzone metody, które ułatwią Ci szybką naukę i umożliwią jej kontynuację. Oferujemy szkolenia na poziomach od podstawowego po zaawansowany prowadzone w trybach wirtualnym, na żądanie i na żywo, dzięki czemu możesz dopasować program szkoleń do swojego napiętego harmonogramu. Certyfikaty umożliwią udokumentowanie i potwierdzenie Twoich umiejętności oraz doświadczenia w zakresie technologii Google Cloud.

Ostatnia aktualizacja instrukcji: 2 lipca 2024 r.

Ostatni test modułu: 2 lipca 2024 r.

Copyright 2024 Google LLC. Wszelkie prawa zastrzeżone. Google i logo Google są znakami towarowymi Google LLC. Wszelkie inne nazwy firm i produktów mogą być znakami towarowymi odpowiednich podmiotów, z którymi są powiązane.