Punkty kontrolne
Create a Dataplex lake with two zones and two assets
/ 20
Create and apply a tag template to a zone
/ 20
Assign a Dataplex IAM role to another user
/ 20
Create and upload a data quality specification file
/ 20
Define and run a data quality job
/ 20
Tworzenie siatki danych przy użyciu Dataplex: Challenge Lab
- GSP514
- Opis
- Konfiguracja
- Scenariusz
- Zadanie 1. Utwórz jezioro danych Dataplex z 2 strefami i 2 zasobami
- Zadanie 2. Utwórz szablon tagu i zastosuj go do strefy
- Zadanie 3. Przypisz rolę uprawnień Dataplex innemu użytkownikowi
- Zadanie 4. Utwórz plik specyfikacji jakości danych i prześlij go do Cloud Storage
- Zadanie 5. Zdefiniuj i uruchom zadanie dotyczące jakości danych w Dataplex
- Gratulacje!
GSP514
Opis
W Challenge Lab (module-wyzwaniu) otrzymasz scenariusz i zestaw zadań. Zamiast instrukcji krok po kroku użyjesz umiejętności zdobytych w poszczególnych modułach szkolenia, rozwiązując zadania samodzielnie. Automatyczny system oceniania (widoczny na tej stronie) poinformuje Cię, czy zadanie zostało wykonane poprawnie.
W Challenge Lab nie będziemy uczyć Cię nowych pojęć związanych z Google Cloud. Musisz za to poszerzyć nabyte umiejętności, takie jak zmiana domyślnych wartości oraz czytanie i analizowanie komunikatów o błędach, po to, by naprawiać popełnione przez siebie błędy.
Aby zdobyć 100% punktów, musisz ukończyć wszystkie zadania w określonym czasie.
Konfiguracja
Zanim klikniesz przycisk Rozpocznij moduł
Zapoznaj się z tymi instrukcjami. Moduły mają limit czasowy i nie można ich zatrzymać. Gdy klikniesz Rozpocznij moduł, na liczniku wyświetli się informacja o tym, na jak długo udostępniamy Ci zasoby Google Cloud.
W tym praktycznym module możesz spróbować swoich sił w wykonywaniu opisywanych działań w prawdziwym środowisku chmury, a nie w jego symulacji lub wersji demonstracyjnej. Otrzymasz nowe, tymczasowe dane logowania, dzięki którym zalogujesz się i uzyskasz dostęp do Google Cloud na czas trwania modułu.
Do ukończenia modułu potrzebne będą:
- dostęp do standardowej przeglądarki internetowej (zalecamy korzystanie z przeglądarki Chrome).
- Odpowiednia ilość czasu na ukończenie modułu – pamiętaj, że gdy rozpoczniesz, nie możesz go wstrzymać.
Scenariusz
Zaczynasz pracę jako młodszy inżynier danych. Do tej pory Twoje zadania polegały na pomaganiu zespołom w tworzeniu zasobów Dataplex i zarządzaniu nimi.
Zakładamy, że dysponujesz umiejętnościami oraz wiedzą potrzebnymi do wykonania tych zadań.
Twoje wyzwanie
Do Twoich zadań należy pomoc nowemu zespołowi programistów w utworzeniu nowej siatki danych przy użyciu Dataplex. Precyzując, musisz utworzyć jezioro danych Dataplex z różnymi strefami i zasobami. Musisz także dodać tagi do zasobów w nowym jeziorze i ocenić je pod kątem jakości danych. Poproszono Cię więc o:
- utworzenie jeziora danych Dataplex z 2 strefami i 2 zasobami;
- utworzenie i zastosowanie szablonu tagu, aby oznaczyć całą strefę jako dane chronione;
- przypisanie roli uprawnień Dataplex innemu użytkownikowi;
- utworzenie pliku specyfikacji jakości danych i przesłanie go do Cloud Storage;
- zdefiniowanie i uruchomienie zadania dotyczącego jakości danych w Dataplex.
Musisz uwzględnić te standardy:
- Potrzebne interfejsy API (takie jak Dataplex, Data Catalog i Dataproc) muszą być włączone.
- Wszystkie zasoby muszą zostać utworzone w regionie
, chyba że instrukcje będą inne.
Każde zadanie zostało szczegółowo opisane poniżej. Powodzenia!
Zadanie 1. Utwórz jezioro danych Dataplex z 2 strefami i 2 zasobami
Zasobnik Cloud Storage oraz zbiór danych BigQuery potrzebne do wykonania kroku 2 zostały już utworzone w tym module.
- Utwórz jezioro danych Dataplex o nazwie Sales Lake i z 2 strefami regionalnymi:
- strefą nieprzetworzoną o nazwie Raw Customer Zone,
- strefą z wybranymi danymi o nazwie Curated Customer Zone.
- Dołącz 1 gotowy zasób do każdej strefy:
- Do strefy nieprzetworzonej dołącz zasobnik Cloud Storage o nazwie
-customer-online-sessions jako nowy zasób z nazwą Customer Engagements. - Do strefy z wybranymi danymi dołącz zbiór danych BigQuery o nazwie
.customer_orders jako nowy zasób z nazwą Customer Orders.
Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło.
Zadanie 2. Utwórz szablon tagu i zastosuj go do strefy
- Utwórz publiczny szablon tagu z nazwą Protected Customer Data Template i 2 polami wyliczanymi:
- pierwszym z nazwą Raw Data Flag i 2 wartościami:
Yes
orazNo
; - drugim z nazwą Protected Contact Information Flag i 2 wartościami:
Yes
orazNo
.
- Przy pomocy tego szablonu dodaj tag do Raw Customer Zone, używając wartości
Yes
dla obu flag.
Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło.
Zadanie 3. Przypisz rolę uprawnień Dataplex innemu użytkownikowi
- Kierując się zasadą jak najmniejszych uprawnień, przypisz rolę uprawnień IAM użytkownikowi nr 2 (
), dzięki czemu będzie on mógł przesyłać nowe pliki Cloud Storage do zasobu Dataplex o nazwie Customer Engagements.
Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło.
Zadanie 4. Utwórz plik specyfikacji jakości danych i prześlij go do Cloud Storage
Zasobnik Cloud Storage potrzebny do wykonania kroku 2 został już utworzony w tym module.
- Utwórz plik specyfikacji jakości danych z nazwą dq-customer-orders.yaml i następującymi ustawieniami:
- reguła NOT NULL jest stosowana do kolumny user_id w tabeli customer_orders.ordered_items,
- reguła NOT NULL jest stosowana do kolumny order_id w tabeli customer_orders.ordered_items.
- Prześlij plik do zasobnika Cloud Storage o nazwie
-dq-config.
Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło.
Zadanie 5. Zdefiniuj i uruchom zadanie dotyczące jakości danych w Dataplex
Zbiór danych BigQuery potrzebny do wykonania kroku 1 został już utworzony w tym module.
- Zdefiniuj zadanie dotyczące jakości danych przy pomocy pliku dq-customer-orders.yaml z następującymi właściwościami:
Właściwość | Wartość |
---|---|
Nazwa zadania dotyczącego jakości danych | Zadanie dotyczącego jakości danych o zamówieniach klientów |
Tabela docelowa wyników w BigQuery | |
Konto usługi użytkownika | Domyślne konto usługi Compute Engine |
- Uruchom zadanie dotyczące jakości danych od razu.
Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło.
Gratulacje!
Zdobądź kolejną odznakę umiejętności
Ten moduł do samodzielnego ukończenia jest częścią kursu Build a Data Mesh with Dataplex, który pozwala zdobyć odznakę umiejętności. Za ukończenie kursu otrzymujesz widoczną powyżej odznakę – stanowi ona potwierdzenie Twojego osiągnięcia. Pochwal się nią w swoim CV i mediach społecznościowych, oznaczając swoje osiągnięcie hashtagiem #GoogleCloudBadge.
Szkolenia i certyfikaty Google Cloud
…pomogą Ci wykorzystać wszystkie możliwości technologii Google Cloud. Nasze zajęcia obejmują umiejętności techniczne oraz sprawdzone metody, które ułatwią Ci szybką naukę i umożliwią jej kontynuację. Oferujemy szkolenia na poziomach od podstawowego po zaawansowany prowadzone w trybach wirtualnym, na żądanie i na żywo, dzięki czemu możesz dopasować program szkoleń do swojego napiętego harmonogramu. Certyfikaty umożliwią udokumentowanie i potwierdzenie Twoich umiejętności oraz doświadczenia w zakresie technologii Google Cloud.
Ostatnia aktualizacja instrukcji: 4 lipca 2023 r.
Ostatni test modułu: 4 lipca 2023 r.
Copyright 2024 Google LLC. Wszelkie prawa zastrzeżone. Google i logo Google są znakami towarowymi Google LLC. Wszelkie inne nazwy firm i produktów mogą być znakami towarowymi odpowiednich podmiotów, z którymi są powiązane.