Checkpoints
Create a Dataplex lake with two zones and two assets
/ 20
Create and apply a tag template to a zone
/ 20
Assign a Dataplex IAM role to another user
/ 20
Create and upload a data quality specification file
/ 20
Define and run a data quality job
/ 20
Build a Data Mesh with Dataplex: laboratório com desafio
- GSP514
- Informações gerais
- Configuração
- Cenário do desafio
- Tarefa 1: criar um lake do Dataplex com duas zonas e dois recursos
- Tarefa 2: criar e aplicar um modelo de tag a uma zona
- Tarefa 3: atribuir um papel do IAM do Dataplex a outro usuário
- Tarefa 4: criar e fazer upload de um arquivo de especificação de qualidade de dados no Cloud Storage
- Tarefa 5: definir e executar um job de qualidade de dados no Dataplex
- Parabéns!
GSP514
Informações gerais
Nos laboratórios com desafio, apresentamos uma situação e um conjunto de tarefas. Para concluí-las, em vez de seguir instruções detalhadas, você usará o que aprendeu nos laboratórios do curso. Um sistema automático de pontuação (mostrado nesta página) vai avaliar seu desempenho.
Nos laboratórios com desafio, não ensinamos novos conceitos do Google Cloud. O objetivo dessas tarefas é aprimorar aquilo que você já aprendeu, como a alteração de valores padrão ou a leitura e pesquisa de mensagens para corrigir seus próprios erros.
Para alcançar a pontuação de 100%, você precisa concluir todas as tarefas no tempo definido.
Configuração
Antes de clicar no botão Start Lab
Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é iniciado quando você clica em Começar o laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.
Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.
Confira os requisitos para concluir o laboratório:
- Acesso a um navegador de Internet padrão (recomendamos o Chrome).
- Tempo para concluir o laboratório---não se esqueça: depois de começar, não será possível pausar o laboratório.
Cenário do desafio
Você começou a trabalhar como engenheiro de dados júnior, onde ajuda as equipes a criar e gerenciar os recursos do Dataplex.
Seu conhecimento precisa ser suficiente para realizar essas tarefas.
Seu desafio
Você precisa ajudar uma nova equipe de desenvolvimento a criar uma malha de dados usando o Dataplex. Mais especificamente, é necessário criar um lake do Dataplex com várias zonas e recursos. Você também precisa marcar os recursos no novo lake, além de avaliar a qualidade dos dados relacionados. Você recebe o pedido para concluir estas tarefas:
- Criar um lake do Dataplex com duas zonas e dois recursos.
- Criar e aplicar um modelo de tag para marcar uma zona inteira como dados protegidos.
- Atribuir um papel do IAM do Dataplex a outro usuário.
- Criar e fazer upload de um arquivo de especificação de qualidade de dados no Cloud Storage.
- Definir e executar um job de qualidade de dados no Dataplex.
Você precisa seguir estes padrões:
- Confirmar se as APIs necessárias (como Dataplex, Data Catalog e Dataproc) foram ativadas corretamente.
- Criar todos os recursos na região
, a menos que haja uma instrução diferente.
Essas tarefas são descritas em detalhes a seguir. Boa sorte!
Tarefa 1: criar um lake do Dataplex com duas zonas e dois recursos
O bucket do Cloud Storage e o conjunto de dados do BigQuery para a etapa 2 foram pré-criados neste laboratório.
- Crie um lake do Dataplex chamado Sales Lake com duas zonas regionais:
- Uma zona bruta chamada Raw Customer Zone
- Uma zona selecionada com o nome Curated Customer Zone
- Anexe um dos recursos pré-criados a cada zona:
- Na zona bruta, anexe o bucket do Cloud Storage com o nome
-customer-online-sessions como um novo recurso chamado Customer Engagements. - Na zona bruta, anexe o conjunto de dados do BigQuery com o nome
.customer_orders como um novo recurso chamado Customer Orders.
Clique em Verificar meu progresso para conferir o objetivo.
Tarefa 2: criar e aplicar um modelo de tag a uma zona
- Crie um modelo de tag chamado Protected Customer Data Template com dois campos enumerados:
- O primeiro será chamado Raw Data Flag e terá dois valores:
Yes
eNo
. - O segundo campo será chamado Protected Contact Information Flag e terá dois valores:
Yes
eNo
- Use esse modelo para marcar Zona bruta de clientes usando um valor
Yes
em ambas as flags.
Clique em Verificar meu progresso para conferir o objetivo.
Tarefa 3: atribuir um papel do IAM do Dataplex a outro usuário
- Usando o princípio de privilégio mínimo, atribua o papel apropriado do IAM do Dataplex ao Usuário 2 (
) que permita fazer upload de novos arquivos do Cloud Storage no recurso do Dataplex chamado Customer Engagements.
Clique em Verificar meu progresso para conferir o objetivo.
Tarefa 4: criar e fazer upload de um arquivo de especificação de qualidade de dados no Cloud Storage
O bucket do Cloud Storage para a etapa 2 foi pré-criado neste laboratório.
- Crie um arquivo de especificação de qualidade de dados chamado dq-customer-orders.yaml com estas especificações:
- A regra NÃO NULO aplicada à coluna user_id da tabela customer_orders.ordered_items
- A regra NÃO NULO aplicada à coluna order_id da tabela customer_orders.ordered_items
- Faça upload do arquivo no bucket do Cloud Storage denominado
-dq-config.
Clique em Verificar meu progresso para conferir o objetivo.
Tarefa 5: definir e executar um job de qualidade de dados no Dataplex
O conjunto de dados do BigQuery para a etapa 1 foi pré-criado neste laboratório.
- Defina um job de qualidade de dados usando o arquivo dq-customer-orders.yaml com estas especificações:
Propriedade | Valor |
---|---|
Nome do job de qualidade de dados | Job de qualidade de dados dos pedidos de clientes |
Tabela de destino do BigQuery para os resultados | |
Conta de serviço de usuário | Conta de serviço padrão do Compute Engine |
- Execute o job de qualidade de dados imediatamente.
Clique em Verificar meu progresso para conferir o objetivo.
Parabéns!
Conquiste seu próximo selo de habilidade
Este laboratório autoguiado faz parte da Quest com selo de habilidade Build a Data Mesh with Dataplex. Ao concluir a Quest, você ganha o selo acima como reconhecimento pela sua conquista. Compartilhe o selo no seu currículo e nas redes sociais e use #GoogleCloudBadge para anunciar sua conquista.
Treinamento e certificação do Google Cloud
Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.
Manual atualizado em 4 de julho de 2023
Laboratório testado em 4 de julho de 2023
Copyright 2024 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.