GSP103

Visão geral

O Dataproc é um serviço de nuvem totalmente gerenciado, rápido e fácil de usar que executa clusters do Apache Spark e do Apache Hadoop (links em inglês) de maneira mais simples e econômica. As operações que costumavam levar horas ou dias agora são concluídas em segundos ou minutos. Crie clusters do Dataproc rapidamente e os redimensione a qualquer momento para evitar que seus pipelines de dados excedam os limites dos clusters.

Neste laboratório, você verá como usar o console do Google Cloud para criar um cluster do Dataproc, executar um job simples do Apache Spark (em inglês) no cluster e modificar o número de workers.

Atividades deste laboratório

Você vai aprender a:

• Criar um cluster do Dataproc usando o console do Google Cloud.
• Executar um job simples do Apache Spark.
• Mudar o número de workers do cluster.

Configuração e requisitos

Antes de clicar no botão Start Lab

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é iniciado quando você clica em Começar o laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

Confira os requisitos para concluir o laboratório:

• Acesso a um navegador de Internet padrão (recomendamos o Chrome).

Observação: para executar este laboratório, use o modo de navegação anônima ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e a conta de estudante, o que poderia causar cobranças extras na sua conta pessoal.

• Tempo para concluir o laboratório---não se esqueça: depois de começar, não será possível pausar o laboratório.

Observação: não use seu projeto ou conta do Google Cloud neste laboratório para evitar cobranças extras na sua conta.

Como iniciar seu laboratório e fazer login no console do Google Cloud

1. Clique no botão Começar o laboratório. Se for preciso pagar, você verá um pop-up para selecionar a forma de pagamento. No painel Detalhes do laboratório à esquerda, você vai encontrar o seguinte:

   • O botão Abrir console do Google Cloud
   • O tempo restante
   • As credenciais temporárias que você vai usar neste laboratório
   • Outras informações, se forem necessárias

2. Se você estiver usando o navegador Chrome, clique em Abrir console do Google Cloud ou clique com o botão direito do mouse e selecione Abrir link em uma janela anônima.

   O laboratório ativa os recursos e depois abre a página Fazer login em outra guia.

   Dica: coloque as guias em janelas separadas lado a lado.

   Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.

3. Se necessário, copie o Nome de usuário abaixo e cole na caixa de diálogo Fazer login.

   {{{user_0.username | "Nome de usuário"}}}

   Você também encontra o Nome de usuário no painel Detalhes do laboratório.

4. Clique em Seguinte.

5. Copie a Senha abaixo e cole na caixa de diálogo de boas-vindas.

   {{{user_0.password | "Senha"}}}

   Você também encontra a Senha no painel Detalhes do laboratório.

6. Clique em Seguinte.

   Importante: você precisa usar as credenciais fornecidas no laboratório, e não as da sua conta do Google Cloud. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais.

7. Acesse as próximas páginas:

   • Aceite os Termos e Condições.
   • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
   • Não se inscreva em testes gratuitos.

Depois de alguns instantes, o console do Google Cloud será aberto nesta guia.

Observação: clique em Menu de navegação no canto superior esquerdo para acessar uma lista de produtos e serviços do Google Cloud.

Confirme se a API Cloud Dataproc está ativada

Para criar um cluster do Dataproc no Google Cloud, a API Cloud Dataproc precisa estar ativada. Siga as etapas abaixo para confirmar o status da API:

1. Clique no Menu de navegação > APIs e serviços > Biblioteca:

2. Digite Cloud Dataproc na caixa de diálogo Pesquisar APIs e serviços. O console vai mostrar a API Cloud Dataproc nos resultados da pesquisa.

3. Clique em API Cloud Dataproc para exibir o status da API. Caso ela ainda não esteja ativada, clique no botão Ativar.

Depois disso, continue com as instruções do laboratório.

Permissão para a conta de serviço

Para atribuir a permissão de armazenamento à conta de serviço, o que é necessário para criar um cluster, faça o seguinte:

1. Acesse Menu de navegação > IAM e administrador > IAM.

2. Clique no ícone de lápis da conta de serviço compute@developer.gserviceaccount.com.

3. Clique no botão + ADICIONAR OUTRO PAPEL e selecione Administrador de armazenamento.

Depois disso , clique em Salvar.

Tarefa 1. Crie um cluster

1. No console do Cloud Platform, selecione Menu de navegação > Dataproc > Clusters e clique em Criar cluster.

2. Selecione Criar em Cluster no Compute Engine.

3. Defina os campos a seguir do seu cluster e aceite os valores padrão de todos os outros campos:

Observação: em "Configurar nós", confira se o nó mestre e os nós de trabalho estão definidos com o tipo e série de máquina corretos.

Campo	Valor
Nome	example-cluster
Região
Zona
Série da máquina (nó do administrador)	E2
Tipo de máquina (nó do administrador)	e2-standard-2
Tamanho do disco principal (nós do administrador)	30 GB
Número de nós de trabalho	2
Série da máquina (nós de trabalho)	E2
Tipo de máquina (nós de trabalho)	e2-standard-2
Tamanho do disco principal (nós de trabalho)	30 GB
Apenas IP interno	Desmarque a opção "Configurar todas as instâncias para que tenham apenas endereços IP internos".

Observação: a zona é um namespace especial multirregional que pode implantar instâncias em todas as zonas do Compute globalmente. Você também pode especificar regiões diferentes, como us-central1 ou europe-west1, para isolar recursos, inclusive instâncias de VM e o Cloud Storage, e isolar locais que o Cloud Dataproc utiliza para armazenar metadados dentro da região especificada pelo usuário.

4. Clique em Criar para gerar o cluster.

Ele vai ser mostrado na lista. Pode levar alguns minutos até que o cluster seja criado. O status dele será mostrado como Em provisionamento até que ele esteja pronto para uso. Depois disso o status vai ser Em execução.

Teste a tarefa concluída

Clique em Verificar meu progresso para conferir a tarefa realizada.

Crie um cluster do Dataproc

Tarefa 2. Envie um job

Para executar um job de exemplo do Spark, faça o seguinte:

1. Clique em Jobs no painel à esquerda para abrir a visualização de jobs do Dataproc. Depois clique em Enviar job.

2. Defina os campos a seguir para atualizar o job. Aceite os valores padrão para todos os outros campos:

Campo	Valor
Região
Cluster	example-cluster
Tipo de job	Spark
Classe principal ou jar	org.apache.spark.examples.SparkPi
Arquivos jar	file:///usr/lib/spark/examples/jars/spark-examples.jar
Argumentos	1000 (define o número de tarefas)

3. Selecione Enviar.

Observação sobre como o job calcula o Pi: o job do Spark estima um valor do Pi usando o método de Monte Carlo. Ele gera pontos x,y em um plano de coordenadas que modela um círculo dentro de um quadrado unitário. O argumento de entrada (1.000) determina o número de pares x,y a serem gerados. Quanto mais pares gerados, maior a precisão da estimativa. Essa estimativa utiliza os nós de trabalho do Cloud Dataproc para fazer o cálculo em paralelo. Para saber mais, leia Como fazer a estimativa de Pi usando o método de Monte Carlo (em inglês) e veja o JavaSparkPi.java no GitHub.

Seu job é exibido na lista Jobs, que mostra os jobs do projeto com os respectivos clusters, tipos e status atuais. O status do job é mostrado como Em execução e depois vai mudar para Concluído quando ele terminar.

Teste a tarefa concluída

Clique em Verificar meu progresso para conferir a tarefa realizada.

Envie um job

Tarefa 3. Visualize a saída do job

Para ver a saída do job concluído, faça o seguinte:

1. Clique no ID do job na lista Jobs.

2. Selecione ATIVAR em QUEBRA DE LINHA ou role até o final à direita para conferir o valor calculado de Pi. A saída com QUEBRA DE LINHA ATIVADA deve ficar assim:

Seu job calculou com sucesso o valor bruto do Pi!

Tarefa 4. Atualize um cluster para mudar o número de workers

Para alterar o número de instâncias de worker no seu cluster, faça o seguinte:

1. Selecione Clusters no painel de navegação à esquerda para voltar à visualização do Dataproc.

2. Clique em example-cluster na lista Clusters. Por padrão, a página exibe uma visão geral do uso de CPU do cluster.

3. Clique em Configuração para mostrar as configurações atuais do seu cluster.

4. Clique em Editar. Agora o número de nós de trabalho será editável.

5. Digite 4 no campo Nós de trabalho.

6. Clique em Salvar.

Seu cluster foi atualizado. Confira o número de instâncias de VM no cluster.

Teste a tarefa concluída

Clique em Verificar meu progresso para conferir a tarefa realizada.

Atualize um cluster

1. Para executar novamente o job com o cluster atualizado, clique em Jobs no painel à esquerda e depois selecione ENVIAR JOB.

2. Defina os mesmos campos que você definiu na seção Envie um job:

Campo	Valor
Região
Cluster	example-cluster
Tipo de job	Spark
Classe principal ou jar	org.apache.spark.examples.SparkPi
Arquivos jar	file:///usr/lib/spark/examples/jars/spark-examples.jar
Argumentos	1000 (define o número de tarefas)

3. Selecione Enviar.

Tarefa 5. testar seu conhecimento

Responda às perguntas de múltipla escolha a seguir para reforçar sua compreensão dos conceitos abordados neste laboratório. Use tudo o que você aprendeu até aqui.

Parabéns!

Agora você sabe como usar o console do Google Cloud para criar e atualizar um cluster do Dataproc e enviar um job nesse cluster.

Próximas etapas / Saiba mais

Este laboratório também faz parte de uma série chamada Qwik Starts. Ela foi desenvolvida para apresentar os vários recursos disponíveis no Google Cloud. Pesquise "Qwik Starts" no catálogo de laboratórios para encontrar algum que seja do seu interesse.

Treinamento e certificação do Google Cloud

Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.

Manual atualizado em 2 de julho de 2024

Laboratório testado em 2 de julho de 2024

Copyright 2024 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.