GSP071

Visão geral

O armazenamento e a consulta de grandes conjuntos de dados podem levar muito tempo e custar caro sem a infraestrutura e o hardware adequados. O BigQuery é um data warehouse em nuvem altamente escalonável e sem servidor que resolve esse problema ao permitir consultas SQL super-rápidas com a capacidade de processamento da infraestrutura do Google. Basta você transferir os dados para o BigQuery e ele faz todo o trabalho. Controle o acesso ao projeto e aos dados de acordo com a necessidade dos negócios, por exemplo, definir quem tem permissão para visualizar ou consultar os dados.

Para acessar o BigQuery, use o Console, a interface da Web ou uma ferramenta de linha de comando com várias bibliotecas de cliente como Java, .NET ou Python. Também existem diversos provedores de soluções que interagem com o BigQuery.

Este laboratório prático mostra como usar o bq, a ferramenta de linha de comando baseada em Python para BigQuery, para consultar tabelas públicas e carregar dados de amostra no BigQuery.

Atividades deste laboratório

• Consultar um conjunto de dados público
• Criar um conjunto de dados
• Carregar dados em uma nova tabela
• Consultar uma tabela personalizada

Configuração e requisitos

Antes de clicar no botão Start Lab

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é iniciado quando você clica em Começar o laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

Confira os requisitos para concluir o laboratório:

• Acesso a um navegador de Internet padrão (recomendamos o Chrome).

Observação: para executar este laboratório, use o modo de navegação anônima ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e a conta de estudante, o que poderia causar cobranças extras na sua conta pessoal.

• Tempo para concluir o laboratório---não se esqueça: depois de começar, não será possível pausar o laboratório.

Observação: não use seu projeto ou conta do Google Cloud neste laboratório para evitar cobranças extras na sua conta.

Como iniciar seu laboratório e fazer login no console do Google Cloud

1. Clique no botão Começar o laboratório. Se for preciso pagar, você verá um pop-up para selecionar a forma de pagamento. No painel Detalhes do laboratório à esquerda, você vai encontrar o seguinte:

   • O botão Abrir console do Google Cloud
   • O tempo restante
   • As credenciais temporárias que você vai usar neste laboratório
   • Outras informações, se forem necessárias

2. Se você estiver usando o navegador Chrome, clique em Abrir console do Google Cloud ou clique com o botão direito do mouse e selecione Abrir link em uma janela anônima.

   O laboratório ativa os recursos e depois abre a página Fazer login em outra guia.

   Dica: coloque as guias em janelas separadas lado a lado.

   Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.

3. Se necessário, copie o Nome de usuário abaixo e cole na caixa de diálogo Fazer login.

   {{{user_0.username | "Nome de usuário"}}}

   Você também encontra o Nome de usuário no painel Detalhes do laboratório.

4. Clique em Seguinte.

5. Copie a Senha abaixo e cole na caixa de diálogo de boas-vindas.

   {{{user_0.password | "Senha"}}}

   Você também encontra a Senha no painel Detalhes do laboratório.

6. Clique em Seguinte.

   Importante: você precisa usar as credenciais fornecidas no laboratório, e não as da sua conta do Google Cloud. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais.

7. Acesse as próximas páginas:

   • Aceite os Termos e Condições.
   • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
   • Não se inscreva em testes gratuitos.

Depois de alguns instantes, o console do Google Cloud será aberto nesta guia.

Observação: clique em Menu de navegação no canto superior esquerdo para acessar uma lista de produtos e serviços do Google Cloud.

Ativar o Cloud Shell

O Cloud Shell é uma máquina virtual com várias ferramentas de desenvolvimento. Ele tem um diretório principal permanente de 5 GB e é executado no Google Cloud. O Cloud Shell oferece acesso de linha de comando aos recursos do Google Cloud.

1. Clique em Ativar o Cloud Shell na parte de cima do console do Google Cloud.

Depois de se conectar, vai notar que sua conta já está autenticada, e que o projeto está configurado com seu PROJECT_ID. A saída contém uma linha que declara o projeto PROJECT_ID para esta sessão:

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud é a ferramenta de linha de comando do Google Cloud. Ela vem pré-instalada no Cloud Shell e aceita preenchimento com tabulação.

2. (Opcional) É possível listar o nome da conta ativa usando este comando:

gcloud auth list

3. Clique em Autorizar.

4. A saída será parecida com esta:

Saída:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Opcional) É possível listar o ID do projeto usando este comando:

gcloud config list project

Saída:

[core] project = <project_ID>

Exemplo de saída:

[core] project = qwiklabs-gcp-44776a13dea667a6 Observação: para conferir a documentação completa da gcloud, acesse o guia com informações gerais sobre a gcloud CLI no Google Cloud.

Tarefa 1. Examinar uma tabela

No BigQuery, há várias tabelas de amostra em que você pode executar consultas. Neste laboratório, você executará consultas na tabela shakespeare, em que há uma entrada para cada palavra das peças do autor.

Para examinar o esquema da tabela Shakespeare no conjunto de dados de amostra, execute:

bq show bigquery-public-data:samples.shakespeare

Neste comando, você executa o seguinte:

• bq para invocar a ferramenta de linha de comando do BigQuery
• show é a ação
• Em seguida, você lista o nome do projeto project:public dataset.table que você quer ver no BigQuery.

Saída:

Last modified Schema Total Rows Total Bytes Expiration Time Partitioning Clustered Fields Labels ----------------- ------------------------------------ ------------ ------------- ------------ ------------------- ------------------ -------- 14 Mar 13:16:45 |- word: string (required) 164656 6432064 |- word_count: integer (required) |- corpus: string (required) |- corpus_date: integer (required)

Tarefa 2. Executar o comando de ajuda

Inclua um nome de comando depois dos comandos de ajuda para receber informações sobre ele.

1. Por exemplo, veja informações sobre o comando query com a seguinte chamada ao comando bq help:

bq help query

2. Para ver uma lista de todos os comandos usados pelo bq, execute apenas bq help.

Tarefa 3. Executar uma consulta

Agora, execute uma consulta para saber quantas vezes a substring "raisin" aparece nas obras de Shakespeare.

1. Para executar uma consulta, execute o comando bq query "[SQL_STATEMENT]":

• Dentro do [SQL_STATEMENT], evite o uso das aspas simples e use \.

• Outra opção é usar um tipo diferente de aspas (" em vez de ").

2. Execute a seguinte consulta SQL padrão no Cloud Shell para contar o número de vezes que a substring "raisin" aparece em todas as obras de Shakespeare:

bq query --use_legacy_sql=false \ 'SELECT word, SUM(word_count) AS count FROM `bigquery-public-data`.samples.shakespeare WHERE word LIKE "%raisin%" GROUP BY word'

Nesse comando:

• --use_legacy_sql=false torna o SQL padrão a sintaxe de consulta padrão.

Saída:

Waiting on job_e19 ... (0s) Current status: DONE +---------------+-------+ | word | count | +---------------+-------+ | praising | 8 | | Praising | 4 | | raising | 5 | | dispraising | 2 | | dispraisingly | 1 | | raisins | 1 |

A tabela mostra que, embora a palavra raisin não apareça, essa sequência de letras aparece em várias obras de Shakespeare.

Teste a tarefa concluída

Clique em Verificar meu progresso para conferir a tarefa realizada. Após a execução de uma consulta em um conjunto de dados público, uma pontuação de avaliação será exibida.

Execute uma consulta (conjunto de dados: samples, tabela: shakespeare, substring: raisin)

Quando você pesquisa uma palavra que não aparece nas obras de Shakespeare, nenhum resultado é retornado.

• A pesquisa a seguir por "huzzah" não retorna nada:

bq query --use_legacy_sql=false \ 'SELECT word FROM `bigquery-public-data`.samples.shakespeare WHERE word = "huzzah"'

Teste a tarefa concluída

Clique em Verificar meu progresso para conferir a tarefa realizada. Após a execução de uma consulta em um conjunto de dados público, uma pontuação de avaliação será exibida.

Execute uma consulta (conjunto de dados: samples, tabela: shakespeare, substring: huzzah)

Tarefa 4. Criar uma tabela

Agora, crie sua tabela. Toda tabela fica armazenada dentro de um conjunto de dados. Um conjunto de dados é um grupo de recursos como tabelas e visualizações.

Criar um conjunto de dados

1. Use o comando bq ls para listar qualquer conjunto de dados no seu projeto:

bq ls

Você verá novamente a linha de comando, porque seu projeto ainda não tem conjuntos de dados.

2. Execute bq ls e o ID do projeto bigquery-public-data para listar os conjuntos de dados desse projeto específico, seguido de dois-pontos (:):

bq ls bigquery-public-data:

Saída:

datasetId ----------------------------- austin_311 austin_bikeshare austin_crime austin_incidents austin_waste baseball bitcoin_blockchain bls census_bureau_construction census_bureau_international census_bureau_usa census_utility chicago_crime ...

Agora crie um conjunto de dados. O nome do conjunto de dados pode ter até 1.024 caracteres e consistir em A-Z, a-z, 0-9 e sublinhado, mas não pode começar com um número ou sublinhado nem ter espaços.

3. Use o comando bq mk para criar um conjunto de dados chamado babynames no seu projeto:

bq mk babynames

Exemplo de resposta:

Dataset 'qwiklabs-gcp-ba3466847fe3cec0:babynames' successfully created.

Teste a tarefa concluída

Clique em Verificar meu progresso para conferir a tarefa realizada. Se você tiver criado um conjunto de dados do BigQuery chamado babynames, vai receber uma pontuação de avaliação.

Crie um conjunto de dados (nome: babynames)

• Execute bq ls para confirmar que agora o conjunto de dados aparece como parte do projeto:

bq ls

Exemplo de resposta:

datasetId ------------- babynames

Fazer upload do conjunto de dados

Antes de criar a tabela, é preciso adicionar o conjunto de dados ao seu projeto. O arquivo de dados personalizados contém aproximadamente 7 MB de informações sobre os nomes mais usados para bebês, segundo a Administração da Previdência Social dos EUA.

1. Execute este comando para adicionar o arquivo ZIP com nomes de bebês ao seu projeto usando o URL do arquivo de dados:

curl -LO http://www.ssa.gov/OACT/babynames/names.zip

2. Liste o arquivo:

ls

É possível ver o nome do arquivo adicionado ao seu projeto.

3. Agora descompacte o arquivo:

unzip names.zip

4. É uma lista enorme de arquivos de texto. Liste novamente os arquivos:

ls

Com o comando bq load, você cria ou atualiza uma tabela e carrega os dados dela em uma só etapa.

Use o comando bq load para carregar o arquivo de origem em uma nova tabela chamada "names2010" no conjunto de dados "babynames" que você criou anteriormente. Por padrão, ele é executado de maneira síncrona, e o processo leva apenas alguns segundos para ser concluído.

Os argumentos bq load que serão executados são:

datasetID: babynames tableID: names2010 source: yob2010.txt schema: name:string,gender:string,count:integer

5. Crie sua tabela:

bq load babynames.names2010 yob2010.txt name:string,gender:string,count:integer

Exemplo de resposta:

Waiting on job_4f0c0878f6184119abfdae05f5194e65 ... (35s) Current status: DONE

Teste a tarefa concluída

Clique em Verificar meu progresso para conferir a tarefa realizada. Se os dados forem carregados em uma tabela de conjunto de dados, você verá a pontuação da avaliação.

Carregue os dados em uma nova tabela

1. Execute bq ls e babynames para confirmar se a tabela agora aparece no seu conjunto de dados:

bq ls babynames

Saída:

tableId Type ----------- ------- names2010 TABLE

2. Execute bq show e seu dataset.table para ver o esquema:

bq show babynames.names2010

Saída:

Last modified Schema Total Rows Total Bytes Expiration Time Partitioning Clustered Fields Labels ----------------- ------------------- ------------ ------------- ----------------- ------------------- ------------------ -------- 13 Aug 14:37:34 |- name: string 34073 654482 12 Oct 14:37:34 |- gender: string |- count: integer Observação: por padrão, o BigQuery espera que dados carregados estejam codificados em UTF-8. Se você tiver dados com a codificação ISO-8859-1 (ou Latin-1) e os dados carregados apresentarem problemas, use a flag -E para que o BigQuery os trate como Latin-1. Saiba mais sobre a codificação de caracteres no guia Introdução ao carregamento de dados.

Tarefa 5. Executar consultas

Agora tudo está pronto para consultar os dados e ver alguns resultados interessantes.

1. Execute o seguinte comando para retornar os cinco nomes femininos mais comuns:

bq query "SELECT name,count FROM babynames.names2010 WHERE gender = 'F' ORDER BY count DESC LIMIT 5"

Saída:

Waiting on job_58c0f5ca52764ef1902eba611b71c651 ... (0s) Current status: DONE +----------+-------+ | name | count | +----------+-------+ | Isabella | 22913 | | Sophia | 20643 | | Emma | 17345 | | Olivia | 17028 | | Ava | 15433 | +----------+-------+

2. Execute o seguinte comando para ver os cinco nomes masculinos menos comuns:

bq query "SELECT name,count FROM babynames.names2010 WHERE gender = 'M' ORDER BY count ASC LIMIT 5" Observação: a contagem mínima é cinco porque os dados de origem omitem nomes com menos de cinco ocorrências.

Saída:

Waiting on job_556ba2e5aad340a7b2818c3e3280b7a3 ... (1s) Current status: DONE +----------+-------+ | name | count | +----------+-------+ | Aaqib | 5 | | Aaidan | 5 | | Aadhavan | 5 | | Aarian | 5 | | Aamarion | 5 | +----------+-------+

Teste a tarefa concluída

Clique em Verificar meu progresso para conferir a tarefa realizada. Se você tiver consultado um conjunto de dados personalizado, verá uma pontuação de avaliação.

Execute consultas na sua tabela do conjunto de dados

Tarefa 6. Teste seu conhecimento

Responda às perguntas de múltipla escolha abaixo para reforçar sua compreensão dos conceitos abordados neste laboratório. Use tudo o que você aprendeu até aqui.

Tarefa 7. Limpar

1. Execute o comando bq rm para remover o conjunto de dados babynames com a flag -r para excluir todas as tabelas no conjunto de dados:

bq rm -r babynames

2. Digite Y para confirmar o comando de exclusão.

Teste a tarefa concluída

Clique em Verificar meu progresso para conferir a tarefa realizada. Se o conjunto de dados babynames for removido, você verá uma pontuação da avaliação.

Remova o conjunto de dados babynames

Parabéns!

Agora você sabe como usar a linha de comando para consultar tabelas públicas e carregar dados de amostra no BigQuery.

Próximas etapas / Saiba mais

Este laboratório também faz parte de uma série chamada Qwik Starts. Ela foi desenvolvida para apresentar os vários recursos disponíveis no Google Cloud. Pesquise "Qwik Starts" no catálogo de laboratórios para encontrar algum que seja do seu interesse.

Treinamento e certificação do Google Cloud

Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.

Manual atualizado em 26 de janeiro de 2024

Laboratório testado no dia 24 de agosto de 2023

Copyright 2024 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.