Visão geral

Neste laboratório, você carrega um registro de servidor da Web em uma tabela do BigQuery. Após o carregamento dos dados, consulte-os usando a interface do usuário da Web e a CLI do BigQuery.

Com o BigQuery, é possível realizar análises interativas de bancos de dados com vários petabytes, além de análises quase em tempo real de grandes conjuntos de dados. A ferramenta oferece uma linguagem de consulta e funções SQL 2011 conhecidas.

Os dados armazenados no BigQuery têm alta durabilidade. Por padrão, o Google armazena os dados de forma replicada sem cobrar a mais pelas réplicas. Com o BigQuery, é possível pagar apenas pelos recursos que você usar. Armazenar dados no BigQuery custa pouco. O custo de cada consulta é baseado na quantidade de dados processados. Quando uma consulta é enviada, paga-se apenas pelos nós de computação usados durante aquela consulta. Não é preciso pagar para manter um cluster de computação em execução.

O uso do BigQuery envolve a interação com diversos recursos do Google Cloud Platform, incluindo projetos (abordados em outras partes deste curso), conjuntos de dados, tabelas e jobs. Este laboratório apresenta alguns desses recursos, resumindo o papel deles na interação com o BigQuery.

Conjuntos de dados: um conjunto de dados é um mecanismo de agrupamento que tem zero ou mais tabelas. É a menor unidade de controle de acesso. Os conjuntos de dados pertencem aos projetos do GCP. Cada conjunto pode ser compartilhado com os usuários individualmente.

Tabelas: uma tabela é uma estrutura com linhas e colunas que contém dados reais. Cada tabela tem um esquema que descreve colunas com tipo de valores. Cada tabela pertence a um conjunto de dados.

Objetivos

Neste laboratório, você aprenderá a fazer o seguinte:

• Carregar dados do Cloud Storage no BigQuery.

• Realizar uma consulta nos dados no BigQuery.

Tarefa 1: faça login no Console do Google Cloud Platform (GCP)

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

1. Faça login no Qwiklabs em uma janela anônima.

2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
   Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

3. Quando tudo estiver pronto, clique em Começar o laboratório.

4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

5. Clique em Abrir Console do Google.

6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
   Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

7. Aceite os termos e pule a página de recursos de recuperação.

Anote se a região atribuída a você é mais próxima dos Estados Unidos ou da Europa.

Tarefa 2: carregue dados do Cloud Storage no BigQuery.

1. No Menu de navegação () do Console, clique em BigQuery e em Concluído.

2. Crie um novo conjunto de dados dentro do seu projeto clicando no ícone Visualizar ações próximo a ID do seu projeto na seção Explorer. Em seguida, selecione Criar conjunto de dados.

3. Na caixa de diálogo Criar Conjunto de dados, para a ID do Conjunto de dados, digite logdata.

4. Para a Localização de Dados, selecione Estados Unidos (EUA). Clique em CRIAR CONJUNTO DE DADOS.

5. Crie uma nova tabela no logdata para armazenar os dados do arquivo CSV.

6. Expanda a ID do projeto e clique no ícone Visualizar ações ao lado do conjunto de dados logdata. Em seguida, selecione Abrir.

7. Clique em CRIAR TABELA. Na página Criar Tabela, na seção Fonte:

• Em Criar tabela de, selecione Google Cloud Storage e, no campo, digite cloud-training/gcpfci/access_log.csv.
• Verifique se o Formato do arquivo está definido como CSV.

8. Na seção Destino:

• Em Nome do conjunto de dados, deixe logdata selecionado.

• Em Nome da tabela, digite accesslog.

• Em Tipo de tabela, selecione a opção Tabela nativa.

9. Na seção Esquema, marque a caixa Detecção automática.

10. Aceite os valores padrão restantes e clique em Criar tabela.

    O BigQuery cria um job/trabalho de carregamento para criar a tabela e fazer upload de dados para a tabela (isso pode levar alguns segundos).

11. (Opcional) Para acompanhar o progresso do job, clique em Histórico de jobs.

12. Quando o job de carregamento estiver concluído, clique em logdata > accesslog.

13. Na página de detalhes da tabela, clique em Detalhes para ver as propriedades dela. Depois, clique em Visualização para ver os dados.

    Cada linha na tabela registra um hit em um servidor da Web. O primeiro campo, string_field_0, é o endereço IP do cliente. Entre o quarto e nono campos são registrados o dia, o mês, o ano, a hora, o minuto e o segundo em que o hit ocorreu. Nesta atividade, você aprenderá sobre o padrão diário de carregamento neste servidor da Web.

Clique em Verificar meu progresso para conferir o objetivo. Carregue dados do Cloud Storage no BigQuery

Tarefa 3: realize uma consulta nos dados usando a IU da Web do BigQuery

Nesta seção do laboratório, você usará a IU da Web do BigQuery para consultar a tabela accesslog criada anteriormente.

1. Na janela Editor de consultas, digite (ou copie e cole) a seguinte consulta:

2. Como você configurou o BigQuery para detectar automaticamente o esquema quando os dados forem carregados, as informações sobre a hora do dia em que cada um dos hits da Web chegou estão em um campo denominado int_field_6.

   select int64_field_6 as hour, count(*) as hitcount from logdata.accesslog
   group by hour
   order by hour
   

   O validador de consulta informa que a sintaxe é válida (marca de seleção verde) e indica o volume de dados que será processado pela consulta. Com o volume de dados processado, é possível usar a Calculadora de preços do Cloud Platform para calcular o preço da consulta.

3. Clique em Executar e examine os resultados. A que hora do dia o site tem mais atividade? E quando tem menos atividade?

Tarefa 4: realize uma consulta nos dados usando o comando bq

Nesta seção do laboratório, você usará o comando bq no Cloud Shell para consultar a tabela accesslog criada anteriormente.

1. No Console do Google Cloud Platform, clique em Ativar Cloud Shell , depois em Continuar.

2. No prompt do Cloud Shell, digite o seguinte comando:

   bq query "select string_field_10 as request, count(*) as requestcount from logdata.accesslog group by request order by requestcount desc"
   

   Na primeira vez que você usa o comando bq, ele armazena suas credenciais do Google Cloud Platform e solicita que você escolha um projeto padrão. Escolha o projeto que o Qwiklabs atribuiu a você. O nome dele será qwiklabs-gcp- seguido por um número hexadecimal.

   Em seguida, o comando bq executa a ação solicitada na linha de comando. Qual URL oferecido por esse servidor da Web foi mais usado? E qual foi menos usado?

Parabéns!

Neste laboratório, você carregou dados armazenados no Cloud Storage em uma tabela hospedada pelo Google BigQuery. Em seguida, você consultou os dados para descobrir padrões.

Finalize o laboratório

Clique em Terminar o laboratório após a conclusão. O Google Cloud Ensina remove os recursos usados e limpa a conta por você.

Você vai poder avaliar sua experiência no laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.