Informações gerais

Neste laboratório, você vai aprender configurações e usos comuns do Cloud Logging e do Cloud Monitoring.

Você vai aprender a acessar registros com mecanismos de filtragem, exportar registros para sincronizações com o BigQuery e criar métricas de geração de registros. Você também vai saber como usar o Cloud Monitoring para consultar métricas de consumo e criar painéis.

Objetivos

Neste laboratório, você vai aprender a fazer o seguinte:

• Acessar os registros usando diversos mecanismos de filtragem.

• Excluir entradas de registros e desativar a ingestão de registros.

• Exportar registros e executar relatórios em registros exportados.

• Criar e relatar métricas de geração de registros.

• Usar o Cloud Monitoring para monitorar diferentes projetos do Google Cloud.

• Criar um painel de métricas.

Configuração e requisitos

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

1. Faça login no Qwiklabs em uma janela anônima.

2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
   Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

3. Quando tudo estiver pronto, clique em Começar o laboratório.

4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

5. Clique em Abrir Console do Google.

6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
   Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

7. Aceite os termos e pule a página de recursos de recuperação.

Ative o Google Cloud Shell

O Google Cloud Shell é uma máquina virtual com ferramentas de desenvolvimento. Ele tem um diretório principal permanente de 5 GB e é executado no Google Cloud.

O Cloud Shell oferece acesso de linha de comando aos recursos do Google Cloud.

1. No console do Cloud, clique no botão "Abrir o Cloud Shell" na barra de ferramentas superior direita.

   

2. Clique em Continuar.

O provisionamento e a conexão do ambiente podem demorar um pouco. Quando você estiver conectado, já estará autenticado, e o projeto estará definido com seu PROJECT_ID. Exemplo:

A gcloud é a ferramenta de linha de comando do Google Cloud. Ela vem pré-instalada no Cloud Shell e aceita preenchimento com tabulação.

• Para listar o nome da conta ativa, use este comando:

gcloud auth list

Saída:

Credentialed accounts: - @.com (active)

Exemplo de saída:

Credentialed accounts: - google1623327_student@qwiklabs.net

• Para listar o ID do projeto, use este comando:

gcloud config list project

Saída:

[core] project =

Exemplo de saída:

[core] project = qwiklabs-gcp-44776a13dea667a6 Observação: a documentação completa da gcloud está disponível no guia com informações gerais sobre a gcloud CLI .

Tarefa 1: configurar os recursos no seu primeiro projeto

Nesta tarefa, você vai criar os recursos do Google Cloud para o primeiro projeto.

Na seção "Detalhes da conexão" do Qwiklabs, dois projetos vão aparecer na lista. O primeiro vai conter recursos ativos do Google Cloud, que vão gerar registros e dados de métricas de monitoramento.

O segundo projeto vai conter seus dados de configuração da conta do Monitoring.

Verifique se você está trabalhando no projeto 1 para esta tarefa!

1. Clique em Ativar o Cloud Shell se isso ainda não tiver sido feito. Se for solicitado, clique em Continuar.

2. No Cloud Shell, faça o download e descompacte um arquivo contendo o código de configuração:

curl https://storage.googleapis.com/cloud-training/gcpsec/labs/stackdriver-lab.tgz | tar -zxf - cd stackdriver-lab

3. Clique no ícone Abrir Editor no canto superior direito da sessão do Cloud Shell.

4. Se solicitado, clique em Abrir em uma nova janela.

5. Abra a pasta stackdriver-lab e selecione o arquivo linux_startup.sh.

6. Substitua as seções # install logging agent e # install monitoring agent pelo seguinte:

# install logging agent curl -sSO https://dl.google.com/cloudagents/add-logging-agent-repo.sh sudo bash add-logging-agent-repo.sh --also-install # install monitoring agent curl -sSO https://dl.google.com/cloudagents/add-monitoring-agent-repo.sh sudo bash add-monitoring-agent-repo.sh --also-install

7. Depois de colar, verifique se as linhas do código estão devidamente recuadas.

8. Salve o arquivo.

9. Agora abra o arquivo setup.sh.

10. Atualize a versão da imagem na seção # create vms para o windows-server (linha 17) após --image com o seguinte:

windows-server-2016-dc-core-v20210511

11. Depois de colar, verifique se as linhas do código estão devidamente recuadas.

12. Salve o arquivo.

13. No console do Cloud, clique em Abrir Terminal no canto superior direito.

14. Agora, execute o seguinte comando:

./setup.sh

Os recursos criados vão incluir:

• Contas de serviço (para uso por VMs).

• Atribuições de papéis (conceder permissões às contas de serviço para gravar no Monitoring).

• Uma VM do Linux com o Apache e os agentes do Monitoring instalados.

• Uma VM do Windows com os agentes do Monitoring e do Logging instalados.

• Um cluster do Google Kubernetes Engine com uma implantação Nginx.

• Um tópico e uma assinatura do Pub/Sub

15. Se uma mensagem como esta aparecer:

ERROR: (gcloud.compute.instances.create) Could not fetch resource: --- code: ZONE_RESOURCE_POOL_EXHAUSTED errorDetails:

16. Execute o seguinte comando para substituir as zonas no script de configuração por uma nova:

sed -i 's/us-west1-b/us-east4-a/g' setup.sh

Os erros sobre contas de serviço e firewalls existentes podem ser ignorados com segurança.

17. Se o mesmo erro aparecer outra vez, selecione outra zona do Google Cloud e execute o comando abaixo, substituindo <YOUR_ZONE> pela nova zona que você selecionar:

sed -i 's/us-east4-a/<YOUR_ZONE>/g' setup.sh

18. Verifique se aparece uma saída semelhante indicando que as VMs do Linux e do Windows foram criadas:

Created [https://www.googleapis.com/compute/v1/projects/qwiklabs-gcp-03-7c1d05517425/zones/us-central1-a/instances/linux-server-qwiklabs-gcp-03-7c1d05517425]. NAME: linux-server-qwiklabs-gcp-03-7c1d05517425 ZONE: us-central1-a MACHINE_TYPE: n1-standard-1 PREEMPTIBLE: INTERNAL_IP: 10.128.0.2 EXTERNAL_IP: 162.222.176.37 STATUS: RUNNING Created [https://www.googleapis.com/compute/v1/projects/qwiklabs-gcp-03-7c1d05517425/zones/us-central1-a/instances/windows-server-qwiklabs-gcp-03-7c1d05517425]. WARNING: Some requests generated warnings: - The resource 'projects/windows-cloud/global/images/windows-server-2016-dc-core-v20210511' is deprecated. A suggested replacement is 'projects/windows-cloud/global/images/windows-server-2016-dc-core-v20210608'. ...... ...... NAME: windows-server-qwiklabs-gcp-03-7c1d05517425 ZONE: us-central1-a MACHINE_TYPE: n1-standard-1 PREEMPTIBLE: INTERNAL_IP: 10.128.0.3 EXTERNAL_IP: 34.67.55.114 STATUS: RUNNING Updated [https://www.googleapis.com/compute/v1/projects/qwiklabs-gcp-03-7c1d05517425/zones/us-central1-a/instances/linux-server-qwiklabs-gcp-03-7c1d05517425].

Clique em Verificar meu progresso para conferir o objetivo. Configurar os recursos no primeiro projeto

Tarefa 2: acessar e filtrar os registros no primeiro projeto

Nesta tarefa, você vai acessar os registros de instância de VM com filtragem simples.

Confira os serviços que estão criando registros

1. Confira se você está na página inicial do console do Google Cloud.

2. Verifique se você ainda está trabalhando no projeto 1. O ID do projeto no painel informativo do console precisa corresponder ao ID do projeto do GCP 1 no painel de detalhes de conexão do seu laboratório.

3. Acesse o Cloud Logging abrindo Menu de navegação > Logging > Navegador de Registros. Se for solicitado, feche a notificação.

4. No painel à esquerda, vão aparecer os campos de registro. Em Tipo de recurso, diversos serviços do Google Cloud que estão criando registros serão mostrados.

Todos esses serviços estão gravando entradas de registro. Essas entradas vão aparecer à direita, no painel de resultados da consulta. Também é possível consultar os resultados de registros específicos ou que correspondam a critérios específicos.

Acesse os registros de instância de VM com filtragem simples

1. No painel Campos de registro, em Tipo de registro, clique em instância de VM.

Em seguida:

• O conteúdo do painel Campos de registro vai mudar. Um novo campo chamado INSTANCE ID vai aparecer, mostrando todos os IDs das instâncias de VM que estão gravando entradas de registro.
• A caixa de consulta perto da parte de cima da página é preenchida com resource.type="gce_instance". Isso indica que apenas entradas das instâncias de VM serão registradas e exibidas.
• O painel de resultados da consulta também atualiza automaticamente. As entradas das instâncias de VM são os únicos registros exibidos.

2. No campo ID da instância, escolha um dos IDs. Os registros da instância de VM associada aparecem no painel de resultados da consulta.

3. Clique na caixa Consulta. O campo vai ficar editável.

4. Na caixa Consulta, remova tudo depois da linha 1. Apenas a linha 1 vai aparecer, contendo resource.type="gce_instance".

5. Clique em Executar consulta (localizado no canto superior direito). Nos resultados da consulta, vão aparecer entradas de todos os registros de instâncias de VM.

6. Observe que o painel de registros voltou ao estado anterior.

7. Ative o streaming de registros clicando em Fazer streaming de registros (canto superior direito, ao lado do botão "Executar consulta").

8. Novas entradas de registro vão aparecer a cada 1 ou 2 segundos, enquanto a atividade em segundo plano gera solicitações não autorizadas contra seus servidores da Web.

Observação: talvez você precise clicar em Reiniciar o streaming se ele pausar.

Agora você poderá visualizar a atividade geral da Web em qualquer servidor do Apache no Linux.

9. Pare o streaming de registros clicando em Interromper streaming no canto superior direito.

10. Troque para mostrar apenas os registros de acesso do Apache, selecionando o nome de registro apache-access. Ele está no painel de campos de registro e pode ser selecionado em "Nome do registro" no canto superior direito. Vão aparecer entradas mostrando solicitações para o servidor do Apache no Linux.

Agora você vai aprender a consultar a atividade geral do sistema em um servidor do Linux.

11. Clique no menu suspenso Nome do registro e depois no botão Limpar próximo ao acesso do Apache.

12. Agora clique no menu suspenso Nome do registro, selecione syslog e depois clique em Aplicar.

As entradas do syslog vão aparecer no painel de resultados da consulta.

Observação: também é possível controlar as exibições de entrada de registro selecionando as janelas de tempo e a gravidade do registro.

Tarefa 3: usar exportações de registros

Nesta tarefa, você vai configurar e testar exportações de registros para o BigQuery.

O Cloud Logging mantém as entradas de registro por 30 dias. Na maioria das vezes, é proveitoso manter algumas entradas de registro por um período maior para executar relatórios mais detalhados sobre os registros arquivados.

O Google Cloud dispõe de um mecanismo para que todas as entradas de registro ingeridas no Cloud Monitoring também sejam gravadas em um ou mais sinks de arquivo.

Configure a exportação para o BigQuery

1. Acesse as Exportações do Cloud Logging (Menu de navegação > Logging > Roteador de registros).

2. Clique em Criar coletor.

3. Em Nome do coletor, digite vm_logs e depois clique em Próximo.

4. Em Selecionar serviço de coletor, escolha o conjunto de dados do BigQuery.

5. Em Selecionar conjunto de dados do BigQuery, clique em Criar novo conjunto de dados do BigQuery.

6. Em ID do conjunto de dados, digite project_logs e clique em Criar conjunto de dados.

7. Clique em Próxima.

8. Na caixa de listagem Criar filtro de inclusão, digite resource.type="gce_instance".

9. Clique em Criar coletor. Agora você vai voltar à página Próximas etapas para criar um coletor de registros do Roteador de registros (a mensagem "O coletor de registros foi criado com sucesso. Os dados estarão disponíveis em breve." será exibida).

Observação: você também pode exportar entradas de registros para o Pub/Sub ou o Cloud Storage.

Exportar para o Pub/Sub pode ser útil se você quiser passar por um processo ETL antes do armazenamento em um banco de dados (Monitoring > Pub/Sub > Dataflow > BigQuery/Bigtable).

Exportar para o Cloud Storage vai agrupar as entradas e gravá-las nos objetos do Cloud Storage aproximadamente uma vez por hora.

Agora você vai criar uma exportação dos registros do balanceamento de carga HTTP do Google Cloud para o BigQuery.

1. No menu de navegação do lado esquerdo, clique em Roteador de registros para voltar à página inicial do serviço.

2. Clique em Criar coletor.

3. Em Nome do coletor, digite load_bal_logs e depois clique em Próximo.

4. Em Selecionar serviço de coletor, escolha o Conjunto de dados do BigQuery.

5. Em Selecionar conjunto de dados do BigQuery, escolha project_logs. Você criou esse conjunto de dados do BigQuery na etapa anterior.

6. Clique em Próxima.

7. Na caixa de listagem Criar filtro de inclusão, digite resource.type="http_load_balancer".

8. Clique em Criar coletor.

9. Agora você vai para a página Próximas etapas para criar um coletor de registros.

10. No menu de navegação do lado esquerdo, clique em Roteador de registros para voltar à página inicial do serviço.

A página do roteador de registros vai aparecer, mostrando uma lista de coletores (incluindo o recém-criado load_bal_logs).

Investigue as entradas de registro exportadas

1. Abra o BigQuery (Menu de navegação > BigQuery).

2. Uma caixa com a mensagem "Olá! Este é o BigQuery no console do Cloud" vai aparecer. Ela tem um link para o guia de início rápido e lista as atualizações da UI.

3. Clique em Concluído.

4. No painel à esquerda, na seção Navegador, clique no seu projeto (ele começa com qwiklabs-gcp-xxx). O conjunto de dados project_logs aparecerá logo abaixo.

Agora você vai verificar se o conjunto de dados do BigQuery tem permissões apropriadas para permitir que o gravador de exportação armazene as entradas de registro.

5. Clique no item do menu de três pontos ("Ver ações") ao lado do conjunto de dados project_logs e clique em Abrir.

6. Depois, no canto superior direito do console, clique no menu suspenso Compartilhamento e selecione Permissões.

7. Na página de permissões do conjunto de dados, você vai perceber que suas contas de serviço têm o papel "Editor de dados do BigQuery".

8. Feche o painel de permissões do conjunto de dados.

9. Expanda o conjunto de dados project_logs para consultar as tabelas com seus registros exportados. Diversas delas vão aparecer, uma para cada tipo de registro que está recebendo entradas.

10. Clique na tabela syslog_(1) e depois em Detalhes para conferir o número de linhas e outros metadados. Se a tabela syslog_(1) não estiver visível, atualize o navegador.

11. Na guia Detalhes, abaixo das informações da tabela, copie o nome completo que vai aparecer em ID da tabela.

Observação: como as entradas de registro estão sendo transferidas por streaming para o BigQuery assim que chegam no Cloud Monitoring, elas são armazenadas em um buffer de streaming do BigQuery. Elas serão movidas para o armazenamento regular do BigQuery em cerca de 24 horas após chegar no buffer. É possível consultar a tabela, e os dados no armazenamento regular e o buffer serão verificados.

12. Há diversas formas de consultas que podem ser executadas para analisar suas entradas de registro arquivadas. Por exemplo, para acessar um subconjunto dos campos de suas tabelas, cole a consulta abaixo na guia Editor de consulta, substituindo qwiklabs-gcp-xx-xxxxxxxxxxx.project_logs.syslog_xxxxxxxx pelo nome da tabela que você copiou na etapa anterior.

SELECT logName, resource.type, resource.labels.zone, resource.labels.project_id, FROM `qwiklabs-gcp-xx-xxxxxxxxxxx.project_logs.syslog_xxxxxxxx`

13. Depois, clique em Executar.

Fique à vontade para testar outras consultas que possam gerar informações interessantes.

Observação: o Cloud Logging exporta entradas de registro recebidas antes que qualquer decisão seja tomada sobre a ingestão da entrada no armazenamento do Logging. Como resultado disso, só as entradas de registro novas serão exportadas para o coletor. Por isso, pode ser que a tabela syslog_(1) não apareça, já que as entradas de syslog foram geradas antes da exportação.

As entradas de registro já ingeridas pelo Cloud Logging podem ser extraídas usando comandos como:

gcloud logging read "resource.type=gce_instance AND logName=projects/[PROJECT_ID]/logs/syslog AND textPayload:SyncAddress" --limit 10 --format json. Observação: você precisa configurar uma exportação para todas as entradas de registro geradas pelos serviços do projeto. Também é possível criar exportações agregadas, que exportam entradas de registro geradas em todos os projetos, agrupadas por conta de cobrança, pasta ou organização.

Clique em Verificar meu progresso para conferir o objetivo. Configurar a exportação para o BigQuery

Tarefa 4: criar uma métrica de geração de registros

Nesta tarefa, você vai criar uma métrica que pode ser usada para emissão de alertas se muitas solicitações da Web gerarem entradas de registro de acesso negado.

Com o Cloud Monitoring, é possível criar métricas personalizadas com base em entradas de registro específicas.

1. Volte para a página do Navegador de Registros (Menu de navegação > Logging > Navegador de Registros).

Observação: se for solicitado, clique em Sair no trabalho não salvo.

2. Selecione Criar métrica (lado direito do console) para criar uma métrica de geração de registros com base nesse filtro.

3. No editor de métricas com base em registros, defina Tipo de métrica como Contador.

4. Na seção Detalhes, defina o Nome da métrica de registros como 403s.

5. Em Seleção de filtro, insira o código abaixo em Criar filtro, substituindo PROJECT_ID por GCP Project ID 1:

resource.type="gce_instance" log_name="projects/PROJECT_ID/logs/syslog"

6. Deixe todos os outros campos como padrão

7. Clique em Criar métrica.

8. Você vai usar essa métrica na parte de criação de painéis do laboratório.

Clique em Verificar meu progresso para conferir o objetivo. Criar uma métrica de geração de registros

Tarefa 5: criar um painel do Monitoring

Nesta tarefa, você vai mudar para o segundo projeto criado pelo Qwiklabs e configurar um espaço de trabalho do Monitoring.

Mude o projeto

1. Troque para o segundo projeto criado pelo Qwiklabs (use o ID do projeto do GCP 2 dos "Detalhes da conexão" no Qwiklabs). O ID do projeto atual vai aparecer na parte de cima do console.

2. Clique no nome do projeto na parte de cima do console do Cloud e depois na guia Todos.

3. Passe para o segundo projeto clicando nele. Verifique se é o ID do projeto do GCP 2 dos "Detalhes da conexão" no Qwiklabs.

4. Clique em Abrir.

Crie um espaço de trabalho do Monitoramento

Você precisa configurar um espaço de trabalho do Monitoramento associado ao seu projeto do GCP no Qwiklabs. Siga as etapas abaixo para criar uma nova conta que inclui uma avaliação gratuita do Monitoramento.

1. No Console do Google Cloud Platform, clique em Menu de navegação > Monitoringo.

2. Aguarde o provisionamento do espaço de trabalho.

Quando o painel do Monitoramento abrir, seu espaço de trabalho do estará pronto.

Agora adicione o primeiro projeto ao espaço de trabalho do Cloud Monitoring.

3. No menu à esquerda, clique em Configurações e depois em + Adicionar projetos do GCP na seção "Projetos do GCP".

4. Um dos projetos deste laboratório vai aparecer como uma conta monitorada. Marque a caixa ao lado do seu outro projeto, selecione Usar este projeto como o projeto de escopo e clique em Adicionar projetos.

5. Clique em Confirmar.

Crie um painel do Monitoring

1. No painel à esquerda, clique em Painéis.

2. Clique em + Criar painel.

3. Substitua o nome de painel genérico na parte de cima por Example Dashboard.

4. Clique em Linha.

5. Em Título do gráfico, digite o nome Uso da CPU.

6. Em Recurso e métrica, selecione Instância de VM > Instância > Uso da CPU. Confirme se o formato a seguir está sendo usado: compute.googleapis.com/instance/cpu/usage_time. Clique em Aplicar.

Observação: se a métrica não aparecer, não se esqueça de desativar a opção Mostrar apenas recursos e métricas ativos.

7. Clique em Adicionar gráfico.

8. Clique em Linha.

9. Dê o nome Utilização da memória ao gráfico e defina Recurso e métrica para Instância de VM > Memória > Utilização da memória. Confirme se o seguinte formato está sendo usado: agent.googleapis.com/memory/percent_used.

10. Clique em Aplicar.

11. Clique no botão Ativar atualização automática no canto superior direito (ao lado de "Editar painel") para receber resultados dos gráficos em tempo real.

Quando o carregamento chegar ao fim, dois gráficos vão aparecer: um para o uso da CPU e outro para o uso da memória, ambos preenchidos.

Confira outras opções editando os gráficos, como "Filtro", "Agrupar por" e "Agregação".

Parabéns!

Neste laboratório, você aprendeu a:

1. Acessar os registros usando diversos mecanismos de filtragem.

2. Excluir entradas de registros e desativar a ingestão de registros.

3. Exportar registros e executar relatórios em registros exportados.

4. Criar e relatar métricas de geração de registros.

5. Usar o Cloud Monitoring para monitorar diferentes projetos do Google Cloud.

6. Criar um painel de métricas.

Finalize o laboratório

Clique em Terminar o laboratório após a conclusão. O Google Cloud Ensina remove os recursos usados e limpa a conta por você.

Você vai poder avaliar sua experiência no laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.