Visão geral

Neste laboratório, você vai trabalhar com o conjunto de dados Covertype e usará o TFX para analisar, entender e pré-processar o conjunto de dados, além de treinar, validar, analisar e implantar um modelo de classificação multiclasse. O objetivo é prever o tipo de cobertura florestal usando atributos cartográficos.

Objetivos

• Entender em detalhes como funcionam os componentes de pipeline do TFX
• Aprender a usar um contexto interativo do TFX para desenvolver protótipos de pipelines da plataforma
• Trabalhar com a biblioteca TensorFlow Data Validation (TFDV) para verificar e analisar os dados de entrada
• Usar a biblioteca TensorFlow Transform (TFT) para fazer o pré-processamento de dados escalonáveis e transformar atributos
• Analisar modelos com a biblioteca TensorFlow Model Analysis (TFMA)

Instalação

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

1. Faça login no Qwiklabs em uma janela anônima.

2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
   Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

3. Quando tudo estiver pronto, clique em Começar o laboratório.

4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

5. Clique em Abrir Console do Google.

6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
   Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

7. Aceite os termos e pule a página de recursos de recuperação.

Ativar o Cloud Shell

O Cloud Shell é uma máquina virtual que contém ferramentas para desenvolvedores. Ele tem um diretório principal permanente de 5 GB e é executado no Google Cloud. O Cloud Shell oferece aos seus recursos do Google Cloud acesso às linhas de comando. A gcloud é a ferramenta ideal para esse tipo de operação no Google Cloud. Ela vem pré-instalada no Cloud Shell e aceita preenchimento com tabulação.

1. No painel de navegação do Console do Google Cloud, clique em Ativar o Cloud Shell ().

2. Clique em Continuar.
   O provisionamento e a conexão do ambiente podem demorar um pouco. Quando esses processos forem concluídos, você já vai ter uma autenticação, e o projeto estará definido com seu PROJECT_ID. Por exemplo:

Exemplo de comandos

• Liste o nome da conta ativa:

gcloud auth list

(Saída)

Credentialed accounts: - <myaccount>@<mydomain>.com (active)

(Exemplo de saída)

Credentialed accounts: - google1623327_student@qwiklabs.net

• Liste o ID do projeto:

gcloud config list project

(Saída)

[core] project = <project_ID>

(Exemplo de saída)

[core] project = qwiklabs-gcp-44776a13dea667a6

Tarefa 1: ativar serviços do Cloud

1. No Cloud Shell, execute o comando abaixo para definir o ID do seu projeto do Google Cloud:

PROJECT_ID={{{project_0.project_id|Project ID}}} gcloud config set project $PROJECT_ID

2. Em seguida execute os comandos a seguir para ativar os serviços de nuvem necessários:

gcloud services enable \ cloudbuild.googleapis.com \ container.googleapis.com \ cloudresourcemanager.googleapis.com \ iam.googleapis.com \ containerregistry.googleapis.com \ containeranalysis.googleapis.com \ ml.googleapis.com \ dataflow.googleapis.com \ notebooks.googleapis.com

3. Depois disso adicione a permissão de editor para sua conta de serviço do Cloud Build:

PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)") CLOUD_BUILD_SERVICE_ACCOUNT="${PROJECT_NUMBER}@cloudbuild.gserviceaccount.com" gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CLOUD_BUILD_SERVICE_ACCOUNT \ --role roles/editor

4. Agora crie uma conta de serviço personalizada para dar ao job de treinamento do CAIP acesso ao AI Platform Vizier para ajustar os hiperparâmetros do pipeline:

SERVICE_ACCOUNT_ID=tfx-tuner-caip-service-account gcloud iam service-accounts create $SERVICE_ACCOUNT_ID \ --description="Uma conta de serviço personalizada para dar ao job de treinamento do CAIP acesso ao AI Platform Vizier para ajustar os hiperparâmetros do pipeline." \ --display-name="TFX Tuner CAIP Vizier"

5. Dê à sua conta de serviço do AI Platform permissões de acesso adicionais para o AI Platform Vizier. Assim, você possibilita o ajuste de hiperparâmetros do pipeline:

PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)") CAIP_SERVICE_ACCOUNT="service-${PROJECT_NUMBER}@cloud-ml.google.com.iam.gserviceaccount.com" gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CAIP_SERVICE_ACCOUNT \ --role=roles/storage.objectAdmin gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CAIP_SERVICE_ACCOUNT \ --role=roles/ml.admin

6. Conceda à conta de serviço o papel de administrador do armazenamento:

SERVICE_ACCOUNT_ID=tfx-tuner-caip-service-account gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:${SERVICE_ACCOUNT_ID}@${PROJECT_ID}.iam.gserviceaccount.com \ --role=roles/storage.objectAdmin

7. Dê à conta de serviço acesso ao AI Platform Vizier:

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:${SERVICE_ACCOUNT_ID}@${PROJECT_ID}.iam.gserviceaccount.com \ --role=roles/ml.admin

8. Conceda o papel de administrador da conta do AI Platform à conta de serviço do AI Platform gerenciada pelo Google:

gcloud iam service-accounts add-iam-policy-binding \ --role=roles/iam.serviceAccountAdmin \ --member=serviceAccount:service-${PROJECT_NUMBER}@cloud-ml.google.com.iam.gserviceaccount.com \ ${SERVICE_ACCOUNT_ID}@${PROJECT_ID}.iam.gserviceaccount.com

Clique em Verificar meu progresso para ver o objetivo. Ative os serviços de nuvem

Tarefa 2: criar uma instância de Pipelines do AI Platform

1. Do menu de navegação, role até AI Platform e fixe a seção para facilitar o acesso a ela posteriormente no laboratório.

2. Clique em Pipelines.

3. Depois clique em Nova instância.

4. Clique em Configurar.

5. Na página do Kubeflow Pipelines, marque Permitir acesso às seguintes APIs do Cloud, não mude o nome e clique em Criar novo cluster.

Esse processo leva de dois a três minutos. Aguarde a conclusão do cluster antes de prosseguir para a próxima etapa. Na primeira guia aberta, você pode ver a criação de clusters na seção do GKE do Console do Cloud ou cada VM sendo ativada na seção do GCE do Console do Cloud.

6. Quando a criação do cluster estiver concluída, marque a caixa Termos de Serviço, não mexa nas outras configurações e clique em Implantar. Você vai ver cada serviço do KFP implantado no seu cluster do GKE.

Siga para a próxima etapa enquanto a instalação é realizada.

Clique em Verificar meu progresso para conferir o objetivo. Crie uma instância do AI Platform Pipelines

Tarefa 3: criar uma instância de Notebooks do AI Platform do Cloud

1. No Cloud Shell, execute os seguintes comandos para criar um notebook gerenciado pelo usuário:

gcloud notebooks instances create tfx-on-googlecloud --vm-image-project=deeplearning-platform-release --vm-image-family=tf2-2-3-cpu --machine-type=e2-medium --location={{{project_0.default_zone|zone_to_be_set}}}

2. Clique no menu de navegação. Acesse Vertex AI e depois Workbench.

3. Clique em NOTEBOOKS GERENCIADOS PELO USUÁRIO

   A criação do notebook levará de dois a três minutos.

4. Clique em Abrir o JupyterLab ao lado do nome do notebook. Uma janela do JupyterLab será aberta em uma nova guia.

Clique em Verificar meu progresso para conferir o objetivo. Crie uma instância de Notebooks do AI Platform do Cloud

Tarefa 4: clonar o repositório de exemplo na sua instância de Notebooks do AI Platform

Siga estas instruções para clonar o notebook mlops-on-gcp na sua instância do JupyterLab:

1. No JupyterLab, clique no ícone Terminal para abrir um novo terminal.

2. No prompt da linha de comando, digite o código abaixo e pressione Enter.

   git clone https://github.com/GoogleCloudPlatform/mlops-on-gcp Observação: se o repositório clonado não aparecer na interface do JupyterLab, use o menu da parte de cima da tela e acesse Git > Clonar um repositório para realizar o processo (https://github.com/GoogleCloudPlatform/mlops-on-gcp) usando a UI.

   

3. Para confirmar que você clonou o repositório, clique duas vezes no diretório mlops-on-gcp e confira se o conteúdo dele aparece. Os arquivos de todos os laboratórios com notebooks do Jupyter deste curso estão nesse diretório.

Acesse o notebook de exemplo

1. Abra um terminal no JupyterLab e execute os comandos a seguir:

cd mlops-on-gcp/workshops/tfx-caip-tf23 ./install.sh Observação: ignore os avisos de incompatibilidade de pip e os erros de cliente 404.

2. Nos Notebooks do AI Platform, acesse mlops-on-gcp/workshops/tfx-caip-tf23/lab-01-tfx-walkthrough/labs e abra lab-01.ipynb.

3. Limpe todas as células do notebook (Editar > Limpar todas as saídas) e execute cada uma.

4. Quando solicitado, volte a estas instruções para verificar seu progresso.

Se você precisar de mais ajuda, acesse mlops-on-gcp/workshops/tfx-caip-tf23/lab-01-tfx-walkthrough/solutions e abra lab-01.ipynb para saber a solução completa.

Clique em Verificar meu progresso para conferir o objetivo. Clonar o repositório de exemplo na sua instância do Notebooks no AI Platform

Tarefa 5: executar o job de treinamento no Cloud

Teste as tarefas concluídas: configurar e executar o CsvExampleGen

Clique em Verificar meu progresso para conferir o objetivo. Configure e execute o CsvExampleGen

Teste as tarefas concluídas: criar e executar o componente de treinamento

Clique em Verificar meu progresso para conferir o objetivo. Crie e execute o componente de treinamento.

Parabéns!

Este é o fim do tutorial introdutório sobre os componentes dos pipelines do TFX. Neste laboratório, você usou a plataforma para analisar, entender e pré-processar o conjunto de dados, além de treinar, analisar, validar e implantar um modelo de classificação multiclasse para prever o tipo de cobertura florestal usando atributos cartográficos.

Finalize o laboratório

Após terminar seu laboratório, clique em End Lab. O Qwiklabs removerá os recursos usados e limpará a conta para você.

Você poderá avaliar sua experiência neste laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Submit.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Support.

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.