Descripción general

En este lab, trabajarás con el conjunto de datos Covertype y usarás TFX para analizar, comprender y procesar previamente el conjunto de datos, así como entrenar, analizar, validar y, luego, implementar un modelo de clasificación de clases múltiples para predecir el tipo de cobertura forestal a partir de atributos cartográficos.

Objetivos

• Desarrollar una comprensión general de los componentes de canalizaciones de TFX
• Aprender a usar un contexto interactivo de TFX para desarrollar prototipos de canalizaciones de TFX
• Trabajar con la biblioteca TensorFlow Data Validation (TFDV) para verificar y analizar datos de entrada
• Usar la biblioteca TensorFlow Transform (TFT) preprocesar datos escalables y transformar atributos
• Usar la biblioteca TensorFlow Model Analysis (TFMA) para evaluar modelos

Configuración

En cada lab, recibirá un proyecto de Google Cloud y un conjunto de recursos nuevos por tiempo limitado y sin costo adicional.

1. Accede a Qwiklabs desde una ventana de incógnito.

2. Ten en cuenta el tiempo de acceso del lab (por ejemplo, 1:15:00) y asegúrate de finalizarlo en el plazo asignado.
   No existe una función de pausa. Si lo necesita, puede reiniciar el lab, pero deberá hacerlo desde el comienzo.

3. Cuando esté listo, haga clic en Comenzar lab.

4. Anote las credenciales del lab (el nombre de usuario y la contraseña). Las usarás para acceder a la consola de Google Cloud.

5. Haga clic en Abrir Google Console.

6. Haga clic en Usar otra cuenta, copie las credenciales para este lab y péguelas en el mensaje emergente que aparece.
   Si usa otras credenciales, se generarán errores o incurrirá en cargos.

7. Acepta las condiciones y omite la página de recursos de recuperación.

Active Cloud Shell

Cloud Shell es una máquina virtual que contiene herramientas de desarrollo y un directorio principal persistente de 5 GB. Se ejecuta en Google Cloud. Cloud Shell proporciona acceso de línea de comandos a sus recursos de Google Cloud. gcloud es la herramienta de línea de comandos de Google Cloud, la cual está preinstalada en Cloud Shell y es compatible con la función de autocompletado con tabulador.

1. En el panel de navegación de Google Cloud Console, haga clic en Activar Cloud Shell ().

2. Haga clic en Continuar.
   El aprovisionamiento y la conexión al entorno tardan solo unos momentos. Una vez que se conecte, también estará autenticado, y el proyecto estará configurado con su PROJECT_ID. Por ejemplo:

Comandos de muestra

• Si desea ver el nombre de cuenta activa, use este comando:

gcloud auth list

(Resultado)

Credentialed accounts: - <myaccount>@<mydomain>.com (active)

(Resultado de ejemplo)

Credentialed accounts: - google1623327_student@qwiklabs.net

• Si desea ver el ID del proyecto, use este comando:

gcloud config list project

(Resultado)

[core] project = <project_ID>

(Resultado de ejemplo)

[core] project = qwiklabs-gcp-44776a13dea667a6

Tarea 1: Habilita los servicios de Cloud

1. En Cloud Shell, ejecuta el siguiente comando para establecer el ID de proyecto como el de tu proyecto de Google Cloud:

PROJECT_ID={{{project_0.project_id|Project ID}}} gcloud config set project $PROJECT_ID

2. Luego, ejecuta los siguientes comandos para habilitar los servicios de Cloud necesarios:

gcloud services enable \ cloudbuild.googleapis.com \ container.googleapis.com \ cloudresourcemanager.googleapis.com \ iam.googleapis.com \ containerregistry.googleapis.com \ containeranalysis.googleapis.com \ ml.googleapis.com \ dataflow.googleapis.com \ notebooks.googleapis.com

3. Después, agrega el permiso Editor a tu cuenta de servicio de Cloud Build:

PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)") CLOUD_BUILD_SERVICE_ACCOUNT="${PROJECT_NUMBER}@cloudbuild.gserviceaccount.com" gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CLOUD_BUILD_SERVICE_ACCOUNT \ --role roles/editor

4. A continuación, crea una cuenta de servicio personalizada para otorgar acceso al servicio de AI Platform Vizier al trabajo de entrenamiento de CAIP para ajustar los hiperparámetros de las canalizaciones:

SERVICE_ACCOUNT_ID=tfx-tuner-caip-service-account gcloud iam service-accounts create $SERVICE_ACCOUNT_ID \ --description="A custom service account for CAIP training job to access AI Platform Vizier service for pipeline hyperparameter tuning." \ --display-name="TFX Tuner CAIP Vizier"

5. Otorga a la cuenta de servicio de AI Platform permisos adicionales de acceso al servicio de AI Platform Vizier para ajustar los hiperparámetros de las canalizaciones:

PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)") CAIP_SERVICE_ACCOUNT="service-${PROJECT_NUMBER}@cloud-ml.google.com.iam.gserviceaccount.com" gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CAIP_SERVICE_ACCOUNT \ --role=roles/storage.objectAdmin gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CAIP_SERVICE_ACCOUNT \ --role=roles/ml.admin

6. Otorga a la cuenta de servicio acceso al rol Administrador de objetos de almacenamiento:

SERVICE_ACCOUNT_ID=tfx-tuner-caip-service-account gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:${SERVICE_ACCOUNT_ID}@${PROJECT_ID}.iam.gserviceaccount.com \ --role=roles/storage.objectAdmin

7. Otorga a la cuenta de servicio acceso al rol AI Platform Vizier:

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:${SERVICE_ACCOUNT_ID}@${PROJECT_ID}.iam.gserviceaccount.com \ --role=roles/ml.admin

8. Otorga a la cuenta de servicio de AI Platform administrada por Google el rol Administrador de cuenta de servicio para tu cuenta de servicio de AI Platform:

gcloud iam service-accounts add-iam-policy-binding \ --role=roles/iam.serviceAccountAdmin \ --member=serviceAccount:service-${PROJECT_NUMBER}@cloud-ml.google.com.iam.gserviceaccount.com \ ${SERVICE_ACCOUNT_ID}@${PROJECT_ID}.iam.gserviceaccount.com

Haga clic en Revisar mi progreso para verificar el objetivo. Habilitar los servicios de Cloud

Tarea 2: Crea una instancia de AI Platform Pipelines

1. En el menú de navegación, desplázate hacia abajo hasta AI Platform y fija la sección para acceder a ella con más facilidad en etapas posteriores del lab.

2. Haz clic en Canalizaciones.

3. Luego, haz clic en Nueva instancia.

4. Haz clic en Configurar.

5. En la página de Kubeflow Pipelines, marca Permitir el acceso a las siguientes APIs de Cloud, deja el nombre como está y, luego, haz clic en Crear un nuevo clúster.

El proceso debería tardar entre 2 y 3 minutos en completarse. Espera a que finalice el clúster para continuar con el siguiente paso. En la primera pestaña abierta, puedes ver el proceso de creación del clúster en la sección de GKE de la consola de Cloud o ver las VMs individuales que se están inicializando en la sección de GCE de la consola de Cloud.

6. Cuando la creación del clúster haya finalizado, marque la casilla Condiciones del Servicio, deje los otros parámetros de configuración sin modificar y, luego, haga clic en Implementar. Verá los servicios individuales de KFP implementados en su clúster de GKE.

Continúa con el siguiente paso mientras se ejecuta la instalación.

Haz clic en Revisar mi progreso para verificar el objetivo. Crear una instancia de AI Platform Pipelines

Tarea 3: Crea una instancia de AI Platform Notebooks de Cloud

1. En Cloud Shell, ejecuta los siguientes comandos para crear un notebook administrado por el usuario:

gcloud notebooks instances create tfx-on-googlecloud --vm-image-project=deeplearning-platform-release --vm-image-family=tf2-2-3-cpu --machine-type=e2-medium --location={{{project_0.default_zone|zone_to_be_set}}}

2. Haz clic en el Menú de navegación. Navega a Vertex AI y selecciona Workbench.

3. Haz clic en NOTEBOOKS ADMINISTRADOS POR EL USUARIO.

   La creación del notebook tardará entre 2 y 3 minutos en completarse.

4. Haz clic en Abrir JupyterLab junto al nombre de tu notebook. Se abrirá una ventana de JupyterLab en una pestaña nueva.

Haz clic en Revisar mi progreso para verificar el objetivo. Crear una instancia de AI Platform Notebooks de Cloud

Tarea 4: Clona el repo de ejemplo en tu instancia de AI Platform Notebooks

Sigue estos pasos para clonar el notebook mlops-on-gcp en tu instancia de JupyterLab:

1. En JupyterLab, haz clic en el ícono de terminal para abrir una terminal nueva.

2. En la ventana de línea de comandos, ingresa el siguiente comando y presiona Intro:

   git clone https://github.com/GoogleCloudPlatform/mlops-on-gcp Nota: Si el repo clonado no aparece en la IU de JupyterLab, puedes usar el menú de la línea superior, y en Git > Clone a repository, clona el repo (https://github.com/GoogleCloudPlatform/mlops-on-gcp) usando la IU.

   

3. Para verificar que se haya clonado el repositorio, haz doble clic en el directorio mlops-on-gcp y confirma que puedes ver su contenido. Los archivos de los labs de Jupyter basados en notebooks de este curso se encuentran en este directorio.

Navega al notebook de ejemplo

1. En JupyterLab, abre una terminal y ejecuta los siguientes comandos:

cd mlops-on-gcp/workshops/tfx-caip-tf23 ./install.sh Nota: Ignora las advertencias de incompatibilidad de pip y los errores de cliente 404.

2. A continuación, en AI Platform Notebooks, navega a mlops-on-gcp/workshops/tfx-caip-tf23/lab-01-tfx-walkthrough/labs y abre lab-01.ipynb.

3. Borra todas las celdas en el notebook (Editar > Borrar todos los resultados) y, luego, ejecútalas una por una.

4. Cuando se te solicite, regresa a estas instrucciones para verificar tu progreso.

Si necesitas más ayuda, puedes consultar la solución completa. Para ello, navega a mlops-on-gcp/workshops/tfx-caip-tf23/lab-01-tfx-walkthrough/solutions y abre lab-01.ipynb.

Haz clic en Revisar mi progreso para verificar el objetivo. Clonar el repo de ejemplo en la instancia de AI Platform Notebooks

Tarea 5: Ejecuta tu trabajo de entrenamiento en la nube

Prueba las tareas completadas: Configura y ejecuta CsvExampleGen

Haz clic en Revisar mi progreso para verificar el objetivo. Configurar y ejecutar CsvExampleGen

Prueba la tarea completada: Crea y ejecuta el componente de entrenamiento

Haz clic en Revisar mi progreso para verificar el objetivo. Crear y ejecutar el componente de entrenamiento

¡Felicitaciones!

Así finaliza la explicación introductoria sobre los componentes de canalizaciones de TFX. En el lab, usaste TFX para analizar, comprender y preprocesar el conjunto de datos, así como entrenar, analizar, validar y, luego, implementar un modelo de clasificación de clases múltiples para predecir el tipo de cobertura forestal a partir de atributos cartográficos.

Finalice su lab

Cuando haya completado su lab, haga clic en Finalizar lab. Qwiklabs quitará los recursos que usó y limpiará la cuenta por usted.

Tendrá la oportunidad de calificar su experiencia en el lab. Seleccione la cantidad de estrellas que corresponda, ingrese un comentario y haga clic en Enviar.

La cantidad de estrellas indica lo siguiente:

• 1 estrella = Muy insatisfecho
• 2 estrellas = Insatisfecho
• 3 estrellas = Neutral
• 4 estrellas = Satisfecho
• 5 estrellas = Muy satisfecho

Puede cerrar el cuadro de diálogo si no desea proporcionar comentarios.

Para enviar comentarios, sugerencias o correcciones, use la pestaña Asistencia.

Copyright 2020 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.