
Before you begin
- Labs create a Google Cloud project and resources for a fixed time
- Labs have a time limit and no pause feature. If you end the lab, you'll have to restart from the beginning.
- On the top left of your screen, click Start lab to begin
Create Vertex AI Platform Notebooks instance and clone course repo
/ 15
Setup the data environment
/ 15
Run your pipeline from the command line
/ 10
En este lab, aprenderás a hacer lo siguiente:
Requisitos previos:
En el lab anterior, creaste una canalización secuencial de extracción, transformación y carga básica, y utilizaste una plantilla de Dataflow equivalente para transferir el almacenamiento de datos por lotes en Google Cloud Storage. Esta canalización consta de una secuencia de transformaciones:
Sin embargo, muchas canalizaciones no mostrarán una estructura tan simple. En este lab, crearás una canalización no secuencial más sofisticada.
El caso de uso aquí es optimizar el consumo de recursos. Los productos varían según la forma en que consumen los recursos. Además, no todos los datos se utilizan de la misma manera dentro de una empresa. Algunos datos se consultarán con regularidad (por ejemplo, dentro de cargas de trabajo analíticas) y, otros, solo se usarán para la recuperación. En este lab, optimizarás la canalización del primer lab en pos del consumo de recursos. Para ello, almacenarás solo los datos que los analistas usarán en BigQuery y archivarás los demás datos en un servicio de almacenamiento muy duradero y de bajo costo, Coldline Storage en Google Cloud Storage.
En cada lab, recibirá un proyecto de Google Cloud y un conjunto de recursos nuevos por tiempo limitado y sin costo adicional.
Accede a Qwiklabs desde una ventana de incógnito.
Ten en cuenta el tiempo de acceso del lab (por ejemplo, 1:15:00
) y asegúrate de finalizarlo en el plazo asignado.
No existe una función de pausa. Si lo necesita, puede reiniciar el lab, pero deberá hacerlo desde el comienzo.
Cuando esté listo, haga clic en Comenzar lab.
Anote las credenciales del lab (el nombre de usuario y la contraseña). Las usarás para acceder a la consola de Google Cloud.
Haga clic en Abrir Google Console.
Haga clic en Usar otra cuenta, copie las credenciales para este lab y péguelas en el mensaje emergente que aparece.
Si usa otras credenciales, se generarán errores o incurrirá en cargos.
Acepta las condiciones y omite la página de recursos de recuperación.
Antes de comenzar a trabajar en Google Cloud, asegúrate de que tu proyecto tenga los permisos correctos en Identity and Access Management (IAM).
En la consola de Google Cloud, en el Menú de navegación (), selecciona IAM y administración > IAM.
Confirma que aparezca la cuenta de servicio predeterminada de Compute {número-del-proyecto}-compute@developer.gserviceaccount.com
, y que tenga asignado el rol Editor
. El prefijo de la cuenta es el número del proyecto, que puedes encontrar en el Menú de navegación > Descripción general de Cloud > Panel.
Editor
, sigue los pasos que se indican a continuación para asignar el rol necesario.729328892908
).{número-del-proyecto}
por el número de tu proyecto.En este lab, ejecutarás todos los comandos en una terminal del notebook.
En el Menú de navegación de la consola de Google Cloud, haz clic en Vertex AI > Workbench.
Habilita la API de Notebooks.
En la página Workbench, haz clic en CREAR NUEVO.
En el cuadro de diálogo Instancia nueva que se muestra, establece la región en
En Entorno, selecciona Apache Beam.
Haz clic en CREAR en la parte inferior del cuadro de diálogo.
A continuación, descargarás un repositorio de código que usarás en este lab.
En el panel izquierdo de tu entorno de notebook, en el navegador de archivos, verás que se agregó el repo training-data-analyst.
Navega al repo clonado /training-data-analyst/quests/dataflow_python/
. Verás una carpeta para cada lab. Cada una de ellas se divide en una subcarpeta lab
con un código que debes completar y una subcarpeta solution
con un ejemplo viable que puedes consultar como referencia si no sabes cómo continuar.
Haz clic en Revisar mi progreso para verificar el objetivo.
En este lab, escribirás una canalización con ramas que, a su vez, escribirá datos en Google Cloud Storage y en BigQuery.
Una forma de escribir una canalización con ramas es aplicar dos transformaciones diferentes a la misma PCollection, lo que da como resultado dos PCollections diferentes:
Si no puedes avanzar en esta sección o en secciones posteriores, consulta la solución que está disponible en la página de training-data-analyst de Google Cloud.
Para completar esta tarea, modifica una canalización existente agregando una rama que escriba en Cloud Storage.
Antes de comenzar a editar el código de la canalización en sí, debes asegurarte de haber instalado las dependencias necesarias.
Abre my_pipeline.py
en tu IDE, que puedes encontrar en training-data-analyst/quests/dataflow_python/2_Branching_Pipelines/labs/
.
Desplázate hacia abajo hasta el método run(), en el que se define el cuerpo de la canalización. Actualmente, se ve de la siguiente manera:
textio.WriteToText
antes de que cada elemento se convierta de json
a dict
.Si no puedes avanzar en esta sección o en secciones posteriores, puedes consultar la solución en la página training-data-analyst de Google Cloud.
Haz clic en Revisar mi progreso para verificar el objetivo.
Por el momento, la canalización nueva no consume menos recursos, puesto que todos los datos se almacenan dos veces. Para comenzar a mejorar el consumo de recursos, debemos reducir la cantidad de datos duplicados.
El bucket de Google Cloud Storage está diseñado para funcionar como almacenamiento de archivos y copias de seguridad, por lo que es importante que todos los datos se guarden allí. Sin embargo, no es necesario que todos los datos se envíen a BigQuery.
pop
para colocar un campo desde una función Python que admita llamadas:beam.Map
para descartar el campo user_agent
, que nuestros analistas no usarán en BigQuery.Existen muchas formas de filtrar en Apache Beam. Como estamos trabajando con una PCollection de diccionarios de Python, la forma más fácil será usar una función lambda (anónima) como nuestro filtro, una función que muestra un valor booleano, con beam.Filter
. Por ejemplo:
beam.Filter
a la canalización. Puedes filtrar según los criterios que desees, pero como sugerencia intenta quitar las filas en las que num_bytes
sea mayor o igual que 120.Actualmente, la canalización tiene una serie de parámetros hard-coded, incluida la ruta de acceso a la entrada y la ubicación de la tabla en BigQuery. Sin embargo, la canalización sería más útil si pudiera leer cualquier archivo JSON en Cloud Storage. Para incluir esta función, es necesario agregar elementos al conjunto de parámetros de la línea de comandos.
Actualmente, usamos un ArgumentParser
para leer y analizar los argumentos de la línea de comandos. Luego, pasamos estos argumentos al objeto PipelineOptions()
que especificamos cuando creamos nuestra canalización:
Las PipelineOptions se usan para interpretar las opciones que lee ArgumentParser
. Para agregar un argumento de línea de comandos nuevo al analizador, podemos usar la sintaxis:
Para acceder a un parámetro de la línea de comandos en el código, analiza los argumentos y consulta el campo en el diccionario resultante:
Probablemente notaste que la tabla de BigQuery creada en el último lab tenía un esquema con todos los campos REQUIRED
como el siguiente:
Es posible que quieras crear un esquema de Apache Beam con campos NULLABLE
en los que falten datos, tanto para la ejecución de la canalización, como para una tabla de BigQuery resultante.
Podemos actualizar el esquema JSON de BigQuery si agregamos un nuevo mode
de propiedad para el campo que queremos que sea nulo:
lat
y lon
como anulables en el esquema de BigQuery.Haz clic en el nodo que representa tu función Filter
que, en la imagen anterior, se llama FilterFn
. En el panel que aparece en el lado derecho, deberías ver que se agregaron más elementos como entradas que los que se escribieron como salidas.
Ahora, haz clic en el nodo que representa la escritura en Cloud Storage. Dado que se escribieron todos los elementos, esta cantidad debe coincidir con la cantidad de elementos de la entrada de la función de filtro.
Una vez finalizada la canalización, consulta tu tabla para examinar los resultados en BigQuery. Ten en cuenta que la cantidad de registros en la tabla debe coincidir con la cantidad de elementos que generó la función de filtro.
Haz clic en Revisar mi progreso para verificar el objetivo.
Cuando haya completado el lab, haga clic en Finalizar lab. Google Cloud Skills Boost quitará los recursos que usó y limpiará la cuenta.
Tendrá la oportunidad de calificar su experiencia en el lab. Seleccione la cantidad de estrellas que corresponda, ingrese un comentario y haga clic en Enviar.
La cantidad de estrellas indica lo siguiente:
Puede cerrar el cuadro de diálogo si no desea proporcionar comentarios.
Para enviar comentarios, sugerencias o correcciones, use la pestaña Asistencia.
Copyright 2020 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.
Este contenido no está disponible en este momento
Te enviaremos una notificación por correo electrónico cuando esté disponible
¡Genial!
Nos comunicaremos contigo por correo electrónico si está disponible
One lab at a time
Confirm to end all existing labs and start this one