GSP192

Descripción general

En este lab, aprenderás a crear una canalización de transmisión con una de las plantillas de Dataflow de Google. En especial, usarás la plantilla Pub/Sub to BigQuery, que lee mensajes escritos en JSON de un tema de Pub/Sub y los envía a una tabla de BigQuery. Puedes encontrar la documentación para esta plantilla en la guía Comienza con las plantillas proporcionadas por Google.

También tendrás la opción de usar la línea de comandos de Cloud Shell o la consola de Cloud para crear el conjunto de datos y la tabla de BigQuery. Elige un método para usar, luego continúa con ese método el resto del lab. Si quieres probar ambos métodos, realiza este lab por segunda vez.

Actividades

• Crear un conjunto de datos y una tabla de BigQuery
• Crear un bucket de Cloud Storage
• Crear una canalización de transmisión con la plantilla de Dataflow Pub/Sub to BigQuery

Configuración

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs son cronometrados y no se pueden pausar. El cronómetro, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar (se recomienda el navegador Chrome)

Nota: Usa una ventana de navegador privada o de Incógnito para ejecutar este lab. Así evitarás cualquier conflicto entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab: Recuerda que, una vez que comienzas un lab, no puedes pausarlo.

Nota: Si ya tienes un proyecto o una cuenta personal de Google Cloud, no los uses en este lab para evitar cargos adicionales en tu cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haga clic en el botón Comenzar lab. Si debe pagar por el lab, se abrirá una ventana emergente para que seleccione su forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón Abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debe usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordene las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia Cuenta de Google podría generar cargos adicionales.

7. Haga clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para ver un menú con una lista de productos y servicios de Google Cloud, haz clic en el menú de navegación que se encuentra en la parte superior izquierda.

Activa Cloud Shell

Cloud Shell es una máquina virtual que cuenta con herramientas para desarrolladores. Ofrece un directorio principal persistente de 5 GB y se ejecuta en Google Cloud. Cloud Shell proporciona acceso de línea de comandos a tus recursos de Google Cloud.

1. Haz clic en Activar Cloud Shell en la parte superior de la consola de Google Cloud.

Cuando te conectes, habrás completado la autenticación, y el proyecto estará configurado con tu PROJECT_ID. El resultado contiene una línea que declara el PROJECT_ID para esta sesión:

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud es la herramienta de línea de comandos de Google Cloud. Viene preinstalada en Cloud Shell y es compatible con la función de autocompletado con tabulador.

2. Puedes solicitar el nombre de la cuenta activa con este comando (opcional):

gcloud auth list

3. Haz clic en Autorizar.

4. Ahora, el resultado debería verse de la siguiente manera:

Resultado:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. Puedes solicitar el ID del proyecto con este comando (opcional):

gcloud config list project

Resultado:

[core] project = <project_ID>

Resultado de ejemplo:

[core] project = qwiklabs-gcp-44776a13dea667a6 Nota: Para obtener toda la documentación de gcloud, consulta la guía con la descripción general de gcloud CLI en Google Cloud.

Tarea 1. Asegúrate de que la API de Dataflow se haya vuelto a habilitar de forma correcta

Para garantizar el acceso a la API necesaria, reinicia la conexión a la API de Dataflow.

1. En la consola de Cloud, escribe “API de Dataflow” en la barra de búsqueda superior. Haz clic en el resultado de API de Dataflow.

2. Haz clic en Administrar.

3. Haz clic en Inhabilitar API.

Si se te solicita confirmar, haz clic en Inhabilitar.

4. Haz clic en Habilitar.

Cuando se haya habilitado de nuevo la API, se mostrará en la página la opción para inhabilitarla.

Prueba la tarea completada

Haz clic en Revisar mi progreso para verificar la tarea realizada.

Inhabilitar y volver a habilitar la API de Dataflow

Tarea 2. Crea un conjunto de datos de BigQuery, una tabla de BigQuery y un bucket de Cloud Storage con Cloud Shell

Primero, crearemos un conjunto de datos y una tabla de BigQuery.

Nota: En esta tarea, se usa la herramienta de línea de comandos bq. Pasa a la Tarea 3 si quieres completar estos pasos con la consola de Cloud.

1. Ejecuta el comando siguiente para crear un conjunto de datos llamado taxirides:

bq mk taxirides

El resultado debería ser similar a este:

Dataset '' successfully created

Prueba la tarea completada

Haz clic en Revisar mi progreso para verificar la tarea realizada. Si creaste un conjunto de datos de BigQuery con éxito, verás una puntuación de evaluación.

Crear un conjunto de datos de BigQuery (nombre: taxirides).

Ahora que creaste el conjunto de datos, lo usarás en el paso siguiente para crear una instancia de una tabla de BigQuery.

2. Para ello, ejecuta el comando siguiente:

bq mk \ --time_partitioning_field timestamp \ --schema ride_id:string,point_idx:integer,latitude:float,longitude:float,\ timestamp:timestamp,meter_reading:float,meter_increment:float,ride_status:string,\ passenger_count:integer -t taxirides.realtime

El resultado debería ser similar a este:

Table 'myprojectid:taxirides.realtime' successfully created

Prueba la tarea completada

Haz clic en Revisar mi progreso para verificar la tarea realizada. Si creaste con éxito una tabla en el conjunto de datos de BigQuery, verás una puntuación de evaluación.

Crear una tabla en el conjunto de datos de BigQuery.

A primera vista, el comando bq mk parece un poco complicado. Sin embargo, con un poco de ayuda de la documentación sobre la línea de comandos de BigQuery, podemos descifrar qué sucede aquí. Por ejemplo, en la documentación se brinda más información sobre el esquema:

• Ya sea la ruta de acceso a un archivo de esquema JSON local o una lista separada por comas de definiciones de columnas con el formato siguiente: [FIELD]:[DATA_TYPE], [FIELD]:[DATA_TYPE].

En este caso, estamos usando la última opción, una lista separada por comas.

Crea un bucket de Cloud Storage con Cloud Shell

Ahora que ya creamos las instancias de la tabla, vamos a crear un bucket.

Usa el ID del proyecto como nombre del bucket para asegurarte de usar un nombre único a nivel global:

• Para ello, ejecuta comandos siguientes:

export BUCKET_NAME={{{project_0.project_id | "Bucket Name"}}} gsutil mb gs://$BUCKET_NAME/

Prueba la tarea completada

Haz clic en Revisar mi progreso para verificar la tarea realizada. Si creaste con éxito un bucket de Cloud Storage, verás una puntuación de evaluación.

Crear un bucket de Cloud Storage.

Una vez que hayas creado el bucket, desplázate hacia abajo hasta la sección Ejecuta la canalización.

Tarea 3. Crea un conjunto de datos de BigQuery, una tabla de BigQuery y un bucket de Cloud Storage con la consola de Google Cloud

Nota: No completes la Tarea 3 si completaste la Tarea 2, que incluye las mismas tareas en la línea de comandos.

1. En el menú de la izquierda, en la sección Macrodatos, haz clic en BigQuery.

2. Luego, haz clic en Listo.

3. Haz clic en los tres puntos junto al nombre de tu proyecto en la sección Explorador y, luego, en Crear conjunto de datos.

4. Ingresa taxirides como el ID de tu conjunto de datos:

5. Selecciona us (varias regiones de Estados Unidos) en Ubicación de los datos.

6. Conserva los demás parámetros de configuración predeterminados y haz clic en CREAR CONJUNTO DE DATOS.

Prueba la tarea completada

Haz clic en Revisar mi progreso para verificar la tarea realizada. Si creaste un conjunto de datos de BigQuery con éxito, verás una puntuación de evaluación.

Crear un conjunto de datos de BigQuery (nombre: taxirides).

7. Ahora deberías ver el conjunto de datos taxirides debajo del ID de tu proyecto en la sección izquierda de la consola.

8. Haz clic en los tres puntos junto al conjunto de datos taxirides y elige Abrir.

9. Luego, elige CREAR TABLA en la sección derecha de la consola.

10. En la entrada Destino > Nombre de la tabla, escribe realtime.

11. En Esquema, activa el control deslizante Editar como texto y, luego, escribe lo siguiente:

ride_id:string,point_idx:integer,latitude:float,longitude:float,timestamp:timestamp, meter_reading:float,meter_increment:float,ride_status:string,passenger_count:integer

La consola debería verse como se muestra a continuación:

12. Ahora haz clic en Crear tabla.

Prueba la tarea completada

Haz clic en Revisar mi progreso para verificar la tarea realizada. Si creaste con éxito una tabla en el conjunto de datos de BigQuery, verás una puntuación de evaluación.

Crear una tabla en el conjunto de datos de BigQuery

Crea un bucket de Cloud Storage con la consola de Cloud

1. Regresa a la consola de Cloud y navega a Cloud Storage > Buckets > Crear bucket.

2. Usa el ID del proyecto como nombre del bucket para asegurarte de usar un nombre único a nivel global:

3. Deja el resto de los parámetros de configuración como predeterminados y haz clic en Crear.

Prueba la tarea completada

Haz clic en Revisar mi progreso para verificar la tarea realizada. Si creaste con éxito un bucket de Cloud Storage, verás una puntuación de evaluación.

Crear un bucket de Cloud Storage

Tarea 4. Ejecuta la canalización

Implementa la plantilla de Dataflow:

gcloud dataflow jobs run iotflow \ --gcs-location gs://dataflow-templates-{{{project_0.default_region | "Region"}}}/latest/PubSub_to_BigQuery \ --region {{{project_0.default_region | "Region"}}} \ --worker-machine-type e2-medium \ --staging-location gs://{{{project_0.project_id | "Bucket Name"}}}/temp \ --parameters inputTopic=projects/pubsub-public-data/topics/taxirides-realtime,outputTableSpec={{{project_0.project_id | "Table Name"}}}:taxirides.realtime

En la consola de Google Cloud, en el menú de navegación, haz clic en Dataflow > Trabajos para ver tu trabajo de Dataflow.

Consulta el documento para obtener más información.

Nota: Puede que debas esperar un minuto hasta que se complete el monitoreo de actividades.

Prueba la tarea completada

Haz clic en Revisar mi progreso para verificar la tarea realizada. Si ejecutaste con éxito la canalización de Dataflow, verás una puntuación de evaluación.

Ejecutar la canalización

Verás cómo se compilan tus recursos y se preparan para su uso.

Para ver los datos escritos en BigQuery, haz clic en BigQuery en Menú de navegación.

• Cuando se abra la IU de BigQuery, verás que se agregó el conjunto de datos taxirides en el nombre de tu proyecto, además de la tabla realtime debajo.

Nota: Puede que debas esperar unos minutos hasta que se propaguen los datos en la tabla de BigQuery.

Tarea 5. Envía una consulta

Puedes enviar consultas con SQL estándar.

1. En el editor de BigQuery, agrega lo siguiente para consultar los datos de tu proyecto:

SELECT * FROM `{{{project_0.project_id | "Bucket Name"}}}.taxirides.realtime` LIMIT 1000

2. Ahora, haz clic en EJECUTAR.

Si surge algún problema o error, ejecuta de nuevo la consulta (la canalización puede tardar un minuto en iniciarse).

3. Una vez ejecutada con éxito la consulta, verás el resultado en el panel Resultados de la consulta, como se muestra a continuación:

¡Muy bien! Extrajiste 1,000 viajes en taxi de un tema Pub/Sub y los enviaste a una tabla de BigQuery. Como viste de primera mano, las plantillas son una forma práctica y sencilla de ejecutar trabajos de Dataflow. En la documentación de Dataflow, asegúrate de consultar otras plantillas de Google en la guía Comienza con las plantillas proporcionadas por Google.

Tarea 6. Pon a prueba tus conocimientos

A continuación, se presentan algunas preguntas de opción múltiple para reforzar tus conocimientos de los conceptos de este lab. Trata de responderlas lo mejor posible.

¡Felicitaciones!

Creaste una canalización de transmisión con la plantilla de Dataflow Pub/Sub to BigQuery, que lee mensajes escritos en JSON de un tema de Pub/Sub y los envía a una tabla de BigQuery.

Próximos pasos y más información

Este lab forma parte de una serie llamada Qwik Starts. Estos labs están diseñados para ofrecerte una visión general de las numerosas funciones disponibles de Google Cloud. Busca “Qwik Starts” en el catálogo de Google Cloud Skills Boost para elegir el próximo lab que desees completar.

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 4 de febrero de 2024

Prueba más reciente del lab: 10 de noviembre de 2023

Copyright 2024 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.