GSP207

Descripción general

El SDK de Apache Beam es un modelo de programación de código abierto para canalizaciones de datos. En Google Cloud, puedes definir una canalización con un programa de Apache Beam y, luego, usar Dataflow para ejecutarla.

En este lab, configurarás tu entorno de desarrollo de Python para Dataflow (con el SDK de Apache Beam para Python) y ejecutarás una canalización de ejemplo de Dataflow.

Actividades

En este lab, aprenderás a hacer lo siguiente:

• Crear un bucket de Cloud Storage para almacenar los resultados de una canalización de Dataflow
• Usar el SDK de Apache Beam para Python
• Ejecutar una canalización de Dataflow de forma remota

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs son cronometrados y no se pueden pausar. El cronómetro, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar (se recomienda el navegador Chrome)

Nota: Usa una ventana de navegador privada o de Incógnito para ejecutar este lab. Así evitarás cualquier conflicto entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab: Recuerda que, una vez que comienzas un lab, no puedes pausarlo.

Nota: Si ya tienes un proyecto o una cuenta personal de Google Cloud, no los uses en este lab para evitar cargos adicionales en tu cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haga clic en el botón Comenzar lab. Si debe pagar por el lab, se abrirá una ventana emergente para que seleccione su forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón Abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debe usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordene las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia Cuenta de Google podría generar cargos adicionales.

7. Haga clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para ver un menú con una lista de productos y servicios de Google Cloud, haz clic en el menú de navegación que se encuentra en la parte superior izquierda.

Activa Cloud Shell

Cloud Shell es una máquina virtual que cuenta con herramientas para desarrolladores. Ofrece un directorio principal persistente de 5 GB y se ejecuta en Google Cloud. Cloud Shell proporciona acceso de línea de comandos a tus recursos de Google Cloud.

1. Haz clic en Activar Cloud Shell en la parte superior de la consola de Google Cloud.

Cuando te conectes, habrás completado la autenticación, y el proyecto estará configurado con tu PROJECT_ID. El resultado contiene una línea que declara el PROJECT_ID para esta sesión:

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud es la herramienta de línea de comandos de Google Cloud. Viene preinstalada en Cloud Shell y es compatible con la función de autocompletado con tabulador.

2. Puedes solicitar el nombre de la cuenta activa con este comando (opcional):

gcloud auth list

3. Haz clic en Autorizar.

4. Ahora, el resultado debería verse de la siguiente manera:

Resultado:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. Puedes solicitar el ID del proyecto con este comando (opcional):

gcloud config list project

Resultado:

[core] project = <project_ID>

Resultado de ejemplo:

[core] project = qwiklabs-gcp-44776a13dea667a6 Nota: Para obtener toda la documentación de gcloud, consulta la guía con la descripción general de gcloud CLI en Google Cloud.

Configura la región

• En Cloud Shell, ejecuta el siguiente comando para establecer la región del proyecto en este lab:

gcloud config set compute/region {{{project_0.default_region | "REGION"}}}

Asegúrate de que la API de Dataflow esté habilitada de forma correcta

Para garantizar el acceso a la API necesaria, reinicia la conexión a la API de Dataflow.

1. En la consola de Cloud, escribe “API de Dataflow” en la barra de búsqueda superior. Haz clic en el resultado de API de Dataflow.

2. Haz clic en Administrar.

3. Haz clic en Inhabilitar API.

Si se te solicita confirmar, haz clic en Inhabilitar.

4. Haz clic en Habilitar.

Cuando se haya habilitado de nuevo la API, se mostrará en la página la opción para inhabilitarla.

Tarea 1: Crea un bucket de Cloud Storage

Cuando ejecutas una canalización con Dataflow, los resultados se almacenan en un bucket de Cloud Storage. En esta tarea, crearás un bucket de Cloud Storage para los resultados de la canalización que ejecutarás en una tarea posterior.

1. En el menú de navegación (), haz clic en Cloud Storage > Buckets.
2. Haz clic en Crear bucket.
3. En el diálogo Crear bucket, especifica los siguientes atributos:

• Nombre: Para que tengas un nombre de bucket único, usa -bucket. Este nombre no incluye información sensible, ya que el espacio de nombres del bucket es global y tiene visibilidad pública.
• Tipo de ubicación: Multirregional
• Ubicación: us
• Una ubicación donde se almacenarán los datos del bucket

4. Haz clic en Crear.

5. Si aparece el mensaje Se impedirá el acceso público, haz clic en Confirmar.

Prueba la tarea completada

Haz clic en Revisar mi progreso para verificar la tarea realizada. Si la completaste correctamente, se te otorgará una puntuación de evaluación.

Crear un bucket de Cloud Storage.

Tarea 2: Usa el SDK de Apache Beam para Python

1. Para asegurarte de utilizar una versión de Python compatible, primero ejecuta la imagen de Docker de Python3.9:

docker run -it -e DEVSHELL_PROJECT_ID=$DEVSHELL_PROJECT_ID python:3.9 /bin/bash

Con este comando, se obtiene un contenedor de Docker con la versión estable más reciente de Python 3.9 y, luego, se abre un shell de comandos para que ejecutes los siguientes comandos en el contenedor.

2. Cuando se esté ejecutando el contenedor, utiliza el siguiente comando desde un entorno virtual para instalar la versión más reciente del SDK de Apache Beam para Python:

pip install 'apache-beam[gcp]'==2.42.0

Verás que se devuelven algunas advertencias relacionadas con las dependencias. Puedes omitirlas en este lab.

3. Ejecuta el ejemplo de wordcount.py de manera local con el siguiente comando:

python -m apache_beam.examples.wordcount --output OUTPUT_FILE

Es posible que veas un mensaje similar al siguiente:

INFO:root:Missing pipeline option (runner). Executing pipeline using the default runner: DirectRunner. INFO:oauth2client.client:Attempting refresh to obtain initial access_token

Puedes ignorarlo.

4. Ahora puedes ver una lista de los archivos que se encuentran en tu entorno de nube local para obtener el nombre del archivo OUTPUT_FILE:

ls

5. Copia el nombre de los archivos OUTPUT_FILE y cat:

cat <file name>

Tus resultados muestran cada palabra en el archivo y la cantidad de veces que aparecen.

Tarea 3: Ejecuta una canalización de ejemplo de Dataflow de forma remota

1. Establece la variable de entorno BUCKET en el bucket creado anteriormente:

BUCKET=gs://<bucket name provided earlier>

2. Ahora ejecutarás el ejemplo de wordcount.py de manera remota:

python -m apache_beam.examples.wordcount --project $DEVSHELL_PROJECT_ID \ --runner DataflowRunner \ --staging_location $BUCKET/staging \ --temp_location $BUCKET/temp \ --output $BUCKET/results/output \ --region {{{project_0.default_region | "filled in at lab start"}}}

Espera hasta que veas el siguiente mensaje en tu resultado:

JOB_MESSAGE_DETAILED: Workers have started successfully.

Luego, continúa con el lab.

Tarea 4: Comprueba que tu trabajo de Dataflow se ejecutó correctamente

1. Abre el Menú de navegación y haz clic en Dataflow de la lista de servicios:

Primero, deberías ver el trabajo wordcount con el estado En ejecución.

2. Haz clic en el nombre para ver el proceso. Cuando todas las casillas estén marcadas, puedes seguir consultando los registros en Cloud Shell.

El proceso finaliza cuando el estado es Correcto.

Prueba la tarea completada

Haz clic en Revisar mi progreso para verificar la tarea realizada. Si la completó correctamente, se te otorgará una puntuación de evaluación.

Ejecuta una canalización de ejemplo de manera remota.

3. Haz clic en el menú de navegación > Cloud Storage en la consola de Cloud.

4. Haz clic en el nombre de tu bucket. En él, deberías ver los directorios results y staging.

5. Haz clic en la carpeta results para ver los archivos de salida que creó tu trabajo:

6. Haz clic en un archivo para consultar los recuentos de palabras.

Tarea 5: Pon a prueba tus conocimientos

Aquí tienes una pregunta de opción múltiple para reforzar tus conocimientos sobre los conceptos de este lab. Intenta responderla correctamente.

¡Felicitaciones!

Aprendiste a configurar tu entorno de desarrollo de Python para Dataflow (con el SDK de Apache Beam para Python) y ejecutaste una canalización de ejemplo de Dataflow.

Próximos pasos y más información

Este lab forma parte de una serie llamada Qwik Starts. Estos labs están diseñados para ofrecerte una visión general de las numerosas funciones disponibles de Google Cloud. Busca “Qwik Starts” en el catálogo de Google Cloud Skills Boost para elegir el próximo lab que desees completar.

Para obtener una copia del libro en el cual está basado este lab, visita Data Science on the Google Cloud Platform: O'Reilly Media, Inc.

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 4 de febrero de 2024

Prueba más reciente del lab: 4 de mayo de 2023

Copyright 2024 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.