GSP104

Descripción general

Dataproc es un servicio de nube rápido, fácil de usar y completamente administrado para ejecutar clústeres de Apache Spark y Apache Hadoop de forma más sencilla y rentable. Las operaciones que solían tardar horas o días ahora tardan segundos o minutos. Crea clústeres de Dataproc con rapidez y cambia el tamaño en cualquier momento. Así, la posibilidad de que las canalizaciones de datos superen la capacidad de los clústeres ya no será una preocupación.

En este lab, aprenderás a usar la línea de comandos para crear un clúster de Dataproc, ejecutar un trabajo simple de Apache Spark en el clúster y modificar la cantidad de trabajadores en él.

Actividades

En este lab, aprenderás a realizar las siguientes tareas:

• Crear un clúster de Dataproc con la línea de comandos
• Ejecutar un trabajo simple de Apache Spark
• Modificar la cantidad de trabajadores en el clúster

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs son cronometrados y no se pueden pausar. El cronómetro, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar (se recomienda el navegador Chrome)

Nota: Usa una ventana de navegador privada o de Incógnito para ejecutar este lab. Así evitarás cualquier conflicto entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab: Recuerda que, una vez que comienzas un lab, no puedes pausarlo.

Nota: Si ya tienes un proyecto o una cuenta personal de Google Cloud, no los uses en este lab para evitar cargos adicionales en tu cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haga clic en el botón Comenzar lab. Si debe pagar por el lab, se abrirá una ventana emergente para que seleccione su forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón Abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debe usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordene las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia Cuenta de Google podría generar cargos adicionales.

7. Haga clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para ver un menú con una lista de productos y servicios de Google Cloud, haz clic en el menú de navegación que se encuentra en la parte superior izquierda.

Activa Cloud Shell

Cloud Shell es una máquina virtual que cuenta con herramientas para desarrolladores. Ofrece un directorio principal persistente de 5 GB y se ejecuta en Google Cloud. Cloud Shell proporciona acceso de línea de comandos a tus recursos de Google Cloud.

1. Haz clic en Activar Cloud Shell en la parte superior de la consola de Google Cloud.

Cuando te conectes, habrás completado la autenticación, y el proyecto estará configurado con tu PROJECT_ID. El resultado contiene una línea que declara el PROJECT_ID para esta sesión:

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud es la herramienta de línea de comandos de Google Cloud. Viene preinstalada en Cloud Shell y es compatible con la función de autocompletado con tabulador.

2. Puedes solicitar el nombre de la cuenta activa con este comando (opcional):

gcloud auth list

3. Haz clic en Autorizar.

4. Ahora, el resultado debería verse de la siguiente manera:

Resultado:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. Puedes solicitar el ID del proyecto con este comando (opcional):

gcloud config list project

Resultado:

[core] project = <project_ID>

Resultado de ejemplo:

[core] project = qwiklabs-gcp-44776a13dea667a6 Nota: Para obtener toda la documentación de gcloud, consulta la guía con la descripción general de gcloud CLI en Google Cloud.

Tarea 1: Crea un clúster

1. En Cloud Shell, ejecuta el siguiente comando para establecer la región:

gcloud config set dataproc/region {{{project_0.default_region | Region}}}

2. Dataproc crea buckets temporales y de almacenamiento en etapa intermedia que se comparten entre los clústeres de la misma región. Como no especificaremos una cuenta de Dataproc, la herramienta usará la cuenta de servicio habitual de Compute Engine, que no tiene permisos de bucket de almacenamiento de forma predeterminada. Debemos agregarlos.

• Primero, ejecuta los siguientes comandos para obtener PROJECT_ID y PROJECT_NUMBER:

PROJECT_ID=$(gcloud config get-value project) && \ gcloud config set project $PROJECT_ID PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')

• Ahora, ejecuta el siguiente comando para otorgarle el rol Administrador de almacenamiento a la cuenta de servicio predeterminada de Compute Engine:

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.admin

3. Ejecuta el siguiente comando para habilitar el Acceso privado a Google en tu subred:

gcloud compute networks subnets update default --region={{{project_0.default_region | REGION }}} --enable-private-ip-google-access

4. Ejecuta el siguiente comando para crear un clúster llamado example-cluster con VMs e2-standard-4 y la configuración predeterminada de Cloud Dataproc:

gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4

5. Si se te solicita confirmar una zona para el clúster, ingresa Y.

Tu clúster tardará algunos minutos en crearse.

Waiting for cluster creation operation...done. Created [... example-cluster]

Cuando veas el mensaje que diga “Created”, podrás avanzar.

Prueba la tarea completada

Haz clic en Revisar mi progreso para verificar la tarea realizada. Si creaste correctamente un clúster de Dataproc, verás una puntuación de evaluación.

Crear un clúster de Dataproc

Tarea 2: Envía un trabajo

• Ejecuta este comando para enviar un trabajo de Spark de muestra que calcule un valor aproximado de pi:

gcloud dataproc jobs submit spark --cluster example-cluster \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

El comando especifica lo siguiente:

• La indicación de que se ejecute un trabajo de Spark en el clúster example-cluster
• La class que contiene el método principal para la aplicación que calcula el valor de pi en el trabajo
• La ubicación del archivo JAR que contiene el código de tu trabajo
• Los parámetros que deseas pasar al trabajo; en este caso, la cantidad de tareas, que es 1000

Nota: Los parámetros que se pasan al trabajo deben ir precedidos de un guión doble (--). Consulta la documentación de gcloud para obtener más información.

La ejecución del trabajo y el resultado final se muestran en la ventana de terminal:

Waiting for job output... ... Pi is roughly 3.14118528 ... state: FINISHED

Prueba la tarea completada

Haz clic en Revisar mi progreso para verificar la tarea realizada. Si enviaste correctamente un trabajo, verás una puntuación de evaluación.

Enviar un trabajo

Tarea 3: Actualiza un clúster

1. Ejecuta el siguiente comando para cambiar la cantidad de trabajadores del clúster a cuatro:

gcloud dataproc clusters update example-cluster --num-workers 4

Los detalles actualizados de tu clúster se muestran en el resultado del comando:

Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67]. Waiting for cluster update operation...done.

2. Puedes utilizar el mismo comando para reducir la cantidad de nodos trabajadores:

gcloud dataproc clusters update example-cluster --num-workers 2

Ya puedes crear un clúster de Dataproc y ajustar la cantidad de trabajadores desde la línea de comandos de gcloud en Google Cloud.

Tarea 4: Pon a prueba tus conocimientos

A continuación, se presentan algunas preguntas de opción múltiple para reforzar tus conocimientos de los conceptos de este lab. Trata de responderlas lo mejor posible.

¡Felicitaciones!

Aprendiste a usar la línea de comandos para crear y modificar un clúster de Dataproc y enviar trabajos.

Próximos pasos y más información

Este lab también forma parte de una serie de labs denominada Qwik Starts. Estos labs están diseñados para ofrecerte una visión general de las numerosas funciones disponibles en Google Cloud. Busca "Qwik Starts" en el catálogo de labs para elegir el siguiente lab que quieras completar.

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 29 de agosto de 2024

Prueba más reciente del lab: 29 de agosto de 2024

Copyright 2024 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.