GSP1158

Descripción general

Dataplex es un tejido de datos inteligente que permite a las organizaciones descubrir, administrar, supervisar y controlar de forma centralizada sus datos en todos los data lakes, almacenes de datos y data marts para potenciar la analítica a gran escala.

Una función valiosa de Dataplex es la capacidad para definir y ejecutar verificaciones de calidad de sus recursos, como tablas de BigQuery y archivos de Cloud Storage. Con las tareas de calidad de los datos de Dataplex, puedes integrar estas verificaciones en los flujos de trabajo diarios a través de la validación de los datos que forman parte de una canalización de producción de datos, la supervisión habitual de la calidad de los datos en relación con un conjunto de criterios y la elaboración de informes de calidad de los datos para cumplir con requisitos reglamentarios.

En este lab, aprenderás a evaluar la calidad de los datos con Dataplex creando un archivo personalizado de especificación de calidad de los datos y usándolo para definir una ejecución un trabajo relacionado en datos de BigQuery.

Actividades

• Crear un lake, una zona y un recurso de Dataplex
• Consultar una tabla de BigQuery para revisar la calidad de los datos
• Crear y subir un archivo de especificación de calidad de los datos
• Definir y ejecutar un trabajo de calidad de los datos
• Revisar los resultados de un trabajo de calidad de los datos

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs son cronometrados y no se pueden pausar. El cronómetro, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar (se recomienda el navegador Chrome)

Nota: Usa una ventana de navegador privada o de Incógnito para ejecutar este lab. Así evitarás cualquier conflicto entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab: Recuerda que, una vez que comienzas un lab, no puedes pausarlo.

Nota: Si ya tienes un proyecto o una cuenta personal de Google Cloud, no los uses en este lab para evitar cargos adicionales en tu cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haga clic en el botón Comenzar lab. Si debe pagar por el lab, se abrirá una ventana emergente para que seleccione su forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón Abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debe usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordene las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia Cuenta de Google podría generar cargos adicionales.

7. Haga clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para ver un menú con una lista de productos y servicios de Google Cloud, haz clic en el menú de navegación que se encuentra en la parte superior izquierda.

Activa Cloud Shell

Cloud Shell es una máquina virtual que cuenta con herramientas para desarrolladores. Ofrece un directorio principal persistente de 5 GB y se ejecuta en Google Cloud. Cloud Shell proporciona acceso de línea de comandos a tus recursos de Google Cloud.

1. Haz clic en Activar Cloud Shell en la parte superior de la consola de Google Cloud.

Cuando te conectes, habrás completado la autenticación, y el proyecto estará configurado con tu PROJECT_ID. El resultado contiene una línea que declara el PROJECT_ID para esta sesión:

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud es la herramienta de línea de comandos de Google Cloud. Viene preinstalada en Cloud Shell y es compatible con la función de autocompletado con tabulador.

2. Puedes solicitar el nombre de la cuenta activa con este comando (opcional):

gcloud auth list

3. Haz clic en Autorizar.

4. Ahora, el resultado debería verse de la siguiente manera:

Resultado:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. Puedes solicitar el ID del proyecto con este comando (opcional):

gcloud config list project

Resultado:

[core] project = <project_ID>

Resultado de ejemplo:

[core] project = qwiklabs-gcp-44776a13dea667a6 Nota: Para obtener toda la documentación de gcloud, consulta la guía con la descripción general de gcloud CLI en Google Cloud.

Habilita la API de Dataproc

1. En la consola de Google Cloud, ingresa API de Cloud Dataproc en la barra de búsqueda superior.

2. Haz clic en el resultado de la API de Cloud Dataproc en Marketplace.

3. Haz clic en Habilitar.

Tarea 1: Crear un lake, una zona y un recurso en Dataplex

Para definir y ejecutar tareas de calidad de los datos, primero debes crear algunos recursos de Dataplex.

En esta tarea, crearás un nuevo lake de Dataplex para almacenar información de clientes de comercio electrónico, agregarás una zona sin procesar al lake y, luego, conectarás un conjunto de datos de BigQuery creado previamente como un recurso nuevo en la zona.

Crea un lake

1. En la consola de Google Cloud, en el menú de navegación (), navega a Analytics > Dataplex.

Si aparece el mensaje Te damos la bienvenida a la nueva experiencia de Dataplex, haz clic en Cerrar.

2. En Administrar lakes, haz clic en Administrar.

3. Haz clic en Crear lake.

4. Ingresa la siguiente información requerida para crear un nuevo lake:

Propiedad	Valor
Nombre visible	Ecommerce Lake
ID	Conserva el valor predeterminado.
Región

Conserva los otros valores predeterminados.

5. Haz clic en Crear.

El lake puede tardar hasta 3 minutos en crearse.

Agrega una zona al lake

1. En la pestaña Administrar, haz clic en el nombre de tu lake.

2. Haz clic en Agregar zona.

3. Ingresa la siguiente información requerida para crear una nueva zona:

Propiedad	Valor
Nombre visible	Customer Contact Raw Zone
ID	Conserva el valor predeterminado.
Tipo	Zona sin procesar
Ubicaciones de los datos	Regional

Conserva los otros valores predeterminados.

Por ejemplo, la opción para Habilitar la detección de metadatos en Discovery settings está habilitada de forma predeterminada y les permite a los usuarios autorizados detectar los datos de la zona.

4. Haz clic en Crear.

La zona puede tardar hasta 2 minutos en crearse.

Puedes realizar la tarea siguiente una vez que el estado de la zona sea Activa.

Conecta un recurso a una zona

1. En la pestaña Zonas, haz clic en el nombre de tu zona.

2. En la pestaña Recursos, haz clic en Agregar recursos.

3. Haz clic en Agregar elemento.

4. Ingresa la siguiente información requerida para conectar un recurso nuevo:

Propiedad	Valor
Tipo	Conjunto de datos de BigQuery
Nombre visible	Contact Info
ID	Conserva el valor predeterminado.
Conjunto de datos	.customers

Conserva los otros valores predeterminados.

5. Haz clic en Listo.

6. Haz clic en Continuar.

7. En la configuración de Detección, selecciona Heredar para heredar la configuración de Detección del nivel de la zona y, luego, haz clic en Continuar.

8. Haz clic en Enviar.

Haz clic en Revisar mi progreso para verificar el objetivo. Crear un lake, una zona y un recurso en Dataplex

Tarea 2: Consultar una tabla de BigQuery para revisar la calidad de los datos

En la tarea previa, creaste un recurso nuevo de Dataplex a partir de un conjunto de datos de BigQuery llamado customers que se creó previamente para este lab. Este conjunto de datos contiene una tabla llamada contact_info que incluye información de contacto sin procesar de clientes de una empresa de comercio electrónico ficticia.

En esta tarea, consultarás esta tabla para comenzar a identificar algunos problemas potenciales de calidad de los datos que puedes incluir como verificaciones en un trabajo de ese tipo. También identificarás otro conjunto de datos creado previamente que puedes usar para almacenar resultados de los trabajos mencionados en una tarea posterior.

1. En la consola de Google Cloud, en el menú de navegación (), navega a BigQuery > Espacio de trabajo de SQL.

2. En el panel Explorador, expande la flecha que aparece junto al ID de tu proyecto para enumerar el contenido:

Además del conjunto de datos customer_contact_raw_zone que creó Dataplex para administrar esa zona, hay dos conjuntos de datos de BigQuery que se crearon previamente para este lab:

• clientes
• customers_dq_dataset

El conjunto de datos llamado customers contiene una tabla llamada contact_info, que incluye información de contacto de clientes, como ID de cliente, nombre, correo electrónico y mucho más. Esta es la tabla que explorarás y verificarás en busca de problemas de calidad de los datos durante este lab.

El conjunto de datos llamado customers_dq_dataset no contiene ninguna tabla. Cuando defines un trabajo de calidad de los datos en una tarea posterior, usas este conjunto de datos como el destino de una tabla nueva que contiene resultados de trabajos de este tipo.

3. En el Editor de SQL, haz clic en Redactar una nueva consulta. Pega la siguiente consulta y, luego, haz clic en Ejecutar:

SELECT * FROM `{{{project_0.project_id}}}.customers.contact_info` ORDER BY id LIMIT 50

Esta consulta selecciona 50 registros de la tabla original y los ordena según el ID de cliente en los resultados.

4. Desplázate por los resultados en el panel Resultados.

Ten en cuenta que a algunos registros les faltan los IDs de cliente o tienen correos electrónicos incorrectos, lo que puede dificultar la administración de pedidos de clientes.

Haz clic en Revisar mi progreso para verificar el objetivo. Consultar una tabla de BigQuery para revisar la calidad de los datos

Tarea 3: Crear y subir un archivo de especificación de calidad de los datos

Los requisitos de verificación de calidad de los datos de Dataplex se definen usando archivos de especificación YAML de CloudDQ. Una vez creado, el archivo de especificación YAML se sube a un bucket de Cloud Storage al que puede acceder un trabajo de calidad de los datos.

El archivo YAML tiene las siguientes cuatro secciones clave:

• una lista de reglas para ejecutar (ya sean reglas predefinidas o personalizadas)
• filtros de fila para seleccionar un subconjunto de datos para la validación
• vinculaciones de reglas para aplicar las reglas a las tablas
• dimensiones de reglas opcionales para especificar los tipos de reglas que puede contener el archivo YAML

En esta tarea, definirás un nuevo archivo de especificación YAML para verificaciones de calidad de los datos en las que se identifiquen IDs y correos electrónicos nulos de clientes en la tabla de BigQuery especificada. Después de que definas el archivo, lo subirás a un bucket de Cloud Storage creado previamente para usarlo en una tarea posterior para ejecutar el trabajo de calidad de los datos.

Crea el archivo de especificación de calidad de los datos

1. En Cloud Shell, ejecuta el siguiente comando para crear un archivo vacío nuevo para la especificación de calidad de los datos:

nano dq-customer-raw-data.yaml

2. Pega el siguiente código:

metadata_registry_defaults: dataplex: projects: {{{project_0.project_id | Project ID}}} locations: {{{project_0.default_region | Region}}} lakes: ecommerce-lake zones: customer-contact-raw-zone row_filters: NONE: filter_sql_expr: |- True INTERNATIONAL_ITEMS: filter_sql_expr: |- REGEXP_CONTAINS(item_id, 'INTNL') rule_dimensions: - consistency - correctness - duplication - completeness - conformance - integrity - timeliness - accuracy rules: NOT_NULL: rule_type: NOT_NULL dimension: completeness VALID_EMAIL: rule_type: REGEX dimension: conformance params: pattern: |- ^[^@]+[@]{1}[^@]+$ rule_bindings: VALID_CUSTOMER: entity_uri: bigquery://projects/{{{project_0.project_id | Project ID}}}/datasets/customers/tables/contact_info column_id: id row_filter_id: NONE rule_ids: - NOT_NULL VALID_EMAIL_ID: entity_uri: bigquery://projects/{{{project_0.project_id | Project ID}}}/datasets/customers/tables/contact_info column_id: email row_filter_id: NONE rule_ids: - VALID_EMAIL

3. Revisa el código para identificar las dos reglas principales de calidad de los datos que se definen en este archivo.

El archivo dq-customer-raw-data.yaml comienza con los parámetros clave para identificar los recursos de Dataplex, incluidos el ID del proyecto, la región y los nombres del lake y la zona de Dataplex.

A continuación, este especifica las dimensiones de regla permitidas y dos reglas principales:

• La regla para los valores NOT_NULL se refiere a la dimensión de integridad como los valores nulos.
• La regla para los valores VALID_EMAIL se refiere a la dimensión de cumplimiento como los valores válidos.

Por último, las reglas se vinculan a entidades (tablas) y columnas usando las vinculaciones de regla para la validación de la calidad de los datos:

• La primera vinculación de regla llamada VALID_CUSTOMER vincula la regla NOT_NULL con la columna id de la tabla contact_info, que se validará si la columna ID tiene valores NULL.
• La segunda vinculación de regla llamada VALID_EMAIL_ID vincula la regla VALID_EMAIL con la columna email de la tabla contact_info, que verificará si hay correos electrónicos válidos.

4. Ingresa Ctrl+X y, luego, Y para guardar y cerrar el archivo.

Sube el archivo a Cloud Storage

• En Cloud Shell, ejecuta el siguiente comando para subir el archivo a un bucket de Cloud Storage que se creó para este lab:

gsutil cp dq-customer-raw-data.yaml gs://{{{project_0.project_id | Project ID}}}-bucket

Haz clic en Revisar mi progreso para verificar el objetivo. Crear y subir un archivo de especificación de calidad de los datos

Tarea 4: Definir y ejecutar un trabajo de calidad de los datos en Dataplex

El proceso de calidad de los datos usa un archivo de especificación YAML para ejecutar un trabajo de este tipo y genera métricas relacionadas que se escriben en un conjunto de datos de BigQuery.

En esta tarea, definirás y ejecutarás un trabajo de calidad de los datos usando el archivo de especificación YAML correspondiente que se subió a Cloud Storage en la tarea previa. Cuando defines el trabajo, también especificas un conjunto de datos de BigQuery creado previamente llamado customer_dq_dataset para almacenar los resultados de calidad de los datos.

1. En la consola de Google Cloud, en el menú de navegación (), navega a Analytics > Dataplex.

2. En Administrar lakes, haz clic en Procesar.

3. Haz clic en Crear tarea.

4. En Verificar la calidad de los datos, haz clic en Crear tarea.

5. Ingresa la siguiente información requerida para crear un trabajo nuevo de calidad de los datos:

Propiedad	Valor
Lake de Dataplex	Lake de comercio electrónico
Nombre visible	Customer Data Quality Job
ID	Conserva el valor predeterminado.
Selecciona el archivo de GCS	-bucket/dq-customer-raw-data.yaml
Selecciona un conjunto de datos de BigQuery	.customers_dq_dataset
Tabla de BigQuery	dq_results
Cuenta de servicio de usuario	Cuenta de servicio predeterminada de Compute Engine

Conserva los otros valores predeterminados.

Ten en cuenta que la cuenta de servicio predeterminada de Compute Engine se configuró previamente para que este lab incluyera los roles y permisos de IAM adecuados. Para obtener más información, revisa la documentación de Dataplex titulada Crea una cuenta de servicio.

6. Haz clic en Continuar.

7. En Iniciar, selecciona Inmediatamente.

8. Haz clic en Crear.

El trabajo puede tardar varios minutos en ejecutarse. Es posible que debas actualizar la página para ver si el trabajo se ejecutó correctamente.

Haz clic en Revisar mi progreso para verificar el objetivo. Definir y ejecutar un trabajo de calidad de los datos en Dataplex

Tarea 5. Revisar los resultados de la calidad de los datos en BigQuery

En esta tarea, revisarás las tablas en el conjunto de datos customers_dq_dataset para identificar registros a los que les faltan valores de ID de cliente o tienen valores no válidos de correos electrónicos.

1. En la consola de Google Cloud, en el menú de navegación (), navega a BigQuery > Espacio de trabajo de SQL.

2. En el panel Explorador, expande la flecha que aparece junto al ID de tu proyecto para enumerar el contenido:

3. Expande la flecha que está al lado del conjunto de datos customer_dq_dataset.

4. Haz clic en la tabla dq_summary.

5. Haz clic en la pestaña Vista previa para consultar los resultados.

En la tabla dq summary, se proporciona información útil sobre la calidad general de los datos, lo que incluye la cantidad de registros que se identificaron como que no cumplen con las dos reglas del archivo de especificación de calidad de los datos.

6. Desplázate hasta la última columna llamada failed_records_query.

7. Haz clic en la flecha hacia abajo en la primera fila para expandir el texto y ver la consulta completa de los resultados de la regla VALID_EMAIL.

Ten en cuenta que la consulta es bastante larga y termina con ORDER BY _dq_validation_rule_id.

8. Haz clic en Redactar consulta nueva. Copia y pega la consulta en el Editor de SQL y haz clic en Ejecutar.

Los resultados de la consulta proporcionan valores de correo electrónico en la tabla contact_info que no son válidos.

9. Repite los pasos 7 y 8 para la segunda celda que incluye la consulta para los resultados de la regla VALID_CUSTOMER.

Estos resultados identifican que hay 10 registros en la tabla contact_info a los que les faltan los valores de ID.

Haz clic en Revisar mi progreso para verificar el objetivo. Revisar los resultados de la calidad de los datos en la tabla de BigQuery

¡Felicitaciones!

Evaluaste la calidad de los datos con Dataplex creando un archivo de especificación de calidad de los datos personalizado y usándolo para ejecutar un trabajo relacionado en una tabla de BigQuery.

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 4 de julio de 2023

Prueba más reciente del lab: 4 de julio de 2023

Copyright 2025 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.