Data Catalog dejó de estar disponible y se descontinuará el 30 de enero de 2026. Si lo deseas, puedes completar este lab.

Para conocer los pasos para migrar los usuarios, las cargas de trabajo y el contenido de Data Catalog a Dataplex Catalog, consulta Cómo migrar de Data Catalog a Dataplex Catalog (https://cloud.google.com/dataplex/docs/transition-to-dataplex-catalog).

GSP814

Descripción general

Dataplex es un tejido de datos inteligente que permite a las organizaciones descubrir, administrar, supervisar y controlar de forma centralizada sus datos en todos los data lakes, almacenes de datos y data marts para potenciar la analítica a gran escala.

Data Catalog es un servicio de administración de metadatos escalable y completamente administrado dentro de Dataplex. Ofrece una interfaz de búsqueda simple y fácil de usar para descubrir datos, y un sistema de catalogación flexible y potente que permite capturar metadatos técnicos y empresariales. Además, brinda una base sólida de seguridad y cumplimiento gracias a las integraciones en Cloud Data Loss Prevention (parte de Sensitive Data Protection) y Identity and Access Management (IAM).

Usa Data Catalog

Con Data Catalog en Dataplex, puedes buscar los recursos a los que tienes acceso y etiquetar los recursos de datos para admitir el descubrimiento y el control de acceso. Las etiquetas permiten conectar campos de metadatos personalizados a recursos de datos específicos para facilitar la identificación y la recuperación (por ejemplo, etiquetar determinados recursos para indicar que tienen datos protegidos o sensibles). También puedes crear plantillas de etiquetas reutilizables para asignar de manera rápida las mismas etiquetas a diferentes recursos de datos.

Qué aprenderás

En este lab, aprenderás a realizar las siguientes tareas:

• Habilitar la API de Data Catalog
• Configurar los conectores de Dataplex para PostgreSQL y MySQL
• Buscar entradas de PostgreSQL y MySQL en Data Catalog dentro de Dataplex

Requisitos previos

Nota: Antes de comenzar este lab, sal de tu cuenta de Gmail personal o corporativa, o bien ejecútalo en modo Incógnito. De este modo, se evitará la confusión de accesos mientras se ejecuta este lab.

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs cuentan con un temporizador que no se puede pausar. El temporizador, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar. Se recomienda el navegador Chrome.

Nota: Usa una ventana del navegador privada o de incógnito (opción recomendada) para ejecutar el lab. Así evitarás conflictos entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab (recuerda que, una vez que comienzas un lab, no puedes pausarlo).

Nota: Usa solo la cuenta de estudiante para este lab. Si usas otra cuenta de Google Cloud, es posible que se apliquen cargos a esa cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haz clic en el botón Comenzar lab. Si debes pagar por el lab, se abrirá un diálogo para que selecciones la forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón para abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debes usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordena las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia cuenta de Google Cloud para este lab podría generar cargos adicionales.

7. Haz clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para acceder a los productos y servicios de Google Cloud, haz clic en el menú de navegación o escribe el nombre del servicio o producto en el campo Buscar.

Activa Cloud Shell

Cloud Shell es una máquina virtual que cuenta con herramientas para desarrolladores. Ofrece un directorio principal persistente de 5 GB y se ejecuta en Google Cloud. Cloud Shell proporciona acceso de línea de comandos a tus recursos de Google Cloud.

1. Haz clic en Activar Cloud Shell en la parte superior de la consola de Google Cloud.

2. Haz clic para avanzar por las siguientes ventanas:

   • Continúa en la ventana de información de Cloud Shell.
   • Autoriza a Cloud Shell para que use tus credenciales para realizar llamadas a la API de Google Cloud.

Cuando te conectes, habrás completado la autenticación, y el proyecto estará configurado con tu Project_ID, . El resultado contiene una línea que declara el Project_ID para esta sesión:

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud es la herramienta de línea de comandos de Google Cloud. Viene preinstalada en Cloud Shell y es compatible con la función de autocompletado con tabulador.

3. Puedes solicitar el nombre de la cuenta activa con este comando (opcional):

gcloud auth list

4. Haz clic en Autorizar.

Resultado:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. Puedes solicitar el ID del proyecto con este comando (opcional):

gcloud config list project

Resultado:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Nota: Para obtener toda la documentación de gcloud, en Google Cloud, consulta la guía con la descripción general de gcloud CLI.

Tarea 1: Habilita la API de Data Catalog

1. En la consola de Google Cloud, haz clic en el menú de navegación () > APIs y servicios > Biblioteca.

2. En la barra de búsqueda, ingresa Data Catalog y selecciona la API de Google Cloud Data Catalog.

3. Haz clic en Habilitar.

Nota: Si te encuentras con el error "No se pudo realizar la acción" después de intentar habilitar la API de Data Catalog, prueba con los siguientes pasos: haz clic en Cerrar, actualiza la pestaña del navegador y, luego, haz clic en Habilitar de nuevo.

Haz clic en Revisar mi progreso para verificar el objetivo. Habilitar la API de Data Catalog

Tarea 2. PostgreSQL en Dataplex

Crea una variable para el ID del proyecto

• En Cloud Shell, ejecuta el siguiente comando para establecer tu ID del proyecto como una variable de entorno:

export PROJECT_ID=$(gcloud config get-value project)

Crea la base de datos de PostgreSQL

1. Ejecuta el siguiente comando para clonar el repositorio de GitHub:

gsutil cp gs://spls/gsp814/cloudsql-postgresql-tooling.zip . unzip cloudsql-postgresql-tooling.zip

2. Luego, cambia el directorio de trabajo actual al directorio del repo clonado:

cd cloudsql-postgresql-tooling/infrastructure/terraform

3. Ejecuta los siguientes comandos para cambiar la región y la zona de us-central1 y us-central1-a a la región y la zona que tienes asignadas de forma predeterminada:

export REGION={{{project_0.default_region|REGION}}} sed -i "s/us-central1/$REGION/g" variables.tf export ZONE={{{project_0.default_zone|ZONE}}} sed -i "s/$REGION-a/$ZONE/g" variables.tf

4. Ejecuta la secuencia de comandos init-db.sh:

cd ~/cloudsql-postgresql-tooling bash init-db.sh

Se creará tu instancia de PostgreSQL y se propagará con un esquema aleatorio, lo que puede tardar entre 10 y 15 minutos en completarse.

Nota: Si recibes el mensaje Error: Failed to load "tfplan" as a plan file, vuelve a ejecutar la secuencia de comandos init-db.

Algunos segundos después, deberías obtener el siguiente resultado:

CREATE TABLE factory_warehouse69945.home17e97c57 ( house57588 DATE, paragraph64180 SMALLINT, ip_address61569 JSONB, date_time44962 REAL, food19478 JSONB, state8925 VARCHAR(25), cpf75444 REAL, date_time96090 SMALLINT, reason7955 CHAR(5), phone_number96292 INT, size97593 DATE, date_time609 CHAR(5), location70431 DATE ) COMPLETED

Haz clic en Revisar mi progreso para verificar el objetivo. Crear la base de datos de PostgreSQL

Configura la cuenta de servicio

1. Crea una cuenta de servicio:

gcloud iam service-accounts create postgresql2dc-credentials \ --display-name "Service Account for PostgreSQL to Data Catalog connector" \ --project $PROJECT_ID

2. A continuación, crea y descarga la clave de la cuenta de servicio:

gcloud iam service-accounts keys create "postgresql2dc-credentials.json" \ --iam-account "postgresql2dc-credentials@$PROJECT_ID.iam.gserviceaccount.com"

3. Agrega el rol Administrador de Data Catalog a la cuenta de servicio:

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member "serviceAccount:postgresql2dc-credentials@$PROJECT_ID.iam.gserviceaccount.com" \ --quiet \ --project $PROJECT_ID \ --role "roles/datacatalog.admin"

Haz clic en Revisar mi progreso para verificar el objetivo. Crear una cuenta de servicio para PostgreSQL

Ejecuta PostgreSQL en un conector de Dataplex

Puedes compilar el conector de PostgreSQL por tu cuenta desde este repositorio de GitHub.

Para facilitar su uso, en este lab se utiliza una imagen de Docker.

La configuración de Terraform generó las variables necesarias.

1. Cambia de directorio a la ubicación de las secuencias de comandos de Terraform:

cd infrastructure/terraform/

2. Obtén las variables de entorno:

public_ip_address=$(terraform output -raw public_ip_address) username=$(terraform output -raw username) password=$(terraform output -raw password) database=$(terraform output -raw db_name)

3. Vuelve a cambiar al directorio raíz para el código de ejemplo:

cd ~/cloudsql-postgresql-tooling

4. Ejecuta el conector:

docker run --rm --tty -v \ "$PWD":/data mesmacosta/postgresql2datacatalog:stable \ --datacatalog-project-id=$PROJECT_ID \ --datacatalog-location-id=$REGION \ --postgresql-host=$public_ip_address \ --postgresql-user=$username \ --postgresql-pass=$password \ --postgresql-database=$database

Algunos segundos después, deberías obtener el siguiente resultado:

============End postgresql-to-datacatalog============

Haz clic en Revisar mi progreso para verificar el objetivo. Ejecutar PostgreSQL en el conector de Data Catalog

Verifica los resultados de la secuencia de comandos

1. Para navegar a Dataplex en la consola de Google Cloud, haz clic en el menú de navegación () > Ver todos los productos > Analytics > Dataplex.

2. Haz clic en Plantillas de etiquetas.

Deberías ver las siguientes plantillas de etiquetas de postgresql:

3. Haz clic en Grupos de entrada.

Deberías ver el siguiente grupo de entrada de postgresql:

4. Ahora, haz clic en el grupo de entrada postgresql. La consola debería verse de la siguiente manera:

Este es el valor real de un grupo de entrada. Puedes ver todas las entradas que pertenecen a postgresql mediante la IU.

5. Haz clic en una de las entradas que contenga la palabra warehouse. Consulta los detalles y etiquetas de entrada personalizados:

Este es el valor real que agrega el conector. Te permite buscar metadatos en Dataplex.

Realiza una limpieza

1. Para borrar los recursos que creaste, ejecuta el siguiente comando y borra los metadatos de PostgreSQL:

./cleanup-db.sh

2. Ahora, ejecuta el contenedor para realizar la limpieza:

docker run --rm --tty -v \ "$PWD":/data mesmacosta/postgresql-datacatalog-cleaner:stable \ --datacatalog-project-ids=$PROJECT_ID \ --rdbms-type=postgresql \ --table-container-type=schema

3. Por último, borra la base de datos de PostgreSQL:

./delete-db.sh

4. En el menú de Dataplex, en Descubrir, haz clic en la página Buscar.

5. En la barra de búsqueda, ingresa PostgreSQL y haz clic en Buscar.

Ya no verás las plantillas de etiqueta de PostgreSQL en los resultados:

Antes de continuar, asegúrate de obtener el siguiente resultado en Cloud Shell:

Cloud SQL Instance deleted COMPLETED

A continuación, aprenderás a hacer lo mismo con una instancia de MySQL.

Tarea 3. MySQL en Dataplex

Crea la base de datos de MySQL

1. En Cloud Shell, ejecuta el siguiente comando para regresar al directorio principal:

cd

2. Ejecuta el siguiente comando para descargar las secuencias de comandos y, luego, crear y propagar la instancia de MySQL:

gsutil cp gs://spls/gsp814/cloudsql-mysql-tooling.zip . unzip cloudsql-mysql-tooling.zip

3. Ahora, cambia el directorio de trabajo actual al directorio del repositorio clonado:

cd cloudsql-mysql-tooling/infrastructure/terraform

4. Ejecuta los siguientes comandos para cambiar la región y la zona de us-central1 y us-central1-a a la región y la zona que tienes asignadas de forma predeterminada:

export REGION={{{project_0.default_region|REGION}}} sed -i "s/us-central1/$REGION/g" variables.tf export ZONE={{{project_0.default_zone|ZONE}}} sed -i "s/$REGION-a/$ZONE/g" variables.tf

5. Ejecuta la secuencia de comandos init-db.sh:

cd ~/cloudsql-mysql-tooling bash init-db.sh

Se creará tu instancia de MySQL y se propagará con un esquema aleatorio. Luego de unos minutos, deberías recibir el siguiente resultado:

CREATE TABLE factory_warehouse14342.persons88a5ebc4 ( address9634 TEXT, cpf12934 FLOAT, food88799 BOOL, food4761 LONGTEXT, credit_card44049 FLOAT, city8417 TINYINT, name76076 DATETIME, address19458 TIME, reason49953 DATETIME ) COMPLETED Nota: Si obtienes un mensaje de Error: Failed to load "tfplan" as a plan file, vuelve a ejecutar la secuencia de comandos init-db.

Haz clic en Revisar mi progreso para verificar el objetivo. Crear la base de datos de MySQL

Configura la cuenta de servicio

1. Ejecuta lo siguiente para crear una cuenta de servicio:

gcloud iam service-accounts create mysql2dc-credentials \ --display-name "Service Account for MySQL to Data Catalog connector" \ --project $PROJECT_ID

2. A continuación, crea y descarga la clave de la cuenta de servicio:

gcloud iam service-accounts keys create "mysql2dc-credentials.json" \ --iam-account "mysql2dc-credentials@$PROJECT_ID.iam.gserviceaccount.com"

3. Agrega el rol Administrador de Data Catalog a la cuenta de servicio:

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member "serviceAccount:mysql2dc-credentials@$PROJECT_ID.iam.gserviceaccount.com" \ --quiet \ --project $PROJECT_ID \ --role "roles/datacatalog.admin"

Haz clic en Revisar mi progreso para verificar el objetivo. Crear una cuenta de servicio para MySQL

Ejecuta MySQL en un conector de Dataplex

Puedes compilar el conector de MySQL tú mismo si te diriges a este repositorio de GitHub.

Para facilitar su uso, en este lab se utiliza una imagen de Docker.

La configuración de Terraform generó las variables necesarias.

1. Cambia de directorio a la ubicación de las secuencias de comandos de Terraform:

cd infrastructure/terraform/

2. Obtén las variables de entorno:

public_ip_address=$(terraform output -raw public_ip_address) username=$(terraform output -raw username) password=$(terraform output -raw password) database=$(terraform output -raw db_name)

3. Vuelve a cambiar al directorio raíz para el código de ejemplo:

cd ~/cloudsql-mysql-tooling

4. Ejecuta el conector:

docker run --rm --tty -v \ "$PWD":/data mesmacosta/mysql2datacatalog:stable \ --datacatalog-project-id=$PROJECT_ID \ --datacatalog-location-id=$REGION \ --mysql-host=$public_ip_address \ --mysql-user=$username \ --mysql-pass=$password \ --mysql-database=$database

Algunos segundos después, deberías obtener el siguiente resultado:

============End mysql-to-datacatalog============

Haz clic en Revisar mi progreso para verificar el objetivo. Ejecutar MySQL en el conector de Data Catalog

Verifica los resultados de la secuencia de comandos

1. Para navegar a Dataplex en la consola de Google Cloud, haz clic en el menú de navegación () > Ver todos los productos > Analytics > Dataplex.

2. Haz clic en Plantillas de etiquetas.

Deberías ver las siguientes plantillas de etiquetas de mysql:

3. Haz clic en Grupos de entrada.

Deberías ver el siguiente grupo de entrada de mysql:

4. Ahora, haz clic en el grupo de entrada mysql. La consola debería verse de la siguiente manera:

Este es el valor real de un grupo de entrada. Puedes ver todas las entradas que pertenecen a MySQL mediante la IU.

5. Haz clic en una de las entradas que contenga la palabra warehouse. Consulta los detalles y las etiquetas de entrada personalizados.

Este es el valor real que agrega el conector. Te permite buscar metadatos en Dataplex.

Realiza una limpieza

1. Para borrar los recursos que creaste, ejecuta el siguiente comando y borra los metadatos de MySQL:

./cleanup-db.sh

2. Ahora, ejecuta el contenedor para realizar la limpieza:

docker run --rm --tty -v \ "$PWD":/data mesmacosta/mysql-datacatalog-cleaner:stable \ --datacatalog-project-ids=$PROJECT_ID \ --rdbms-type=mysql \ --table-container-type=database

3. Por último, borra la base de datos de PostgreSQL:

./delete-db.sh

Antes de continuar, asegúrate de obtener el siguiente resultado en Cloud Shell:

Cloud SQL Instance deleted COMPLETED

4. En el menú de Dataplex, en Descubrir, haz clic en la página Buscar.

5. En la barra de búsqueda, ingresa MySQL y haz clic en Buscar.

Ya no verás las plantillas de etiquetas de MySQL en los resultados.

¡Felicitaciones!

En este lab, aprendiste a compilar y ejecutar conectores de PostgreSQL y MySQL a Dataplex. También aprendiste a buscar entradas de PostgreSQL y MySQL en Data Catalog dentro de Dataplex. Ahora puedes usar estos conocimientos para compilar tus propios conectores.

Próximos pasos y más información

• Consulta los labs relacionados en el curso Conceptos básicos de Data Catalog.
• Consulta la descripción general de Data Catalog.
• Obtén información sobre cómo buscar con el Data Catalog.
• Explora la descripción general de las APIs y las bibliotecas cliente.

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 24 de octubre de 2024

Prueba más reciente del lab: 24 de octubre de 2024

Copyright 2025 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.