GSP617

Descripción general

Cloud Logging sirve como repositorio central para los registros de diversos servicios de Google Cloud, incluido BigQuery, y es ideal para almacenar registros a corto y mediano plazo. Muchas industrias exigen que los registros se conserven durante largos períodos. Si se quieren conservar para realizar análisis históricos ampliados o auditorías complejas, se puede configurar un receptor que exporte registros específicos a BigQuery.

En este lab, visualizarás los registros de BigQuery en Cloud Logging, configurarás un receptor para exportarlos a BigQuery y, luego, usarás SQL para analizarlos.

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs son cronometrados y no se pueden pausar. El cronómetro, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar (se recomienda el navegador Chrome)

Nota: Usa una ventana de navegador privada o de Incógnito para ejecutar este lab. Así evitarás cualquier conflicto entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab: Recuerda que, una vez que comienzas un lab, no puedes pausarlo.

Nota: Si ya tienes un proyecto o una cuenta personal de Google Cloud, no los uses en este lab para evitar cargos adicionales en tu cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haga clic en el botón Comenzar lab. Si debe pagar por el lab, se abrirá una ventana emergente para que seleccione su forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón Abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debe usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordene las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia Cuenta de Google podría generar cargos adicionales.

7. Haga clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para ver un menú con una lista de productos y servicios de Google Cloud, haz clic en el menú de navegación que se encuentra en la parte superior izquierda.

Activa Cloud Shell

Cloud Shell es una máquina virtual que cuenta con herramientas para desarrolladores. Ofrece un directorio principal persistente de 5 GB y se ejecuta en Google Cloud. Cloud Shell proporciona acceso de línea de comandos a tus recursos de Google Cloud.

1. Haz clic en Activar Cloud Shell en la parte superior de la consola de Google Cloud.

Cuando te conectes, habrás completado la autenticación, y el proyecto estará configurado con tu PROJECT_ID. El resultado contiene una línea que declara el PROJECT_ID para esta sesión:

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud es la herramienta de línea de comandos de Google Cloud. Viene preinstalada en Cloud Shell y es compatible con la función de autocompletado con tabulador.

2. Puedes solicitar el nombre de la cuenta activa con este comando (opcional):

gcloud auth list

3. Haz clic en Autorizar.

4. Ahora, el resultado debería verse de la siguiente manera:

Resultado:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. Puedes solicitar el ID del proyecto con este comando (opcional):

gcloud config list project

Resultado:

[core] project = <project_ID>

Resultado de ejemplo:

[core] project = qwiklabs-gcp-44776a13dea667a6 Nota: Para obtener toda la documentación de gcloud, consulta la guía con la descripción general de gcloud CLI en Google Cloud.

Tarea 1: Abre BigQuery

Cómo abrir la consola de BigQuery

1. En la consola de Google Cloud, seleccione elmenú de navegación > BigQuery.

Se abrirá el cuadro de mensaje Te damos la bienvenida a BigQuery en la consola de Cloud. Este cuadro de mensaje contiene un vínculo a la guía de inicio rápido y las notas de la versión.

2. Haga clic en Listo.

Se abrirá la consola de BigQuery.

Tarea 2: Crea un conjunto de datos

1. En la sección Explorador, haz clic en los tres puntos junto al proyecto que comienza con qwiklabs-gcp-.

2. Haz clic en Crear conjunto de datos.

3. Establece el ID del conjunto de datos en bq_logs.

4. Haz clic en CREAR CONJUNTO DE DATOS.

Haz clic en Revisar mi progreso para verificar el objetivo. Crear un conjunto de datos

Tarea 3: Ejecuta una consulta

Primero, ejecuta una consulta sencilla que genere un registro. Más adelante, usarás ese registro para establecer la exportación de registros desde y hacia BigQuery.

1. Copia y pega la siguiente consulta en el editor de consultas de BigQuery:

SELECT current_date

2. Haz clic en EJECUTAR.

Tarea 4: Establece la exportación de registros desde Cloud Logging

1. En la consola de Cloud, selecciona el menú de navegación > Ver todos los productos > Logging > Explorador de registros.

Nota: Si se te solicita, haz clic en SALIR en el diálogo Trabajo sin guardar.

2. En Todos los recursos, selecciona BigQuery y, luego, haz clic en Aplicar.

3. Ahora, haz clic en el botón Ejecutar consulta en la parte superior derecha.

Deberían aparecer algunas entradas de registro de la consulta.

Busca la entrada que contenga la palabra “jobcompleted”.

4. Haz clic en la flecha de la izquierda para expandir la entrada.

A continuación, haz clic en el botón Expandir campos anidados a la derecha.

Esta acción mostrará la entrada de registro JSON completa. Desplázate hacia abajo y observa los distintos campos.

5. Desplázate hacia arriba hasta el encabezado de la entrada, haz clic en el botón Entradas similares y elige Mostrar entradas similares.

Esta acción configura la búsqueda con los términos correctos. Es posible que debas activar el botón Mostrar consulta para verlas.

Crea un receptor

Ahora que tienes los registros que necesitas, es momento de configurar un receptor.

1. Haz clic en Crear un receptor en el menú desplegable Más acciones.

2. Completa los campos de la siguiente manera:

• Dale al receptor el nombre JobComplete y haz clic en SIGUIENTE.
• Para el servicio del receptor, selecciona Conjunto de datos de BigQuery.
• Selecciona Conjunto de datos de BigQuery (destino): bq_logs (el conjunto de datos que configuraste anteriormente).
• Deja el resto de las opciones según la configuración predeterminada.

3. Haz clic en CREAR UN RECEPTOR.

Todas las entradas de registro posteriores de BigQuery se exportarán ahora a una tabla del conjunto de datos bq_logs.

Haz clic en Revisar mi progreso para verificar el objetivo. Crear un receptor

Tarea 5: Ejecuta las consultas de ejemplo

Para completar la tabla nueva con algunos registros, ejecuta algunas consultas de ejemplo.

• Navega a Cloud Shell y, luego, agrega cada uno de los siguientes comandos de BigQuery en la plataforma:

bq query --location=us --use_legacy_sql=false --use_cache=false \ 'SELECT fullName, AVG(CL.numberOfYears) avgyears FROM `qwiklabs-resources.qlbqsamples.persons_living`, UNNEST(citiesLived) as CL GROUP BY fullname' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select month, avg(mean_temp) as avgtemp from `qwiklabs-resources.qlweather_geo.gsod` where station_number = 947680 and year = 2010 group by month order by month' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select CONCAT(departure_airport, "-", arrival_airport) as route, count(*) as numberflights from `bigquery-samples.airline_ontime_data.airline_id_codes` ac, `qwiklabs-resources.qlairline_ontime_data.flights` fl where ac.code = fl.airline_code and regexp_contains(ac.airline , r"Alaska") group by 1 order by 2 desc LIMIT 10'

Deberías ver los resultados de cada consulta.

Haz clic en Revisar mi progreso para verificar el objetivo. Ejecutar las consultas de ejemplo

Tarea 6: Visualiza los registros en BigQuery

1. Regresa a BigQuery (Menú de navegación > BigQuery).

2. Expande el recurso que comienza con el nombre qwiklabs-gcp- y también el conjunto de datos bq_logs.

Es posible que el nombre varíe, pero deberías ver la tabla “cloudaudit_googleapis_com_data_access”.

Nota: Puede que debas volver a ejecutar las consultas de ejemplo para que aparezca la tabla.

3. Haz clic en el nombre de la tabla, luego inspecciona el esquema de la tabla y observa que tiene una gran cantidad de campos.

Si hiciste clic en Vista previa y no sabes por qué no se muestran los registros de las consultas que se ejecutaron recientemente, es porque los registros se transmiten a la tabla, lo que significa que los nuevos datos se pueden consultar, pero no aparecerán en Vista previa por un tiempo.

Para que la tabla sea más utilizable, crea una VISTA que extraiga un subconjunto de campos y también realice algunos cálculos que permitan obtener una métrica del tiempo de consulta.

4. Haz clic en Redactar consulta nueva. En el EDITOR de consultas de BigQuery, ejecuta el siguiente comando de SQL y reemplaza por el nombre de tu proyecto (el ID del proyecto se puede copiar fácilmente desde el panel Detalles del lab en la parte izquierda de la página del lab):

CREATE OR REPLACE VIEW bq_logs.v_querylogs AS SELECT resource.labels.project_id, protopayload_auditlog.authenticationInfo.principalEmail, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.query, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.statementType, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatus.error.message, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, TIMESTAMP_DIFF(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, MILLISECOND)/1000 AS run_seconds, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalProcessedBytes, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalSlotMs, ARRAY(SELECT as STRUCT datasetid, tableId FROM UNNEST(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.referencedTables)) as tables_ref, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalTablesProcessed, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.queryOutputRowCount, severity FROM `<YOUR-PROJECT-ID>.bq_logs.cloudaudit_googleapis_com_data_access_*` ORDER BY startTime

Haz clic en Revisar mi progreso para verificar el objetivo. Visualizar registros en BigQuery

5. Ahora consulta la VISTA. Redacta una nueva consulta y ejecuta el siguiente comando:

SELECT * FROM bq_logs.v_querylogs

6. Desplázate por los resultados de las consultas ejecutadas.

¡Felicitaciones!

Exportaste correctamente los registros de BigQuery desde Cloud Logging a una tabla de BigQuery y, luego, los analizaste con SQL.

Próximos pasos y más información

• Lee la documentación de Cloud Logging.
• Lee la documentación de BigQuery.

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 31 de mayo de 2024

Prueba más reciente del lab: 31 de mayo de 2024

Copyright 2024 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.