GSP009

Resumen

En este lab, analizarás observaciones meteorológicas históricas con BigQuery y usarás datos del clima con otros conjuntos de datos.

Aprendizajes esperados

En este lab, aprenderás a realizar las siguientes tareas:

• Realizar consultas interactivas en la consola de BigQuery
• Combinar y ejecutar análisis en diversos conjuntos de datos

Introducción

En este lab, se usan dos conjuntos de datos públicos en BigQuery: los datos meteorológicos de la NOAA y los datos de reclamos que hicieron los habitantes de la ciudad de Nueva York.

Verás, por primera vez, varios aspectos de Google Cloud que benefician en gran medida a los científicos:

1. Tecnología sin servidores. No es necesario descargar los datos en tu máquina para trabajar con ellos; el conjunto de datos permanecerá en la nube.
2. Facilidad de uso. Permite ejecutar consultas en SQL ad hoc sobre tu conjunto de datos sin necesidad de prepararlos (p. ej., indexarlos) con anterioridad. Este es un aspecto invaluable para la exploración de datos.
3. Escala. Permite realizar una exploración interactiva de conjuntos de datos muy grandes. No hace falta tomar muestras para trabajar de manera oportuna.
4. Facilidad para compartir. Podrás ejecutar consultas en datos de distintos conjuntos sin problemas. BigQuery es una forma conveniente de compartir conjuntos de datos. Por supuesto que también puedes mantener los datos privados o compartirlos únicamente con ciertas personas; no todos los datos necesitan ser públicos.

Como resultado, podrás determinar qué tipos de quejas municipales se correlacionan con el clima. Por ejemplo, encontrarás que, como es lógico, los reclamos sobre unidades centrales de calefacción doméstica son más comunes cuando hace frío:

Requisitos previos

Este lab es de nivel básico y presupone que tienes cierta experiencia con BigQuery y SQL. Si nunca has trabajado con BigQuery o MySQL, con el lab de autoaprendizaje BigQuery: Qwik Start - Consola, puedes descubrir lo que necesitas saber sobre estos servicios de Google Cloud.

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs son cronometrados y no se pueden pausar. El cronómetro, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar (se recomienda el navegador Chrome)

Nota: Usa una ventana de navegador privada o de Incógnito para ejecutar este lab. Así evitarás cualquier conflicto entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab: Recuerda que, una vez que comienzas un lab, no puedes pausarlo.

Nota: Si ya tienes un proyecto o una cuenta personal de Google Cloud, no los uses en este lab para evitar cargos adicionales en tu cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haga clic en el botón Comenzar lab. Si debe pagar por el lab, se abrirá una ventana emergente para que seleccione su forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón Abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debe usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordene las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia Cuenta de Google podría generar cargos adicionales.

7. Haga clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para ver un menú con una lista de productos y servicios de Google Cloud, haz clic en el menú de navegación que se encuentra en la parte superior izquierda.

Tarea 1: Explora datos meteorológicos

Cómo abrir la consola de BigQuery

1. En la consola de Google Cloud, seleccione elmenú de navegación > BigQuery.

Se abrirá el cuadro de mensaje Te damos la bienvenida a BigQuery en la consola de Cloud. Este cuadro de mensaje contiene un vínculo a la guía de inicio rápido y las notas de la versión.

2. Haga clic en Listo.

Se abrirá la consola de BigQuery.

3. En el panel Explorador, haz clic en + AGREGAR.

Se abrirá la ventana Agregar datos.

4. En Fuentes adicionales, haz clic en Destaca un proyecto por nombre.

5. Ingresa bigquery-public-data y haz clic en DESTACAR.

En la consola de BigQuery, verás dos proyectos en el panel Explorador: uno con el ID de tu proyecto del lab y otro con el nombre bigquery-public-data.

6. En el panel Explorador de la consola de BigQuery, expande bigquery-public-data > noaa_gsod y selecciona la tabla gsod2014.

7. En la ventana Tabla (gsod2014), haz clic en la pestaña Vista previa.

8. Examina las columnas y algunos valores de datos.

9. Pega lo siguiente en el EDITOR de consultas:

SELECT -- Create a timestamp from the date components. stn, TIMESTAMP(CONCAT(year,"-",mo,"-",da)) AS timestamp, -- Replace numerical null values with actual null AVG(IF (temp=9999.9, null, temp)) AS temperature, AVG(IF (wdsp="999.9", null, CAST(wdsp AS Float64))) AS wind_speed, AVG(IF (prcp=99.99, 0, prcp)) AS precipitation FROM `bigquery-public-data.noaa_gsod.gsod20*` WHERE CAST(YEAR AS INT64) > 2010 AND CAST(MO AS INT64) = 6 AND CAST(DA AS INT64) = 12 AND (stn="725030" OR -- La Guardia stn="744860") -- JFK GROUP BY stn, timestamp ORDER BY timestamp DESC, stn ASC

10. Haz clic en EJECUTAR. Examina los resultados y trata de determinar qué hace la consulta.

Haz clic en Revisar mi progreso a continuación para verificar que estás avanzando en este lab.

Explorar datos meteorológicos

Tarea 2: Explora datos de reclamos que hicieron los ciudadanos de Nueva York

1. En el panel Explorador de la consola de BigQuery, selecciona el proyecto bigquery-public-data recientemente agregado. Luego, expande el conjunto de datos new_york y selecciona la tabla 311_service_requests.

2. Luego, haz clic en la pestaña Vista previa. La consola debería verse de la siguiente manera:

3. Examina las columnas y algunos valores de datos.

4. Si el editor se cerró, haz clic en el ícono “+” (Redactar consulta nueva).

5. Pega lo siguiente en el EDITOR de consultas:

SELECT EXTRACT(YEAR FROM created_date) AS year, complaint_type, COUNT(1) AS num_complaints FROM `bigquery-public-data.new_york.311_service_requests` GROUP BY year, complaint_type ORDER BY num_complaints DESC

6. Haz clic en EJECUTAR.

7. Examina los resultados para determinar cuáles son los reclamos más comunes. Más adelante en este lab, intentarás determinar si estos tienen relación con el tiempo.

Haz clic en Revisar mi progreso a continuación para verificar que estás avanzando en este lab.

Explorar datos de reclamos que hicieron los ciudadanos de Nueva York

Tarea 3: Guarda una tabla nueva con datos meteorológicos

1. En el panel Explorador de la consola de BigQuery, haz clic en los tres puntos junto a tu ID del proyecto y, luego, selecciona Crear conjunto de datos.

2. En el diálogo Crear conjunto de datos, define el ID del conjunto de datos como demos y deja los valores predeterminados para las demás opciones.

3. Haz clic en Crear conjunto de datos. Tu proyecto ahora tiene un conjunto de datos llamado demos.

4. Haz clic en el ícono “+” (Redactar consulta nueva) y, luego, ejecuta la siguiente consulta:

SELECT -- Create a timestamp from the date components. timestamp(concat(year,"-",mo,"-",da)) as timestamp, -- Replace numerical null values with actual nulls AVG(IF (temp=9999.9, null, temp)) AS temperature, AVG(IF (visib=999.9, null, visib)) AS visibility, AVG(IF (wdsp="999.9", null, CAST(wdsp AS Float64))) AS wind_speed, AVG(IF (gust=999.9, null, gust)) AS wind_gust, AVG(IF (prcp=99.99, null, prcp)) AS precipitation, AVG(IF (sndp=999.9, null, sndp)) AS snow_depth FROM `bigquery-public-data.noaa_gsod.gsod20*` WHERE CAST(YEAR AS INT64) > 2008 AND (stn="725030" OR -- La Guardia stn="744860") -- JFK GROUP BY timestamp

5. En la sección EDITOR de consultas, haz clic en Más > Configuración de consulta.

6. En el diálogo Configuración de consulta, configura los siguientes campos. En los demás, deja los valores predeterminados.

Destino: Selecciona Establecer una tabla de destino para los resultados de la consulta.

Conjunto de datos: Escribe demos y selecciona tu conjunto de datos.

ID de la tabla: Escribe nyc_weather.

Tamaño de los resultados: Marca Permitir resultados grandes (sin límite de tamaño).

7. Haz clic en GUARDAR.

8. Haz clic en EJECUTAR.

Se guardarán los resultados en el conjunto de datos que creaste (demos).

9. Regresa a Más > Configuración de consulta y, en el campo Destino, selecciona Guardar los resultados de las consultas en una tabla temporal. Esto quitará el conjunto de datos de demostraciones como destino para futuras consultas.

10. Haz clic en GUARDAR para cerrar la consulta.

Haz clic en Revisar mi progreso a continuación para verificar que estás avanzando en este lab.

Guardar una tabla nueva con datos meteorológicos

Tarea 4: Encuentra una correlación entre el tiempo y los reclamos

Compara la cantidad de reclamos y la temperatura con la función CORR.

1. Regresa al EDITOR de consultas y ejecuta la siguiente consulta:

SELECT descriptor, sum(complaint_count) as total_complaint_count, count(temperature) as data_count, ROUND(corr(temperature, avg_count),3) AS corr_count, ROUND(corr(temperature, avg_pct_count),3) AS corr_pct From ( SELECT avg(pct_count) as avg_pct_count, avg(day_count) as avg_count, sum(day_count) as complaint_count, descriptor, temperature FROM ( SELECT DATE(timestamp) AS date, temperature FROM demos.nyc_weather) a JOIN ( SELECT x.date, descriptor, day_count, day_count / all_calls_count as pct_count FROM (SELECT DATE(created_date) AS date, concat(complaint_type, ": ", descriptor) as descriptor, COUNT(*) AS day_count FROM `bigquery-public-data.new_york.311_service_requests` GROUP BY date, descriptor)x JOIN ( SELECT DATE(timestamp) AS date, COUNT(*) AS all_calls_count FROM `demos.nyc_weather` GROUP BY date )y ON x.date=y.date )b ON a.date = b.date GROUP BY descriptor, temperature ) GROUP BY descriptor HAVING total_complaint_count > 5000 AND ABS(corr_pct) > 0.5 AND data_count > 5 ORDER BY ABS(corr_pct) DESC

Los resultados indican que los reclamos por calefacción guardan una relación inversa con la temperatura (es decir, se realizan más llamadas vinculadas con la calefacción durante los días fríos), mientras que las llamadas por árboles muertos guardan una relación directa con la temperatura (es decir, se realizan más llamadas durante los días calurosos).

A continuación, compara la cantidad de reclamos y la velocidad del viento con la función CORR.

2. Haz clic en el ícono “+” (Redactar consulta nueva) y ejecuta la siguiente consulta:

SELECT descriptor, sum(complaint_count) as total_complaint_count, count(wind_speed) as data_count, ROUND(corr(wind_speed, avg_count),3) AS corr_count, ROUND(corr(wind_speed, avg_pct_count),3) AS corr_pct From ( SELECT avg(pct_count) as avg_pct_count, avg(day_count) as avg_count, sum(day_count) as complaint_count, descriptor, wind_speed FROM ( SELECT DATE(timestamp) AS date, wind_speed FROM demos.nyc_weather) a JOIN ( SELECT x.date, descriptor, day_count, day_count / all_calls_count as pct_count FROM (SELECT DATE(created_date) AS date, concat(complaint_type, ": ", descriptor) as descriptor, COUNT(*) AS day_count FROM `bigquery-public-data.new_york.311_service_requests` GROUP BY date, descriptor)x JOIN ( SELECT DATE(timestamp) AS date, COUNT(*) AS all_calls_count FROM `demos.nyc_weather` GROUP BY date )y ON x.date=y.date )b ON a.date = b.date GROUP BY descriptor, wind_speed ) GROUP BY descriptor HAVING total_complaint_count > 5000 AND ABS(corr_pct) > 0.5 AND data_count > 5 ORDER BY ABS(corr_pct) DESC

3. Observa que las dos columnas Corr indican que existe una relación inversa para reclamos relacionados con ruidos. ¿Tienes una hipótesis del motivo por el cual los reclamos por ruidos se reducen durante los días ventosos? ¿Los coeficientes son suficientes estadísticamente?

Como puedes notar, BigQuery puede brindarte estadísticas sobre diversos problemas desde distintos ángulos.

Haz clic en Revisar mi progreso a continuación para verificar que estás avanzando en este lab.

Encuentra una correlación entre el tiempo y los reclamos

Resumen

En este lab, realizaste consultas ad hoc en dos conjuntos de datos. No solo pudiste consultar los datos sin configurar clústeres, crear índices, etc., sino que también pudiste combinar los dos conjuntos de datos y obtener estadísticas interesantes sin siquiera salir de tu navegador.

¡Felicitaciones!

Aprendiste a ejecutar algunas consultas muy interesantes en BigQuery.

Finaliza la Quest

Este lab de autoaprendizaje forma parte de la Quest Scientific Data Processing. Una Quest es una serie de labs relacionados que forman una ruta de aprendizaje. Si completas esta Quest, obtendrás la insignia que se muestra arriba como reconocimiento de tu logro. Puedes hacer públicas tus insignias y agregar vínculos a ellas en tu currículum en línea o en tus cuentas de redes sociales. Inscríbete en esta Quest y obtén un crédito inmediato de finalización si realizaste este lab. Consulta otras Quests disponibles.

Realiza tu próximo lab

Continúa tu Quest con Procesamiento distribuido de imágenes en Cloud Dataproc o prueba uno de los siguientes labs:

• Predecir el peso de un bebé con TensorFlow en Vertex AI
• Análisis de datos de natalidad con Vertex AI y BigQuery

Próximos pasos/Más información

• Para obtener información sobre otros análisis divertidos que pueden hacerse con los datos de la ciudad de Nueva York y su correlación con el tiempo, consulta la entrada de blog de Reto Meier.

• Obtén más información sobre los conjuntos de datos públicos de BigQuery.

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 27 de junio de 2023

Prueba más reciente del lab: 27 de junio de 2023

Copyright 2024 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.