GSP009

Descripción general

En este lab, analizarás observaciones meteorológicas históricas de la NOAA con BigQuery. Luego, usarás los datos del clima y los reclamos de los ciudadanos al 311 en la ciudad de Nueva York, de manera similar a lo que se describe en esta entrada de blog de Reto Meier, en la que se demuestra cómo las variables pueden correlacionarse.

Probarás varios aspectos de Google Cloud que benefician en gran medida a los científicos:

1. Tecnología sin servidores. No es necesario descargar los datos en tu máquina para trabajar con ellos; el conjunto de datos permanecerá en la nube.
2. Facilidad de uso. Permite ejecutar consultas en SQL ad hoc sobre tu conjunto de datos sin necesidad de prepararlos (p. ej., indexarlos) con anterioridad.
3. Escala. Permite realizar una exploración interactiva de conjuntos de datos muy grandes. No hace falta tomar muestras para trabajar de manera oportuna.
4. Facilidad para compartir. Ejecuta consultas en datos de distintos conjuntos sin problemas. BigQuery es una forma conveniente de compartir conjuntos de datos. Por supuesto que también puedes mantener datos privados o compartirlos únicamente con ciertas personas; no todos los datos deben ser públicos.

Como resultado, podrás determinar qué tipos de reclamos de los ciudadanos se correlacionan con el clima. Por ejemplo, notarás que, como es lógico, los reclamos sobre unidades centrales de calefacción doméstica son más comunes cuando hace frío.

Qué aprenderás

En este lab, aprenderás a realizar las siguientes tareas:

• Realizar consultas interactivas en la consola de BigQuery
• Combinar y ejecutar análisis en diversos conjuntos de datos
• Usar la función CORR para determinar si hay una correlación positiva, negativa o bien ninguna entre los conjuntos de datos

Requisitos previos

Este lab es de nivel introductorio y presupone que tienes cierta experiencia con BigQuery y SQL. Si nunca has trabajado con BigQuery o MySQL, con el lab BigQuery: Qwik Start - Consola puedes descubrir lo que necesitas saber sobre estos servicios de Google Cloud.

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs cuentan con un temporizador que no se puede pausar. El temporizador, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar. Se recomienda el navegador Chrome.

Nota: Usa una ventana del navegador privada o de incógnito (opción recomendada) para ejecutar el lab. Así evitarás conflictos entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab (recuerda que, una vez que comienzas un lab, no puedes pausarlo).

Nota: Usa solo la cuenta de estudiante para este lab. Si usas otra cuenta de Google Cloud, es posible que se apliquen cargos a esa cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haz clic en el botón Comenzar lab. Si debes pagar por el lab, se abrirá un diálogo para que selecciones la forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón para abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debes usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordena las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia cuenta de Google Cloud para este lab podría generar cargos adicionales.

7. Haz clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para acceder a los productos y servicios de Google Cloud, haz clic en el menú de navegación o escribe el nombre del servicio o producto en el campo Buscar.

Tarea 1: Explora datos meteorológicos

Cómo abrir la consola de BigQuery

1. En la consola de Google Cloud, seleccione elmenú de navegación > BigQuery.

Se abrirá el cuadro de mensaje Te damos la bienvenida a BigQuery en la consola de Cloud. Este cuadro de mensaje contiene un vínculo a la guía de inicio rápido y las notas de la versión.

2. Haga clic en Listo.

Se abrirá la consola de BigQuery.

3. En el panel Explorador, haz clic en + AGREGAR.

Se abrirá la ventana Agregar datos.

4. En Fuentes adicionales, haz clic en Destaca un proyecto por nombre.

5. Ingresa bigquery-public-data y haz clic en DESTACAR.

En la consola de BigQuery, verás dos proyectos en el panel Explorador: uno con el ID de tu proyecto del lab y otro con el nombre bigquery-public-data.

6. En el panel Explorador de la consola de BigQuery, expande el conjunto de datos bigquery-public-data. En el campo Empieza a escribir para buscar, busca noaa_gsod y selecciona la tabla gsod2014.

7. En la ventana Tabla (gsod2014), haz clic en la pestaña Vista previa.

8. Examina las columnas y algunos valores de datos.

9. Haz clic en Consultar > En una pestaña nueva y, luego, pega la siguiente consulta:

SELECT -- Create a timestamp from the date components. stn, TIMESTAMP(CONCAT(year,"-",mo,"-",da)) AS timestamp, -- Replace numerical null values with actual null AVG(IF (temp=9999.9, null, temp)) AS temperature, AVG(IF (wdsp="999.9", null, CAST(wdsp AS Float64))) AS wind_speed, AVG(IF (prcp=99.99, 0, prcp)) AS precipitation FROM `bigquery-public-data.noaa_gsod.gsod20*` WHERE CAST(YEAR AS INT64) > 2010 AND CAST(MO AS INT64) = 6 AND CAST(DA AS INT64) = 12 AND (stn="725030" OR -- La Guardia stn="744860") -- JFK GROUP BY stn, timestamp ORDER BY timestamp DESC, stn ASC

10. Haz clic en EJECUTAR. Examina los resultados y trata de determinar qué hace la consulta.

Haz clic en Revisar mi progreso a continuación para verificar que estás avanzando en este lab.

Explorar datos meteorológicos

Tarea 2: Explora datos de reclamos de los ciudadanos de Nueva York

1. En el panel Explorador de la consola de BigQuery, selecciona el proyecto bigquery-public-data que acabas de agregar. En el campo Empieza a escribir para buscar, busca el conjunto de datos new_york_311 y, luego, selecciona la tabla 311_service_requests.

2. Luego, haz clic en la pestaña Vista previa. La consola debería verse de la siguiente manera:

3. Examina las columnas y algunos valores de datos.

4. Si el editor se cerró, haz clic en el ícono "+" (Crear consulta en SQL).

5. Pega lo siguiente en el EDITOR de consultas:

SELECT EXTRACT(YEAR FROM created_date) AS year, complaint_type, COUNT(1) AS num_complaints FROM `bigquery-public-data.new_york.311_service_requests` GROUP BY year, complaint_type ORDER BY num_complaints DESC

6. Haz clic en EJECUTAR.

7. Examina los resultados para determinar cuáles son los reclamos más comunes. Más adelante en este lab, intentarás determinar si estos tienen relación con el tiempo.

Haz clic en Revisar mi progreso a continuación para verificar que estás avanzando en este lab.

Explorar datos de reclamos que hicieron los ciudadanos de Nueva York

Tarea 3: Guarda una tabla nueva con datos meteorológicos

1. En el panel Explorador de la consola de BigQuery, haz clic en los tres puntos junto a tu ID del proyecto y, luego, selecciona Crear conjunto de datos.

2. En el diálogo Crear conjunto de datos, define el ID del conjunto de datos como demos y deja los valores predeterminados para las demás opciones.

3. Haz clic en Crear conjunto de datos. Tu proyecto ahora tiene un conjunto de datos llamado demos.

4. Haz clic en el ícono "+" (Crear una consulta en SQL) y, luego, ejecuta la siguiente consulta:

SELECT -- Create a timestamp from the date components. timestamp(concat(year,"-",mo,"-",da)) as timestamp, -- Replace numerical null values with actual nulls AVG(IF (temp=9999.9, null, temp)) AS temperature, AVG(IF (visib=999.9, null, visib)) AS visibility, AVG(IF (wdsp="999.9", null, CAST(wdsp AS Float64))) AS wind_speed, AVG(IF (gust=999.9, null, gust)) AS wind_gust, AVG(IF (prcp=99.99, null, prcp)) AS precipitation, AVG(IF (sndp=999.9, null, sndp)) AS snow_depth FROM `bigquery-public-data.noaa_gsod.gsod20*` WHERE CAST(YEAR AS INT64) > 2008 AND (stn="725030" OR -- La Guardia stn="744860") -- JFK GROUP BY timestamp

5. En la sección EDITOR de consultas, haz clic en Más > Configuración de consulta.

6. En el diálogo Configuración de consulta, configura los siguientes campos. En los demás, deja los valores predeterminados.

Destino: Selecciona Establecer una tabla de destino para los resultados de la consulta.

Conjunto de datos: Escribe demos y selecciona tu conjunto de datos.

ID de la tabla: Escribe nyc_weather.

Tamaño de los resultados: Marca Permitir resultados grandes (sin límite de tamaño).

7. Haz clic en GUARDAR.

8. Haz clic en EJECUTAR.

Se guardarán los resultados en el conjunto de datos que creaste (demos).

9. Regresa a Más > Configuración de consulta y, en Destino, selecciona Guardar los resultados de las consultas en una tabla temporal. Esto quitará el conjunto de datos de demostraciones como destino para futuras consultas.

10. Haz clic en GUARDAR para cerrar la configuración de la consulta.

Haz clic en Revisar mi progreso a continuación para verificar que estás avanzando en este lab.

Guardar una tabla nueva con datos meteorológicos

Tarea 4: Encuentra una correlación entre conjuntos de datos

Una correlación alta, medida por la función CORR, indica una relación cercana y coherente entre dos variables. Es posible que, si aumenta el valor de una variable, el valor de la otra también tienda a hacerlo (correlación positiva) o que disminuya (correlación negativa) de manera predecible. Por lo general, se considera que un valor mayor o igual que 0.7, en términos absolutos, indica una correlación fuerte. Esto significa que los cambios en una variable pueden explicar al menos el 49% de los cambios en la otra.

A continuación, compararás la cantidad de reclamos recibidos y la temperatura diaria con la función CORR.

1. Crea la siguiente consulta en SQL, "+" y ejecútala:

SELECT descriptor, sum(complaint_count) as total_complaint_count, count(temperature) as data_count, ROUND(corr(temperature, avg_count),3) AS corr_count, ROUND(corr(temperature, avg_pct_count),3) AS corr_pct From ( SELECT avg(pct_count) as avg_pct_count, avg(day_count) as avg_count, sum(day_count) as complaint_count, descriptor, temperature FROM ( SELECT DATE(timestamp) AS date, temperature FROM demos.nyc_weather) a JOIN ( SELECT x.date, descriptor, day_count, day_count / all_calls_count as pct_count FROM (SELECT DATE(created_date) AS date, concat(complaint_type, ": ", descriptor) as descriptor, COUNT(*) AS day_count FROM `bigquery-public-data.new_york.311_service_requests` GROUP BY date, descriptor)x JOIN ( SELECT DATE(timestamp) AS date, COUNT(*) AS all_calls_count FROM `demos.nyc_weather` GROUP BY date )y ON x.date=y.date )b ON a.date = b.date GROUP BY descriptor, temperature ) GROUP BY descriptor HAVING total_complaint_count > 5000 AND ABS(corr_pct) > 0.5 AND data_count > 5 ORDER BY ABS(corr_pct) DESC

Los resultados indican que los reclamos por calefacción guardan una relación inversa con la temperatura (es decir, se realizan más llamadas vinculadas con la calefacción durante los días fríos), mientras que las llamadas por árboles muertos guardan una relación directa con la temperatura (es decir, se realizan más llamadas durante los días calurosos).

A continuación, compara la cantidad de reclamos y la velocidad del viento con la función CORR.

2. Haz clic en el ícono "+" (Crear una consulta en SQL) y ejecuta la siguiente consulta:

SELECT descriptor, sum(complaint_count) as total_complaint_count, count(wind_speed) as data_count, ROUND(corr(wind_speed, avg_count),3) AS corr_count, ROUND(corr(wind_speed, avg_pct_count),3) AS corr_pct From ( SELECT avg(pct_count) as avg_pct_count, avg(day_count) as avg_count, sum(day_count) as complaint_count, descriptor, wind_speed FROM ( SELECT DATE(timestamp) AS date, wind_speed FROM demos.nyc_weather) a JOIN ( SELECT x.date, descriptor, day_count, day_count / all_calls_count as pct_count FROM (SELECT DATE(created_date) AS date, concat(complaint_type, ": ", descriptor) as descriptor, COUNT(*) AS day_count FROM `bigquery-public-data.new_york.311_service_requests` GROUP BY date, descriptor)x JOIN ( SELECT DATE(timestamp) AS date, COUNT(*) AS all_calls_count FROM `demos.nyc_weather` GROUP BY date )y ON x.date=y.date )b ON a.date = b.date GROUP BY descriptor, wind_speed ) GROUP BY descriptor HAVING total_complaint_count > 5000 AND ABS(corr_pct) > 0.5 AND data_count > 5 ORDER BY ABS(corr_pct) DESC

3. Observa que las dos columnas Corr indican que existe una relación inversa para reclamos relacionados con ruidos. ¿Tienes una hipótesis del motivo por el cual los reclamos por ruidos se reducen durante los días ventosos? ¿Los coeficientes son suficientes estadísticamente?

Haz clic en Revisar mi progreso a continuación para verificar que estás avanzando en este lab.

Encontrar una correlación entre el tiempo y los reclamos

¡Felicitaciones!

En este lab, consultaste los datos sin configurar clústeres, crear índices, etc. También pudiste combinar los dos conjuntos de datos y correlacionar los resultados, lo que te brindó estadísticas interesantes.

Próximos pasos y más información

• Obtén más información sobre la función CORR() en BigQuery.

• Obtén más información sobre los conjuntos de datos públicos de BigQuery.

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 20 de marzo de 2025

Prueba más reciente del lab: 20 de marzo de 2025

Copyright 2025 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.