Ringkasan

Di lab ini, Anda memiliki armada taksi New York City dan ingin memantau seberapa baik performa bisnis Anda secara real-time. Anda membangun streaming data pipeline untuk melihat pendapatan taksi, jumlah penumpang, status perjalanan, dan masih banyak lagi, lalu memvisualisasikan hasilnya di dasbor pengelolaan.

Tujuan

Di lab ini, Anda akan mempelajari cara:

• Membuat tugas Dataflow dari template
• Mengalirkan pipeline Dataflow ke BigQuery
• Memantau pipeline Dataflow di BigQuery
• Menganalisis hasil dengan SQL
• Memvisualisasikan metrik utama di Looker Studio

Penyiapan dan persyaratan

Untuk setiap lab, Anda akan memperoleh project Google Cloud baru serta serangkaian resource selama jangka waktu tertentu, tanpa biaya.

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, jendela pop-up akan terbuka untuk memilih metode pembayaran. Di sebelah kiri adalah panel Lab Details yang memuat sebagai berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk melihat menu yang berisi daftar produk dan layanan Google Cloud, klik Navigation menu di kiri atas, atau ketik nama layanan atau produk di kolom Search.

Mengaktifkan Google Cloud Shell

Google Cloud Shell adalah virtual machine yang dilengkapi dengan berbagai fitur pengembangan. Virtual machine ini menawarkan direktori beranda persisten berkapasitas 5 GB dan berjalan di Google Cloud.

Google Cloud Shell menyediakan akses command line untuk resource Google Cloud Anda.

1. Di Cloud Console, pada toolbar di kanan atas, klik tombol Open Cloud Shell.

   

2. Klik Continue.

Proses menyediakan dan menghubungkan ke lingkungan memerlukan waktu beberapa saat. Setelah terhubung, Anda sudah diautentikasi, dan project ditetapkan ke PROJECT_ID Anda. Contoh:

gcloud adalah alat command line untuk Google Cloud. Alat ini sudah terinstal di Cloud Shell dan mendukung pelengkapan command line.

• Anda dapat menampilkan daftar nama akun yang aktif dengan perintah ini:

gcloud auth list

Output:

Akun berkredensial: - @.com (aktif)

Contoh output:

Akun berkredensial: - google1623327_student@qwiklabs.net

• Anda dapat menampilkan daftar project ID dengan perintah ini:

gcloud config list project

Output:

[core] project =

Contoh output:

[core] project = qwiklabs-gcp-44776a13dea667a6 Catatan: Dokumentasi lengkap gcloud tersedia dalam panduan ringkasan gcloud CLI .

Tugas 1. Membuat set data BigQuery

Dalam tugas ini, Anda membuat set data taxirides. Anda memiliki dua pilihan berbeda yang dapat digunakan untuk membuat set data ini, yaitu dengan menggunakan Google Cloud Shell atau Konsol Google Cloud.

Di lab ini Anda akan menggunakan ekstrak set data terbuka NYC Taxi & Limousine Commission. File data kecil yang dipisahkan koma akan digunakan untuk menyimulasikan update berkala data taksi.

BigQuery adalah data warehouse serverless. Tabel di BigQuery disusun menjadi set data. Di lab ini, data taksi akan mengalir dari file mandiri melalui Dataflow untuk disimpan di BigQuery. Dengan konfigurasi ini, tiap file data baru yang disimpan ke dalam bucket Cloud Storage sumber akan otomatis diproses untuk dimuat.

Gunakan salah satu opsi berikut untuk membuat set data BigQuery baru:

Opsi 1: Alat command line

1. Di Cloud Shell (), jalankan perintah berikut untuk membuat set data taxirides.

bq --location={{{project_0.default_region|Region}}} mk taxirides

2. Jalankan perintah ini untuk membuat tabel taxirides.realtime (skema kosong yang akan Anda isi nanti).

bq --location={{{project_0.default_region|Region}}} mk \ --time_partitioning_field timestamp \ --schema ride_id:string,point_idx:integer,latitude:float,longitude:float,\ timestamp:timestamp,meter_reading:float,meter_increment:float,ride_status:string,\ passenger_count:integer -t taxirides.realtime

Opsi 2: UI Konsol BigQuery

Catatan: Lewati langkah-langkah ini jika Anda membuat tabel menggunakan command line.

1. Di Konsol Google Cloud, pada Navigation menu (), klik BigQuery.

2. Jika Anda melihat dialog Selamat Datang, klik Done.

3. Klik View actions () di samping Project ID Anda, lalu klik Create dataset.

4. Di Dataset ID, ketik taxirides.

5. Di Data location, pilih:

{{{project_0.default_region|Region}}}

Lalu klik Create Dataset.

6. Di panel Explorer, klik expand node () untuk mengungkap set data taxirides yang baru.

7. Klik View actions () di samping set data taxirides, lalu klik Open.

8. Klik Create Table.

9. Di Tabel, ketik realtime

10. Untuk skema, klik Edit as text dan tempelkan perintah berikut ini:

ride_id:string, point_idx:integer, latitude:float, longitude:float, timestamp:timestamp, meter_reading:float, meter_increment:float, ride_status:string, passenger_count:integer

11. Di Partition and cluster settings, pilih timestamp.

12. Klik Create Table.

Tugas 2. Menyalin artefak lab yang diperlukan

Dalam tugas ini, Anda akan memindahkan file yang diperlukan ke Project Anda.

Cloud Storage dapat digunakan untuk menyimpan dan mengambil data di seluruh dunia, berapa pun ukurannya, kapan pun waktunya. Anda dapat menggunakan Cloud Storage untuk berbagai skenario, termasuk menyajikan konten situs, menyimpan data untuk pengarsipan dan pemulihan dari bencana, atau mendistribusikan objek data besar kepada pengguna melalui download langsung.

Bucket Cloud Storage dibuat untuk Anda saat lab dimulai.

1. Di Cloud Shell (), jalankan perintah berikut untuk memindahkan file yang dibutuhkan untuk tugas Dataflow.

gcloud storage cp gs://cloud-training/bdml/taxisrcdata/schema.json gs://{{{project_0.project_id|Project_ID}}}-bucket/tmp/schema.json gcloud storage cp gs://cloud-training/bdml/taxisrcdata/transform.js gs://{{{project_0.project_id|Project_ID}}}-bucket/tmp/transform.js gcloud storage cp gs://cloud-training/bdml/taxisrcdata/rt_taxidata.csv gs://{{{project_0.project_id|Project_ID}}}-bucket/tmp/rt_taxidata.csv

Tugas 3. Menyiapkan Pipeline Dataflow

Dalam tugas ini, Anda akan menyiapkan streaming data pipeline untuk membaca file dari bucket Cloud Storage dan menulis data ke BigQuery.

Dataflow merupakan cara serverless untuk melakukan analisis data.

Memulai ulang koneksi ke Dataflow API.

1. Di Cloud Shell, jalankan perintah berikut untuk memastikan Dataflow API diaktifkan dengan semestinya di project Anda.

gcloud services disable dataflow.googleapis.com gcloud services enable dataflow.googleapis.com

Buat pipeline aliran data yang baru:

1. Di Konsol Cloud, pada Navigation menu (), klik View all Products > Analytics > Dataflow.

2. Di panel menu teratas, klik Create Job From Template.

3. Ketik streaming-taxi-pipeline sebagai nama Tugas untuk tugas Dataflow Anda.

4. Di Regional endpoint, pilih

{{{project_0.default_region|Region}}}

5. Di Dataflow template, pilih template Cloud Storage Text to BigQuery (Stream) di bagian Process Data Continuously (stream).

Catatan: Pastikan untuk memilih opsi template yang sesuai dengan parameter yang tercantum di bawah ini.

6. Di Cloud Storage Input File(s), tempel atau ketik:

{{{project_0.project_id|Project_ID}}}-bucket/tmp/rt_taxidata.csv

7. Di Cloud Storage location of your BigQuery schema file, described as a JSON, tempel atau ketik:

{{{project_0.project_id|Project_ID}}}-bucket/tmp/schema.json

8. Di BigQuery Output table, tempel atau ketik:

{{{project_0.project_id|Project_ID}}}:taxirides.realtime

9. Di Temporary directory for BigQuery loading process, tempel atau ketik:

{{{project_0.project_id|Project_ID}}}-bucket/tmp

10. Klik Required Parameters.

11. Di Temporary location, yang digunakan untuk menulis file sementara, tempel atau ketik:

{{{project_0.project_id|Project_ID}}}-bucket/tmp

12. Di JavaScript UDF path in Cloud Storage, tempel atau ketik:

{{{project_0.project_id|Project_ID}}}-bucket/tmp/transform.js

13. Di JavaScript UDF name, tempel atau ketik:

transform

14. Di Max workers, ketik 2

15. Di Number of workers, ketik 1

16. Hapus centang Use default machine type.

17. Di bagian General purpose, pilih hal berikut:

Series: E2
Machine type: e2-medium (2 vCPU, 4 GB memory)

18. Klik Run Job.

Tugas streaming baru telah dimulai. Kini Anda dapat melihat representasi visual dari data pipeline. Diperlukan waktu 3 sampai 5 menit agar data mulai dipindahkan ke BigQuery.

Catatan: Jika tugas Dataflow gagal untuk pertama kalinya, buat ulang template tugas baru dengan nama tugas baru dan jalankan tugas tersebut.

Tugas 4. Menganalisis data taksi menggunakan BigQuery

Dalam tugas ini, Anda akan menganalisis data yang sedang dialirkan.

1. Di Konsol Cloud, pada Navigation menu (), klik BigQuery.

2. Jika dialog Selamat Datang muncul, klik Done.

3. Di Editor Kueri, ketik perintah berikut, lalu klik Run:

SELECT * FROM taxirides.realtime LIMIT 10 Catatan: Jika tidak ada kumpulan data yang ditampilkan, tunggu sejenak dan jalankan kembali kueri di atas (Dataflow memerlukan waktu 3-5 menit untuk menyiapkan aliran data).

Output Anda akan terlihat seperti berikut:

Tugas 5. Melakukan agregasi pada aliran data untuk pelaporan

Dalam tugas ini, Anda akan menghitung agregasi pada aliran data untuk pelaporan.

1. Di Query Editor, hapus kueri saat ini.

2. Salin dan tempel kueri berikut, lalu klik Run.

WITH streaming_data AS ( SELECT timestamp, TIMESTAMP_TRUNC(timestamp, HOUR, 'UTC') AS hour, TIMESTAMP_TRUNC(timestamp, MINUTE, 'UTC') AS minute, TIMESTAMP_TRUNC(timestamp, SECOND, 'UTC') AS second, ride_id, latitude, longitude, meter_reading, ride_status, passenger_count FROM taxirides.realtime ORDER BY timestamp DESC LIMIT 1000 ) # calculate aggregations on stream for reporting: SELECT ROW_NUMBER() OVER() AS dashboard_sort, minute, COUNT(DISTINCT ride_id) AS total_rides, SUM(meter_reading) AS total_revenue, SUM(passenger_count) AS total_passengers FROM streaming_data GROUP BY minute, timestamp Catatan: Pastikan Dataflow mendaftarkan data di BigQuery sebelum berlanjut ke tugas berikutnya.

Hasilnya menunjukkan metrik utama per menit untuk tiap pemberhentian taksi.

3. Klik Save > Save query.

4. Dalam dialog Save query, pada kolom Name, ketik My Saved Query.

5. Di Region, pastikan region cocok dengan Region Lab Qwiklabs.

6. Klik Save.

Tugas 6. Menghentikan Tugas Dataflow

Dalam tugas ini, Anda akan menghentikan tugas Dataflow guna mengosongkan resource untuk project Anda.

1. Di Konsol Cloud, pada Navigation menu (), klik View all Products > Analytics > Dataflow.

2. Klik streaming-taxi-pipeline, atau nama tugas yang baru.

3. Klik Stop, lalu pilih Cancel > Stop Job.

Tugas 7. Membuat dasbor real-time

Dalam tugas ini, Anda akan membuat dasbor real-time untuk memvisualisasikan data.

1. Di Konsol Cloud, pada Navigation menu (), klik BigQuery.

2. Di panel Explorer, luaskan Project ID Anda.

3. Luaskan Queries, lalu klik My Saved Query.

Permintaan Anda akan dimuat ke dalam editor kueri.

4. Klik Run.

5. Di bagian Query results, klik Open in > Looker Studio.

   Looker Studio akan terbuka. Klik Get started.

6. Di jendela Looker Studio, klik diagram batang Anda.

(

Panel Diagram akan muncul.

7. Klik Add a chart, lalu pilih Combo chart.

   

8. Di panel Setup, pada Data Range Dimension, arahkan kursor ke minute (Date), lalu klik X untuk menghapusnya.

9. Di panel Data, klik dashboard_sort dan seret ke Setup > Data Range Dimension > Add dimension.

10. Di Setup > Dimension, klik minute, lalu pilih dashboard_sort.

11. Di Setup > Metric, klik dashboard_sort, lalu pilih total_rides.

12. Di Setup > Metric, klik Record Count, lalu pilih total_passengers.

13. Di Setup > Metric, klik Add metric, lalu pilih total_revenue.

14. Di Setup > Sort, klik total_rides, lalu pilih dashboard_sort.

15. Di Setup > Sort, klik Ascending.

Diagram Anda akan terlihat seperti ini:

Catatan: Memvisualisasikan data pada level menit saat ini tidak didukung di Looker Studio sebagai stempel waktu. Inilah sebabnya kita membuat dimensi dashboard_sort kita sendiri.

16. Jika sudah puas dengan dasbor Anda, klik Save and share untuk menyimpan sumber data ini.

17. Jika diminta untuk menyelesaikan penyiapan akun Anda, ketik informasi negara dan perusahaan Anda, setujui persyaratan dan ketentuan, lalu klik Continue.

18. Jika ditanya pembaruan mana yang ingin Anda terima, jawab no untuk semua, lalu klik Continue.

19. Jika muncul jendela permintaan Review data access before saving, klik Acknowledge and save.

20. Jika diminta untuk memilih akun, pilih Student Account Anda.

21. Kapan pun seseorang mengunjungi dasbor Anda, dasbor tersebut akan diperbarui dengan transaksi terbaru. Anda dapat mencobanya sendiri dengan mengklik More options (), lalu Refresh data.

Tugas 8. Membuat dasbor deret waktu

Dalam tugas ini, Anda akan membuat diagram deret waktu.

1. Klik link Looker Studio ini untuk membuka Looker Studio di tab browser baru.

2. Di halaman Reports, di bagian Start with a Template, klik template [+] Blank Report.

3. Laporan baru yang kosong akan terbuka dengan jendela Add data to report.

4. Dari daftar Google Connectors, pilih tile BigQuery.

5. Klik Custom Query, lalu pilih ProjectID Anda. Project ID tersebut akan muncul dalam format berikut, qwiklabs-gcp-xxxxxxx.

6. Di bagian Enter Custom Query, tempelkan kueri berikut:

SELECT * FROM taxirides.realtime WHERE ride_status='enroute'

7. Klik Add > Add To Report.

   Laporan baru tanpa judul akan muncul. Mungkin butuh waktu beberapa saat hingga layar selesai dimuat ulang.

Membuat diagram deret waktu

1. Di panel Data, klik Add a Field > Add calculated field.

2. Klik All Fields di sudut sebelah kiri.

3. Ubah jenis kolom timestamp menjadi Date & Time > Date Hour Minute (YYYYMMDDhhmm).

4. Dalam dialog change timestamp, klik Continue, lalu klik Done.

5. Di menu teratas, klik Add a chart.

6. Pilih Time series chart.

   

7. Letakkan diagram di sudut kiri bawah, di ruang kosong.

8. Di Setup > Dimension, klik timestamp (Date), lalu pilih timestamp.

9. Di Setup > Dimension, klik timestamp, lalu pilih calendar.

10. Di Data Type, pilih Date & Time > Date Hour Minute.

11. Klik di luar dialog untuk menutupnya. Anda tidak perlu menambahkan nama.

12. Di Setup > Metric, klik Record Count, lalu pilih meter reading.

Selamat!

Di lab ini, Anda berhasil menggunakan Dataflow untuk mengalirkan data melalui pipeline ke BigQuery.

Mengakhiri lab Anda

Setelah Anda menyelesaikan lab, klik Akhiri Lab. Google Cloud Skills Boost menghapus resource yang telah Anda gunakan dan membersihkan akun.

Anda akan diberi kesempatan untuk menilai pengalaman menggunakan lab. Pilih jumlah bintang yang sesuai, ketik komentar, lalu klik Submit.

Makna jumlah bintang:

• 1 bintang = Sangat tidak puas
• 2 bintang = Tidak puas
• 3 bintang = Netral
• 4 bintang = Puas
• 5 bintang = Sangat puas

Anda dapat menutup kotak dialog jika tidak ingin memberikan masukan.

Untuk masukan, saran, atau koreksi, gunakan tab Support.

Hak cipta 2024 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.