GSP192

Ringkasan

Di lab ini, Anda akan mempelajari cara membuat pipeline streaming menggunakan salah satu template Dataflow Google. Lebih tepatnya, Anda akan menggunakan template Pub/Sub to BigQuery, yang membaca pesan yang ditulis dalam JSON dari topik Pub/Sub dan mengirimnya ke tabel BigQuery. Anda dapat menemukan dokumentasi untuk template ini di bagian Panduan penggunaan template yang disediakan Google.

Anda diberi opsi untuk menggunakan command line Cloud Shell atau Konsol Cloud untuk membuat set data dan tabel BigQuery. Pilih satu metode yang akan digunakan, lalu lanjutkan dengan metode tersebut hingga akhir lab. Jika Anda ingin merasakan pengalaman menggunakan kedua metode tersebut, jalankan melalui lab ini untuk kedua kalinya.

Yang akan Anda lakukan

• Membuat set data dan tabel BigQuery
• Membuat bucket Cloud Storage
• Membuat pipeline streaming menggunakan template Pub/Sub to BigQuery Dataflow

Penyiapan

Sebelum mengklik tombol Mulai Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer, yang dimulai saat Anda mengklik Start Lab, akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab praktik ini dapat Anda gunakan untuk melakukan sendiri aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun Siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Jika Anda sudah memiliki project atau akun pribadi Google Cloud, jangan menggunakannya untuk lab ini agar terhindar dari tagihan ekstra pada akun Anda.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, jendela pop-up akan terbuka untuk memilih metode pembayaran. Di sebelah kiri adalah panel Lab Details dengan info berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk melihat menu dengan daftar produk dan layanan Google Cloud, klik Navigation menu di kiri atas.

Mengaktifkan Cloud Shell

Cloud Shell adalah mesin virtual yang dilengkapi dengan berbagai alat pengembangan. Mesin virtual ini menawarkan direktori beranda persisten berkapasitas 5 GB dan berjalan di Google Cloud. Cloud Shell menyediakan akses command-line untuk resource Google Cloud Anda.

1. Klik Activate Cloud Shell di bagian atas konsol Google Cloud.

Setelah terhubung, Anda sudah diautentikasi, dan project ditetapkan ke PROJECT_ID Anda. Output berisi baris yang mendeklarasikan PROJECT_ID untuk sesi ini:

Project Cloud Platform Anda dalam sesi ini disetel ke YOUR_PROJECT_ID

gcloud adalah alat command line untuk Google Cloud. Alat ini sudah terinstal di Cloud Shell dan mendukung pelengkapan command line.

2. (Opsional) Anda dapat menampilkan daftar nama akun yang aktif dengan perintah ini:

gcloud auth list

3. Klik Authorize.

4. Output Anda sekarang akan terlihat seperti ini:

Output:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net Untuk menyetel akun aktif, jalankan: $ gcloud config set account `ACCOUNT`

5. (Opsional) Anda dapat menampilkan daftar project ID dengan perintah ini:

gcloud config list project

Output:

[core] project = <project_ID>

Contoh output:

[core] project = qwiklabs-gcp-44776a13dea667a6 Catatan: Untuk mendapatkan dokumentasi gcloud yang lengkap di Google Cloud, baca panduan ringkasan gcloud CLI.

Tugas 1. Memastikan Dataflow API berhasil diaktifkan kembali

Untuk memastikan akses ke API yang diperlukan, mulai ulang koneksi ke Dataflow API.

1. Di Konsol Cloud, masukkan "Dataflow API" di kotak penelusuran teratas. Klik hasil untuk Dataflow API.

2. Klik Manage.

3. Klik Disable API.

Jika diminta untuk mengonfirmasi, klik Disable.

4. Klik Enable.

Jika API sudah diaktifkan kembali, halaman akan menampilkan opsi untuk menonaktifkannya.

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tugas yang telah diselesaikan.

Menonaktifkan dan mengaktifkan kembali Dataflow API.

Tugas 2. Membuat set data BigQuery, tabel BigQuery, dan bucket Cloud Storage menggunakan Cloud Shell

Pertama-tama, mari kita buat set data dan tabel BigQuery.

Catatan: Tugas ini menggunakan alat command line bq. Lompat ke Tugas 3 jika Anda ingin menyelesaikan langkah ini menggunakan Konsol Cloud.

1. Jalankan perintah berikut untuk membuat set data yang disebut taxirides:

bq mk taxirides

Output Anda akan terlihat seperti ini:

Dataset '' successfully created

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tugas yang telah diselesaikan. Jika berhasil membuat set data BigQuery, Anda akan melihat skor penilaian.

Membuat Set Data BigQuery (nama: taxirides).

Sekarang setelah set data dibuat, Anda akan menggunakannya pada langkah berikut untuk membuat instance tabel BigQuery.

2. Jalankan perintah berikut untuk melakukannya:

bq mk \ --time_partitioning_field timestamp \ --schema ride_id:string,point_idx:integer,latitude:float,longitude:float,\ timestamp:timestamp,meter_reading:float,meter_increment:float,ride_status:string,\ passenger_count:integer -t taxirides.realtime

Output Anda akan terlihat seperti ini:

Table 'myprojectid:taxirides.realtime' successfully created

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tugas yang telah diselesaikan. Jika berhasil membuat tabel dalam set data BigQuery, Anda akan melihat skor penilaian.

Membuat tabel di Set Data BigQuery.

Sepintas lalu, perintah bq mk terlihat agak kompleks. Namun, dengan bantuan dari dokumentasi command line BigQuery, kita dapat menguraikan prosesnya. Sebagai contoh, dokumentasi ini memberikan informasi lebih lanjut tentang skema:

• Baik berupa jalur ke file skema JSON lokal maupun daftar yang dipisahkan koma dari definisi kolom dalam format [FIELD]:[DATA_TYPE], [FIELD]:[DATA_TYPE].

Dalam hal ini, kita menggunakan format yang kedua, yaitu daftar yang dipisahkan koma.

Membuat bucket Cloud Storage menggunakan Cloud Shell

Setelah membuat instance tabel, mari kita membuat bucket.

Gunakan Project ID sebagai nama bucket untuk memastikan nama unik secara global:

• Jalankan perintah berikut untuk melakukannya:

export BUCKET_NAME={{{project_0.project_id | "Bucket Name"}}} gsutil mb gs://$BUCKET_NAME/

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tugas yang telah diselesaikan. Jika berhasil membuat bucket Cloud Storage, Anda akan melihat skor penilaian.

Membuat bucket Cloud Storage.

Setelah membuat bucket, scroll ke bawah ke bagian Menjalankan Pipeline.

Tugas 3. Membuat set data BigQuery, tabel BigQuery, dan bucket Cloud Storage menggunakan Konsol Google Cloud

Catatan: Jangan mengerjakan Tugas 3 jika Anda telah mengerjakan Tugas 2, yang mencakup tugas yang sama dalam command line.

1. Dari menu di sebelah kiri, di bagian Big Data, klik BigQuery.

2. Kemudian, klik Done.

3. Klik tiga titik di samping nama project Anda di bagian Explorer, lalu klik Create dataset.

4. Masukkan taxirides sebagai ID set data Anda:

5. Pilih us (multiple regions in United States) untuk Data location.

6. Tetap gunakan setelan default untuk semua setelan lainnya, lalu klik CREATE DATASET.

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tugas yang telah diselesaikan. Jika berhasil membuat set data BigQuery, Anda akan melihat skor penilaian.

Membuat Set Data BigQuery (nama: taxirides).

7. Saat ini Anda seharusnya dapat melihat set data taxirides di bawah project ID, di konsol sebelah kiri.

8. Klik tiga titik di samping set data taxirides dan pilih Open.

9. Lalu pilih CREATE TABLE di sisi kanan konsol.

10. Pada input Destination > Table Name, masukkan realtime.

11. Di bagian Schema, aktifkan tombol pengalih Edit as text, lalu masukkan perintah berikut:

ride_id:string,point_idx:integer,latitude:float,longitude:float,timestamp:timestamp, meter_reading:float,meter_increment:float,ride_status:string,passenger_count:integer

Konsol Anda akan tampak seperti berikut:

12. Sekarang, klik Create table.

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tugas yang telah diselesaikan. Jika berhasil membuat tabel dalam set data BigQuery, Anda akan melihat skor penilaian.

Membuat tabel di Set Data BigQuery.

Membuat bucket Cloud Storage menggunakan Konsol Cloud

1. Kembali ke Konsol Cloud dan buka Cloud Storage > Buckets > Create bucket.

2. Gunakan Project ID sebagai nama bucket untuk memastikan nama unik secara global:

3. Tetap gunakan setelan default untuk semua setelan lainnya, lalu klik Create.

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tugas yang telah diselesaikan. Jika berhasil membuat bucket Cloud Storage, Anda akan melihat skor penilaian.

Membuat bucket Cloud Storage.

Tugas 4. Menjalankan pipeline

Deploy Template Dataflow berikut:

gcloud dataflow jobs run iotflow \ --gcs-location gs://dataflow-templates-{{{project_0.default_region | "Region"}}}/latest/PubSub_to_BigQuery \ --region {{{project_0.default_region | "Region"}}} \ --worker-machine-type e2-medium \ --staging-location gs://{{{project_0.project_id | "Bucket Name"}}}/temp \ --parameters inputTopic=projects/pubsub-public-data/topics/taxirides-realtime,outputTableSpec={{{project_0.project_id | "Table Name"}}}:taxirides.realtime

Pada Konsol Google Cloud, di Navigation menu, klik Dataflow > Jobs, dan Anda akan melihat tugas dataflow Anda.

Baca dokumen ini untuk mengetahui informasi lebih lanjut.

Catatan: Anda mungkin perlu menunggu beberapa saat sampai pelacakan aktivitas selesai.

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tugas yang telah diselesaikan. Jika telah berhasil menjalankan pipeline Dataflow, Anda akan melihat skor penilaian.

Menjalankan Pipeline.

Anda akan menyaksikan resource Anda dibuat dan siap digunakan.

Sekarang, mari kita lihat data yang ditulis ke BigQuery dengan mengklik BigQuery yang ada di Navigation menu.

• Ketika UI BigQuery terbuka, Anda akan melihat set data taxirides ditambahkan di bagian nama project Anda dan tabel realtime di bawahnya.

Catatan: Anda mungkin perlu menunggu beberapa menit sampai data diisi dalam tabel BigQuery.

Tugas 5. Mengirim kueri

Anda dapat mengirimkan kueri menggunakan SQL standar.

1. Di Editor BigQuery, tambahkan perintah berikut untuk mengkueri data di project Anda:

SELECT * FROM `{{{project_0.project_id | "Bucket Name"}}}.taxirides.realtime` LIMIT 1000

2. Sekarang, klik RUN.

Jika Anda mengalami masalah atau error, jalankan kueri lagi (pipeline membutuhkan waktu beberapa saat untuk memulai.)

3. Ketika kueri berhasil berjalan, Anda akan melihat output di panel Query Results seperti yang ditunjukkan di bawah ini:

Kerja bagus! Anda baru saja menarik 1000 perjalanan dengan taksi dari topik Pub/Sub dan memasukkannya ke tabel BigQuery. Seperti yang Anda lihat sendiri, template adalah cara yang praktis dan mudah digunakan untuk menjalankan tugas Dataflow. Pastikan untuk mempelajari beberapa Template Google lainnya di bagian Panduan penggunaan template yang disediakan Google di Dokumentasi Dataflow.

Tugas 6. Menguji pemahaman Anda

Di bawah ini terdapat pertanyaan pilihan ganda untuk memperkuat pemahaman Anda tentang konsep lab ini. Jawab pertanyaan tersebut sebaik mungkin.

Selamat!

Anda membuat pipeline streaming menggunakan template Pub/Sub to BigQuery Dataflow, yang membaca pesan yang ditulis dalam JSON dari topik Pub/Sub dan mengirimnya ke tabel BigQuery.

Langkah berikutnya/Pelajari lebih lanjut

Lab ini merupakan bagian dari rangkaian lab yang disebut Qwik Start. Lab ini dirancang agar Anda dapat mencoba berbagai fitur yang tersedia dengan Google Cloud. Telusuri "Qwik Starts" di katalog Google Cloud Skills Boost untuk menemukan lab berikutnya yang ingin Anda ikuti.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 4 Februari 2024

Lab Terakhir Diuji pada 10 November 2023

Hak cipta 2024 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.