GSP104

Ringkasan

Dataproc adalah layanan cloud yang cepat, mudah digunakan, dan terkelola sepenuhnya untuk menjalankan cluster Apache Spark dan Apache Hadoop dengan cara yang lebih mudah dan hemat biaya. Operasi yang sebelumnya memerlukan waktu berjam-jam atau berhari-hari kini bisa dikerjakan dalam hitungan detik atau menit. Buat cluster Dataproc dengan cepat dan sesuaikan ukurannya kapan saja, sehingga Anda tidak perlu khawatir cluster tidak dapat mengimbangi perkembangan pipeline data Anda.

Lab ini menunjukkan cara menggunakan command line untuk membuat cluster Dataproc, menjalankan tugas Apache Spark sederhana di cluster, lalu mengubah jumlah worker dalam cluster.

Yang akan Anda lakukan

Di lab ini, Anda akan mempelajari cara:

• Membuat cluster Dataproc menggunakan command line
• Menjalankan tugas Apache Spark sederhana
• Mengubah jumlah worker dalam cluster

Penyiapan dan persyaratan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran (direkomendasikan) atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Hanya gunakan akun siswa untuk lab ini. Jika Anda menggunakan akun Google Cloud yang berbeda, Anda mungkin akan dikenai tagihan ke akun tersebut.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kiri ada panel Lab Details yang berisi hal-hal berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk mengakses produk dan layanan Google Cloud, klik Navigation menu atau ketik nama layanan atau produk di kolom Search.

Mengaktifkan Cloud Shell

Cloud Shell adalah mesin virtual yang dilengkapi dengan berbagai alat pengembangan. Mesin virtual ini menawarkan direktori beranda persisten berkapasitas 5 GB dan berjalan di Google Cloud. Cloud Shell menyediakan akses command-line untuk resource Google Cloud Anda.

1. Klik Activate Cloud Shell di bagian atas Konsol Google Cloud.

2. Klik jendela berikut:

   • Lanjutkan melalui jendela informasi Cloud Shell.
   • Beri otorisasi ke Cloud Shell untuk menggunakan kredensial Anda guna melakukan panggilan Google Cloud API.

Setelah terhubung, Anda sudah diautentikasi, dan project ditetapkan ke Project_ID, . Output berisi baris yang mendeklarasikan Project_ID untuk sesi ini:

Project Cloud Platform Anda dalam sesi ini disetel ke {{{project_0.project_id | "PROJECT_ID"}}}

gcloud adalah alat command line untuk Google Cloud. Alat ini sudah terinstal di Cloud Shell dan mendukung pelengkapan command line.

3. (Opsional) Anda dapat menampilkan daftar nama akun yang aktif dengan perintah ini:

gcloud auth list

4. Klik Authorize.

Output:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} Untuk menetapkan akun aktif, jalankan: $ gcloud config set account `ACCOUNT`

5. (Opsional) Anda dapat menampilkan daftar ID project dengan perintah ini:

gcloud config list project

Output:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Catatan: Untuk mendapatkan dokumentasi gcloud yang lengkap di Google Cloud, baca panduan ringkasan gcloud CLI.

Tugas 1. Membuat cluster

1. Di Cloud Shell, jalankan perintah berikut untuk menetapkan Region:

gcloud config set dataproc/region {{{project_0.default_region | Region}}}

2. Dataproc membuat bucket staging dan bucket sementara yang digunakan secara bersama oleh berbagai cluster di region yang sama. Karena kita tidak menentukan akun untuk digunakan Dataproc, Dataproc akan menggunakan akun layanan default Compute Engine yang secara default tidak memiliki izin bucket penyimpanan. Mari kita tambahkan izin tersebut.

• Pertama-tama, jalankan perintah berikut untuk mengambil PROJECT_ID dan PROJECT_NUMBER:

PROJECT_ID=$(gcloud config get-value project) && \ gcloud config set project $PROJECT_ID PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')

• Sekarang, jalankan perintah berikut untuk memberi peran Storage Admin ke akun layanan default Compute Engine:

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.admin

3. Aktifkan Akses Google Pribadi di subnetwork Anda dengan menjalankan perintah berikut:

gcloud compute networks subnets update default --region={{{project_0.default_region | REGION }}} --enable-private-ip-google-access

4. Jalankan perintah berikut untuk membuat cluster bernama example-cluster dengan VM e2-standard-4 dan setelan Cloud Dataproc default:

gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4

5. Jika diminta, konfirmasi zona untuk cluster Anda. Masukkan Y.

Cluster Anda memerlukan waktu beberapa menit untuk dibuat.

Waiting for cluster creation operation...done. Created [... example-cluster]

Saat Anda melihat pesan "Created", Anda siap untuk melanjutkan.

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tugas yang telah diselesaikan. Jika Anda telah berhasil membuat cluster Dataproc, skor penilaian akan terlihat.

Membuat cluster Dataproc

Tugas 2. Mengirim tugas

• Jalankan perintah ini untuk mengirimkan contoh tugas Spark yang menghitung nilai kasar untuk pi:

gcloud dataproc jobs submit spark --cluster example-cluster \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

Perintah tersebut menentukan:

• Bahwa Anda ingin menjalankan tugas spark di cluster example-cluster
• class yang berisi metode utama untuk aplikasi penghitung pi tugas
• Lokasi file jar yang berisi kode tugas Anda
• Parameter yang ingin Anda teruskan ke tugas, yang dalam kasus ini berupa jumlah tugas, dengan jumlah 1.000

Catatan: Parameter yang diteruskan ke tugas harus diikuti tanda pisah ganda (--). Baca dokumentasi gcloud untuk mengetahui informasi lebih lanjut.

Tugas sedang berjalan dan output terakhir ditampilkan di jendela terminal:

Waiting for job output... ... Pi is roughly 3.14118528 ... state: FINISHED

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tugas yang telah diselesaikan. Jika Anda telah berhasil mengirimkan tugas, skor penilaian akan terlihat.

Mengirim tugas

Tugas 3. Mengupdate cluster

1. Untuk mengubah jumlah worker di cluster menjadi empat, jalankan perintah berikut:

gcloud dataproc clusters update example-cluster --num-workers 4

Detail cluster Anda yang telah diubah ditampilkan di output perintah:

Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67]. Waiting for cluster update operation...done.

2. Anda dapat menggunakan perintah yang sama untuk mengurangi jumlah worker node:

gcloud dataproc clusters update example-cluster --num-workers 2

Sekarang Anda dapat membuat cluster Dataproc dan menyesuaikan jumlah worker dari command line gcloud di Google Cloud.

Tugas 4. Menguji pemahaman Anda

Di bawah ini terdapat beberapa pertanyaan pilihan ganda untuk memperkuat pemahaman Anda tentang konsep-konsep dalam lab ini. Jawab pertanyaan tersebut sebaik mungkin.

Selamat!

Anda telah mempelajari cara menggunakan command line untuk membuat dan mengubah cluster Dataproc serta mengirimkan tugas.

Langkah berikutnya/Pelajari lebih lanjut

Lab ini juga merupakan bagian dari rangkaian lab yang disebut Qwik Start. Lab ini dirancang agar Anda dapat mencoba berbagai fitur yang tersedia dengan Google Cloud. Telusuri "Qwik Start" di katalog lab untuk menemukan lab berikutnya yang ingin Anda ikuti.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 29 Agustus 2024

Lab Terakhir Diuji pada 29 Agustus 2024

Hak cipta 2025 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.