Ringkasan

Di lab ini, Anda akan memuat log server web ke dalam tabel BigQuery. Setelah memuat data, Anda akan membuat kueri data menggunakan antarmuka pengguna web BigQuery dan BigQuery CLI.

BigQuery membantu Anda melakukan analisis interaktif database berskala petabyte, dan memungkinkan analisis yang hampir real time untuk set data berukuran besar. BigQuery menawarkan fungsi dan bahasa kueri SQL 2011 yang telah dikenal.

Data yang disimpan di BigQuery sangat terpelihara. Secara default, Google akan menyimpan data Anda dengan membuat replikanya tanpa biaya tambahan. Dengan BigQuery, Anda cukup membayar untuk resource yang Anda gunakan. Biaya penyimpanan data di BigQuery sangat terjangkau. Kueri dapat dikenai biaya berdasarkan jumlah data yang diproses: saat mengirimkan kueri, Anda cukup membayar untuk node komputasi selama durasi kueri tersebut. Anda tidak perlu membayar untuk terus menjalankan cluster komputasi.

Penggunaan BigQuery melibatkan interaksi dengan sejumlah resource Google Cloud Platform, termasuk project (dibahas di bagian lain dalam kursus ini), set data, tabel, dan tugas. Lab ini memperkenalkan beberapa resource ini kepada Anda, dan pengantar singkat ini merangkum peran resource tersebut dalam berinteraksi dengan BigQuery.

Set data: Set data adalah mekanisme pengelompokan yang berisi nol atau beberapa tabel. Set data adalah unit kontrol akses level terendah. Set data dimiliki oleh project GCP. Setiap set data dapat dibagikan dengan masing-masing pengguna.

Tabel: Tabel adalah struktur kolom dan baris yang berisi data aktual. Setiap tabel memiliki skema yang menjelaskan kolom nilai dengan konsep strongly typed. Setiap tabel dimiliki oleh set data.

Tujuan

Di lab ini, Anda akan mempelajari cara melakukan tugas-tugas berikut:

• Memuat data dari Cloud Storage ke BigQuery.

• Melakukan kueri pada data di BigQuery.

Tugas 1: Login ke Google Cloud Platform (GCP) Console

Untuk setiap lab, Anda akan memperoleh project Google Cloud baru serta serangkaian resource selama jangka waktu tertentu, tanpa biaya.

1. Login ke Qwiklabs menggunakan jendela samaran.

2. Perhatikan waktu akses lab (misalnya, 1:15:00), dan pastikan Anda dapat menyelesaikannya dalam waktu tersebut.
   Tidak ada fitur jeda. Bila perlu, Anda dapat memulai ulang lab, tetapi Anda harus memulai dari awal.

3. Jika sudah siap, klik Start lab.

4. Catat kredensial lab (Nama pengguna dan Sandi) Anda. Anda akan menggunakannya untuk login ke Google Cloud Console.

5. Klik Open Google Console.

6. Klik Use another account, lalu salin/tempel kredensial lab ini ke perintah yang muncul.
   Jika menggunakan kredensial lain, Anda akan menerima pesan error atau dikenai biaya.

7. Setujui ketentuan dan lewati halaman resource pemulihan.

Perhatikan apakah region yang ditentukan lebih dekat dengan Amerika Serikat atau dengan Eropa.

Tugas 2: Memuat data dari Cloud Storage ke BigQuery

1. Pada Menu navigasi () di Console, klik BigQuery lalu klik Selesai.

2. Buat set data baru di dalam project dengan memilih project Anda di bagian Resource, lalu klik BUAT SET DATA di sebelah kanan.

3. Pada dialog Buat Set Data, untuk ID Set Data, ketik logdata.

4. Untuk Lokasi data, pilih benua yang paling dekat dengan region tempat pembuatan project tersebut. Klik Buat set data.

5. Buat tabel baru di logdata untuk menyimpan data dari file CSV.

6. Klik Buat Tabel. Di halaman Buat Tabel, di bagian Sumber:

• Untuk Buat tabel dari, pilih Google Cloud Storage, lalu pada kolom tersebut, ketik gs://cloud-training/gcpfci/access_log.csv.
• Pastikan Format file diatur ke CSV.

Catatan: Jika Anda telah membuat tabel sebelumnya, opsi Buat dari Tugas Sebelumnya memungkinkan Anda menggunakan setelan untuk membuat tabel yang serupa dengan cepat.

7. Di bagian Tujuan:

• Untuk Nama set data, tetap pilih logdata.

• Untuk Nama tabel, ketik accesslog.

• Untuk Jenis tabel, Tabel asli harus dipilih.

8. Di bagian Skema, periksa Skema dan parameter input untuk Deteksi otomatis.

9. Setujui nilai default yang tersisa, lalu klik Buat Tabel.

   BigQuery membuat tugas pemuatan untuk membuat tabel dan mengupload data ke dalam tabel (tindakan ini mungkin memerlukan waktu beberapa detik).

10. (Opsional) Untuk memantau progres tugas, klik Histori Tugas.

11. Setelah tugas pemuatan selesai, klik logdata > accesslog.

12. Di halaman detail tabel, klik Detail untuk melihat properti tabel, lalu klik Pratinjau untuk melihat data tabel.

    Setiap baris dalam tabel ini mencatat klik di server web. Kolom pertama, string_field_0, adalah alamat IP klien. Kolom keempat hingga kesembilan mencatat hari, bulan, tahun, jam, menit, dan detik saat klik terjadi. Pada aktivitas ini, Anda akan mempelajari pola pemuatan harian di server web ini.

Klik Periksa progres saya untuk memverifikasi tujuan. Memuat data dari Cloud Storage ke BigQuery

Tugas 3: Melakukan kueri pada data menggunakan UI web BigQuery

Di bagian lab ini, Anda akan menggunakan UI web BigQuery untuk membuat kueri tabel accesslog yang telah dibuat sebelumnya.

1. Di jendela Editor kueri, ketik (atau salin dan tempel) kueri berikut:

2. Karena Anda meminta BigQuery untuk secara otomatis menemukan skema saat data dimuat, waktu terjadinya setiap klik web dapat ditemukan pada kolom yang disebut int_field_6.

   select int64_field_6 as hour, count(*) as hitcount from logdata.accesslog
   group by hour
   order by hour
   

   Perhatikan bahwa Validator Kueri memberi tahu bahwa sintaks kueri valid (ditunjukkan dengan tanda centang hijau) dan menunjukkan jumlah data yang akan diproses oleh kueri. Jumlah data yang diproses memungkinkan Anda menentukan harga kueri menggunakan Kalkulator Harga Cloud Platform.

3. Klik Jalankan dan periksa hasilnya. Pada pukul berapa situs akan sangat sibuk? Kapan situs akan sangat senggang?

Tugas 4: Melakukan kueri pada data menggunakan perintah bq

Di bagian lab ini, Anda akan menggunakan perintah bq di Cloud Shell untuk membuat kueri pada tabel accesslog yang telah dibuat sebelumnya.

1. Di Google Cloud Platform Console, klik Aktifkan Cloud Shell lalu klik Lanjutkan.

2. Pada tampilan layar perintah Cloud Shell, masukkan perintah ini:

   bq query "select string_field_10 as request, count(*) as requestcount from logdata.accesslog group by request order by requestcount desc"
   

   Saat pertama kali menggunakan perintah bq, perintah tersebut akan menyimpan cache kredensial Google Cloud Platform Anda, lalu meminta Anda memilih project default. Pilih project yang ditentukan oleh Qwiklabs untuk Anda. Nama project akan terlihat seperti qwiklabs-gcp- dan diikuti dengan angka heksadesimal.

   Kemudian, perintah bq akan melakukan tindakan yang diminta pada command line. URL mana yang paling populer yang ditawarkan server web ini? URL mana yang paling tidak populer?

Selamat!

Di lab ini, Anda telah berhasil memuat data yang disimpan di Cloud Storage ke dalam tabel yang dihosting oleh Google BigQuery. Anda juga telah membuat kueri data untuk menemukan pola.

Mengakhiri lab Anda

Setelah Anda menyelesaikan lab, klik Akhiri Lab. Google Cloud Skills Boost menghapus resource yang telah Anda gunakan dan membersihkan akun.

Anda akan diberi kesempatan untuk menilai pengalaman menggunakan lab. Pilih jumlah bintang yang sesuai, ketik komentar, lalu klik Kirim.

Makna jumlah bintang:

• 1 bintang = Sangat tidak puas
• 2 bintang = Tidak puas
• 3 bintang = Netral
• 4 bintang = Puas
• 5 bintang = Sangat puas

Anda dapat menutup kotak dialog jika tidak ingin memberikan masukan.

Untuk masukan, saran, atau koreksi, gunakan tab Dukungan.

Hak cipta 2020 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.