arrow_back

Menggunakan BigQuery dan Cloud Logging untuk Menganalisis Penggunaan BigQuery

Login Gabung
Quick tip: Review the prerequisites before you run the lab
Use an Incognito or private browser window to run this lab. This prevents any conflicts between your personal account and the student account, which may cause extra charges incurred to your personal account.
Uji dan bagikan pengetahuan Anda kepada komunitas kami.
done
Dapatkan akses ke lebih dari 700 lab praktik, badge keahlian, dan kursus

Menggunakan BigQuery dan Cloud Logging untuk Menganalisis Penggunaan BigQuery

Lab 45 menit universal_currency_alt 1 Kredit show_chart Pengantar
info Lab ini mungkin menggabungkan alat AI untuk mendukung pembelajaran Anda.
Uji dan bagikan pengetahuan Anda kepada komunitas kami.
done
Dapatkan akses ke lebih dari 700 lab praktik, badge keahlian, dan kursus

GSP617

Logo lab mandiri Google Cloud

Ringkasan

Cloud Logging berfungsi sebagai repositori pusat untuk log dari berbagai layanan Google Cloud, termasuk BigQuery, dan ideal untuk penyimpanan log jangka pendek hingga menengah. Banyak industri yang perlu menyimpan log dalam waktu lebih lama. Untuk menyimpan log bagi proses analisis historis yang lebih panjang atau audit yang kompleks, Anda dapat menyiapkan sink guna mengekspor log tertentu ke BigQuery.

Dalam lab ini, Anda akan melihat log BigQuery di dalam Cloud Logging, menyiapkan sink untuk mengekspornya ke BigQuery, lalu menggunakan SQL untuk menganalisis log.

Penyiapan dan persyaratan

Sebelum mengklik tombol Mulai Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer, yang dimulai saat Anda mengklik Start Lab, akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab praktik ini dapat Anda gunakan untuk melakukan sendiri aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

  • Akses ke browser internet standar (disarankan browser Chrome).
Catatan: Gunakan jendela Samaran atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun Siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.
  • Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.
Catatan: Jika Anda sudah memiliki project atau akun pribadi Google Cloud, jangan menggunakannya untuk lab ini agar terhindar dari tagihan ekstra pada akun Anda.

Cara memulai lab dan login ke Google Cloud Console

  1. Klik tombol Start Lab. Jika Anda perlu membayar lab, jendela pop-up akan terbuka untuk memilih metode pembayaran. Di sebelah kiri adalah panel Lab Details dengan info berikut:

    • Tombol Open Google Cloud console
    • Waktu tersisa
    • Kredensial sementara yang harus Anda gunakan untuk lab ini
    • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

  2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

    Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

    Tips: Atur tab di jendela terpisah secara berdampingan.

    Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

  3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

    {{{user_0.username | "Username"}}}

    Anda juga dapat menemukan Username di panel Lab Details.

  4. Klik Next.

  5. Salin Password di bawah dan tempel ke dialog Welcome.

    {{{user_0.password | "Password"}}}

    Anda juga dapat menemukan Password di panel Lab Details.

  6. Klik Next.

    Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

  7. Klik halaman berikutnya:

    • Setujui persyaratan dan ketentuan.
    • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
    • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk melihat menu dengan daftar produk dan layanan Google Cloud, klik Navigation menu di kiri atas. Ikon Navigation menu

Mengaktifkan Cloud Shell

Cloud Shell adalah mesin virtual yang dilengkapi dengan berbagai alat pengembangan. Mesin virtual ini menawarkan direktori beranda persisten berkapasitas 5 GB dan berjalan di Google Cloud. Cloud Shell menyediakan akses command-line untuk resource Google Cloud Anda.

  1. Klik Activate Cloud Shell Ikon Activate Cloud Shell di bagian atas konsol Google Cloud.

Setelah terhubung, Anda sudah diautentikasi, dan project ditetapkan ke PROJECT_ID Anda. Output berisi baris yang mendeklarasikan PROJECT_ID untuk sesi ini:

Project Cloud Platform Anda dalam sesi ini disetel ke YOUR_PROJECT_ID

gcloud adalah alat command line untuk Google Cloud. Alat ini sudah terinstal di Cloud Shell dan mendukung pelengkapan command line.

  1. (Opsional) Anda dapat menampilkan daftar nama akun yang aktif dengan perintah ini:
gcloud auth list

  1. Klik Authorize.

  2. Output Anda sekarang akan terlihat seperti ini:

Output:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net Untuk menyetel akun aktif, jalankan: $ gcloud config set account `ACCOUNT`
  1. (Opsional) Anda dapat menampilkan daftar project ID dengan perintah ini:
gcloud config list project

Output:

[core] project = <project_ID>

Contoh output:

[core] project = qwiklabs-gcp-44776a13dea667a6 Catatan: Untuk mendapatkan dokumentasi gcloud yang lengkap di Google Cloud, baca panduan ringkasan gcloud CLI.

Tugas 1. Membuka BigQuery

Membuka konsol BigQuery

  1. Di Google Cloud Console, pilih Navigation menu > BigQuery.

Kotak pesan Welcome to BigQuery in the Cloud Console akan terbuka. Kotak pesan ini menyediakan link ke panduan memulai dan catatan rilis.

  1. Klik Done.

Konsol BigQuery terbuka.

Tugas 2. Membuat set data

  1. Di bagian Explorer, klik tiga titik di samping project yang diawali dengan qwiklabs-gcp-.

  2. Klik Create dataset.

  3. Tetapkan Dataset ID ke bq_logs.

  4. Klik CREATE DATASET.

Klik Check my progress untuk memverifikasi tujuan. Membuat Set Data

Tugas 3. Menjalankan kueri

Pertama, jalankan kueri sederhana yang menghasilkan log. Nantinya, Anda akan menggunakan log ini untuk menyiapkan ekspor log dari Cloud Logging untuk dilihat di BigQuery.

  1. Salin dan tempel kueri berikut ke dalam editor Kueri BigQuery:
SELECT current_date
  1. Klik RUN.

Tugas 4. Menyiapkan ekspor log dari Cloud Logging

  1. Di konsol Cloud, pilih Navigation menu > View All Products > Logging > Logs Explorer.
Catatan: Jika diminta, Klik LEAVE untuk Pekerjaan yang belum disimpan.

  1. Di All resources, pilih BigQuery, lalu klik Apply.

  2. Selanjutnya, klik tombol Run query di kanan atas.

Beberapa entri log dari kueri akan muncul.

Cari entri yang berisi kata "jobcompleted".

Log BigQuery

  1. Klik panah di sebelah kiri untuk memperluas entri.

log yang diperluas dan panah di sebelah kiri entri disorot

Selanjutnya, klik tombol Expand nested fields di sebelah kanan.

Langkah ini akan menampilkan entri log JSON yang lengkap. Scroll ke bawah dan lihat kolom lainnya.

  1. Scroll kembali ke header entri, klik tombol Similar entries, lalu pilih Show similar entries.

log jobcompleted

Langkah ini akan menyiapkan penelusuran dengan istilah yang benar. Anda mungkin perlu mengaktifkan tombol Show Query untuk melihatnya.

pembuat kueri

Membuat sink

Setelah Anda memiliki log yang diperlukan, saatnya untuk menyiapkan sink.

  1. Klik Create sink dari drop-down More actions.

Opsi Create sink disorot

  1. Isi kolom sebagai berikut:
  • Nama sink: JobComplete lalu klik NEXT.
  • Pilih layanan sink: BigQuery dataset
  • Pilih set data BigQuery (Tujuan): bq_logs (Set data yang disiapkan sebelumnya)
  • Biarkan opsi lainnya dalam setelan default.
  1. Klik CREATE SINK.

Entri log berikutnya dari BigQuery kini akan diekspor ke tabel dalam set data bq_logs.

Klik Check my progress untuk memverifikasi tujuan. Membuat Sink

Tugas 5. Menjalankan kueri contoh

Untuk mengisi tabel baru dengan beberapa log, jalankan beberapa kueri contoh.

  • Buka Cloud Shell, lalu tambahkan setiap perintah BigQuery berikut ke Cloud Shell:
bq query --location=us --use_legacy_sql=false --use_cache=false \ 'SELECT fullName, AVG(CL.numberOfYears) avgyears FROM `qwiklabs-resources.qlbqsamples.persons_living`, UNNEST(citiesLived) as CL GROUP BY fullname' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select month, avg(mean_temp) as avgtemp from `qwiklabs-resources.qlweather_geo.gsod` where station_number = 947680 and year = 2010 group by month order by month' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select CONCAT(departure_airport, "-", arrival_airport) as route, count(*) as numberflights from `bigquery-samples.airline_ontime_data.airline_id_codes` ac, `qwiklabs-resources.qlairline_ontime_data.flights` fl where ac.code = fl.airline_code and regexp_contains(ac.airline , r"Alaska") group by 1 order by 2 desc LIMIT 10'

Anda akan melihat hasil dari tiap kueri yang ditampilkan.

Klik Check my progress untuk memverifikasi tujuan. Menjalankan kueri contoh

Tugas 6. Melihat log di BigQuery

  1. Buka lagi BigQuery (Navigation menu > BigQuery).

  2. Perluas resource yang diawali dengan nama qwiklabs-gcp-, lalu perluas set data bq_logs Anda.

Namanya bisa berbeda-beda, tetapi Anda seharusnya melihat tabel bertuliskan "cloudaudit_googleapis_com_data_access".

Catatan: Anda mungkin harus menjalankan ulang kueri contoh agar tabel ditampilkan.
  1. Klik pada nama tabel, lalu periksa skema tabel dan perhatikan bahwa skema tabel ini memiliki jumlah kolom yang sangat banyak.

Jika Anda mengklik Preview dan ingin tahu mengapa log untuk kueri yang baru saja dijalankan tidak ditampilkan, hal ini karena log dialirkan ke dalam tabel. Artinya, data baru dapat dikueri, tetapi tidak akan muncul di bagian Preview untuk sementara waktu.

Agar tabel dapat lebih bermanfaat, buat VIEW, yang akan mengambil subset kolom dan juga melakukan beberapa perhitungan guna mendapatkan metrik untuk waktu kueri.

  1. Klik Compose New Query. Pada EDITOR kueri BigQuery, jalankan SQL berikut setelah mengganti dengan nama project Anda (Project ID dapat disalin dengan mudah dari panel Lab Details di sebelah kiri halaman lab):
CREATE OR REPLACE VIEW bq_logs.v_querylogs AS SELECT resource.labels.project_id, protopayload_auditlog.authenticationInfo.principalEmail, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.query, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.statementType, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatus.error.message, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, TIMESTAMP_DIFF(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, MILLISECOND)/1000 AS run_seconds, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalProcessedBytes, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalSlotMs, ARRAY(SELECT as STRUCT datasetid, tableId FROM UNNEST(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.referencedTables)) as tables_ref, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalTablesProcessed, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.queryOutputRowCount, severity FROM `<YOUR-PROJECT-ID>.bq_logs.cloudaudit_googleapis_com_data_access_*` ORDER BY startTime

Klik Check my progress untuk memverifikasi tujuan. Melihat log di BigQuery

  1. Sekarang buat kueri VIEW. Buat kueri baru, dan jalankan perintah berikut:
SELECT * FROM bq_logs.v_querylogs
  1. Scroll hasil dari kueri yang dijalankan.

Selamat!

Anda berhasil mengekspor log BigQuery dari Cloud Logging ke tabel BigQuery, lalu menganalisisnya dengan SQL.

Langkah berikutnya/Pelajari lebih lanjut

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 31 Mei 2024

Lab Terakhir Diuji pada 31 Mei 2024

Hak cipta 2025 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.

Before you begin

  1. Labs create a Google Cloud project and resources for a fixed time
  2. Labs have a time limit and no pause feature. If you end the lab, you'll have to restart from the beginning.
  3. On the top left of your screen, click Start lab to begin

Use private browsing

  1. Copy the provided Username and Password for the lab
  2. Click Open console in private mode

Sign in to the Console

  1. Sign in using your lab credentials. Using other credentials might cause errors or incur charges.
  2. Accept the terms, and skip the recovery resource page
  3. Don't click End lab unless you've finished the lab or want to restart it, as it will clear your work and remove the project

Konten ini tidak tersedia untuk saat ini

Kami akan memberi tahu Anda melalui email saat konten tersedia

Bagus!

Kami akan menghubungi Anda melalui email saat konten tersedia

One lab at a time

Confirm to end all existing labs and start this one

Setup your console before you begin

Use an Incognito or private browser window to run this lab. This prevents any conflicts between your personal account and the Student account, which may cause extra charges incurred to your personal account.