GSP1040

Ringkasan

BigLake adalah mesin penyimpanan terpadu yang menyederhanakan akses data untuk data warehouse dan data lake dengan menyediakan kontrol akses presisi yang seragam di seluruh penyimpanan multi-cloud dan format terbuka.

BigLake memperluas keamanan yang sangat spesifik pada tabel BigQuery hingga ke tingkat baris dan kolom terkait data yang disimpan di penyimpanan objek eksternal seperti Amazon S3, Azure Data Lake Storage Gen2, dan Google Cloud Storage. BigLake memisahkan akses ke tabel dari data penyimpanan cloud yang mendasarinya melalui delegasi akses. Fitur ini membantu Anda dalam memberikan akses tingkat baris dan kolom secara aman kepada pengguna dan pipeline di organisasi Anda tanpa memberikan akses penuh ke tabel.

Setelah membuat tabel BigLake, Anda dapat menjalankan kueri pada tabel tersebut seperti pada tabel BigQuery lainnya. BigQuery akan memberlakukan kontrol akses tingkat baris dan kolom, dan tiap pengguna hanya akan melihat potongan data yang diizinkan untuk dilihatnya. Kebijakan tata kelola diterapkan pada semua akses ke data melalui BigQuery API. Misalnya, BigQuery Storage API dapat digunakan untuk mengakses data yang diotorisasi menggunakan mesin kueri open source seperti Apache Spark, seperti yang ditunjukkan diagram berikut:

Tujuan

Dalam lab ini, Anda akan:

• Membuat dan melihat resource koneksi.
• Menyiapkan akses ke data lake Cloud Storage.
• Membuat tabel BigLake.
• Menjalankan kueri pada tabel BigLake melalui BigQuery.
• Menyiapkan kebijakan kontrol akses.
• Mengupgrade tabel eksternal ke tabel BigLake.

Penyiapan dan persyaratan

Sebelum mengklik tombol Mulai Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer, yang dimulai saat Anda mengklik Start Lab, akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab praktik ini dapat Anda gunakan untuk melakukan sendiri aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun Siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Jika Anda sudah memiliki project atau akun pribadi Google Cloud, jangan menggunakannya untuk lab ini agar terhindar dari tagihan ekstra pada akun Anda.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, jendela pop-up akan terbuka untuk memilih metode pembayaran. Di sebelah kiri adalah panel Lab Details dengan info berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk melihat menu dengan daftar produk dan layanan Google Cloud, klik Navigation menu di kiri atas.

Mengaktifkan Cloud Shell

Cloud Shell adalah mesin virtual yang dilengkapi dengan berbagai alat pengembangan. Mesin virtual ini menawarkan direktori beranda persisten berkapasitas 5 GB dan berjalan di Google Cloud. Cloud Shell menyediakan akses command-line untuk resource Google Cloud Anda.

1. Klik Activate Cloud Shell di bagian atas konsol Google Cloud.

Setelah terhubung, Anda sudah diautentikasi, dan project ditetapkan ke PROJECT_ID Anda. Output berisi baris yang mendeklarasikan PROJECT_ID untuk sesi ini:

Project Cloud Platform Anda dalam sesi ini disetel ke YOUR_PROJECT_ID

gcloud adalah alat command line untuk Google Cloud. Alat ini sudah terinstal di Cloud Shell dan mendukung pelengkapan command line.

2. (Opsional) Anda dapat menampilkan daftar nama akun yang aktif dengan perintah ini:

gcloud auth list

3. Klik Authorize.

4. Output Anda sekarang akan terlihat seperti ini:

Output:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net Untuk menyetel akun aktif, jalankan: $ gcloud config set account `ACCOUNT`

5. (Opsional) Anda dapat menampilkan daftar project ID dengan perintah ini:

gcloud config list project

Output:

[core] project = <project_ID>

Contoh output:

[core] project = qwiklabs-gcp-44776a13dea667a6 Catatan: Untuk mendapatkan dokumentasi gcloud yang lengkap di Google Cloud, baca panduan ringkasan gcloud CLI.

Tugas 1. Membuat resource koneksi

Tabel BigLake mengakses data Google Cloud Storage menggunakan resource koneksi. Resource koneksi dapat dikaitkan dengan satu tabel atau kelompok arbitrer tabel dalam project.

1. Dari Navigation Menu, buka BigQuery > BigQuery Studio. Klik Done.

2. Untuk membuat koneksi, klik +ADD, lalu klik Connections to external data sources.

Catatan: Jika Anda diminta untuk mengaktifkan BigQuery Connection API, klik Enable API.

3. Pada Connection type list, pilih Vertex AI remote models, remote functions and BigLake (Cloud Resource).

4. Di kolom Connection ID, masukkan my-connection.

5. Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States) dari dropdown.

6. Klik Create connection.

7. Untuk melihat informasi koneksi Anda, pilih koneksi di menu navigasi.

8. Di bagian Connection info, salin ID Akun Layanan. Anda akan memerlukan ID ini di bagian berikut.

Klik Check my progress untuk memverifikasi tujuan. Membuat resource koneksi

Tugas 2. Menyiapkan akses ke data lake Cloud Storage

Di bagian ini, Anda akan memberikan akses hanya baca untuk resource koneksi baru ke data lake Cloud Storage sehingga BigQuery dapat mengakses file Cloud Storage atas nama pengguna. Sebaiknya Anda memberikan peran IAM Storage Object Viewer ke akun layanan resource koneksi, sehingga akun layanan dapat mengakses bucket Cloud Storage.

1. Dari Navigation Menu, buka IAM & Admin > IAM.

2. Klik +GRANT ACCESS.

3. Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.

4. Di kolom Select a role, pilih Cloud Storage, lalu pilih Storage Object Viewer.

5. Klik Save.

Catatan: Setelah Anda memigrasi pengguna ke tabel BigLake, hapus izin Cloud Storage langsung dari pengguna yang ada. Akses file langsung memungkinkan pengguna untuk mengabaikan kebijakan tata kelola (seperti keamanan tingkat baris dan kolom) yang ditetapkan pada tabel BigLake.

Klik Check my progress untuk memverifikasi tujuan. Menyiapkan akses ke data lake Cloud Storage

Tugas 3. Membuat tabel BigLake

Contoh berikut menggunakan format file CSV, tetapi Anda dapat menggunakan format apa pun yang didukung BigLake, seperti yang ditunjukkan dalam Limitations. Jika Anda sudah terbiasa membuat tabel di BigQuery, proses ini akan serupa. Satu-satunya perbedaan adalah Anda harus menentukan koneksi resource cloud yang terkait.

Catatan: Untuk mendapatkan performa optimal, kami menyarankan Anda menggunakan bucket satu region atau dual-region Cloud Storage dan bukan bucket multi-region.

Jika tidak ada skema yang disediakan dan akun layanan tidak diberikan akses ke bucket pada langkah sebelumnya, langkah ini akan gagal dengan pesan akses ditolak.

Membuat set data

1. Buka lagi BigQuery > BigQuery Studio.

2. Klik tiga titik di samping nama project Anda, lalu pilih Create dataset.

3. Untuk Dataset ID, gunakan demo_dataset.

4. Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States) dari dropdown.

5. Biarkan kolom lainnya sebagai default, lalu klik Create Dataset.

   Setelah set data dibuat, Anda dapat menyalin set data yang sudah ada dari Cloud Storage ke BigQuery.

Membuat tabel

1. Klik tiga titik di samping demo_dataset, lalu pilih Create table.

2. Di bagian Source untuk Create table from, pilih Google Cloud Storage.

Catatan: Bucket Cloud Storage telah dibuat dengan dua set data yang akan Anda gunakan dalam lab ini.

3. Klik Browse untuk memilih set data. Buka bucket bernama , lalu file customer.csv untuk diimpor ke BigQuery, kemudian klik Select.

4. Di bagian Destination, pastikan project lab Anda telah dipilih dan Anda menggunakan demo_dataset.

5. Untuk nama tabel, gunakan biglake_table.

6. Tetapkan table type ke External Table.

7. Pilih kotak Create a BigLake table using a Cloud Resource connection.

   Pastikan ID koneksi Anda us.my-connection dipilih. Konfigurasi Anda akan terlihat seperti berikut:

8. Di bagian Schema, aktifkan Edit as text, lalu salin dan tempel skema berikut ke kotak teks:

[ { "name": "customer_id", "type": "INTEGER", "mode": "REQUIRED" }, { "name": "first_name", "type": "STRING", "mode": "REQUIRED" }, { "name": "last_name", "type": "STRING", "mode": "REQUIRED" }, { "name": "company", "type": "STRING", "mode": "NULLABLE" }, { "name": "address", "type": "STRING", "mode": "NULLABLE" }, { "name": "city", "type": "STRING", "mode": "NULLABLE" }, { "name": "state", "type": "STRING", "mode": "NULLABLE" }, { "name": "country", "type": "STRING", "mode": "NULLABLE" }, { "name": "postal_code", "type": "STRING", "mode": "NULLABLE" }, { "name": "phone", "type": "STRING", "mode": "NULLABLE" }, { "name": "fax", "type": "STRING", "mode": "NULLABLE" }, { "name": "email", "type": "STRING", "mode": "REQUIRED" }, { "name": "support_rep_id", "type": "INTEGER", "mode": "NULLABLE" } ] Catatan: Biasanya data lake tidak memiliki skema default. Untuk tujuan lab ini, kita akan menggunakan skema tersebut agar kebijakan tingkat kolom setelan menjadi lebih jelas.

9. Klik Create Table.

Klik Check my progress untuk memverifikasi tujuan. Membuat tabel BigLake

Tugas 4. Menjalankan kueri pada tabel BigLake melalui BigQuery

Setelah membuat tabel BigLake, Anda dapat menggunakan klien BigQuery apa pun untuk mengirimkan kueri.

1. Dari toolbar pratinjau biglake_table, klik Query > In new tab.

2. Jalankan hal berikut untuk membuat kueri pada tabel BigLake melalui BigQuery Editor:

SELECT * FROM `{{{project_0.project_id|Project ID}}}.demo_dataset.biglake_table`

3. Klik Run.

4. Pastikan Anda dapat melihat semua kolom dan data dalam tabel yang dihasilkan.

Tugas 5. Menyiapkan kebijakan kontrol akses

Setelah tabel BigLake dibuat, tabel ini dapat dikelola dengan cara yang mirip dengan tabel BigQuery. Untuk membuat kebijakan kontrol akses untuk tabel BigLake, pertama-tama Anda akan membuat taksonomi tag kebijakan di BigQuery. Kemudian, terapkan tag kebijakan ke baris atau kolom yang sensitif. Di bagian ini, Anda akan membuat kebijakan tingkat kolom. Untuk mengetahui petunjuk tentang cara menyiapkan keamanan tingkat baris, baca panduan keamanan tingkat baris.

Untuk tujuan ini, taksonomi BigQuery bernama dan tag kebijakan yang terkait bernama biglake-policy sudah dibuatkan untuk Anda.

Menambahkan tag kebijakan ke kolom

Anda sekarang akan menggunakan tag kebijakan yang dibuat untuk membatasi akses ke kolom tertentu dalam tabel BigQuery. Dalam contoh ini, Anda akan membatasi akses ke informasi sensitif seperti alamat, kode pos, dan nomor telepon.

1. Dari Navigation Menu, buka BigQuery > BigQuery Studio.

2. Buka demo-dataset > biglake_table, lalu klik tabel untuk membuka halaman skema tabel.

3. Klik Edit Schema.

4. Centang kotak di samping kolom address, postal_code, dan phone.

5. Klik Add policy tag.

6. Klik untuk meluaskannya guna memilih biglake-policy.

7. Klik Select.

   Kolom Anda sekarang seharusnya sudah memiliki tag kebijakan yang dilampirkan padanya.

8. Klik Save.

9. Pastikan skema tabel Anda sekarang terlihat seperti berikut.

Catatan: Tanda peringatan di kolom menandakan bahwa Anda tidak memiliki akses ke kolom tertentu berdasarkan kebijakan keamanan yang diterapkan.

Memastikan keamanan tingkat kolom

1. Buka editor kueri untuk biglake_table.

2. Jalankan hal berikut untuk membuat kueri pada tabel BigLake melalui BigQuery Editor:

SELECT * FROM `{{{project_0.project_id|Project ID}}}.demo_dataset.biglake_table`

3. Klik Run.

   Anda akan menerima pesan error akses ditolak:

4. Sekarang, jalankan kueri berikut dengan menghapus kolom yang aksesnya tidak Anda miliki:

SELECT * EXCEPT(address, phone, postal_code) FROM `{{{project_0.project_id|Project ID}}}.demo_dataset.biglake_table`

Kueri seharusnya berjalan tanpa masalah dan menampilkan kolom yang dapat Anda akses. Contoh ini menunjukkan bahwa keamanan tingkat kolom yang diterapkan melalui BigQuery juga dapat diterapkan pada tabel BigLake.

Tugas 6. Mengupgrade tabel eksternal ke tabel BigLake

Anda dapat mengupgrade tabel yang ada ke tabel BigLake dengan mengaitkan tabel tersebut ke koneksi resource cloud. Untuk mengetahui daftar lengkap flag dan argumen, lihat bq update dan bq mkdef.

Membuat tabel eksternal

1. Klik tiga titik di samping demo_dataset, lalu pilih Create table.

2. Di bagian Source untuk Create table from, pilih Google Cloud Storage.

3. Klik Browse untuk memilih set data. Buka bucket bernama , lalu file invoice.csv untuk diimpor ke BigQuery, kemudian klik Select.

4. Di bagian Destination, pastikan project lab Anda telah dipilih dan Anda menggunakan demo_dataset.

5. Untuk nama tabel, gunakan external_table.

6. Tetapkan table type ke External Table.

Catatan: Jangan menentukan koneksi Resource Cloud terlebih dahulu.

7. Di bagian Schema, aktifkan Edit as text, lalu salin dan tempel skema berikut ke kotak teks:

[ { "name": "invoice_id", "type": "INTEGER", "mode": "REQUIRED" }, { "name": "customer_id", "type": "INTEGER", "mode": "REQUIRED" }, { "name": "invoice_date", "type": "TIMESTAMP", "mode": "REQUIRED" }, { "name": "billing_address", "type": "STRING", "mode": "NULLABLE" }, { "name": "billing_city", "type": "STRING", "mode": "NULLABLE" }, { "name": "billing_state", "type": "STRING", "mode": "NULLABLE" }, { "name": "billing_country", "type": "STRING", "mode": "NULLABLE" }, { "name": "billing_postal_code", "type": "STRING", "mode": "NULLABLE" }, { "name": "total", "type": "NUMERIC", "mode": "REQUIRED" } ]

8. Klik Create Table.

Klik Check my progress untuk memverifikasi tujuan. Membuat tabel eksternal

Mengupdate tabel eksternal ke tabel BigLake

1. Buka jendela Cloud Shell yang baru dan jalankan perintah berikut untuk membuat definisi tabel eksternal baru yang menentukan koneksi yang akan digunakan:

export PROJECT_ID=$(gcloud config get-value project) bq mkdef \ --autodetect \ --connection_id=$PROJECT_ID.US.my-connection \ --source_format=CSV \ "gs://$PROJECT_ID/invoice.csv" > /tmp/tabledef.json

2. Pastikan definisi tabel Anda telah dibuat:

cat /tmp/tabledef.json

3. Dapatkan skema dari tabel Anda:

bq show --schema --format=prettyjson demo_dataset.external_table > /tmp/schema

4. Update tabel menggunakan definisi tabel eksternal yang baru:

bq update --external_table_definition=/tmp/tabledef.json --schema=/tmp/schema demo_dataset.external_table

Klik Check my progress untuk memverifikasi tujuan. Mengupdate tabel eksternal ke tabel BigLake

Memastikan tabel yang diupdate

1. Dari Navigation Menu, buka BigQuery > BigQuery Studio.

2. Buka demo-dataset > lalu klik dua kali external_table.

3. Buka tab Details.

4. Pastikan tabel di bagian External Data Configuration sekarang menggunakan Connection ID yang sesuai.

Bagus! Anda berhasil mengupgrade tabel eksternal yang sudah ada ke tabel BigLake dengan mengaitkannya ke koneksi resource cloud.

Selamat!

Dalam lab ini, Anda telah membuat resource koneksi, menyiapkan akses ke data lake Cloud Storage, dan membuat tabel BigLake. Anda kemudian menjalankan kueri pada tabel BigLake melalui BigQuery, dan menyiapkan kebijakan kontrol akses tingkat kolom. Terakhir, Anda mengupdate tabel eksternal yang sudah ada ke tabel BigLake menggunakan resource koneksi.

Langkah Berikutnya/Pelajari Lebih Lanjut

Pastikan Anda membaca dokumentasi berikut untuk praktik lainnya dengan BigLake:

• Pengantar Tabel BigLake
• Dokumentasi Membuat dan Mengelola tabel BigLake
• Menjalankan kueri pada tabel BigLake menggunakan konektor

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 16 Januari 2024

Lab Terakhir Diuji pada 16 Januari 2024

Hak cipta 2024 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.