Ringkasan

Di lab ini, Anda akan menggunakan Vertex AI untuk melatih dan menyajikan model machine learning untuk memprediksi risiko pinjaman dengan set data tabulasi.

Tujuan

Anda akan mempelajari cara:

• Mengupload set data ke Vertex AI.
• Melatih model machine learning dengan AutoML.
• Mengevaluasi performa model.
• Men-deploy model ke endpoint.
• Mendapatkan prediksi.

Penyiapan

Sebelum mengklik tombol Start Lab (Mulai Lab)

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer, yang dimulai saat Anda mengklik Start Lab (Mulai Lab), menampilkan lamanya resource Cloud akan tersedia untuk Anda.

Lab praktis Qwiklabs ini memungkinkan Anda melakukan aktivitas lab sendiri di lingkungan cloud nyata, bukan di lingkungan demo atau simulasi. Yaitu dengan cara memberi Anda kredensial sementara yang baru yang digunakan untuk login dan mengakses Google Cloud Platform selama durasi lab.

Yang diperlukan

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).
• Waktu untuk menyelesaikan lab.

Catatan: Jika Anda sudah memiliki project atau akun GCP pribadi, jangan gunakan project atau akun tersebut untuk lab ini.

Cara memulai lab dan login ke Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, jendela pop-up akan terbuka untuk memilih metode pembayaran. Di sebelah kiri terdapat panel berisi kredensial sementara yang harus Anda gunakan untuk lab ini.

   

2. Salin nama pengguna, lalu klik Open Google Console. Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Choose an account.

   Tips: Buka tab di jendela terpisah secara berdampingan.

3. Di halaman Choose an account, klik Use Another Account. Halaman Login akan terbuka.

   

4. Tempel nama pengguna yang telah disalin dari panel Connection Details. Lalu, salin dan tempel sandinya.

Catatan: Anda harus menggunakan kredensial dari panel Connection Details. Jangan menggunakan kredensial Google Cloud Skills Boost. Jangan menggunakan akun Google Cloud pribadi Anda untuk lab ini agar terhindar dari tagihan.

5. Klik halaman berikutnya:

• Setujui persyaratan dan ketentuan.
• Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
• Jangan daftar uji coba gratis.

Setelah beberapa saat, Konsol Cloud akan terbuka di tab ini.

Catatan: Anda dapat melihat menu berisi daftar Produk dan Layanan Google Cloud dengan mengklik Navigation menu di kiri atas.

Pengantar Vertex AI

Lab ini menggunakan Vertex AI, yakni platform AI terpadu di Google Cloud untuk melatih dan men-deploy model ML. Vertex AI menawarkan dua opsi pada satu platform untuk membangun model ML: solusi tanpa kode dengan AutoML dan solusi berbasis kode dengan Pelatihan Kustom menggunakan Vertex Workbench. Anda akan menggunakan AutoML di lab ini.

Di lab ini, Anda akan membangun model ML untuk menentukan apakah pelanggan tertentu akan membayar kembali pinjamannya atau tidak.

Tugas 1. Menyiapkan data pelatihan

Dasbor Vertex AI awal menggambarkan tahap utama untuk melatih dan men-deploy model ML: menyiapkan data pelatihan, melatih model, dan mendapatkan prediksi. Kemudian, dasbor tersebut akan menampilkan aktivitas terbaru Anda, seperti set data, model, prediksi, endpoint, dan instance notebook terbaru.

Membuat set data

1. Di Konsol Google Cloud, pada Navigation menu, klik Vertex AI > Datasets.
2. Klik Create dataset.
3. Berikan nama LoanRisk pada set data.
4. Untuk jenis data dan tujuannya, klik Tabular, lalu pilih Regression/classification.
5. Klik Create.

Mengupload data

Ada tiga opsi untuk mengimpor data di Vertex AI:

• Mengupload file CSV dari komputer Anda.
• Memilih file CSV dari Cloud Storage.
• Memilih tabel atau tabel virtual dari BigQuery.

Demi kenyamanan, set data sudah diupload ke Cloud Storage.

1. Untuk sumber data, pilih Select CSV files from Cloud Storage.

2. Untuk Import file path, masukkan:

spls/cbl455/loan_risk.csv

3. Klik Continue.

Catatan: Anda juga dapat mengonfigurasi halaman ini dengan mengklik Datasets di menu sebelah kiri, lalu pilih nama set data di halaman Datasets.

(Opsional) Membuat statistik

1. Untuk melihat statistik deskriptif untuk tiap kolom set data Anda, klik Generate statistics .
   Pembuatan statistik mungkin memerlukan waktu beberapa menit, terutama pada saat pertama kali.

2. Ketika statistik sudah siap, klik tiap nama kolom untuk menampilkan diagram analitis.

Tugas 2. Melatih model Anda

Setelah mengupload set data, Anda siap melatih model untuk memprediksi apakah pelanggan akan membayar kembali pinjamannya atau tidak.

• Klik Train new model, lalu pilih Other.

Metode pelatihan

1. Set data sudah diberi nama LoanRisk.

2. Untuk Objective, pilih Classification.

Pilih klasifikasi dan bukan regresi karena Anda akan memprediksikan bilangan bulat (apakah seorang pelanggan akan membayar kembali pinjamannya atau tidak: 0 untuk membayar kembali, 1 untuk gagal bayar/tidak membayar kembali), bukan bilangan desimal.

3. Klik Continue.

Detail model

Tentukan nama model dan kolom target.

1. Berikan nama pada model tersebut, misalnya LoanRisk.

2. Untuk Target column, pilih Default .

3. (Opsional) Jelajahi Advanced options untuk menentukan cara menetapkan data pelatihan vs. pengujian dan menentukan enkripsi.

4. Klik Continue.

5. Untuk Add features, klik Continue.

Opsi pelatihan

Tentukan kolom mana yang ingin Anda sertakan dalam model pelatihan. Misalnya, ClientID mungkin tidak relevan untuk memprediksi risiko pinjaman.

1. Klik tanda minus pada baris ClientID untuk mengecualikannya dari model pelatihan.

2. (Opsional) Jelajahi Advanced options untuk memilih tujuan pengoptimalan yang berbeda.
   Untuk mengetahui informasi selengkapnya tentang tujuan pengoptimalan untuk model AutoML tabulasi, baca Panduan tujuan pengoptimalan untuk model AutoML tabulasi.

3. Klik Continue.

Komputasi dan harga

1. Untuk Budget, yang merepresentasikan jumlah jam kerja node untuk pelatihan, masukkan 1.
   Melatih model AutoML Anda selama 1 jam komputasi biasanya merupakan awal yang baik untuk memahami apakah ada hubungan antara fitur dan label yang Anda pilih atau tidak. Dari sana, Anda dapat memodifikasi fitur dan melatihnya dengan durasi lebih lama guna meningkatkan performa model.

2. Biarkan penghentian awal di posisi Enabled.

3. Klik Start training.

Bergantung pada ukuran data dan metode pelatihan, pelatihan dapat berlangsung dari beberapa menit hingga beberapa jam. Biasanya Anda akan menerima email dari Google Cloud saat tugas pelatihan selesai. Namun, di lingkungan Qwiklabs, Anda tidak akan menerima email.

Untuk menghemat waktu menunggu pelatihan model, download model terlatih di Tugas 5 untuk mendapatkan prediksi di Tugas 6. Model terlatih ini adalah hasil pelatihan yang mengikuti langkah-langkah yang sama dari Tugas 1 hingga Tugas 2.

Tugas 3. Mengevaluasi performa model (khusus demonstrasi)

Vertex AI menyediakan banyak metrik untuk mengevaluasi performa model. Anda akan berfokus pada tiga hal berikut:

• Kurva Presisi/Perolehan
• Matriks Konfusi
• Nilai Penting Fitur

Catatan: Jika memiliki model yang terlatih, Anda dapat membuka tab Model Registry di Vertex AI.

1. Buka Model Registry.

2. Klik model yang baru saja Anda latih.

3. Jelajahi tab Evaluate.

Namun di lab ini, Anda dapat melewati langkah ini karena Anda menggunakan model terlatih.

Kurva presisi/perolehan

Nilai minimum keyakinan menentukan bagaimana model ML menghitung kasus positif. Nilai minimum yang lebih tinggi meningkatkan presisi, tetapi menurunkan perolehan. Nilai minimum yang lebih rendah menurunkan presisi, tetapi meningkatkan perolehan.

Anda dapat menyesuaikan nilai minimum secara manual untuk mengamati dampaknya terhadap presisi dan perolehan serta menemukan titik keseimbangan terbaik antara keduanya untuk memenuhi kebutuhan bisnis Anda.

Matriks konfusi

Matriks konfusi menunjukkan persentase contoh dari tiap class dalam set pengujian Anda yang diprediksi dengan benar oleh model.

Matriks konfusi menunjukkan bahwa model awal Anda mampu memprediksi 100% contoh pembayaran kembali dan 87% contoh gagal bayar dalam set pengujian Anda dengan benar, dan hasil ini tidak terlalu buruk.

Anda dapat meningkatkan persentase dengan menambahkan lebih banyak contoh (lebih banyak data), merekayasa fitur baru, dan mengubah metode pelatihan, dll.

Nilai penting fitur

Dalam Vertex AI, nilai penting fitur ditampilkan melalui diagram batang untuk mengilustrasikan cara tiap fitur berkontribusi terhadap prediksi. Semakin panjang batang tersebut, atau semakin besar nilai numerik yang dikaitkan dengan suatu fitur, semakin penting fitur tersebut.

Nilai-nilai penting fitur ini dapat digunakan untuk membantu Anda meningkatkan kualitas model dan lebih yakin dengan prediksinya. Anda mungkin memutuskan untuk menghapus fitur yang paling tidak penting saat Anda melatih model berikutnya atau menggabungkan dua fitur yang lebih penting menjadi satu persilangan fitur untuk mengetahui apakah hal ini meningkatkan performa model atau tidak.

Nilai penting fitur hanyalah salah satu contoh fungsionalitas machine learning komprehensif Vertex AI yang disebut Explainable AI. Explainable AI adalah serangkaian alat dan framework untuk membantu memahami dan menafsirkan prediksi yang dibuat oleh model machine learning.

Tugas 4. Men-deploy model (hanya demonstrasi)

Catatan: Anda tidak akan men-deploy model ke endpoint karena pelatihan model dapat memakan waktu satu jam. Di sini, Anda dapat meninjau langkah-langkah yang akan Anda lakukan di lingkungan produksi.

Sekarang setelah Anda memiliki model yang terlatih, langkah selanjutnya adalah membuat endpoint di Vertex. Resource model di Vertex dapat memiliki beberapa endpoint yang terkait dengannya, dan Anda dapat membagi traffic antar-endpoint.

Membuat dan menentukan endpoint

1. Di halaman model Anda, klik Deploy & test, lalu klik Deploy to Endpoint.

2. Untuk Endpoint name, ketik LoanRisk

3. Klik Continue.

Setelan dan pemantauan model

1. Biarkan setelan pemisahan traffic sebagaimana adanya.

2. Untuk Machine type, pilih e2-standard-8, 8 vCPUs, 32 GiB memory.

3. Untuk Explainability Options, klik Feature attribution.

4. Klik Done.

5. Klik Continue.

6. Pada Model monitoring, klik Continue.

7. Pada Model objectives > Training data source, pilih Vertex AI dataset.

8. Pilih set data Anda dari menu drop-down.

9. Pada Target column, ketik Default

10. Tetap gunakan nilai default untuk setelan lainnya, lalu klik Deploy.

Endpoint Anda akan memerlukan waktu beberapa menit untuk di-deploy. Ketika sudah selesai, tanda centang berwarna hijau akan muncul di sebelah nama endpoint.

Sekarang Anda siap untuk mendapatkan prediksi pada model yang Anda deploy.

Tugas 5. Token Pemilik SML

Mengambil Token Pemilik

Agar pipeline dapat mengautentikasi dan diberi otorisasi untuk memanggil endpoint guna mendapatkan prediksi, Anda harus memberikan Token Pemilik Anda.

Catatan: Ikuti petunjuk di bawah ini untuk mendapatkan token. Jika Anda mengalami masalah saat mengambil Token Pemilik, hal ini mungkin disebabkan oleh cookie di jendela samaran. Jika hal ini terjadi, cobalah langkah ini di jendela non-samaran.

1. Login ke gsp-auth-kjyo252taq-uc.a.run.app.

2. Saat login, gunakan alamat email dan sandi siswa Anda.

3. Klik tombol Copy. Token yang sangat panjang akan disalin ke papan klip Anda.

Catatan: Token ini hanya akan tersedia selama 60 detik. Jadi, salin dan lanjutkan ke langkah berikutnya. Catatan: Jika Anda mengalami masalah saat mengambil Token Pemilik, hal ini mungkin disebabkan oleh cookie di jendela samaran. Coba lakukan pengambilan di jendela non-samaran.

Tugas 6. Mendapatkan prediksi

Di bagian ini, gunakan layanan Shared Machine Learning (SML) untuk bekerja dengan model terlatih yang sudah ada.

VARIABEL LINGKUNGAN	NILAI
AUTH_TOKEN	Gunakan nilai dari bagian sebelumnya
ENDPOINT	https://sml-api-vertex-kjyo252taq-uc.a.run.app/vertex/predict/tabular_classification
INPUT_DATA_FILE	INPUT-JSON

Untuk menggunakan model terlatih, Anda perlu membuat beberapa variabel lingkungan.

1. Buka jendela Cloud Shell.

2. Ganti INSERT_SML_BEARER_TOKEN dengan nilai token pemilik dari bagian sebelumnya:

export AUTH_TOKEN="INSERT_SML_BEARER_TOKEN"

3. Download aset lab:

gcloud storage cp gs://spls/cbl455/cbl455.tar.gz .

4. Ekstrak aset lab:

tar -xvf cbl455.tar.gz

5. Buat variabel lingkungan ENDPOINT:

export ENDPOINT="https://sml-api-vertex-kjyo252taq-uc.a.run.app/vertex/predict/tabular_classification"

6. Buat variabel lingkungan INPUT_DATA_FILE:

export INPUT_DATA_FILE="INPUT-JSON" Catatan: Setelah aset lab diekstraksi, luangkan waktu sejenak untuk meninjau kontennya.

File INPUT-JSON digunakan untuk menyediakan data model yang dibutuhkan Vertex AI. Ubah file ini untuk menghasilkan prediksi kustom.

Aplikasi smlproxy digunakan untuk berkomunikasi dengan backend.

File INPUT-JSON terdiri atas nilai-nilai berikut:

age	ClientID	income	loan
40.77	997	44964.01	3944.22

7. Uji Layanan SML dengan meneruskan parameter yang ditentukan dalam variabel lingkungan.

8. Jalankan permintaan ke layanan SML:

./smlproxy tabular \ -a $AUTH_TOKEN \ -e $ENDPOINT \ -d $INPUT_DATA_FILE

Kueri ini seharusnya menghasilkan respons yang mirip dengan ini:

SML Tabular HTTP Response: 2022/01/10 15:04:45 {"model_class":"0","model_score":0.9999981}

9. Ubah file INPUT-JSON untuk menguji skenario baru:

age	ClientID	income	loan
30.00	998	50000.00	20000.00

10. Edit file INPUT-JSON dan ganti nilai aslinya. (Anda dapat menggunakan editor pilihan Anda, (vim, nano, emacs) atau Editor Kode Cloud Shell)

11. Uji Layanan SML dengan meneruskan parameter yang ditentukan dalam variabel lingkungan.

12. Jalankan permintaan ke layanan SML:

./smlproxy tabular \ -a $AUTH_TOKEN \ -e $ENDPOINT \ -d $INPUT_DATA_FILE

Dalam kasus ini, dengan asumsi pendapatan orang tersebut adalah 50.000, usia 30 tahun, dan pinjaman sebesar 20.000, model memprediksi bahwa orang ini akan membayar kembali pinjaman tersebut.

Kueri ini seharusnya menghasilkan respons yang mirip dengan ini:

SML Tabular HTTP Response: 2022/01/10 15:04:45 {"model_class":"0","model_score":1.0322887E-5}

Jika Anda menggunakan Konsol Google Cloud, gambar berikut mengilustrasikan bagaimana tindakan yang sama dapat dilakukan:

Selamat!

Anda kini dapat menggunakan Vertex AI untuk:

• Mengupload set data.
• Melatih model dengan AutoML.
• Mengevaluasi performa model.
• Men-deploy model AutoML terlatih ke endpoint.
• Mendapatkan prediksi.

Untuk mempelajari lebih lanjut berbagai bagian Vertex AI, baca dokumentasi Vertex AI.

Mengakhiri lab Anda

Setelah Anda menyelesaikan lab, klik Akhiri Lab. Google Cloud Skills Boost menghapus resource yang telah Anda gunakan dan membersihkan akun.

Anda akan diberi kesempatan untuk menilai pengalaman menggunakan lab. Pilih jumlah bintang yang sesuai, ketik komentar, lalu klik Submit.

Makna jumlah bintang:

• 1 bintang = Sangat tidak puas
• 2 bintang = Tidak puas
• 3 bintang = Netral
• 4 bintang = Puas
• 5 bintang = Sangat puas

Anda dapat menutup kotak dialog jika tidak ingin memberikan masukan.

Untuk masukan, saran, atau koreksi, gunakan tab Support.

Hak cipta 2020 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.