GSP1230

Ringkasan

Gemini adalah rangkaian model AI generatif yang dikembangkan oleh Google DeepMind dan dirancang untuk kasus penggunaan multimodal. Gemini API menyediakan akses ke model Gemini Pro Vision dan Gemini Pro.

Bagi perusahaan retail, sistem rekomendasi akan meningkatkan pengalaman pelanggan sehingga dapat meningkatkan penjualan. Di lab ini, Anda akan mempelajari cara menggunakan model Gemini Pro Vision untuk membuat sistem rekomendasi multimodal dengan cepat. Model Gemini Pro Vision dapat memberikan rekomendasi dan penjelasan menggunakan model multimodal.

Lab ini akan dimulai dengan sebuah gambar (misalnya ruang tamu) dan Anda akan menggunakan model Gemini Pro Vision untuk melakukan pemahaman visual. Anda juga akan mempelajari cara menggunakan model Gemini Pro Vision untuk merekomendasikan suatu item (misalnya kursi) dari daftar item furnitur sebagai input.

Vertex AI Gemini API

Vertex AI Gemini API menyediakan antarmuka terpadu untuk berinteraksi dengan model-model Gemini. Saat ini ada dua model yang tersedia di Gemini API:

1. Model Gemini Pro (gemini-pro): Dirancang untuk menangani tugas bahasa alami, teks multiturn dan chat kode, serta pembuatan kode.
2. Model Gemini Pro Vision (gemini-pro-vision): Mendukung perintah multimodal. Anda dapat menyertakan teks, gambar, dan video dalam permintaan perintah dan mendapatkan respons teks atau kode.

Anda dapat berinteraksi dengan Gemini API menggunakan metode berikut:

• Menggunakan Vertex AI Studio untuk pengujian cepat dan pembuatan perintah
• Menggunakan perintah cURL
• Menggunakan Vertex AI SDK

Lab ini berfokus pada kemampuan multimodal model Gemini Pro Vision.

Untuk mengetahui informasi selengkapnya, lihat dokumentasi AI Generatif di Vertex AI.

Tujuan

Di lab ini, Anda akan mempelajari cara:

• Menggunakan model Gemini Pro Vision (gemini-pro-vision) untuk melakukan pemahaman visual
• Mempertimbangkan multimodalitas dalam memberi perintah untuk model Gemini Pro Vision
• Membuat aplikasi rekomendasi retail menggunakan model Gemini Pro Vision

Penyiapan dan persyaratan

Sebelum mengklik tombol Mulai Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer, yang dimulai saat Anda mengklik Start Lab, akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab praktik ini dapat Anda gunakan untuk melakukan sendiri aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun Siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Jika Anda sudah memiliki project atau akun pribadi Google Cloud, jangan menggunakannya untuk lab ini agar terhindar dari tagihan ekstra pada akun Anda.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, jendela pop-up akan terbuka untuk memilih metode pembayaran. Di sebelah kiri adalah panel Lab Details dengan info berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk melihat menu dengan daftar produk dan layanan Google Cloud, klik Navigation menu di kiri atas.

Tugas 1. Membuka notebook di Vertex AI Workbench

1. Di Konsol Google Cloud, pada Navigation menu, klik Vertex AI > Workbench.

2. Di halaman User-Managed Notebooks, cari notebook generative-ai-jupyterlab, lalu klik tombol Open JupyterLab.

Antarmuka JupyterLab terbuka di tab browser baru.

Tugas 2. Membuka folder generative-ai

1. Buka folder generative-ai di sisi kiri notebook.

2. Buka folder /gemini/use-cases/retail.

3. Buka file multimodal_retail_recommendations.ipynb.

4. Jalankan bagian Getting Started dan Import libraries pada notebook.

   • Untuk Project ID, gunakan , dan untuk Location, gunakan .

Catatan: Anda dapat melewatkan sel notebook yang bertanda Colab only.

Klik Check my progress untuk memverifikasi tujuan.

Instal Vertex AI SDK for Python, lalu impor library.

Di bagian berikut, Anda akan menjalankan sel-sel notebook untuk melihat cara menggunakan kemampuan multimodal model Gemini Pro Vision.

Tugas 3. Menggunakan model Gemini Pro Vision

Model Gemini Pro Vision (gemini-pro-vision) adalah model multimodal yang mendukung penambahan gambar dan video dalam perintah teks atau chat untuk menghasilkan respons teks.

1. Dalam tugas ini, jalankan sel-sel notebook untuk melihat cara menggunakan model Gemini Pro Vision untuk mendeskripsikan ruangan secara detail dari gambarnya, dengan menggabungkan teks dan gambar dalam satu perintah.

Klik Check my progress untuk memverifikasi tujuan.

Menggunakan model Gemini Pro Vision untuk mendeskripsikan sebuah ruangan.

Tugas 4. Menghasilkan rekomendasi terbuka berdasarkan pengetahuan bawaan

Dengan menggunakan gambar yang sama, Anda dapat meminta model untuk merekomendasikan furnitur yang sesuai dengan deskripsi ruangan. Perlu diperhatikan bahwa model dapat memilih furnitur apa pun untuk direkomendasikan dalam kasus ini, dan dapat melakukannya hanya berdasarkan pengetahuan bawaannya.

1. Dengan menggunakan gambar yang sama, jalankan sel-sel notebook untuk melihat cara menggunakan model Gemini Pro Vision untuk merekomendasikan furnitur yang sesuai dengan ruangan, beserta deskripsi ruangan.

Klik Check my progress untuk memverifikasi tujuan.

Menggunakan model Gemini Pro Vision untuk merekomendasikan furnitur.

Tugas 5. Menghasilkan rekomendasi berdasarkan gambar yang disediakan

Daripada membiarkan rekomendasi tetap terbuka, Anda juga dapat memberikan daftar item model yang dapat dipilih. Di bagian ini, Anda akan mendownload beberapa gambar kursi dan menetapkannya sebagai opsi untuk direkomendasikan oleh model Gemini. Ini sangat berguna bagi perusahaan retail yang ingin memberikan rekomendasi kepada pengguna berdasarkan jenis ruangan yang mereka miliki, dan ketersediaan barang yang ditawarkan toko.

1. Dalam tugas ini, jalankan sel-sel notebook untuk melihat cara menggunakan model Gemini Pro Vision guna merekomendasikan furnitur dari daftar item.

Klik Check my progress untuk memverifikasi tujuan.

Menggunakan model Gemini Pro Vision untuk merekomendasikan item dari sekumpulan pilihan.

Selamat!

Selamat! Di lab ini, Anda telah berhasil menjelajahi cara membangun sistem rekomendasi multimodal menggunakan Gemini untuk furnitur. Anda telah mempelajari cara menggunakan model Gemini Pro Vision untuk melakukan pemahaman visual dan cara mempertimbangkan multimodalitas dalam membuat perintah untuk model Gemini Pro Vision. Lab ini menunjukkan bagaimana Anda dapat dengan mudah membangun sistem rekomendasi multimodal menggunakan Gemini untuk furnitur. Namun, Anda juga dapat menggunakan pendekatan serupa dalam:

• Merekomendasikan pakaian berdasarkan acara atau gambaran tempat yang bersangkutan
• Merekomendasikan wallpaper berdasarkan ruangan dan pengaturannya

Langkah berikutnya/pelajari lebih lanjut

• Lihat dokumentasi Generative AI di Vertex AI.
• Pelajari AI Generatif lebih lanjut di channel YouTube Google Cloud Tech.
• Repositori resmi AI Generatif Google Cloud
• Contoh notebook Gemini

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 21 Agustus 2024

Lab Terakhir Diuji pada 21 Agustus 2024

Hak cipta 2024 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.