
Before you begin
- Labs create a Google Cloud project and resources for a fixed time
- Labs have a time limit and no pause feature. If you end the lab, you'll have to restart from the beginning.
- On the top left of your screen, click Start lab to begin
Enable relevant APIs and set IAM roles
/ 15
Create a cloud resource connection
/ 10
Grant IAM permissions to the connection's service account
/ 10
Create the dataset and object table in BigQuery for movie poster images
/ 10
Create the Gemini Remote models in BigQuery
/ 10
Prompt Gemini to provide movie summaries for each poster
/ 20
Generate text embeddings for a subset of the IMDB dataset
/ 25
Di lab ini, Anda akan mempelajari cara menggunakan BigQuery Machine Learning untuk inferensi dengan model jarak jauh (model AI Gemini) untuk menganalisis gambar poster film dan membuat ringkasan poster tersebut sebagai bagian dari project Bukti Konsep.
BigQuery adalah platform analisis data dengan dukungan AI yang terkelola sepenuhnya yang membantu Anda memperoleh nilai maksimal dari data Anda dan dirancang agar menjadi multi-engine, multi-format, dan multi-cloud. Salah satu fitur utamanya adalah BigQuery Machine Learning untuk inferensi, yang memungkinkan Anda membuat dan menjalankan model machine learning (ML) dengan menggunakan kueri GoogleSQL.
Gemini adalah rangkaian model AI generatif yang dikembangkan oleh Google DeepMind dan dirancang untuk kasus penggunaan multimodal. Gemini API menyediakan akses ke model Gemini Pro Vision dan Gemini Pro.
Biasanya, menjalankan ML atau kecerdasan buatan (AI) pada set data besar memerlukan pemrograman dan pengetahuan yang luas tentang framework ML. Kebutuhan ini membuat pengembangan solusi hanya berada di tangan sekelompok kecil orang di suatu perusahaan yang tidak mencakup analis data yang memahami data, tetapi memiliki pengetahuan ML dan keahlian pemrograman yang terbatas. Namun, dengan BigQuery Machine Learning untuk inferensi, praktisi SQL dapat menggunakan alat dan keterampilan SQL yang ada untuk membangun model, serta membuat hasil dari LLM dan API Cloud AI.
Di lab ini, Anda akan mempelajari cara:
Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.
Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.
Untuk menyelesaikan lab ini, Anda memerlukan:
Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kiri ada panel Lab Details yang berisi hal-hal berikut:
Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).
Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.
Tips: Atur tab di jendela terpisah secara berdampingan.
Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.
Anda juga dapat menemukan Username di panel Lab Details.
Klik Next.
Salin Password di bawah dan tempel ke dialog Welcome.
Anda juga dapat menemukan Password di panel Lab Details.
Klik Next.
Klik halaman berikutnya:
Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.
Dalam tugas ini, Anda akan mengonfigurasi lingkungan lab agar dapat menggunakan Cloud AI Companion API untuk Gemini dan Vertex AI Platform API dengan project Anda.
Login ke Konsol Google Cloud dengan kredensial lab Anda, lalu buka jendela terminal Cloud Shell.
Untuk menetapkan project ID dan variabel lingkungan region, jalankan perintah berikut di Cloud Shell:
Untuk menyimpan akun pengguna Google yang sudah login dalam variabel lingkungan, jalankan perintah berikut:
Aktifkan Cloud AI Companion API untuk Gemini dan Vertex AI API:
Untuk menggunakan Gemini, berikan peran IAM yang diperlukan ke akun pengguna Qwiklabs Google Cloud Anda:
Dengan menambahkan peran ini, pengguna dapat menggunakan bantuan Gemini.
Untuk memverifikasi tujuan, klik Check my progress.
Dalam tugas ini, Anda akan membuat koneksi Resource Cloud di BigQuery agar dapat bekerja dengan model Gemini Pro dan Gemini Pro Vision.
Di Konsol Google Cloud, pada Navigation menu, klik BigQuery.
Klik DONE di pop-up Welcome.
Untuk membuat koneksi, klik + ADD, lalu klik Connections to external data sources.
Pada Connection type list, pilih Vertex AI remote models, remote functions and BigLake (Cloud Resource).
Di kolom Connection ID, masukkan gemini_conn untuk koneksi Anda.
Untuk Location type, pilih Multi-region, kemudian dari menu dropdown, pilih multi-region US.
Gunakan opsi default untuk setelan lainnya.
Klik Create connection.
Klik GO TO CONNECTION.
Di panel Connection info, salin ID akun layanan ke file teks untuk digunakan dalam tugas berikutnya. Anda juga akan melihat koneksi ditambahkan di bagian External Connections project Anda di BigQuery Explorer.
Klik Check my progress untuk memverifikasi tujuan.
Dalam tugas ini, Anda akan memberikan izin IAM ke akun layanan koneksi Resource Cloud, melalui sebuah peran, untuk mengaktifkan akses ke layanan Vertex AI.
Di Konsol Google Cloud, pada Navigation menu, klik IAM & Admin.
Klik Grant Access.
Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.
Di kolom Select a role, masukkan Vertex AI, lalu pilih peran Vertex AI User.
Klik Save.
Hasilnya adalah ID akun layanan kini memiliki peran Vertex AI User.
Klik Check my progress untuk memverifikasi tujuan.
Dalam tugas ini, Anda akan membuat set data untuk project dan tabel objek di dalamnya untuk menyimpan gambar poster.
Di Konsol Google Cloud, pilih Navigation menu (), lalu pilih BigQuery.
Di panel Explorer, untuk
Anda membuat set data untuk menyimpan objek database, termasuk tabel dan model.
Di panel Create dataset, masukkan informasi berikut:
Kolom | Nilai |
---|---|
Dataset ID | gemini_demo |
Location type | pilih Multi-region |
Multi-region | pilih US |
Biarkan kolom lain tetap pada nilai defaultnya.
Klik Create Dataset.
Hasilnya adalah set data gemini_demo dibuat dan dicantumkan di bawah project Anda di BigQuery Explorer.
Untuk membuat tabel objek, Anda akan menggunakan kueri SQL.
Klik + untuk Membuat kueri SQL baru.
Di editor kueri, tempel kueri di bawah.
Jalankan kueri ini.
Hasilnya adalah tabel objek movie_posters ditambahkan ke set data gemini_demo dan dimuat dengan URI (lokasi Cloud Storage) setiap gambar poster film.
Di Explorer, klik movie_posters, lalu tinjau skema dan detailnya. Silakan mengkueri tabel untuk meninjau kumpulan data tertentu.
Klik Check my progress untuk memverifikasi tujuan.
Setelah tabel objek dibuat, Anda dapat mulai menggunakannya. Dalam tugas ini, Anda akan membuat model jarak jauh untuk model Gemini Pro dan Gemini Pro Vision di BigQuery.
Klik + untuk membuat kueri SQL baru.
Di editor kueri, tempel dan jalankan kueri di bawah ini.
Hasilnya adalah model gemini_pro dibuat dan Anda mendapati model tersebut ditambahkan ke set data gemini_demo, di bagian Models.
Di Explorer, klik model gemini_pro lalu tinjau detail dan skemanya.
Klik + untuk Membuat Kueri SQL baru.
Di editor kueri, tempel dan jalankan kueri di bawah ini.
Hasilnya adalah model gemini_pro_vision dibuat dan Anda mendapati model tersebut ditambahkan ke set data gemini_demo, di bagian Models.
Di Explorer, klik model gemini_pro_vision lalu tinjau detail dan skemanya.
Klik Check my progress untuk memverifikasi tujuan.
Dalam tugas ini, Anda akan menggunakan Gemini (model Gemini Pro dan Vision yang baru saja Anda buat) untuk menganalisis gambar poster film dan membuat ringkasan untuk setiap film.
Klik + untuk membuat kueri SQL baru.
Di editor kueri, tempel dan jalankan kueri di bawah ini.
Hasilnya adalah tabel movie_posters_results dibuat.
Di Explorer, klik tabel movie_posters_results, lalu tinjau skema dan detailnya.
Klik + untuk membuat kueri SQL baru.
Di editor kueri, tempel dan jalankan kueri di bawah ini.
Hasilnya adalah baris untuk setiap poster film dengan URI (lokasi Cloud Storage gambar poster film) dan hasil JSON yang mencakup judul film dan tahun rilis film tersebut dari model Gemini Pro Vision.
Anda dapat mengambil hasil ini dengan cara yang lebih dapat dibaca manusia dengan menggunakan kueri berikutnya.
Klik + untuk membuat kueri SQL baru.
Di editor kueri, tempel dan jalankan kueri di bawah ini.
Hasilnya adalah tabel movie_posters_result_formatted dibuat.
Anda dapat mengkueri tabel dengan kueri di bawah, untuk melihat baris dibuat.
Perhatikan bahwa hasil kolom URI tetap sama, tetapi JSON kini diubah ke kolom judul dan tahun untuk setiap baris.
Anda dapat menggunakan Gemini Pro untuk memberikan ringkasan film untuk setiap poster dengan menjalankan kueri di bawah ini.
Perhatikan bahwa hasilnya mirip dengan kueri sebelumnya, tetapi sekarang perintah yang digunakan dengan Gemini ditampilkan di kolom perintah dan hasil penggunaan perintah ini disertakan dalam kolom ml_generate_text_llm_result. Kolom ini berisi ringkasan singkat film tersebut.
Klik Check my progress untuk memverifikasi tujuan.
Dalam tugas ini, Anda akan membuat embedding teks menggunakan model jarak jauh agar dapat melakukan analisis lebih lanjut.
Untuk membuat embedding teks, Anda harus menggunakan model text-multilingual-embedding-002 jarak jauh yang dihosting di endpoint, lalu Anda dapat membuat embedding.
Klik + untuk membuat kueri SQL baru.
Di editor kueri, tempel dan jalankan kueri di bawah ini.
Hasilnya adalah model text_embedding dibuat dan muncul di Explorer, di bawah set data gemini_demo.
Anda harus membuat tabel untuk menyimpan hasilnya.
Klik + untuk membuat kueri SQL baru.
Di editor kueri, tempel dan jalankan kueri di bawah ini.
Hasilnya adalah tabel movie_poster_results_embeddings dibuat dan berisi hasil pembuatan embedding untuk konten teks (URI, judul film, dan tahun rilis) dari tabel gemini_demo.movie_posters_results_formatted.
Anda dapat melihat hasil kueri menggunakan kueri baru di bawah ini:
Di sini Anda melihat embedding (vektor yang diwakili oleh angka) untuk setiap film yang dihasilkan oleh model.
Anda akan membuat tabel virtual baru yang hanya berisi film dalam set data yang dirilis sebelum tahun 1935.
Buat dan jalankan kueri baru dengan pernyataan SQL berikut.
Hasilnya adalah tabel virtual baru yang berisi daftar ID film, judul, dan tahun rilis yang berbeda dari bigquery-public-data.imdb.reviews untuk semua film dalam set data yang dirilis sebelum tahun 1935.
Buat dan jalankan kueri baru dengan pernyataan SQL berikut.
Hasil kueri ini adalah tabel yang berisi embedding untuk konten teks tabel gemini_demo.imdb_movies.
Buat dan jalankan kueri baru dengan pernyataan SQL berikut.
Kueri ini menggunakan fungsi VECTOR_SEARCH untuk menemukan tetangga terdekat dalam tabel gemini_demo.imdb_movies_embeddings untuk setiap baris dalam tabel gemini_demo.movie_posters_results_embeddings. Tetangga terdekat ditemukan menggunakan metrik jarak kosinus, yang menentukan seberapa mirip dua embedding tersebut.
Kueri ini dapat digunakan untuk menemukan film yang paling mirip dalam set data IMDB untuk setiap film yang diidentifikasi oleh Gemini Pro Vision dalam poster film. Misalnya, Anda dapat menggunakan kueri ini untuk menemukan hasil yang paling mendekati untuk film "Au Secours!" (diidentifikasi oleh Gemini Pro Vision di salah satu poster film) dalam set data publik IMDB, yang merujuk film ini dengan judul bahasa Inggrisnya, "Help!".
Buat dan jalankan kueri baru untuk menggabungkan beberapa informasi tambahan tentang rating film yang disediakan dalam set data publik IMDB.
Kueri ini mirip dengan kueri sebelumnya. Hasil kueri ini masih menggunakan representasi numerik khusus yang disebut embedding vektor untuk menemukan film yang mirip dengan poster film tertentu. Namun, hasil kueri ini juga menggabungkan rata-rata rating dan jumlah voting untuk setiap film terdekat dari tabel terpisah dari set data publik IMDB.
Klik Check my progress untuk memverifikasi tujuan.
Anda berhasil membuat tabel objek untuk gambar poster di BigQuery, membuat model Gemini jarak jauh, menggunakan model untuk meminta Gemini menganalisis gambar dan memberikan ringkasan film, membuat embedding teks untuk judul film, dan menggunakan embedding untuk mencocokkan gambar poster film dengan judul film terkait dalam set data IMDB.
...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.
Manual Terakhir Diperbarui pada 4 Oktober 2024
Lab Terakhir Diuji pada 23 Mei 2024
Hak cipta 2025 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.
Konten ini tidak tersedia untuk saat ini
Kami akan memberi tahu Anda melalui email saat konten tersedia
Bagus!
Kami akan menghubungi Anda melalui email saat konten tersedia
One lab at a time
Confirm to end all existing labs and start this one