GSP1209

總覽

Gemini 是由 Google DeepMind 開發的一系列生成式 AI 模型，專為多模態用途而設計。Gemini API 可讓您使用 Gemini Pro Vision 和 Gemini Pro 模型。在本研究室中，您將瞭解如何搭配使用 Vertex AI Gemini API 和 Vertex AI SDK for Python，與 Gemini 1.0 Pro (gemini-1.0-pro) 模型和 Gemini 1.0 Pro Vision (gemini-1.0-pro-vision) 模型互動。

Vertex AI Gemini API

Vertex AI Gemini API 提供統一的 Gemini 模型互動介面。目前 Gemini API 有兩種可用模型：

1. Gemini 1.0 Pro 模型 (gemini-1.0-pro)：專門處理自然語言工作、多輪文字和程式碼對話，也能生成程式碼。
2. Gemini 1.0 Pro Vision 模型 (gemini-1.0-pro-vision)：支援多模態提示。您可以在提示要求中加入文字、圖片和影片，並取得文字或程式碼形式的回覆。

與 Gemini API 互動的方法如下：

• 使用 Vertex AI Studio 快速測試並生成指令
• 使用 cURL 指令
• 使用 Vertex AI SDK

本研究室聚焦於使用 Python 適用的 Vertex AI SDK 來呼叫 Vertex AI Gemini API。

詳情請參閱 Vertex AI 的生成式 AI 說明文件。

先備知識

開始本研究室之前，您應已熟悉以下概念：

• 對 Python 程式設計有基本的瞭解
• 具備有關 API 運作方式的一般知識
• 在 Vertex AI Workbench 中使用 Jupyter 筆記本執行 Python 程式碼

目標

在本研究室中，您將瞭解如何執行下列工作：

• 安裝 Vertex AI SDK for Python
• 使用 Gemini 1.0 Pro (gemini-1.0-pro) 模型生成文字
• 使用 Gemini 1.0 Pro Vision (gemini-1.0-pro-vision) 多模態模型，從文字、圖片和影片組合中生成文字

設定和需求

點選「Start Lab」按鈕前的須知事項

請詳閱以下操作說明。研究室活動會計時，而且中途無法暫停。點選「Start Lab」 後就會開始計時，讓您瞭解有多少時間可以使用 Google Cloud 資源。

您將在真正的雲端環境中完成實作研究室活動，而不是在模擬或示範環境。為達此目的，我們會提供新的暫時憑證，讓您用來在研究室活動期間登入及存取 Google Cloud。

如要完成這個研究室活動，請先確認：

• 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意：請使用無痕模式或私密瀏覽視窗執行此研究室。這可以防止個人帳戶和學生帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成研究室活動了！別忘了，活動一開始將無法暫停。

注意：如果您擁有個人 Google Cloud 帳戶或專案，請勿用於本研究室，以免產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用，畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的暫時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，然後選取「在無痕式視窗中開啟連結」。

   接著，實驗室會啟動相關資源並開啟另一個分頁，當中顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要查看列出 Google Cloud 產品和服務的選單，請點選左上角的「導覽選單」。

工作 1：開啟 Vertex AI Workbench 中的筆記本

1. 前往 Google Cloud 控制台，依序點選「導覽選單」>「Vertex AI」>「Workbench」。

2. 找到 generative-ai-jupyterlab 筆記本，然後點選「Open JupyterLab」按鈕。

JupyterLab 介面會在新的瀏覽器分頁中開啟。

工作 2：設定筆記本

1. 點選「intro_gemini_python.ipynb」檔案。

2. 執行筆記本的「Getting Started」和「Import libraries」部分。

   • 在「Project ID」部分使用「」，並在「Location」部分使用「」。

注意：您可以略過任何標有「Colab only」的筆記本儲存格。

在下列各節中，您將執行各個筆記本儲存格，瞭解如何搭配使用 Vertex AI Gemini API 和 Vertex AI SDK for Python。

工作 3：使用 Gemini 1.0 Pro 模型

Gemini 1.0 Pro (gemini-1.0-pro) 模型可處理自然語言工作、多輪文字和程式碼對話，也能生成程式碼。在這項工作中，請執行各個筆記本儲存格，瞭解如何透過文字提示使用 Gemini 1.0 Pro 模型生成文字。

使用文字提示來生成文字

請將文字提示傳送至模型。Gemini 1.0 Pro (gemini-1.0-pro) 模型採用逐句顯示機制，一旦生成片段即可著手處理，不必等模型提供完整回覆。

• 執行筆記本的「Generate text from text prompts」部分。

點選「Check my progress」，確認目標已達成。

使用文字提示來生成文字。 顯示即時通訊記錄。

工作 4：使用 Gemini 1.0 Pro Vision 模型

Gemini 1.0 Pro Vision (gemini-1.0-pro-vision) 是支援多模態提示的多模態模型。您可以在提示要求中加入文字、圖片和影片，並取得文字或程式碼形式的回覆。在這項工作中，請執行各個筆記本儲存格，瞭解如何透過文字和圖片提示使用 Gemini 1.0 Pro Vision 模型生成文字，然後從影片檔案中生成文字。

使用本機圖片和文字來生成文字

• 執行筆記本的「Generate text from local image and text」部分。

點選「Check my progress」，確認目標已達成。

驗證圖片。 使用本機圖片和文字來生成文字。

使用文字和圖片提示來生成文字

• 執行筆記本的「Generate text from text & image(s)」部分。

  使用文字和圖片來生成文字。

合併多個圖片和文字提示來執行少量樣本提示

• 執行筆記本的「Combining multiple images and text prompts for few-shot prompting」部分。

  執行少量樣本提示。

從影片檔案中生成文字

• 執行筆記本的「Generate text from a video file」部分。

  從影片檔案中生成文字。

恭喜！

在本研究室中，您深入學習如何搭配使用 Vertex AI Gemini API 和 Vertex AI SDK for Python，與 Gemini 1.0 Pro (gemini-1.0-pro) 和 Gemini 1.0 Pro Vision (gemini-1.0-pro-vision) 這兩種模型互動。透過這些實作練習，您已充分瞭解 Vertex AI Gemini API 的功能，以及該 API 如何與 Python SDK 完美整合。

後續步驟/瞭解詳情

• 查看 Generative AI on Vertex AI 說明文件
• 前往 Google Cloud Tech 的 YouTube 頻道，進一步瞭解生成式 AI
• Google Cloud 生成式 AI 官方存放區
• Gemini 筆記本示例

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2024 年 5 月 16 日

研究室上次測試日期：2024 年 5 月 16 日

Copyright 2024 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。