arrow_back

Gemini 的多模態功能

登录 加入
Quick tip: Review the prerequisites before you run the lab
Use an Incognito or private browser window to run this lab. This prevents any conflicts between your personal account and the student account, which may cause extra charges incurred to your personal account.
欢迎加入我们的社区，一起测试和分享您的知识！
done
学习 700 多个动手实验和课程并获得相关技能徽章

Gemini 的多模態功能

实验 1 小时 universal_currency_alt 5 积分 show_chart 中级
info 此实验可能会提供 AI 工具来支持您学习。
欢迎加入我们的社区，一起测试和分享您的知识！
done
学习 700 多个动手实验和课程并获得相关技能徽章

GSP1210

總覽

Gemini 是由 Google DeepMind 開發的一系列生成式 AI 模型，專為多模態用途而設計。Gemini API 可讓您使用 Gemini Pro Vision 和 Gemini Pro 模型。本研究室主要介紹 Gemini 適用的多種多模態用途。在本研究室中，您將瞭解如何透過 Vertex AI Gemini API，使用文字、圖片和影片提示來生成文字。

多模態

相較於純文字的大型語言模型，Gemini Pro Vision 的多模態有多種新用途：

輸入內容為文字和圖片格式的用途示例：

  • 偵測相片中的物件
  • 解讀螢幕畫面和介面內容
  • 解讀繪圖和抽象內容
  • 解讀圖表和示意圖
  • 根據使用者偏好推薦圖片
  • 比較圖片之間的異同處或異常處

輸入內容為文字和影片格式的用途示例：

  • 生成影片說明
  • 擷取整部影片中的標記和物件
  • 擷取影片的精華片段/訊息

目標

本研究室將說明：

  • 如何透過 Vertex AI Gemini API，使用文字、圖片和影片提示來生成文字。

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

  • 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。
  • 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。
注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

  1. 點選「Start Lab」按鈕。如果實驗室會產生費用，畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目：

    • 「Open Google Cloud console」按鈕
    • 剩餘時間
    • 必須在這個研究室中使用的臨時憑證
    • 完成這個實驗室所需的其他資訊 (如有)

  2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

    接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

    提示：您可以在不同的視窗中並排開啟分頁。

    注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

  3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

    {{{user_0.username | "Username"}}}

    您也可以在「Lab Details」窗格找到 Username。

  4. 點選「下一步」。

  5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

    {{{user_0.password | "Password"}}}

    您也可以在「Lab Details」窗格找到 Password。

  6. 點選「下一步」。

    重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

  7. 按過後續的所有頁面：

    • 接受條款及細則。
    • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
    • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請點選「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。

啟用所有建議的 API

  1. 前往 Google Cloud 控制台，依序點選「導覽選單」>「Vertex AI」。

  2. 點選「Enable All Recommended APIs」。

工作 1：開啟 Vertex AI Workbench 中的筆記本

  1. 前往 Google Cloud 控制台，依序點按「導覽選單」圖示 >「Vertex AI」>「Workbench」。

  2. 找出 執行個體，點按「Open JupyterLab」按鈕。

Workbench 執行個體的 JupyterLab 介面會在新瀏覽器分頁中開啟。

工作 2：設定筆記本

  1. 點選「」檔案。

  2. 出現「Select Kernel」對話方塊時，從可用核心清單中選取「Python 3」。

  3. 執行筆記本的「Getting Started」和「Import libraries」部分。

    • 在「Project ID」部分使用「」，並在「Location」部分使用「」。
注意：您可以略過任何標有「Colab only」的筆記本儲存格。

在下列各節中，您將執行各個筆記本儲存格，瞭解如何搭配使用 Vertex AI Gemini API 和 Vertex AI SDK for Python。

工作 3：使用 Gemini Pro Vision 模型

Gemini Pro Vision (gemini-pro-vision) 是支援多模態提示的多模態模型。您可以在提示要求中納入文字、圖片和影片，並取得文字或程式碼形式的回覆。

在這項工作中，請執行各個筆記本儲存格，瞭解如何使用 Gemini Pro Vision 模型。達成目標後，請返回這裡確認進度。

對多張圖片的解讀能力

Gemini 其中一項功能是解讀多張圖片。在這個示例中，您將運用 Gemini 根據水果和價目表圖片，計算生鮮雜貨的總成本。

執行筆記本的「Image understanding across multiple images」部分。

點選「Check my progress」，確認目標已達成。 對多張圖片的解讀能力

解讀螢幕畫面和介面內容

Gemini 也能擷取設備螢幕畫面、UI、螢幕截圖、圖示及版面配置中的資訊。在這個示例中，您將運用 Gemini 擷取烤箱上的資訊，協助使用者瀏覽 UI 並以不同語言回覆：

執行筆記本的「Understanding Screens and Interfaces」部分。

點選「Check my progress」，確認目標已達成。 解讀螢幕畫面和介面內容

解讀技術圖表中的實體關係

Gemini 的多模態功能可以解讀圖表並採取可行的步驟，例如最佳化或生成程式碼。在這個示例中，您將瞭解 Gemini 如何解讀實體關係 (ER) 圖表、理解表格之間的關係、辨別 BigQuery 等特定環境的最佳化需求，甚至生成相應的程式碼。

執行筆記本的「Understanding entity relationships in technical diagrams」部分。

點選「Check my progress」，確認目標已達成。 解讀技術圖表中的實體關係

根據多張圖片提供推薦內容

Gemini 可以比較圖片並提供推薦內容，很適合電子商務和零售業等產業。在這個示例中，您將運用 Gemini 推薦較適合的眼鏡給鵝蛋臉型消費者。

執行筆記本的「Recommendations based on multiple images」部分。

點選「Check my progress」，確認目標已達成。 根據多張圖片提供推薦內容

異同處

Gemini 可以比較圖片並找出物件之間的異同處。在這個示例中，您將運用 Gemini 比較兩張同一地點的圖片，並找出兩者間不同的地方。

執行筆記本的「Similarity/Differences」部分。

點選「Check my progress」，確認目標已達成。 異同處

生成影片說明

Gemini 可以為影片生成說明。在這個示例中，您將運用 Gemini 為一段拍攝地中海沿岸的影片生成說明。

執行筆記本的「Generating a video description」部分。

擷取整部影片中的標記和物件

Gemini 也能擷取影片中的標記。在這個示例中，您將運用 Gemini 從一段含有攝影作品的影片中擷取物件標記，並生成主題標記。

執行筆記本的「Extracting tags of objects throughout the video」部分。

詢問更多有關影片的問題

Gemini 可以回答有關影片的問題。在這個示例中，您將運用 Gemini 回答影片相關問題，並傳回 JSON 格式的回覆。

執行筆記本的「Asking more questions about a video」部分。

擷取影片以外的額外資訊

Gemini 也能擷取影片以外的額外資訊。在這個示例中，您將運用 Gemini 擷取影片的額外資訊，例如詢問有關火車路線的特定問題。

執行筆記本的「Retrieving extra information beyond the video」部分。

恭喜！

您已完成研究室內容！在本研究室中，您學會了如何透過 Vertex AI Gemini API，使用文字和圖片提示來生成文字。

後續步驟/瞭解詳情

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2024 年 10 月 8 日

實驗室上次測試日期：2024 年 10 月 8 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。

Before you begin

  1. Labs create a Google Cloud project and resources for a fixed time
  2. Labs have a time limit and no pause feature. If you end the lab, you'll have to restart from the beginning.
  3. On the top left of your screen, click Start lab to begin

此内容目前不可用

一旦可用，我们会通过电子邮件告知您

太好了！

一旦可用，我们会通过电子邮件告知您

One lab at a time

Confirm to end all existing labs and start this one

Use private browsing to run the lab

Use an Incognito or private browser window to run this lab. This prevents any conflicts between your personal account and the Student account, which may cause extra charges incurred to your personal account.