GSP1231

總覽

Gemini 是由 Google DeepMind 開發的一系列生成式 AI 模型，專為多模態用途而設計。

檢索增強生成 (RAG) 已成為大型語言模型用來存取外部資料的熱門方式，以此機制建立基準也有助於減少幻覺。RAG 模型經過訓練，會從大型語料庫檢索相關文件，然後依據檢索的文件生成回覆。本實驗室將說明如何透過多模態 RAG，針對圖文並茂的金融文件進行問與答。

比較文字型和多模態 RAG

與文字型 RAG 相比，多模態 RAG 提供更多優勢：

1. 增強知識存取能力：多模態 RAG 可存取並處理文字和影像資訊，為大型語言模型提供更豐富全面的知識庫。
2. 提升推論能力：多模態 RAG 支援視覺提示，可根據多種形式的資料做出更完善的推論。

本實驗室說明如何透過 Vertex AI Gemini API 的 RAG、文字嵌入項目和多模態嵌入項目，建構文件搜尋引擎。

事前準備

開始這個實驗室之前，您應已熟悉下列概念：

• 基本 Python 程式設計。
• 一般 API 概念。
• 在 Vertex AI Workbench 使用 Jupyter 筆記本執行 Python 程式碼。

目標

本實驗室的內容包括：

• 對含有文字和圖片的文件擷取及儲存中繼資料，並生成文件嵌入項目
• 以文字查詢搜尋中繼資料，找出相似文字或圖片
• 以圖片查詢搜尋中繼資料，找出相似圖片
• 將文字查詢做為輸入內容，藉由比對相關文字和圖片來找出解答

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

• 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。

注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 點選「Start Lab」按鈕。如果實驗室會產生費用，畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的臨時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

   接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請點選「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。

工作 1：開啟 Vertex AI Workbench 中的筆記本

1. 前往 Google Cloud 控制台，依序點按「導覽選單」圖示 >「Vertex AI」>「Workbench」。

2. 找出 執行個體，點按「Open JupyterLab」按鈕。

Workbench 執行個體的 JupyterLab 介面會在新瀏覽器分頁中開啟。

工作 2：設定筆記本

1. 開啟 檔案。

2. 出現「Select Kernel」對話方塊時，從可用核心清單中選取「Python 3」。

3. 完成筆記本的「Getting Started」和「Import libraries」部分。

   • 「專案 ID」請使用 ，「位置」則請使用 。

注意事項：您可以略過標有「Colab only」字樣的筆記本儲存格。如果執行筆記本儲存格後出現 429 回應，稍候 1 分鐘再重新執行儲存格，應該就能繼續操作。

點選「Check my progress」，確認目標已達成。 安裝 Gen AI SDK for Python 並匯入程式庫

在後續章節中，您需要執行各個筆記本儲存格，瞭解如何使用 Gemini API 建構多模態 RAG 系統。

工作 3：下載自訂 Python 公用程式和必要檔案

Gemini 2.0 Flash (gemini-2.0-flash) 模型可處理自然語言工作、進行多輪文字和程式碼對話，以及生成程式碼。在本節中，您將下載這個筆記本需要的輔助函式，藉此提高可讀性。您也可以直接在 GitHub 查看程式碼 (intro_multimodal_rag_utils.py)。

1. 在這項工作中，請執行各個筆記本儲存格，以便載入模型、下載輔助函式，並從 Cloud Storage 取得文件和圖片。

點選「Check my progress」，確認目標已達成。從 Cloud Storage 下載圖片和文件

工作 4：為含有文字和圖片的文件建立中繼資料

您在本實驗室使用的來源資料為修改版 Google-10K，當中完整說明了 Google 的財務表現、業務營運、管理和風險因素等。由於原始文件相當龐大，您將改用只有 14 頁的修改版，內容分為第 1 部分和第 2 部分。雖然經過節錄，但除了文字外，本範例文件仍含有表格和圖表等圖片。

1. 在這項工作中，請執行各個筆記本儲存格，從文件中擷取並儲存文字和圖片的中繼資料。

注意：系統可能需要幾分鐘的時間，才能確實從文件擷取並儲存文字和圖片的中繼資料。

點選「Check my progress」，確認目標已達成。從文件擷取並儲存文字和圖片的中繼資料

工作 5：文字搜尋

請先以簡單的問題進行搜尋，看看使用文字嵌入項目的簡易文字搜尋模型能否回答問題。目標是讓模型就不同類型的 Google 股票，顯示基本和稀釋每股淨收益。

1. 在這項工作中，請執行各個筆記本儲存格，使用文字查詢搜尋相似文字和圖片。

點選「Check my progress」，確認目標已達成。 使用文字查詢搜尋相似文字

工作 6：圖片搜尋

請試想這個情境：您希望用實際圖片當成搜尋圖片的線索，而不是輸入搜尋字詞。有個表格記錄了兩年的營業成本數據，而您想從同一份文件或多份文件中，找出與這個表格相似的其他圖片。

開發多模態 RAG 系統的重要基石，便是藉助 Gemini 和嵌入項目，讓該系統得以根據使用者輸入內容找出相似文字和圖片。我們會在下一項工作探討這點。

1. 在這項工作中，請執行各個筆記本儲存格，使用圖片查詢搜尋相似圖片。

注意：您可能需要等候幾分鐘，才能取得這項工作的分數。

點選「Check my progress」，確認目標已達成。使用圖片查詢搜尋相似圖片

比較推論

假設您有一個圖表，當中顯示 Google 的 A 股與其他股票 (例如 S&P 500 或其他科技公司) 相比的表現。您想將 C 股與該圖表做比較，瞭解 C 股的表現如何。這時 Gemini 不只能找出另一張相似圖片，還可幫忙比較相關圖片，告訴您哪一支股票較值得投資，隨後再說明原因。

1. 在這項工作中，請執行各個筆記本儲存格，將兩張圖片做比較，然後找出最相似的圖片。

點選「Check my progress」，確認目標已達成。 比較推論

工作 7：多模態檢索增強生成 (RAG)

現在來應用所學，開始導入多模態 RAG 吧！您需要使用前幾節探討的各項元素導入多模態 RAG，步驟如下：

• 步驟 1：資訊會以圖片和文字形式內嵌在文件中，使用者可以輸入文字查詢來取得預期的結果。
• 步驟 2：參考「文字搜尋」一節探討的方法，使用類似做法進行搜尋，從文件的頁面中找出所有文字分塊。
• 步驟 3：參考「圖片搜尋」一節探討的方法，使用相同做法進行搜尋，根據與 image_description 相符的使用者查詢，從頁面中找出所有相似圖片。
• 步驟 4：將步驟 2 和 3 中找到的所有相似文字和圖片彙整為 context_text 和 context_images。
• 步驟 5：向 Gemini 提出使用者查詢時，可以一併傳遞步驟 2 和 3 中找到的文字和圖片內容。您也可以加入具體指令，引導模型生成回覆。
• 步驟 6：Gemini 生成問題解答後，您可選擇顯示引用資料，並依此查證用來回應該查詢的所有相關文字和圖片。

1. 在這項工作中，請執行各個筆記本儲存格，以便執行多模態 RAG。

注意：您可能需要等候幾分鐘，才能取得這項工作的分數。

點選「Check my progress」，確認目標已達成。顯示引用資料，並依此查證所有相關文字和圖片

恭喜！

在本實驗室中，您已瞭解如何建構採用多模態檢索增強生成 (RAG) 系統的強大文件搜尋引擎。這段期間，您學會了對含有文字和圖片的文件擷取及儲存中繼資料，並生成文件嵌入項目。此外，您也學到如何以文字和圖片查詢搜尋中繼資料，找出相似文字或圖片。最後，您還學會如何將文字查詢做為輸入內容，並藉由比對相關文字和圖片來找出解答。

後續行動/瞭解詳情

歡迎參考下列資源，進一步瞭解 Gemini：

• Gemini 簡介
• Vertex AI 生成式 AI 說明文件
• 透過 YouTube 瞭解生成式 AI
• 探索 Vertex AI 教戰手冊，瀏覽及搜尋眾多精心挑選的生成式 AI 筆記本。
• 前往 Google Cloud 生成式 AI 存放區，查看其他筆記本和範例。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2025 年 5 月 15 日

實驗室上次測試日期：2025 年 5 月 15 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。