GSP1165

總覽

「提示設計」是指找出有效提示的過程，目的是讓 PaLM 這類大型語言模型 (LLM) 生成您期望的輸出內容。提示可用來生成文字、翻譯語言、撰寫不同類型的創意內容，以及提供實用解答。

為了透過提示取得最佳結果，您在提問時須力求明確、根據期望生成的內容選用相關的關鍵字，以及為 PaLM 提供您希望生成的輸出內容範例，以利 PaLM 更加瞭解您的意圖。

在本研究室中，您將扮演房地產公司的市場分析師。您需要建立提示，從公司網站極長的屋況說明中擷取摘要，協助顧客找到符合其特定需求的房屋。

課程內容

在本研究室中，您將回顧 Vertex AI 這個 AI/機器學習平台，並探索以下課題：

• 設計優質提示。
• 與 PaLM 互動，取得想要的回覆。
• 辨別回覆中的幻覺。

應用實例

貴公司想用大型語言模型 (LLM) 傳回簡短的屋況說明，這樣買家在表達房屋特色需求後，就能找到合適的物件。

您需要建立提示，將公司房地產網站中極長的屋況說明，摘錄成簡述內容。屋況說明會以檔案形式儲存在 Google Cloud Storage 值區中。

為節省時間，您先在 Model Garden 探索可用的預建模型，並盡快實作解決方案。

本研究室中使用的 Vertex AI 功能

生成式 AI 模型

Vertex AI 提供生成式 AI 模型 (又稱基礎模型)，並依其生成的內容類型加以分類，如文字、對話、圖片、程式碼和嵌入式文字。每個模型都是由您 Google Cloud 專案特定的發布端點公開，除非您需要依據特定用途調整模型，否則不必部署基礎模型。

Pathways 與 Pathways Language Model (PaLM)

Pathways 是高效率的單一模型，適用於多種領域和各式各樣的任務。Pathways Language Model (PaLM) 是只含有解碼器的稠密型 Transformer 模型，以 Pathways 系統訓練而成。這個模型幫助 Google 運用多個 TPU v4 Pod 有效率地訓練單一模型。我們用數百個語言理解和生成任務評估 PaLM，發現這個模型十分擅長處理多語言任務及生成原始碼。

PaLM 2 是 PaLM API 的基底模型，也是最先進的語言模型，具有更完善的多語言、推論和程式設計能力。如要進一步瞭解 PaLM 2，請參閱「隆重推出 PaLM 2」一文。這個筆記本將示範如何設計提示來建立多種摘要。

Vertex AI Studio

Vertex AI Studio 是 Google Cloud 控制台的一項工具，可快速進行生成式 AI 模型的原型設計和測試。您可以測試範例提示、設計專屬提示並自訂基礎模型，處理符合應用程式需求的工作，包括：

• 使用提示範例測試模型。
• 設計及儲存自己的提示。
• 調整基礎模型。
• 在語音和文字間轉換。

如要進一步瞭解 AI Studio，請參閱官方說明文件。

Vertex AI Workbench

Vertex AI Workbench 是全代管且可擴充的企業級運算基礎架構，數據資料學家能在單一環境中完成所有機器學習作業，無論是進行實驗或部署、管理及監控模型都沒問題。Vertex AI Workbench 奠基於 Jupyter 環境，提供多種工具及服務，如 Jupyter 筆記本或代管式運算資源。

設定和需求

點選「Start Lab」按鈕前的須知事項

請詳閱以下操作說明。研究室活動會計時，而且中途無法暫停。點選「Start Lab」 後就會開始計時，讓您瞭解有多少時間可以使用 Google Cloud 資源。

您將在真正的雲端環境中完成實作研究室活動，而不是在模擬或示範環境。為達此目的，我們會提供新的暫時憑證，讓您用來在研究室活動期間登入及存取 Google Cloud。

如要完成這個研究室活動，請先確認：

• 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意：請使用無痕模式或私密瀏覽視窗執行此研究室。這可以防止個人帳戶和學生帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成研究室活動了！別忘了，活動一開始將無法暫停。

注意：如果您擁有個人 Google Cloud 帳戶或專案，請勿用於本研究室，以免產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用，畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的暫時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，然後選取「在無痕式視窗中開啟連結」。

   接著，實驗室會啟動相關資源並開啟另一個分頁，當中顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要查看列出 Google Cloud 產品和服務的選單，請點選左上角的「導覽選單」。

啟用 API

1. 在 Google Cloud 控制台中，依序點按「導覽選單」圖示 和「其他產品」，然後在「人工智慧」部分中選取「Vertex AI」。
2. 在 Vertex AI 資訊主頁中，按一下「Enable all Recommended APIs」。

開啟 Vertex AI Workbench

1. 按一下 Vertex AI 資訊主頁左窗格中的「Workbench」。

   注意：您可能需要拉寬瀏覽器視窗才能看到左窗格。

2. 按一下「使用者自行管理的筆記本」分頁標籤。

工作 1：用 Vertex AI 中的生成式模型回答問題

公司請您建構使用者介面，讓潛在顧客藉由問答的方式篩選房地產物件。

1. 在「使用者自行管理的 Notebooks」分頁中，按一下筆記本名稱旁邊的「Open JupyterLab」。

Vertex AI Workbench 會隨即開啟，您可以在左窗格中找到檔案。

2. 前往左窗格，並在 training-data-analyst/self-paced-labs/genai/housing_question_answering.ipynb 上按兩下開啟。

housing_question_answering.ipynb 會隨即開啟，顯示在右窗格中。

3. 依序點按「編輯」>「清除所有輸出內容」。

4. 詳閱筆記本操作說明，然後執行每個儲存格中的程式碼。

如要執行目前的儲存格，請點選儲存格並按下 Shift + Enter 鍵。筆記本 UI 中的「執行」部分列有其他儲存格指令。

請繼續進行此工作，不要關掉 Jupyter 筆記本環境，您會在工作 3 回到此環境。

點按「Check my progress」確認工作已完成。

執行 housing_question_answering.ipynb 檔案中的儲存格。

參數值

您傳送至模型的每個呼叫都含有參數值，用來控制模型生成回覆的方式，模型生成的結果會因參數值而異。在本工作中，您將實驗不同參數值，取得最適合本工作目標的結果。

不同模型可用的參數各異，最常見的參數如下：

• 隨機性參數
• 符記限制
• Top-K
• Top-P

隨機性參數

套用「Top-K」和「Top-P」時，隨機性參數會決定選取符記的隨機程度。如果您想藉由提示生成更具確定性、較不具開放性和創意性的回覆，建議調低隨機性參數。另一方面，如果隨機性參數較高，則可能產生較多元或有創意的結果。隨機性參數為「0」代表具有確定性，即模型一律會選取可能性最高的回覆。

以大部分用途來說，可以先將隨機性參數設為「0.2」，如果模型的回覆太普通、太短或提供了備用回覆，再試試看調高隨機性參數。

符記限制

符記限制會決定單則提示可輸出的文字數量上限。一個符記約為四個字元，預設值為「256」。

如要取得較短的回覆，請指定較低的值；如要取得較長的回覆，請調高此值。

Top-K

「Top-K」會影響模型選取輸出符記的方式。如果「Top-K」設為「1」，代表下一個所選符記是模型詞彙表的所有符記中可能性最高者 (也稱為「貪婪解碼」)。如果「Top-K」設為「3」，則代表模型會依據隨機性參數，從可能性最高的 3 個符記中選取下一個符記。

在每個符記選取步驟中，模型會對機率最高的「Top-K」符記取樣，接著進一步根據「Top-P」篩選符記，最後依隨機性參數選出最終符記。

如要取得較不隨機的回覆，請指定較低的值；如要取得較隨機的回覆，請調高此值。「Top-K」的預設值為 40。

Top-P

「Top-P」會影響模型選取輸出符記的方式。模型會按照機率最高 (請見「Top-K」) 到最低的順序選取符記，直到所選符記的機率總和等於「Top-P」值。舉例來說，假設符記 A、B 和 C 的可能性分別為 0.3、0.2 和 0.1，而「Top-P」值為 0.5，模型會依據隨機性參數選擇 A 或 B 做為下一個符記，並排除 C。

如要取得較不隨機的回覆，請指定較低的值；如要取得較隨機的回覆，請調高此值。「Top-P」的預設值為 0.8。

工作 2：不同參數值

本工作中，您將實驗不同的參數值。

1. 前往 Google Cloud 控制台，然後在「導覽選單」() 中，選取「人工智慧」部分的「Vertex AI」。

2. 在左側的「工具」窗格，點按「Vertex AI Studio」部分中的「語言」，接著點按「開始使用」頁面中的「文字提示」。

3. 輸入下列提示：

Summarize the beginning of Harry Potter for me.

4. 在「參數」部分的方塊中，將「模型」設為 gemini-1.0-pro-001、將「隨機性參數」從 0.9 變更為 1、將「地區」設為 us-central1，接著點按「提交」。為提示命名，然後點按「儲存」。查看回覆，看看不同隨機性參數值對內容的影響。

5. 在「參數」部分中，將「符記」限制從 2048 變更為 1024。依序點按「提交」和「儲存」。閱讀回覆，看看不同的符記限制如何影響回覆。

6. 在「參數」部分中，點按「Advanced」切換選項按鈕，將「Top-K」值變更為 1。依序點按「提交」和「儲存」。閱讀回覆，看看不同的 Top-K 值如何影響回覆。

7. 在「參數」部分，將「Top-P」值變更為 1，然後點按「提交」和「儲存」。閱讀回覆，看看不同的 Top-P 值如何影響回覆。

點按「Check my progress」確認工作已完成。

變更參數並儲存回覆

工作 3：使用 Vertex AI 的生成式模型產生文字摘要

擷取最重要的屋況概要資訊，簡化搜尋程序。

1. 在 JupyterLab 筆記本中，按兩下左側面板的 housing_text_summarization.ipynb 開啟檔案。

2. 依序點按「編輯」>「清除所有輸出內容」。

3. 詳閱筆記本操作說明，然後執行每個儲存格中的程式碼。

執行 housing_text_summarization.ipynb 檔案中的儲存格。

恭喜！

您已使用 PaLM API 和 AI Studio 建立提示，並嘗試運用在生成式 AI 的各種實用案例中。此外，您也實際操作了 AI Studio 的 UI，並使用不同參數建立文字及程式碼提示。

後續步驟/瞭解詳情

• 如要深入瞭解提示設計，請參閱官方說明文件。

• 查看本研究室中使用的筆記本。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2024 年 3 月 5 日

研究室上次測試日期：2024 年 3 月 5 日

Copyright 2024 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。