检查点
Run the cells in the housing_question_answering.ipynb file.
/ 40
Change the parameters and save your response
/ 20
Run the cells in the housing_text_summarization.ipynb file.
/ 40
使用 PaLM 设计提示
GSP1165
概览
提示设计是指创建能有效地从 PaLM 等大语言模型 (LLM) 中获得所需输出的提示的过程。提示可用于生成文本、翻译语言、撰写不同类型的创意内容,以及通过丰富的信息回答您的问题。
为了让提示能够导向质量良好的输出结果,您需要提供具体的提示,使用与您希望生成的输出贴合的关键词,并向 PaLM 提供您想要的输出示例,帮助它更好地理解您的需求。
在本实验室中,您将扮演房地产公司营销分析师的角色。您需要创建能够从公司网站上的长篇住宅说明中提取摘要的提示,帮助客户找到符合其特定要求的房屋。
学习内容
在本实验中,您将回顾作为 AI/机器学习平台的 Vertex AI 的知识点,并探索如何:
- 设计高质量的提示
- 与 PaLM 进行交互以获得所需回答
- 辨识回答中的幻觉
使用场景
在买家表明希望住宅具备哪些特点之后,您的公司有意使用大语言模型 (LLM) 为买家生成有关住宅的简短文本说明。
您的任务是创建提示,用来对房地产网站上的长篇幅住宅说明生成摘要文本。住宅说明存储在 Google Cloud Storage 存储桶的一个文件中。
您首先使用 Model Garden 探索可用的预构建模型以节省时间,并尽快实现解决方案。
本实验中会使用到 Vertex AI 的功能
生成式 AI 模型
Vertex AI 中提供的生成式 AI 模型(也称为基础模型)按其旨在生成的内容类型分类。这些内容包括文本和聊天、图片、代码和文本嵌入。每个模型都通过特定于您的 Google Cloud 项目的发布者端点公开,因此您无需部署基础模型,除非您需要针对特定应用场景进行调优。
Pathways 和 Pathways Language Model (PaLM)
Pathways 是可以跨多个网域和任务进行泛化,同时非常高效的单一模型。Pathways Language Model (PaLM) 是一种通过 Pathways 系统进行训练且仅使用解码器的密集型 Transformer(转换器)模型,使 Google 能够跨多个 TPU v4 Pod 高效地训练单一模型。PaLM 基于对数百种语言的理解和生成任务进行评估,具有强大的多语言任务能力和源代码生成能力。
PaLM 2 是驱动 PaLM API 的底层模型。PaLM 2 是领先的语言模型,具有改进的多语言、推理和编码功能。如需详细了解 PaLM 2,请参阅 PaLM 2 简介。此笔记本展示了如何设计提示以创建不同类型的摘要。
Vertex AI Studio
Vertex AI Studio 是一种 Google Cloud 控制台工具,用于快速对生成式 AI 模型进行原型设计和测试。您可以测试示例提示,设计自己的提示,以及自定义基础模型来处理符合您的应用需求的任务。您可以执行以下操作:
- 使用提示示例测试模型。
- 设计并保存您自己的提示。
- 对基础模型进行调优。
- 在语音和文字之间转换。
请参阅官方文档,了解有关 AI Studio 的详细信息。
Vertex AI Workbench
Vertex AI Workbench 是一个全托管式可扩缩企业级计算基础架构,可为数据科学家提供单一环境,供其完成从实验、部署到管理和监控模型的所有机器学习工作。它是一种基于 Jupyter 的环境,内含各种工具和服务,例如 Jupyter 笔记本或代管式计算资源。
设置和要求
点击“开始实验”按钮前的注意事项
请阅读以下说明。实验是计时的,并且您无法暂停实验。计时器在您点击开始实验后即开始计时,显示 Google Cloud 资源可供您使用多长时间。
此实操实验可让您在真实的云环境中开展实验活动,免受模拟或演示环境的局限。我们会为您提供新的临时凭据,让您可以在实验规定的时间内用来登录和访问 Google Cloud。
为完成此实验,您需要:
- 能够使用标准的互联网浏览器(建议使用 Chrome 浏览器)。
- 完成实验的时间 - 请注意,实验开始后无法暂停。
如何开始实验并登录 Google Cloud 控制台
-
点击开始实验按钮。如果该实验需要付费,系统会打开一个弹出式窗口供您选择付款方式。左侧是实验详细信息面板,其中包含以下各项:
- 打开 Google Cloud 控制台按钮
- 剩余时间
- 进行该实验时必须使用的临时凭据
- 帮助您逐步完成本实验所需的其他信息(如果需要)
-
点击打开 Google Cloud 控制台(如果您使用的是 Chrome 浏览器,请右键点击并选择在无痕式窗口中打开链接)。
该实验会启动资源并打开另一个标签页,显示登录页面。
提示:请将这些标签页安排在不同的窗口中,并将它们并排显示。
注意:如果您看见选择账号对话框,请点击使用其他账号。 -
如有必要,请复制下方的用户名,然后将其粘贴到登录对话框中。
{{{user_0.username | "<用户名>"}}} 您也可以在实验详细信息面板中找到用户名。
-
点击下一步。
-
复制下面的密码,然后将其粘贴到欢迎对话框中。
{{{user_0.password | "<密码>"}}} 您也可以在实验详细信息面板中找到密码。
-
点击下一步。
重要提示:您必须使用实验提供的凭据。请勿使用您的 Google Cloud 账号凭据。 注意:在本次实验中使用您自己的 Google Cloud 账号可能会产生额外费用。 -
继续在后续页面中点击以完成相应操作:
- 接受条款及条件。
- 由于该账号为临时账号,请勿添加账号恢复选项或双重验证。
- 请勿注册免费试用。
片刻之后,系统会在此标签页中打开 Google Cloud 控制台。
启用 API
- 在 Google Cloud 控制台的导航菜单 () 中,点击更多产品,然后在人工智能部分选择 Vertex AI。
- 在 Vertex AI 信息中心,点击启用所有推荐的 API。
打开 Vertex AI Workbench
-
还是在 Vertex AI 信息中心,点击左侧窗格中的 Workbench。
注意:您可能需要拉宽浏览器窗口才能看到左侧窗格。 -
点击用户管理的笔记本标签页。
任务 1. 使用 Vertex AI 上的生成模型进行问答
您被要求构建一个界面,让潜在客户可以根据他们的回答来筛选房地产产品和服务。
- 在用户管理的笔记本标签页中,点击笔记本名称旁边的打开 JupyterLab。
Vertex AI Workbench 将会打开,请注意左侧窗格中的文件。
- 找到并双击打开
training-data-analyst/self-paced-labs/genai/housing_question_answering.ipynb
文件。
housing_question_answering.ipynb
文件将会打开并显示在右侧窗格中。
-
点击修改 > 清除所有输出
-
仔细阅读笔记本说明并运行每个单元中的代码。
如需运行当前单元,请点击该单元并按下 Shift + Enter。笔记本界面的运行下列出了其他单元命令。
让您的 Jupyter 笔记本环境保持打开状态,并继续阅读此任务。返回到任务 3 中的笔记本环境。
点击检查我的进度以验证是否完成了以下目标:
参数值
您向模型发送的每次调用都包含控制模型如何生成回答的参数值。模型会针对不同的参数值生成不同的结果。对于此任务,您可以实验不同的参数值,以获得任务的最佳结果。
不同模型的可用参数可能有所不同,但最常见的参数如下:
- 温度
- 词元限制
- Top-K
- Top-P
温度
应用了 Top-K 和 Top-P 后,温度可以控制词元选择的随机性。较低的温度有利于需要更具确定性、更少开放性或创造性回答的提示,而较高的温度可以带来更具多样性或创造性的结果。温度为 0 表示确定性,即始终选择概率最高的回答。
对于大多数应用场景,不妨先试着将温度设为 0.2。如果模型返回的回答过于笼统、过于简短,或者模型给出后备响应,请尝试提高温度。
词元限制
词元限制决定了一条提示的最大文本输出量。一个词元约为 4 个字符。默认值为 256。
指定较低的值可获得较短的回答,指定较高的值可获得较长的回答。
Top-K
Top-K 可更改模型选择输出词元的方式。如果 Top-K 设为 1,表示下一个所选词元是模型词汇表的所有词元中概率最高的词元(也称为贪心解码)。如果 Top-K 设为 3,则表示系统将从 3 个概率最高的词元(通过温度确定)中选择下一个词元。
在每个词元选择步中,系统都会对概率最高的 Top-K 词元进行采样。然后,系统会根据 Top-P 进一步过滤词元,并使用温度采样选择最终的词元。
指定较低的值可获得随机程度较低的回答,指定较高的值可获得随机程度较高的回答。默认的 Top-K 为 40。
Top-P
Top-P 可更改模型选择输出词元的方式。系统会按照概率从最高(见 Top-K)到最低的顺序选择词元,直到所选词元的概率总和等于 Top-P 的值。例如,如果词元 A、B 和 C 的概率分别为 0.3、0.2 和 0.1,并且 Top-P 的值为 0.5,则模型将选择 A 或 B 作为下一个词元(通过温度确定),并会排除 C 作为候选词元。
指定较低的值可获得随机程度较低的回答,指定较高的值可获得随机程度较高的回答。默认 Top-P 为 0.80。
任务 2. 不同的参数值
您已准备好使用不同的参数值进行实验。
-
在 Google Cloud 控制台的导航菜单 () 中,从人工智能部分选择 Vertex AI。
-
在左侧窗格的工具中,从 Vertex AI Studio 部分选择语言。然后,在开始使用页面点击文本提示。
-
输入以下提示:
-
在“参数”部分文本框中,将模型设为 gemini-1.0-pro-001,将温度从 0.9 改为 1。将区域设置为 us-central1。 点击提交。为您的提示命名并保存。阅读回答内容以了解不同的温度值对回答有何影响。
-
在“参数”部分,将词元限制从 2048 改为 1024。依次点击提交和保存。阅读回答内容以了解不同的词元限制对回答有何影响。
-
在“参数”部分文本框中,点击高级开关选项按钮,将 Top-K 值改为 1。依次点击提交和保存。阅读回答内容以了解不同的 Top-K 的值对回答有何影响。
-
在“参数”部分,将 Top-P 值改为 1 并依次点击提交和保存。阅读回答内容以了解不同的 Top-P 的值对回答有何影响。
点击检查我的进度以验证是否完成了以下目标:
任务 3. 使用 Vertex AI 上的生成模型提取文本摘要
提取最重要房屋信息摘要以简化搜索过程。
-
在您的 JupyterLab 笔记本中,双击打开左侧面板中的
housing_text_summarization.ipynb
文件。 -
点击修改 > 清除所有输出。
-
仔细阅读笔记本说明并运行每个单元中的代码。
恭喜!
您已使用 PaLM API 和 AI Studio 创建和实验了用于各种生成式 AI 应用场景的提示。您还探索了 AI Studio 界面,并使用不同参数创建了文本和代码提示。
后续步骤/了解详情
-
如需详细了解提示设计,请参阅官方文档。
-
查看本实验使用的笔记本。
Google Cloud 培训和认证
…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践,可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训,并有点播、直播和虚拟三种方式选择,让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。
上次更新手册的时间:2024 年 3 月 5 日
上次测试实验的时间:2024 年 3 月 5 日
版权所有 2024 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。