GSP1154

概览

Vertex AI 是一个全面的机器学习开发平台，可提供预测功能和生成式 AI 功能。利用该平台，您可以训练、评估和部署用于预测的预测性机器学习模型。此外，您可以利用该平台浏览生成式 AI 模型并对其进行调参，还可以部署这些模型来生成内容。

借助 Vertex AI Studio，您可以快速测试和自定义生成式 AI 模型，以便在您的应用中利用其功能。它提供了各种工具和资源，包括界面和代码示例。这样，即使您没有机器学习的相关背景，也能够轻松上手使用生成式 AI。

本实验将引导您完成 Vertex AI Studio 的相关操作，让您能够通过该平台释放先进生成式 AI 模型的潜力。您将探索 Gemini，并直接在 Google Cloud 控制台中用它来分析图片、设计提示和生成对话。无需 API 或 Python SDK，全部功能都可以通过直观的界面使用。

目标

在本实验中，您将学习如何完成以下操作：

• 使用 Gemini 分析图片
• 探索 Vertex AI Studio 的自由格式模式
• 使用零样本提示、单样本提示和少样本提示的方法设计文本提示
• 使用聊天提示生成对话

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。我们会为您提供新的临时凭据，让您可以在实验规定的时间内用来登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

如何开始实验并登录 Google Cloud 控制台

1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个弹出式窗口供您选择付款方式。左侧是实验详细信息面板，其中包含以下各项：

   • 打开 Google Cloud 控制台按钮
   • 剩余时间
   • 进行该实验时必须使用的临时凭据
   • 帮助您逐步完成本实验所需的其他信息（如果需要）

2. 点击打开 Google Cloud 控制台（如果您使用的是 Chrome 浏览器，请右键点击并选择在无痕式窗口中打开链接）。

   该实验会启动资源并打开另一个标签页，显示登录页面。

   提示：请将这些标签页安排在不同的窗口中，并将它们并排显示。

   注意：如果您看见选择账号对话框，请点击使用其他账号。

3. 如有必要，请复制下方的用户名，然后将其粘贴到登录对话框中。

   {{{user_0.username | "<用户名>"}}}

   您也可以在实验详细信息面板中找到用户名。

4. 点击下一步。

5. 复制下面的密码，然后将其粘贴到欢迎对话框中。

   {{{user_0.password | "<密码>"}}}

   您也可以在实验详细信息面板中找到密码。

6. 点击下一步。

   重要提示：您必须使用实验提供的凭据。请勿使用您的 Google Cloud 账号凭据。 注意：在本次实验中使用您自己的 Google Cloud 账号可能会产生额外费用。

7. 继续在后续页面中点击以完成相应操作：

   • 接受条款及条件。
   • 由于该账号为临时账号，请勿添加账号恢复选项或双重验证。
   • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Google Cloud 控制台。

注意：如需查看列有 Google Cloud 产品和服务的菜单，请点击左上角的导航菜单。

任务 1. 在自由格式模式下使用 Gemini 分析图片

在本部分，您将使用 Gemini 分析图片并从中提取信息。在自由格式模式下，您可以设计用于完成分类、提取和生成等各种任务的提示。该模式下没有对话历史记录，因此每个提示对模型来说都是一个全新的请求。

启用 Vertex AI API

1. 在 Google Cloud 控制台顶部的搜索栏中输入 Vertex AI API。

2. 点击“Marketplace 和 API”下面的 Vertex AI API 搜索结果。

3. 点击启用。

使用 Gemini 分析图片

1. 在 Google Cloud 控制台的导航菜单 () 中，依次选择 Vertex AI > Vertex AI Studio > 概览。

2. 在使用 Gemini 生成下，点击打开自由格式模式。

该界面包含三个主要部分：

• 提示（位于中央）：您可以在此处创建利用多模态功能的提示。
• 配置（位于右侧）：您可以在此部分中选择模型、配置参数并获取相应的代码。
• 回答（位于底部）：此部分显示提示产生的结果。

3. 点击左上角的未命名的提示，将提示重命名为图片分析。

4. 在右上角的配置部分，点击模型下拉菜单，然后选择 gemini-1.5-pro-002 模型。

5. 下载示例图片。右键点击下方的时间表图片，然后将其保存到您的桌面。

6. 在提示部分的右上角，依次点击插入媒体 > 上传。上传您下载的时间表图片。媒体可以是图片、视频、文本或音频形式的文件。

7. 图片将显示在提示部分。复制以下文本并将其粘贴到图片下方，然后点击“提示”部分右下角的提交按钮。

或者可以提出更具体的要求：

名称是否符合您的预期？尝试修改提示，看看是否会得到不同的结果。

8. 描述图片。将之前的提示替换为以下内容，然后点击提交按钮。

9. 调整参数。在“配置”部分中，从左 (0) 到右 (2) 调节滑块可调整温度。重新提交提示，观察结果与之前相比有无变化。

10. 从图片中提取文字。将之前的提示替换为以下内容：

此外，如果要将输出的格式设置为列表，请将之前的提示替换为以下内容：

轮到您了 - 来试试一些不同的提示吧！这些结果与之前有何不同？

11. 分析图片中的信息。将之前的提示替换为以下内容：

结果是否符合您的预期？强烈建议您针对各种任务尝试不同的提示。还建议您尝试不同的温度设置，以观察结果的变化。

12. 完成提示设计后，点击“配置”部分右上角的保存以保存提示。对于区域，从下拉菜单中选择 ，然后点击保存进行确认。

13. 如需查找保存的提示，请在左侧导航菜单中导航至提示管理。

点击检查我的进度以验证是否完成了以下目标：

任务 2：探索多模态功能

除了图片、文本和音频，Gemini 还能够接受视频形式的输入，并生成文本形式的输出。

1. 前往 Cloud Storage > 存储桶，然后复制并保存您的 Cloud Storage 存储桶的名称，后续步骤中将会用到该名称。

2. 点击 Google Cloud 控制台顶部的激活 Cloud Shell 。

3. 在 Cloud Shell 终端运行以下命令，将示例视频 gs://spls/gsp154/video/train.mp4（预览）复制到您的 Cloud Storage 存储桶中。将该命令中的 <Your-Cloud-Storage-Bucket> 替换为您之前复制存储桶的名称。

4. 在导航菜单 () 中，依次选择 Vertex AI > Vertex AI Studio > 概览。

5. 在使用 Gemini 生成下，点击打开自由格式模式。

6. 在右上角的模型下，选择 gemini-1.5-pro-002 模型。

7. 依次点击插入媒体 > 从 Cloud Storage 导入。

8. 点击您的存储桶名称，然后点击示例视频（即 train.mp4），最后点击选择。

9. 插入以下提示并点击提交按钮，以生成有关该视频的信息。

自由格式模式具备许多功能，例如根据图片撰写故事、分析视频以及生成多媒体广告。您可以点击提示库，探索自由格式模式的更多应用场景。如需了解详情，请参阅设计多模态提示。

任务 3. 设计文本提示

在本部分中，您将探索如何在 Vertex AI Studio 中设计文本提示，包括使用零样本提示、单样本提示和少样本提示方法。

提示设计

您可以根据需求向模型输入文本，例如提一个问题。然后，模型会按照提示的结构给出回答。寻找并设计最佳输入文本（提示），以便模型能够给出所需要的回答，这一过程称作提示设计。

提示设计方法

设计提示的方法主要有以下三种：

• 零样本提示 - 该方法是指仅向 LLM 提供用来描述任务的提示，而不提供任何其他数据。例如，如果您想让 LLM 回答一个问题，那么可以给出类似于下面这样的提示：“what is prompt design?”。
• 单样本提示 - 该方法是指在要求 LLM 执行特定任务时，向其提供单个任务示例。例如，如果您想让 LLM 写一首诗词，那么可以向其提供一首示例诗词。
• 少样本提示 - 该方法是指在要求 LLM 执行特定任务时，向其提供少量任务示例。例如，如果您想让 LLM 写一篇新闻报道，可以向其提供几篇新闻报道范本。

参数

“温度”和“token 数量上限”是两个重要的参数，您可以通过调整它们来影响模型的回答。

• 温度可以控制 token 选择的随机性。当您期望得到真实或正确的回答时，温度越低越好。温度为 0 表示始终选择概率最高的 token。较高的温度可能会引发多样化、意想不到或可能存在偏差的结果。gemini-1.5-pro 模型的温度范围为 0 - 2，默认值为 1。
• 输出 token 限制决定了一条提示的最大文本输出量。一个 token 约为 4 个字符。

零样本提示

在自由格式模式下试用零样本提示。

1. 返回 Vertex AI Studio > 概览页面，点击打开自由格式模式。

2. 在右上角的模型下，选择 gemini-1.5-pro-002 模型。

3. 将以下内容复制到提示输入字段中：

4. 点击提交按钮。

模型的回答中将包含有关“提示库”这一术语的较全面的定义。

您还可以尝试以下探索性的做法：

• 将输出 token 限制参数调整到 1024，然后点击提交按钮。
• 将温度参数调整到 0.5，然后点击提交按钮。
• 将温度参数调整到 2.0，然后点击提交按钮.

看看随着参数的改变，模型的回答会发生什么样的变化。

单样本提示

您可以更有条理地设计提示。您可以在相应的输入字段中提供上下文和示例。单样本提示这种方法是指在要求模型执行特定任务时，向其提供单个任务示例。在本部分，您将要求模型补全一个句子。

1. 首先，从提示框中移除所有文本。

2. 在提示框内，点击添加示例。这将打开一个新窗口，您可以在其中添加提示示例。

3. 将以下内容添加到输入字段中：

4. 将以下内容添加到输出字段中：

5. 点击添加示例按钮。

6. 在测试字段中，将以下内容复制到输入字段中。

7. 点击提交按钮。模型应该会提供类似如下所示的回答：

由于您为模型提供了一个示例来作为输出内容的参考，因此模型在回答时没有补全句子，而是给出了一个完整的句子。如需将回答的形式更改为仅将句子补全，您可以调整在输出字段中提供的示例。

8. 点击提示框中的示例按钮，然后将输出字段中的内容更改为：

9. 点击添加示例按钮。

10. 在测试字段中，将以下内容复制到输入字段中。

11. 点击提交按钮。模型应该会提供类似如下所示的回答：

您可以看到，模型现在会根据您提供的示例补全句子。您成功影响了该模型回答的方式。

少样本提示

在下一项练习中，您将使用模型对句子进行情感分析，例如基于少样本提示判断电影评论是正面的还是负面的。

1. 在提示字段中，删除在上一部分使用的示例。如需删除示例，请将鼠标悬停在示例上，然后点击“移除文件”按钮 X。

2. 点击添加示例按钮以添加更多示例。

3. 添加以下示例：

4. 添加这些示例后，点击添加示例按钮。

5. 在测试字段中，将以下内容复制到输入字段中。

6. 点击提交按钮。

现在，模型会对输入文本进行情感分析。对于输入文本“这些时间花得值！”，情感分析结果为“正面”。

7. 完成提示设计后，将该提示命名为情感分析。

点击检查我的进度以验证是否完成了以下目标：

任务 4. 生成对话

聊天模式是一种对话模式，可让您与模型自由聊天。模型将使用对话历史记录来作为后续回答的上下文。在本部分中，您将创建聊天提示并与模型进行对话。

1. 在左侧菜单中，前往聊天以创建新的聊天提示。

2. 在右上角的模型下，选择 gemini-1.5-flash-002 模型。

在本部分中，您将为聊天添加上下文，然后让模型根据所提供的上下文给出回答。

3. 点击系统指令，然后添加以下上下文：

4. 插入以下提示：

5. 点击提交按钮。

模型应该会提供以下回答：

6. 在系统指令中，点击清除值。

7. 点击系统指令，然后添加以下上下文：

8. 插入以下提示：

9. 点击提交按钮。

现在，模型应该能够在回答用户查询时提供更实用的结果。

您可以随意尝试不同的提示和上下文，看看模型会如何进行回答。您还可以为聊天提示添加更多上下文，看看模型如何根据提供的上下文给出回答。

10. 完成提示设计后，将该提示命名为技术支持助手。

点击检查我的进度以验证是否完成了以下目标：

恭喜！

您学习了如何使用自由格式模式分析图片，如何探索自由格式模式的功能，以及如何创建和测试提示并生成对话。您已成功迈出第一步，继续使用 Vertex AI Studio 和 Gemini Freeform 吧！

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

上次更新手册的时间：2025 年 1 月 3 日

上次测试实验的时间：2025 年 1 月 3 日

版权所有 2025 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。