GSP1154

概览

Vertex AI 是一个全面的机器学习开发平台，可提供预测功能和生成式 AI 功能。利用该平台，您可以训练、评估和部署用于预测的预测性机器学习模型。此外，您可以利用该平台浏览生成式 AI 模型并对其进行调参，还可以部署这些模型来生成内容。

借助 Vertex AI Studio，您可以快速测试和自定义生成式 AI 模型，以便在您的应用中利用其功能。它提供了各种工具和资源，包括界面和代码示例。这样，即使您没有机器学习的相关背景，也能够轻松上手使用生成式 AI。

本实验将引导您完成 Vertex AI Studio 的相关操作，让您能够通过该平台释放先进生成式 AI 模型的潜力。您将探索 Gemini，并直接在 Google Cloud 控制台中用它来分析图片、设计提示和生成对话。无需 API 或 Python SDK，全部功能都可以通过直观的界面使用。

目标

在本实验中，您将学习如何完成以下操作：

• 使用 Gemini 分析图片
• 探索 Vertex AI Studio 的自由格式模式
• 使用零样本提示、单样本提示和少样本提示的方法设计文本提示
• 使用聊天提示生成对话

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。我们会为您提供新的临时凭据，让您可以在实验规定的时间内用来登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

注意：如果您已有自己的个人 Google Cloud 账号或项目，请不要在此实验中使用，以避免您的账号产生额外的费用。

如何开始实验并登录 Google Cloud 控制台

1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个弹出式窗口供您选择付款方式。左侧是实验详细信息面板，其中包含以下各项：

   • 打开 Google Cloud 控制台按钮
   • 剩余时间
   • 进行该实验时必须使用的临时凭据
   • 帮助您逐步完成本实验所需的其他信息（如果需要）

2. 点击打开 Google Cloud 控制台（如果您使用的是 Chrome 浏览器，请右键点击并选择在无痕式窗口中打开链接）。

   该实验会启动资源并打开另一个标签页，显示登录页面。

   提示：请将这些标签页安排在不同的窗口中，并将它们并排显示。

   注意：如果您看见选择账号对话框，请点击使用其他账号。

3. 如有必要，请复制下方的用户名，然后将其粘贴到登录对话框中。

   {{{user_0.username | "<用户名>"}}}

   您也可以在实验详细信息面板中找到用户名。

4. 点击下一步。

5. 复制下面的密码，然后将其粘贴到欢迎对话框中。

   {{{user_0.password | "<密码>"}}}

   您也可以在实验详细信息面板中找到密码。

6. 点击下一步。

   重要提示：您必须使用实验提供的凭据。请勿使用您的 Google Cloud 账号凭据。 注意：在本次实验中使用您自己的 Google Cloud 账号可能会产生额外费用。

7. 继续在后续页面中点击以完成相应操作：

   • 接受条款及条件。
   • 由于该账号为临时账号，请勿添加账号恢复选项或双重验证。
   • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Google Cloud 控制台。

注意：如需查看列有 Google Cloud 产品和服务的菜单，请点击左上角的导航菜单。

任务 1. 在自由格式模式下使用 Gemini 分析图片

在本部分，您将使用 Gemini 分析图片并从中提取信息。在自由格式模式下，您可以设计用于完成分类、提取和生成等各种任务的提示。该模式下没有对话历史记录，因此每个提示对模型来说都是一个全新的请求。

启用 Vertex AI API

1. 在 Google Cloud 控制台顶部的搜索栏中输入 Vertex AI API。

2. 点击“Marketplace 和 API”下面的 Vertex AI API 搜索结果。

3. 点击启用。

启用 Vertex AI API。

使用 Gemini 分析图片

1. 在 Google Cloud 控制台的导航菜单 () 中，依次选择 Vertex AI > Vertex AI Studio > 概览。

2. 在使用 Gemini 生成下，点击打开自由格式模式。

该界面包含三个主要部分：

• 提示（位于中央）：您可以在此处创建利用多模态功能的提示。
• 配置（位于右侧）：您可以在此部分中选择模型、配置参数并获取相应的代码。
• 回答（位于底部）：此部分显示提示产生的结果。

3. 点击左上角的未命名的提示，将提示重命名为图片分析。

4. 在右上角的配置部分，点击模型下拉菜单，然后选择 gemini-1.5-pro 模型。

5. 下载示例图片。右键点击下方的时间表图片，然后将其保存到您的桌面。

6. 在提示部分的右上角，依次点击插入媒体 > 上传。上传您下载的时间表图片。媒体可以是图片、视频、文本或音频形式的文件。

7. 图片将显示在提示部分。复制以下文本并将其粘贴到图片下方，然后点击“提示”部分右下角的提交按钮。

Title the image.

或者可以提出更具体的要求：

Title the image in 3 words.

名称是否符合您的预期？尝试修改提示，看看是否会得到不同的结果。

8. 描述图片。将之前的提示替换为以下内容，然后点击提交按钮。

Describe the image in detail.

9. 调整参数。在“配置”部分中，从左 (0) 到右 (2) 调节滑块可调整温度。重新提交提示，观察结果与之前相比有无变化。

注意：温度可以控制选择 token 的随机性。较低的温度适合希望获得真实或正确回答的提示，而较高的温度可能会引发更加多样化、意想不到或可能存在偏差的结果。如果温度为 0，系统会始终选择概率最高的 token。

10. 从图片中提取文字。将之前的提示替换为以下内容：

Read the text in the image.

此外，如果要将输出的格式设置为列表，请将之前的提示替换为以下内容：

Parse the time and city in this image into a list with two columns: time and city.

轮到您了 - 来试试一些不同的提示吧！这些结果与之前有何不同？

11. 分析图片中的信息。将之前的提示替换为以下内容：

Calculate the percentage of the flights to different continents.

结果是否符合您的预期？强烈建议您针对各种任务尝试不同的提示。还建议您尝试不同的温度设置，以观察结果的变化。

11. 完成提示设计后，点击“配置”部分右上角的保存以保存提示。对于区域，从下拉菜单中选择 ，然后点击保存进行确认。

12. 如需查找保存的提示，请在左侧导航菜单中导航至提示管理。

注意：选择保存后，请稍等几秒钟以确保系统正确保存提示信息，然后再继续进行实验。如果系统提示“failed to update history”（未能更新历史记录），请点击“重试”。

点击检查我的进度以验证是否完成了以下目标：

提取图片内容。

任务 2：探索多模态功能

除了图片、文本和音频，Gemini 还能够接受视频形式的输入，并生成文本形式的输出。

1. 前往 Cloud Storage > 存储桶，然后复制并保存您的 Cloud Storage 存储桶的名称，后续步骤中将会用到该名称。

2. 点击 Google Cloud 控制台顶部的激活 Cloud Shell 。

3. 在 Cloud Shell 终端运行以下命令，将示例视频 gs://spls/gsp154/video/train.mp4（预览）复制到您的 Cloud Storage 存储桶中。将该命令中的 <Your-Cloud-Storage-Bucket> 替换为您之前复制存储桶的名称。

gcloud storage cp gs://spls/gsp154/video/train.mp4 gs://<Your-Cloud-Storage-Bucket> 注意：请确保将 <Your-Cloud-Storage-Bucket> 替换为您的存储桶名称。

4. 在导航菜单 () 中，依次选择 Vertex AI > Vertex AI Studio > 概览。

5. 在使用 Gemini 生成下，点击打开自由格式模式。

6. 依次点击插入媒体 > 从 Cloud Storage 导入。

7. 点击您的存储桶名称，然后点击示例视频（即 train.mp4），最后点击选择。

8. 插入以下提示并点击提交按钮，以生成有关该视频的信息。

为视频添加标题。

自由格式模式具备许多功能，例如根据图片撰写故事、分析视频以及生成多媒体广告。您可以点击提示库，探索自由格式模式的更多应用场景。如需了解详情，请参阅设计多模态提示。

任务 3. 设计文本提示

在本部分中，您将探索如何在 Vertex AI Studio 中设计文本提示，包括使用零样本提示、单样本提示和少样本提示方法。

提示设计

您可以根据需求向模型输入文本，例如提一个问题。然后，模型会按照提示的结构给出回答。寻找并设计最佳输入文本（提示），以便模型能够给出所需要的回答，这一过程称作提示设计。

提示设计方法

设计提示的方法主要有以下三种：

• 零样本提示 - 该方法是指仅向 LLM 提供用来描述任务的提示，而不提供任何其他数据。例如，如果您想让 LLM 回答一个问题，那么可以给出类似于下面这样的提示：“what is prompt design?”。
• 单样本提示 - 该方法是指在要求 LLM 执行特定任务时，向其提供单个任务示例。例如，如果您想让 LLM 写一首诗词，那么可以向其提供一首示例诗词。
• 少样本提示 - 该方法是指在要求 LLM 执行特定任务时，向其提供少量任务示例。例如，如果您想让 LLM 写一篇新闻报道，可以向其提供几篇新闻报道范本。

参数

“温度”和“token 数量上限”是两个重要的参数，您可以通过调整它们来影响模型的回答。

• 温度可以控制 token 选择的随机性。当您期望得到真实或正确的回答时，温度越低越好。温度为 0 表示始终选择概率最高的 token。较高的温度可能会引发多样化、意想不到或可能存在偏差的结果。gemini-1.5-pro 模型的温度范围为 0 - 2，默认值为 1。
• 输出 token 限制决定了一条提示的最大文本输出量。一个 token 约为 4 个字符。

零样本提示

在自由格式模式下试用零样本提示。

1. 返回 Vertex AI Studio > 概览页面，点击打开自由格式模式。

2. 在右上角的模型下，选择 gemini-1.5-pro 模型。

注意：模型名称和版本可能会随着新模型的发布而改变。

3. 将以下内容复制到提示输入字段中：

What is a prompt gallery?

4. 点击提交按钮。

模型的回答中将包含有关“提示库”这一术语的较全面的定义。

您还可以尝试以下探索性的做法：

• 将输出 token 限制参数调整到 1024，然后点击提交按钮。
• 将温度参数调整到 0.5，然后点击提交按钮。
• 将温度参数调整到 2.0，然后点击提交按钮.

看看随着参数的改变，模型的回答会发生什么样的变化。

单样本提示

您可以更有条理地设计提示。您可以在相应的输入字段中提供上下文和示例。单样本提示这种方法是指在要求模型执行特定任务时，向其提供单个任务示例。在本部分，您将要求模型补全一个句子。

1. 首先，从提示框中移除所有文本。

2. 在提示框内，点击添加示例。这将打开一个新窗口，您可以在其中添加提示示例。

3. 将以下内容添加到输入字段中：

The color of the grass is

3. 将以下内容添加到输出字段中：

The color of the grass is green

4. 点击添加示例按钮。

5. 在测试字段中，将以下内容复制到输入字段中。

The color of the sky is

6. 点击提交按钮。模型应该会提供类似如下所示的回答：

The color of the sky is blue

由于您为模型提供了一个示例来作为输出内容的参考，因此模型在回答时没有补全句子，而是给出了一个完整的句子。如需将回答的形式更改为仅将句子补全，您可以调整在输出字段中提供的示例。

7. 点击提示框中的示例按钮，然后将输出字段中的内容更改为：

Green

8. 点击添加示例按钮。

9. 在测试字段中，将以下内容复制到输入字段中。

The color of the sky is

10. 点击提交按钮。模型应该会提供类似如下所示的回答：

blue

您可以看到，模型现在会根据您提供的示例补全句子。您成功影响了该模型回答的方式。

少样本提示

在下一项练习中，您将使用模型对句子进行情感分析，例如基于少样本提示判断电影评论是正面的还是负面的。

1. 在提示字段中，删除在上一部分使用的示例。如需删除示例，请将鼠标悬停在示例上，然后点击“移除文件”按钮 X。

2. 点击添加示例按钮以添加更多示例。

3. 添加以下示例：

输入	输出
一部制作精良、充满乐趣的电影	正面
我看了 10 分钟就睡着了	负面
这部电影还可以	中性

4. 添加这些示例后，点击添加示例按钮。

5. 在测试字段中，将以下内容复制到输入字段中。

It was a time well spent!

6. 点击提交按钮。

现在，模型会对输入文本进行情感分析。对于输入文本“It was a time well spent!”，情感分析结果为“positive”。

7. 完成提示设计后，点击“配置”部分右上角的保存以保存提示。将该提示命名为情感分析。对于区域，从下拉菜单中选择 ，然后点击保存进行确认。

点击检查我的进度以验证是否完成了以下目标：

使用文本创建提示

任务 4. 生成对话

聊天模式是一种对话模式，可让您与模型自由聊天。模型将使用对话历史记录来作为后续回答的上下文。在本部分中，您将创建聊天提示并与模型进行对话。

1. 在左侧菜单中，前往聊天以创建新的聊天提示。

2. 在右上角的模型下，选择 gemini-1.5-flash 模型。

注意：模型名称和版本可能会随着新模型的发布而改变。

在本部分中，您将为聊天添加上下文，然后让模型根据所提供的上下文给出回答。

3. 点击修改按钮，将以下上下文添加到系统指令字段中。

Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.

4. 点击应用。

5. 插入以下提示：

My computer is so slow! What should I do?

6. 点击提交按钮。

模型应该会提供以下回答：

Have you tried turning it off and on again?

7. 接下来，点击修改按钮来修改现有系统指令字段的上下文。

8. 请使用以下内容更新该上下文：

Your name is Roy. You are a support technician of an IT department. You are here to support the users with their queries.

8. 插入以下提示：

My computer is so slow! What should I do?

9. 点击提交按钮。

现在，模型应该能够在回答用户查询时提供更实用的结果。

您可以随意尝试不同的提示和上下文，看看模型会如何进行回答。您还可以为聊天提示添加更多上下文，看看模型如何根据提供的上下文给出回答。

10. 完成提示设计后，点击“配置”部分右上角的保存以保存提示。将该提示命名为技术支持助手。对于区域，从下拉菜单中选择 ，然后点击保存进行确认。

点击检查我的进度以验证是否完成了以下目标：

使用聊天提示创建对话

恭喜！

您学习了如何使用自由格式模式分析图片，如何探索自由格式模式的功能，以及如何创建和测试提示并生成对话。您已成功迈出第一步，继续使用 Vertex AI Studio 和 Gemini Freeform 吧！

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

上次更新手册的时间：2024 年 10 月 8 日

上次测试实验的时间：2024 年 10 月 8 日

版权所有 2024 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。