GSP1209

概览

Gemini 是 Google DeepMind 开发的一系列生成式 AI 模型，专为多模态应用场景而设计。通过 Gemini API，您可以使用 Gemini Pro Vision 和 Gemini Pro 模型。在本实验中，您将了解如何搭配使用 Vertex AI Gemini API 与 Vertex AI SDK for Python，以便与 Gemini 1.0 Pro (gemini-1.0-pro) 模型以及 Gemini 1.0 Pro Vision (gemini-1.0-pro-vision) 模型进行交互。

Vertex AI Gemini API

Vertex AI Gemini API 提供了与多种 Gemini 模型交互的统一接口。Gemini API 目前支持以下两种模型：

1. Gemini 1.0 Pro 模型 (gemini-1.0-pro)：旨在处理自然语言任务、多轮文本和代码聊天，以及代码生成。
2. Gemini 1.0 Pro Vision 模型 (gemini-1.0-pro-vision)：支持多模态提示。您可以在提示请求中加入文本、图片和视频，并获取文本或代码回答。

您可通过以下方式与 Gemini API 进行交互：

• 使用 Vertex AI Studio 进行快速测试以及生成命令
• 使用 cURL 命令
• 使用 Vertex AI SDK

本实验重点介绍如何使用 Vertex AI SDK for Python 调用 Vertex AI Gemini API。

如需了解详情，请参阅 Vertex AI 上的生成式 AI 文档。

前提条件

在开始本实验之前，您应该先熟悉以下概念：

• 对 Python 编程有基本的了解
• 大致了解 API 的工作原理
• 在 Vertex AI Workbench 中的 Jupyter 笔记本中运行 Python 代码

目标

在本实验中，您将学习如何执行以下任务：

• 安装 Vertex AI SDK for Python
• 使用 Gemini 1.0 Pro (gemini-1.0-pro) 模型生成文本
• 使用 Gemini 1.0 Pro Vision (gemini-1.0-pro-vision) 多模态模型根据文本、图片和视频组合生成文本

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。我们会为您提供新的临时凭据，让您可以在实验规定的时间内用来登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

注意：如果您已有自己的个人 Google Cloud 账号或项目，请不要在此实验中使用，以避免您的账号产生额外的费用。

如何开始实验并登录 Google Cloud 控制台

1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个弹出式窗口供您选择付款方式。左侧是实验详细信息面板，其中包含以下各项：

   • 打开 Google Cloud 控制台按钮
   • 剩余时间
   • 进行该实验时必须使用的临时凭据
   • 帮助您逐步完成本实验所需的其他信息（如果需要）

2. 点击打开 Google Cloud 控制台（如果您使用的是 Chrome 浏览器，请右键点击并选择在无痕式窗口中打开链接）。

   该实验会启动资源并打开另一个标签页，显示登录页面。

   提示：请将这些标签页安排在不同的窗口中，并将它们并排显示。

   注意：如果您看见选择账号对话框，请点击使用其他账号。

3. 如有必要，请复制下方的用户名，然后将其粘贴到登录对话框中。

   {{{user_0.username | "<用户名>"}}}

   您也可以在实验详细信息面板中找到用户名。

4. 点击下一步。

5. 复制下面的密码，然后将其粘贴到欢迎对话框中。

   {{{user_0.password | "<密码>"}}}

   您也可以在实验详细信息面板中找到密码。

6. 点击下一步。

   重要提示：您必须使用实验提供的凭据。请勿使用您的 Google Cloud 账号凭据。 注意：在本次实验中使用您自己的 Google Cloud 账号可能会产生额外费用。

7. 继续在后续页面中点击以完成相应操作：

   • 接受条款及条件。
   • 由于该账号为临时账号，请勿添加账号恢复选项或双重验证。
   • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Google Cloud 控制台。

注意：如需查看列有 Google Cloud 产品和服务的菜单，请点击左上角的导航菜单。

任务 1. 在 Vertex AI Workbench 中打开笔记本

1. 在 Google Cloud 控制台的导航菜单中依次点击 Vertex AI > Workbench。

2. 找到 generative-ai-jupyterlab 笔记本，然后点击打开 JupyterLab 按钮。

JupyterLab 界面会在新的浏览器标签页中打开。

任务 2. 设置笔记本

1. 点击 intro_gemini_python.ipynb 文件。

2. 运行笔记本的开始使用和导入库部分。

   • 对于项目 ID，请使用 ；对于位置，使用 。

注意：您可以跳过任何标为“仅限 Colab”的笔记本单元。

在后续部分中，您将运行多个笔记本单元，了解如何搭配使用 Vertex AI Gemini API 与 Vertex AI SDK for Python。

任务 3. 使用 Gemini 1.0 Pro 模型

Gemini 1.0 Pro (gemini-1.0-pro) 旨在处理自然语言任务、多轮文本和代码聊天，以及代码生成。在此任务中，您将运行多个笔记本单元，了解如何使用 Gemini 1.0 Pro 模型根据文本提示来生成文本。

根据文本提示生成文本

向模型发送文本提示。Gemini 1.0 Pro (gemini-1.0-pro) 模型提供流式回答机制。这让您无需等待完整的回答；一旦有了可用的回答片段，即可开始对其进行处理。

• 运行笔记本的根据文本提示生成文本部分。

点击检查我的进度以验证是否完成了以下目标：

根据文本提示生成文本。 打印聊天记录。

任务 4. 使用 Gemini 1.0 Pro Vision 模型

Gemini 1.0 Pro Vision (gemini-1.0-pro-vision) 是一个支持多模态提示的多模态模型。您可以在提示请求中加入文本、图片和视频，并获取文本或代码回答。在此任务中，您将运行多个笔记本单元，了解如何使用 Gemini 1.0 Pro Vision 模型根据文本和图片提示生成文本，以及如何根据视频文件生成文本。

根据本地图片和文本生成文本

• 运行笔记本的根据本地图片和文本生成文本部分。

点击检查我的进度以验证是否完成了以下目标：

验证图片。 根据本地图片和文本生成文本。

根据文本和图片提示生成文本

• 运行笔记本的根据文本和图片生成文本部分。

  根据文本和图片生成文本。

结合多个图片和文本提示进行少样本提示

• 运行笔记本的结合多个图片和文本提示进行少样本提示部分。

  执行少样本提示。

根据视频文件生成文本

• 运行笔记本的根据视频文件生成文本部分。

  根据视频文件生成文本。

恭喜！

在本实验中，您深入了解了如何将 Vertex AI Gemini API 和 Vertex AI SDK for Python 搭配使用，以便与 Gemini 1.0 Pro (gemini-1.0-pro) 和 Gemini 1.0 Pro Vision (gemini-1.0-pro-vision) 两个模型进行交互。通过这些练习，您对 Vertex AI Gemini API 功能及其与 Python SDK 的无缝集成有了切实了解。

后续步骤/了解详情

• 查看 Vertex AI 上的生成式 AI 文档。
• 前往 YouTube 频道 Google Cloud Tech 详细了解生成式 AI。
• Google Cloud 生成式 AI 官方仓库
• Gemini 笔记本示例

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

上次更新手册的时间：2024 年 5 月 16 日

上次测试实验的时间：2024 年 5 月 16 日

版权所有 2024 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。